蓝色星晨|一篇文章教会你利用Python网络爬虫获取Mikan动漫资源
【一、项目背景】
[蜜柑计划 - Mikan Project] ：新一代的动漫下载站 。 是一个专门为喜欢动漫的小伙伴们打造的动漫视频在线播放网站 ， 为大家第一时间分享最新动漫资源 ， 每日精选最优质的动漫推荐 。
【二、项目目标】
实现获取动漫种子链接 ， 并下载保存在文档 。
【三、涉及的库和网站】
1、网址如下：
{}2、涉及的库：reques****ts、****lxml、****fake_useragent
3、软件：PyCharm
【四、项目分析】
首先需要解决如何对下一页的网址进行请求的问题 。 可以点击下一页的按钮 ， 观察到网站的变化分别如下所示：
123点击下一页时 ， 每增加一页Classic/()自增加1 ， 用{}代替变换的变量 ， 再用for循环遍历这网址 ， 实现多个网址请求 。
【五、反爬措施】
1、获取正常的 http请求头 ， 并在requests请求时设置这些常规的http请求头 。
2、使用 fake_useragent， 产生随机的UserAgent进行访问 。
【六、项目实施】
1、我们定义一个class类继承object ， 然后定义init方法继承self ， 再定义一个主函数main继承self 。 导入需要的库和网址 。
import requestsfrom lxml import etreefrom fake_useragent import UserAgentclassMikan(object):def __init__(self):self.url = "{}"def main(self):passif __name__ == '__main__':Siper = Mikan()Siper.main()2、主方法（main）：for循环实现多个网页请求 。
stat = int(input("start :"))end = int(input(" end:"))for page in range(stat, end + 1):url = self.url.format(page)print(url)3、 随机产生UserAgent 。
for i in range(1, 50):self.headers = {'User-Agent': ua.random,}4、发送请求 获取响应, 页面回调 ， 方便下次请求 。
def get_page(self, url):res = requests.get(url=url, headers=self.headers)html = res.content.decode("utf-8")return html5、xpath解析一级页面数据,for循环遍历补全网址 ， 获取二级页面网址 。
parse_html = etree.HTML(html)one = parse_html.xpath('//tbody//tr//td[3]/a/@href')for li in one:yr = "" + li6、二级页面请求， 先找到页面父节点 ， for循环遍历 ， 再用path获取到种子的下载地址 。 补全种子链接地址 。
【蓝色星晨|一篇文章教会你利用Python网络爬虫获取Mikan动漫资源】tow = parse_html2.xpath('//body')for i in tow:four = i.xpath('.//p[@class="episode-title"]//text()')[0].strip()fif = i.xpath('.//div[@class="leftbar-nav"]/a[1]/@href')[0].strip()# print(four)t = "" + fifprint(t)7、保存在word文档。
dirname = "./种子/" + four[:15] + four[-20:] + '.torrent'# print(dirname)html3 = requests.get(url=t, headers=self.headers).contentwith open(dirname, 'wb') as f:f.write(html3)print("\n%s下载成功" % four)8、调用方法 ， 实现功能 。
html = self.get_page(url) self.parse_page(html)【七、效果展示】
1、运行程序 ， 在控制台输入起始页 ， 终止页 ， 如下图所示 。
2、将下载成功的图片信息显示在控制台 ， 如下图所示 。
推荐阅读
- 蓝色海洋|这座无人小岛遍布三千多万件“致命物品”，我们正在亲手毁掉蓝色海洋……
- 淡蓝色的记忆|央视晒九部新片海报，杨幂童瑶入镜，46岁的人气男星只有背影
- 中国天气网|台风蓝色预警！“海神”将于明日凌晨进入吉林省境内
- 过膝靴@美女街拍：蓝色牛仔裤搭配过膝靴，满满的冷艳气场啊
- 蓝色星晨|继续打磨14nm！英特尔下一代桌面处理器明年Q1发布
- #黄圣依#黄圣依晒和姐姐们合影，杨澜穿蓝色礼服美颜下很大气，吴昕又美了
- 守不住的空城|蓝色的无袖连衣裙，气质的v领看上去精致又迷人
- 钱江晚报·小时新闻|蓝色保时捷在高速被拦！宁波小伙苦苦哀求，一查背后……
- 淡蓝色的记忆|《元气满满的哥哥》：王耀庆超短裤爆笑~胡军：掀开被子就来了吧
- 淡蓝色的记忆|《在劫难逃》孙晓萌才是系列杀人案的幕后主使赵彬彬是执行者？