「2022 年」崔庆才 Python3 爬虫教程 - 基础案例爬取实战( 六 )
运行输出结果和之前类似，但是可以明显看到加了多进程执行之后，爬取速度快了非常多 。可以清空一下之前的爬取数据，可以发现数据依然可以被正常保存成 JSON 文件 。
7. 总结
好了，到现在为止，我们就完成了全站电影数据的爬取并实现了存储和优化 。
我们本节用到的库有 requests、multiprocessing、re、logging 等，通过这个案例实战，我们把前面学习到的知识都串联了起来，其中的一些实现方法可以好好思考和体会，也希望这个案例能够让你对爬虫的实现有更实际的了解 。
本节代码：https://github.com/Python3WebSpider/ScrapeSsr1 。
【「2022 年」崔庆才 Python3 爬虫教程 - 基础案例爬取实战】
推荐阅读
- 旅游|神十四乘组将第二次出舱！2025年中国有望开启太空旅行：票价200-300万元
- 陈意涵|儿上学爆哭「跟在我后面」，陈意涵跑步追娃娃车！崩溃画面笑翻网友
- 退休年龄|退休年龄60周岁，但为什么很多企业过了45岁就不要了呢？
- 「中国星空人物」杨友利：就这样坠入星空梦境
- 陈宝国|1995年，陈宝国拍《大宅门》，直接拿9万巨款拍桌上：没他我不拍
- 王诗龄|为什么女人上了年纪后，素颜更好看，化妆却反而显老？原因很简单
- 小鬼|小鬼离世2周年！他生前女友裙裙发文表达对他的思念
- |8年后，文章终于低下了头
- 成毅|成毅：出道11年，主演4部电视剧，豆瓣平均分只有5.8
- 曾仕强预言2025年不要去上海 预言2025年不要去上海了