标签： 多进程
本篇将会涉及： 线程与多线程 进程与多进程 多线程并发下载图片 多进程并发提高数字运算 关于并发 在计算机编程领域，并发编程是一个很常见的名词和功能了，其实并发这个理念，最初是源于铁路和电报的早期工作。比如在同一个铁路系统上如何安排多列火车，保证每列火车的运行都不会发生冲突。 后来在20世纪60年代...
之前文章中所介绍的爬虫都是对单个URL进行解析和爬取，url数量少不费时，但是如果我们需要爬取的网页url有成千上万或者更多，那怎么办？ 使用for循环对所有的url进行遍历访问？ 嗯，想法很好，但是如果url过多，爬取完所有的数据会不会太过于耗时了？ 对此我们可以使用并发来对URL进行访问以爬取数...
在爬取海量的网络数据时，一方面我们需要确保爬虫不被网站服务器封掉，一方面也要提高爬虫的采集效率。 避免爬虫不被封掉，一般我们通过大量的代理IP构成代理池，通过代理来访问采集的网站，而对于如何提高爬虫的采集效率，就有很多种方法，比如：使用多进程、多线程、分布式、协程等等。 个人在实际的爬虫使用中，出于...