标签:数据爬取

【我爱背单词】用Python提炼3000英语新闻高频词汇

学英语,无论目的何在,词汇量总是一个绕不过去的坎,没有足够的词汇量,都难以用文法来组词造句。 前段时间,恶魔的奶爸提供了几份偏向于各个领域的高频词汇,很是不错。 最近用Python写爬虫入门教程的时候,碰到过几个英文网站,便有了统计一份网站…

Python爬虫实战入门六:提高爬虫效率—并发爬取智联招聘

之前文章中所介绍的爬虫都是对单个URL进行解析和爬取,url数量少不费时,但是如果我们需要爬取的网页url有成千上万或者更多,那怎么办? 使用for循环对所有的url进行遍历访问? 嗯,想法很好,但是如果url过多,爬取完所有的数据会不会太…

Python爬虫实战入门三:简单的HTML解析——爬取腾讯新闻

上一章咱们使用Python实现了一个简单的HTTP请求,瞧着简单,爬虫就是模拟人打开一个个URL浏览一个个网页来爬取数据的,一个成功的HTTP请求,就是一个爬虫的基础。 接下来,咱们以一个实际的例子:爬取百度新闻,来介绍使用Beautifu…

Python爬虫实战入门二:从一个简单的HTTP请求开始

一、为什么从HTTP请求开始 无论我们通过浏览器打开网站、访问网页,还是通过脚本对URL网址进行访问,本质上都是对HTTP服务器的请求,浏览器上所呈现的、控制台所显示的都是HTTP服务器对我们请求的响应。 以打开我的个人网站为例,我们在地址…

Python爬虫实战入门一:工具准备

一、基础知识 使用Python编写爬虫,当然至少得了解Python基本的语法,了解: 基本数据结构 数据类型 控制流 函数的使用 模块的使用 不需要过多过深的Python知识,仅此而已。 个人推荐《Python简明教程》http://www…

爬取百度音乐5000热门歌单10万音乐数据

平时喜欢用百度音乐随便找个歌单听听歌,一来搜索打开方便,二来歌曲曲目也全。今天在找歌单的时候,突然想看看热门歌单里都有哪里歌曲,于是便有了这个小程序。 首先,需要获取各个歌单的地址,我们从百度音乐的歌单首页入手: 图中红框的为歌单的当前的数…

Python爬虫:100万以大学专业为关键词的职位信息爬取

一、系统环境: Windows 7+Python3.4+MongoDB 二、爬取过程: (1)获取大学本科所有专业名称 (2)以专业名称作为搜索关键词获取职位信息的数量 (3)获取职位信息 (4)使用多进程执行程序 最后,抓取了100多万条…

爬取了20万淘宝店铺信息,我能干些什么?

下午,写了个简单的多进程爬虫,按照热门类目,爬取了淘宝C点的20多万条店铺信息。 获取了店铺名、卖家昵称、店铺ID、店铺区域、店铺商品数量、店铺销量、店铺好评率、店铺等级等等信息。 主要思路为: 一、从淘宝店铺搜索页面获取热门的类目信息; …

一个简单的多进程爬虫(爬取某加盟创业网)

分享一个简单的多进程小爬虫,爬取某加盟创业网上所有加盟项目; 使用requests请求页面,re和beautifulSoup解析网页,multiprocessing进行多进程,pymongo数据入库; (打开网站时发现密密麻麻、琳琅满目的加…