标签:爬虫

使用Python采集天猫商家店铺联系方式

1、查询商家信息 很多初创公司为了获得客户资源,通常会有大量的可拜访客户信息的需求。如果是在以前,那么可以通过查看黄页上的企业信息数据,获得企业的联系方式,从而联系上企业负责人得以亲自拜访,获得业务上的扩展。 而在互联网领域、电子商务领域,…

破解爬虫过程中遇到的网页异或加密Email地址

1、问题来源 在数据采集过程中,经常有需要采集各种联系方式,其中就包括电子邮箱地址。一些毫不设防的网站的电子邮件地址可以直接从网页源码中获取到,而一些稍微有点防备爬虫意识的网站会将电子邮箱中的@符号替换为#号: 最近工作中,遇到一种之前从未…

各省公考来临,使用Python爬取一波人民日报时评助力正在申论备考的你

各省的公务员考试都已经进入了报名阶段,很多报考了的同学也都在准备进行行测和申论的复习备考。 对于申论,很多同学都会选择一边做题一边看新闻联播、人民日报等官方媒体渠道的方式来备考。 多阅读和观看新闻联播、人民日报等官方媒体,可以提高对时政的掌…

通过修改User-Agent标识将PhantomJS伪装成Chrome浏览器

在写爬虫的过程中,出于系统环境或是效率的问题,我们经常使用PhantomJS作为Selenium操纵的浏览器webdriver,而不是直接使用Chrome或FireFox的webdriver,尽管后者更加直观。 PhantomJS的优点虽然…

Python爬虫入门实战八:数据储存——MongoDB与MySQL

好久没更新了,今天填一个坑。 前面的文章里写的爬虫都是直接把爬取的数据打印出来。在实际的应用中,当然不能这么做,我们需要将数据存储起来。存储数据的方式有很多中,比如存储在文本文件中,或者是存储在数据库中。 为了使用数据的便捷性,我们选择将数…

Python爬虫入门实战七:使用Selenium--以抓取QQ空间好友说说为例

前面我们接触到的,都是使用requests+BeautifulSoup组合对静态网页进行请求和数据解析,若是JS生成的内容,也介绍了通过寻找API借口来获取数据。 但是有的时候,网页数据由JS生成,API借口又死活找不着或者是API借口地址…

Python爬虫实战入门六:提高爬虫效率—并发爬取智联招聘

之前文章中所介绍的爬虫都是对单个URL进行解析和爬取,url数量少不费时,但是如果我们需要爬取的网页url有成千上万或者更多,那怎么办? 使用for循环对所有的url进行遍历访问? 嗯,想法很好,但是如果url过多,爬取完所有的数据会不会太…

Python爬虫实战入门五:获取JS动态内容—爬取今日头条

之前我们爬取的网页,多是HTML静态生成的内容,直接从HTML源码中就能找到看到的数据和内容,然而并不是所有的网页都是这样的。 有一些网站的内容由前端的JS动态生成,由于呈现在网页上的内容是由JS生成而来,我们能够在浏览器上看得到,但是在H…

Python爬虫实战入门四:使用Cookie模拟登录——获取电子书下载链接

在实际情况中,很多网站的内容都是需要登录之后才能看到,如此我们就需要进行模拟登录,使用登录后的状态进行爬取。这里就需要使用到Cookie。 现在大多数的网站都是使用Cookie跟踪用户的登录状态,一旦网站验证了登录信息,就会将登录信息保存在…

Python爬虫实战入门三:简单的HTML解析——爬取腾讯新闻

上一章咱们使用Python实现了一个简单的HTTP请求,瞧着简单,爬虫就是模拟人打开一个个URL浏览一个个网页来爬取数据的,一个成功的HTTP请求,就是一个爬虫的基础。 接下来,咱们以一个实际的例子:爬取百度新闻,来介绍使用Beautifu…

Python爬虫实战入门二:从一个简单的HTTP请求开始

一、为什么从HTTP请求开始 无论我们通过浏览器打开网站、访问网页,还是通过脚本对URL网址进行访问,本质上都是对HTTP服务器的请求,浏览器上所呈现的、控制台所显示的都是HTTP服务器对我们请求的响应。 以打开我的个人网站为例,我们在地址…

Python爬虫实战入门一:工具准备

一、基础知识 使用Python编写爬虫,当然至少得了解Python基本的语法,了解: 基本数据结构 数据类型 控制流 函数的使用 模块的使用 不需要过多过深的Python知识,仅此而已。 个人推荐《Python简明教程》http://www…

爬取百度音乐5000热门歌单10万音乐数据

平时喜欢用百度音乐随便找个歌单听听歌,一来搜索打开方便,二来歌曲曲目也全。今天在找歌单的时候,突然想看看热门歌单里都有哪里歌曲,于是便有了这个小程序。 首先,需要获取各个歌单的地址,我们从百度音乐的歌单首页入手: 图中红框的为歌单的当前的数…

【数据集】100万以大学专业为关键词的职位数据

数据源自之前的爬虫所爬取的数据,数据一共100多万条,有5个字段:时间、地点、职位名称、月薪、专业名称,可以用来做大学专业的一些统计分析; 部分截图如下:   百度网盘下载链接:http://pan.baidu.com/s/1jI…