分类： 数据采集

我就想些个爬虫，怎么要学那么多东西？

一开始，老板给了一个任务，需要从网页上复制几百页的数据到本地。一遍一遍的复制粘贴，贴得我身心憔悴。听说有一种爬虫技术，可以自动采集数据，省去了人肉取数的痛苦。 我一听，「诶，这不错，学了就不用再废这双老手了」。 于是网上一搜索，都说 Python 适合写爬虫，而且简单易学，最适合非计算机专业的普通人...

分类目录: 数据采集

标签: 爬虫

「爬虫实战」采集高校历史录取分数线

高考过后，这几天各省份都陆续放榜。 又到了一年一度的高考志愿填报时间，不管考得好，还是考得不好，基本上，都会有学校就读。 大多数时候，我们只能通过过去的高效录取分数线，来做一个参考，筛选出自己的分数能够报考的学校和专业。 家里人最近让州的先生给查查资料，看家里的小朋友大概能报什么学校。 网上一搜，打...

分类目录: 数据采集

标签: Python爬虫

如何揪出网站上的网络爬虫：指纹识别

网络上的爬虫日益猖獗，疯狂地采集网站上的内容，不仅没有带来一丝好处，反而导致内容的流失、增大服务器的压力。 在众多的访问者中识别出网络爬虫并限制其访问一直是各个网站运营者所关心和头疼的事情。 州的先生一直以来持有的观点就是，网络爬虫的反爬与反反爬，会像网络安全的黑客攻防一样，在你强化一步，我突破一步...

分类目录: 数据采集

Python 一键下载 UNPKG 项目代码解析

最近，州的先生打算用饿了么团队开源的Element-UI组件来扩展MrDoc的前端界面。本着怎么简单怎么来、不把简单问题搞复杂的原则，选择脱离webpack和npm那一套前端工程化的东西，直接在HTML页面中调用JS文件。 按照element-ui官方文档的介绍，使用unpkg提供的CDN地址，直接...

分类目录: 数据采集编程

标签: 源码解析

实例解析|Python加解密VIP网站反爬请求头实现数据爬取

在正常情况下，对于需要登录的网站，一般只要将登录后的cookie携带到headers中就可以实现认证后的访问请求。但是，也有例外。 最近，州的先生（zmister.com）遇到了一个网站，就是那样的例外。 请求受阻 通过页面调试，找到了其数据接口，如下图所示： 数据在接口的响应中一览无遗，于是按照常...

分类目录: 数据采集

标签: js加密数据采集爬虫

【代码+数据】Python采集《毛选5》并保存为xhtml文件

一、关于毛选5 《毛泽东选集》第5卷是毛泽东1949年以后著作的选集。这本书的编辑、出版用了近十年的时间，时间贯穿了整个文革。 由于特殊原因，这本书在1982年被停止发行，至今也未重新进行出版。 在豆瓣网站上，这本书获得了8.8的高分评价，可以说很是值得一看。 本篇文章，我们将会介绍从网站下采集毛选...

分类目录: 数据采集

标签: Python数据采集文件处理爬虫

【数据采集实例分析】网页复杂渲染机制下的数据解析

一、前言 在进行数据采集的过程中，我们遇到的很多网页所采用的都是比较单一的页面渲染方法。比如： 后端直接返回HTML; 前端请求数据接口进行渲染； 对于采用第一种机制渲染的网页，我们直接使用BeautifulSoup或者正则表达式或xpath对元素进行定位和解析即可。 对于采用第二种机制渲染的网页，...

分类目录: 数据采集编程

标签: 数据采集经验编程

演示 | 突破淘宝滑块验证，Selenium直接登陆淘宝

前言 众所周知，阿里系的反爬虫技术一直都是业内一流的，随着反爬虫手段的不断加强，淘宝的登录从Selenium操纵webdriver直接登录，到Selenium模拟滑块验证码轨迹完成滑块验证，再到如今的只要是Selenium操纵的webdriver打开的浏览器，滑块验证都不会通过。 仿佛就像黑客世界的...

分类目录: 数据采集

标签: selenium反爬爬虫

破解爬虫过程中遇到的网页异或加密Email地址

1、问题来源 在数据采集过程中，经常有需要采集各种联系方式，其中就包括电子邮箱地址。一些毫不设防的网站的电子邮件地址可以直接从网页源码中获取到，而一些稍微有点防备爬虫意识的网站会将电子邮箱中的@符号替换为#号： 最近工作中，遇到一种之前从未遇到过的电子邮箱加密方式。在审查元素的时候能够获取到正确的数...

分类目录: 数据采集编程

标签: Python爬虫解密

快速掌握Python Selenium Web自动化：）四、使用Selenium在网页上进行操作

在上一篇中，我们介绍了如何使用Selenium在页面中查找定位页面元素。在定位到页面元素之后，我们能够做些什么呢？本篇我们就将来简单了解一下。 4.1 模拟键盘键入 4.1.1 输入文本 在定位到元素之后，我们一般会做什么？如果定位的是input输入框，那么我们可能需要在其中输入一些值。想要实现这个...

分类目录: 快速掌握Python Selenium Web自动化数据采集编程

标签: Pythonselenium

Python初学者如何从网络爬虫到机器学习？

很多同学选择了Python作为其学习编程的首选语言，而Python也以其容易上手的语法、广泛的应用领域、不断旺盛的市场需求回报着每一个学习者和应用者。 今天我们来说说Python的一个热门的应用领域——数据科学。 数据科学领域涵盖了数据的获取、数据的处理、数据的分析和数据的挖掘这4个方面。而这4个方...

分类目录: 数据应用数据采集

快速掌握Python Selenium Web自动化：三）在Selenium中定位查找网页元素的诸类方法

使用Selenium进行自动化操作，首先要做的就是通过webdriver的get()方法打开一个URL链接。 在打开链接，完成页面加载之后，就可以通过Selenium提供的接口，在页面上进行各种操作了，下面我们来了解一下如何在查找元素。 3.1 查找和定位网页元素 在上一篇的示例中，我们就演示了如何...

分类目录: 快速掌握Python Selenium Web自动化数据采集编程

标签: Pythonselenium

快速掌握Python Selenium Web自动化：二）Selenium操纵浏览器的最基本用例

简单的使用Selenium 如何完成了上一篇的学习内容，安装好了Python下的Selenium模块，同时下载了合适的浏览器驱动程序，那么我们就可以在Python中使用Selenium了。 先来看这样一个例子： # coding:utf-8 ''' @author:州的先生 @site:zmiste...

分类目录: 快速掌握Python Selenium Web自动化数据采集编程

标签: Pythonselenium