分类： 编程

【数据采集实例分析】网页复杂渲染机制下的数据解析

一、前言 在进行数据采集的过程中，我们遇到的很多网页所采用的都是比较单一的页面渲染方法。比如： 后端直接返回HTML; 前端请求数据接口进行渲染； 对于采用第一种机制渲染的网页，我们直接使用BeautifulSoup或者正则表达式或xpath对元素进行定位和解析即可。 对于采用第二种机制渲染的网页，...

分类目录: 数据采集编程

标签: 数据采集经验编程

使用Python让电脑自动倒计时关机

在日常使用电脑的过程中，很多小伙伴都有让电脑定时自动关机的需求。通常而言，大家一般都会有几种选择。 假如哪一天，你女神问你，有没有什么定时关机的好方法，你怎么告诉她？ 一、熟悉计算机操作的话，可以使用cmd命令 有些小伙伴比较熟悉计算机的各种操作，是一个十足的电脑通，“电脑修得好，XXX当到老”，咳...

分类目录: 图形用户界面编程

Python GUI教程（十四）：在PyQt5中使用数据库

在桌面图像化界面编程中，我们通常需要将一些数据或配置信息存储在本地。在本地进行数据的存储，我们可以直接使用文本文件，比如ini文件、csv文件、json文件等，或者是使用文件型的数据库（比如sqlit3）进行存储。 PyQt5的SQL数据库支持 Qt平台对SQL编程有着良好的支持，PyQt5也一并继...

分类目录: PyQt5基础教程图形用户界面编程

标签: Pyqt5PythonSQL数据库

快速去除天猫工商执照图片纯色水印

一、前言 在之前的文章：使用Python爬取天猫店铺联系方式|思路与方法 中我们介绍了如何使用Python采集天猫店铺的企业联系方式。 在采集的过程中，我们有两个地方需要对图片进行处理，其中一个是验证码： 在这里我们需要将验证码下载到本地并进行验证码识别。 第二个地方则是店铺工商执照的照片： 图片是...

分类目录: 编程

标签: opencvPyqt5图像处理

破解爬虫过程中遇到的网页异或加密Email地址

1、问题来源 在数据采集过程中，经常有需要采集各种联系方式，其中就包括电子邮箱地址。一些毫不设防的网站的电子邮件地址可以直接从网页源码中获取到，而一些稍微有点防备爬虫意识的网站会将电子邮箱中的@符号替换为#号： 最近工作中，遇到一种之前从未遇到过的电子邮箱加密方式。在审查元素的时候能够获取到正确的数...

分类目录: 数据采集编程

标签: Python爬虫解密

快速掌握Python Selenium Web自动化：）四、使用Selenium在网页上进行操作

在上一篇中，我们介绍了如何使用Selenium在页面中查找定位页面元素。在定位到页面元素之后，我们能够做些什么呢？本篇我们就将来简单了解一下。 4.1 模拟键盘键入 4.1.1 输入文本 在定位到元素之后，我们一般会做什么？如果定位的是input输入框，那么我们可能需要在其中输入一些值。想要实现这个...

分类目录: 快速掌握Python Selenium Web自动化数据采集编程

标签: Pythonselenium

使用Python全栈打造淘宝客微信群聊机器人

淘宝客，作为互联网经久不衰的网赚渠道，发展多年依然深受追捧； 微信，作为国民第一社交软件，其中蕴藏的商机犹如一口不尽的泉眼，无论是微商还是其他的社交化商业渠道都将微信作为一个发力平台： Python，作为近年来不断火热的编程语言，在爬虫、Web 开发、人工智能等各个领域都能够插上一脚的特性，使得其成...

分类目录: 编程

标签: gitchatPyqt5Python

快速掌握Python Selenium Web自动化：三）在Selenium中定位查找网页元素的诸类方法

使用Selenium进行自动化操作，首先要做的就是通过webdriver的get()方法打开一个URL链接。 在打开链接，完成页面加载之后，就可以通过Selenium提供的接口，在页面上进行各种操作了，下面我们来了解一下如何在查找元素。 3.1 查找和定位网页元素 在上一篇的示例中，我们就演示了如何...

分类目录: 快速掌握Python Selenium Web自动化数据采集编程

标签: Pythonselenium

快速掌握Python Selenium Web自动化：二）Selenium操纵浏览器的最基本用例

简单的使用Selenium 如何完成了上一篇的学习内容，安装好了Python下的Selenium模块，同时下载了合适的浏览器驱动程序，那么我们就可以在Python中使用Selenium了。 先来看这样一个例子： # coding:utf-8 ''' @author:州的先生 @site:zmiste...

分类目录: 快速掌握Python Selenium Web自动化数据采集编程

标签: Pythonselenium

快速掌握Python Selenium Web自动化：1、搭建Selenium环境

1.1、Selenium是什么 Selenium是什么，相信从事自动化测试的同学或者有过Python爬虫经历的同学都会有了解。 Selenium是一个Web自动化测试软件， 正如Selenium官网所言：Selenium主要是为了测试目的而进行自动化的Web应用程序，但是当然并不限于此，一些基于We...

分类目录: 快速掌握Python Selenium Web自动化数据采集编程

标签: Pythonselenium

Python开发者的微信小程序开发实践|gitchat

2017年微信小程序横空出世，惊诧了中国移动互联网。看重者言其将革了 IOS 和 Android 的命，看轻者斥其必将无所作为。 无论重视或是轻视，微信小程序都越来越多地出现在了我们的生活、工作和学习中。前期大量的工具类型小程序给了我们对待某些低频应用的第三种选择，后期社交电商小程序（拼多多等）的爆...

分类目录: 编程

标签: djangogitchatPython微信小程序

编程与下厨房：如何教女友写Python（二：不从Hello World开始

一、不从“Hello World”开始 但凡是介绍编程语言的入门书籍，都会把“hello world”这个句子的输出作为第一个程序的示例，这种约定俗成的做法就像是新居进火的仪式一般具有非凡的意义。 但是在这里，我们并不打算将Python的第一个程序用在输出“hello world”上，那多俗气。咱们...

分类目录: 编程

各省公考来临，使用Python爬取一波人民日报时评助力正在申论备考的你

各省的公务员考试都已经进入了报名阶段，很多报考了的同学也都在准备进行行测和申论的复习备考。 对于申论，很多同学都会选择一边做题一边看新闻联播、人民日报等官方媒体渠道的方式来备考。 多阅读和观看新闻联播、人民日报等官方媒体，可以提高对时政的掌握，以及了解官方对某些事物的具体态度。 而人民日报时评和社论...

分类目录: 数据采集编程

标签: Python爬虫

编程与下厨房：如何教女友写Python（一：厨房与Python

一、起源 为什么有这样一个Python入门教程，嗯，大概是为了男女搭配干活不累吧。(⊙﹏⊙)，哈哈，不瞎扯。 写给女友看的Python入门之道，同样也适合于像她那样的各种电脑小白、编程小白，编程只存在于耳闻、电脑多用来于看剧、英文基本忘光的广大同学。 从Python安装，到Python的基本语法和结...

分类目录: 编程

标签: Pythonpython入门