州的先生

爬取百度音乐5000热门歌单10万音乐数据





平时喜欢用百度音乐随便找个歌单听听歌,一来搜索打开方便,二来歌曲曲目也全。今天在找歌单的时候,突然想看看热门歌单里都有哪里歌曲,于是便有了这个小程序。

首先,需要获取各个歌单的地址,我们从百度音乐的歌单首页入手:

qq%e6%88%aa%e5%9b%be20161228165426

图中红框的为歌单的当前的数目,页面每一页有20个歌单,也就是有20个URL,我们把它提取出来:

存入数据库之后,就有了下面的结果:

qq%e6%88%aa%e5%9b%be20161228165809

有了歌单的URL地址,我们访问看看:

qq%e6%88%aa%e5%9b%be20161228170025

一个歌单的内页就像这样,在这里,我们只提取出红框中的信息,就是歌单的名称、歌单的创建者、歌单的标签、歌单的播放次数、歌单歌曲的曲名、演唱者和专辑。

在网页上按F12打开调试工具,找到上述信息对应的位置,进行匹配。

最后,使用多线程或者多进程对函数进行调用。

一共爬取了5000余歌单总计10万的歌曲信息,部分截图如下:

qq%e6%88%aa%e5%9b%be20161228170803

完整爬虫代码的下载链接,关注微信公众号:州的先生,回复关键字:百度歌单爬虫

 


州的先生 Zmister.com 版权所有丨转载请邮件联系授权后注明转自:http://zmister.com/archives/74.html
点赞

发表评论

电子邮件地址不会被公开。