梦想还是要有的, 万一实现了呢?

Python爬虫实战之抓取淘宝MM照片

Python 拈花古佛 1001℃

福利啊福利,本次为大家带来的项目是抓取淘宝MM照片并保存起来,大家有没有很激动呢?
淘女郎

本篇目标

1.抓取淘宝MM的姓名,头像,年龄

2.抓取每一个MM的资料简介以及写真图片

3.把每一个MM的写真图片按照文件夹保存到本地

4.熟悉文件保存的过程

1.URL的格式

在这里我们用到的URL是 http://mm.taobao.com/json/request_top_list.htm?page=1,问号前面是基地址,后面的参数page是代表第几页,可以随意更换地址。点击开之后,会发现有一些淘宝MM的简介,并附有超链接链接到个人详情页面。

我们需要抓取本页面的头像地址,MM姓名,MM年龄,MM居住地,以及MM的个人详情页面地址。

2.抓取简要信息

相信大家经过上几次的实战,对抓取和提取页面的地址已经非常熟悉了,这里没有什么难度了,我们首先抓取本页面的MM详情页面地址,姓名,年龄等等的信息打印出来,直接贴代码如下

运行结果如下

Python爬虫实战之抓取淘宝MM照片

 2.文件写入简介

在这里,我们有写入图片和写入文本两种方式

1)写入图片

2)写入文本

 

3)创建新目录

3.代码完善

主要的知识点已经在前面都涉及到了,如果大家前面的章节都已经看了,完成这个爬虫不在话下,具体的详情在此不再赘述,直接帖代码啦。

spider.py

 

tool.py

以上两个文件就是所有的代码内容,运行一下试试看,那叫一个酸爽啊

Python爬虫实战之抓取淘宝MM照片

看看文件夹里面有什么变化

Python爬虫实战之抓取淘宝MM照片

Python爬虫实战之抓取淘宝MM照片

不知不觉,海量的MM图片已经进入了你的电脑,还不快快去试试看!!

代码均为本人所敲,写的不好,大神勿喷,写来方便自己,同时分享给大家参考!希望大家支持!

转载自:崔庆才的博客

转载请注明:拈花古佛 » Python爬虫实战之抓取淘宝MM照片

喜欢 (0)or分享 (0)