公众号关注 “菜鸟学Python”
设为 “星标”，带你一起学Python！
最近的一段时间里，小编喜欢上了CosPlay的展出，小姐姐们的CosPlay展真的是让我很是欣赏，于是，我回到家里就从网上来看展出，但是一个个网页查看太过繁琐～～
既然是玩Python，不如写个代码搞定！小编就自己写了一个爬虫的程序，仅仅只需要几十行的代码，就爬取了上千张CosPlay小姐姐的美照，小编特地拿出来跟大家分享一下，一步步的教大家如何来抓取cosplay的照片。
01.网页介绍
小编爬取的是抽妹网->图片专区->cosplay下的图片信息。网页链接为：
所以我们首先应该在程序中抓取每个页面下的全部的子网页链接，然后不断的翻页，来抓取到全部的子网页的链接。
进入到每个子网页中，如下图所示：
在每个子网页下面，就是我们想要抓取的cosplay图片。经过上面的分析之后，我们明白了整体的抓取的流程应该如下图所示。
程序应该不断的抓取子网页的链接，然后在子网页中不断的抓取每张图片，并保存到本地的文件夹中。
02.程序实现
程序的主逻辑有了，接下来就是如何来实现了。首先，我们来看一下，如何实现在主页面中抓取每个子页面的链接。
打开主页面的网页源代码发现，页面属于静态页面，所以每个子页面的网页链接都在网页源代码中能够找到，如下图所示:
所以，在程序中，只需要分析网页源代码并提取每个子网页的链接即可，程序如下图所示。
上述程序中，首先构造了主网页的链接，然后获取并分析主网页的源代码，并找到包含子网页的标签，对于每一个子网页的主题名称和url进行提取。创建主题名称的文件夹用来保存图片，然后再savePic的函数中对子网页进行处理。
03.子网页的图片提取
接下来就是对于子网页中图片的提取，也就是savePic函数的实现。子网页同样是采用的静态网页的形式，因此，程序的主逻辑同主页面的抓取非常的类似，程序如下所示：
上述的程序中，同样利用requests来请求网页源代码，并利用BeautifulSoup来进行分析，并提取包含图片url的标签，如果提取正确，那么就将图片保存到本地，如果提取失败，则换另外一种方式进行提取。
在实际程序编写的过程中，会发现某些文件夹中没有图片，经过分析后才会发现是第一种提取图片url的方式失败所导致的，因此才有了第二种url的提取方式。此外程序中，小编还多次的用到了try...except来对程序进行保护，提高了程序的容错性。
04.结果展示
程序完成后，大家只需要运行上述程序，就可以获得大量的cosplay照片，如下图所示。
以上就是小编为大家带来的干货分享，大家也赶快下载程序，自己来爬取小姐姐的cosplay照片，慢慢欣赏吧。
需要本篇源码的可以，如下获取：
1.扫描下面的公众号（非本公众号）
2.输入：cs1228
长按输入: cs1228
爆款文案“裂开了，苦涩了，翻白眼”！我用Python画出微信新出的表情包
吃瓜群众，我用五行Python代码让微博热点动起来！抖音创始人张一鸣：10 年面试 2000 人，我发现混的好的人，全都有同一个特质
卧槽！没想到，用Python竟能做五仁月饼
Python 初学者进阶的九大技能
终于，Flask 迎来了真正的对手！
7个最佳的学习Python编程的开源库3287亿！我用20行Python代码预测双十一成交额，猜中送红包哦
点这里，获取新手福利
48万+
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
