想必昨天的七夕节，一定是有人欢喜有人忧的一天，朋友圈里的晒照惹恼了我的一个程序员朋友，在昨晚怒爬2万条相亲网站数据，做了一次相亲男女画像！
话不多说，我们今天就以“世纪佳缘”这个相亲网站为例子，爬取搜索页面当中所有的用户信息，包括“用户ID”、“年龄”、“城市”、“学历”、“属相”等内容，使用的工具是爬虫工具pycharm。
首先老规矩，爬虫之前我们先分析一些目标网页的构成，我们进入世纪佳缘的搜索页面，摁下F12打开开发者工具，找到网页选项，看一下网页的Request URL和请求方式、user-agent等基本信息：
请求方式是post，说明我们不用去源代码里找标签了，所有的数据都存放在网页的json文件当中，这倒是方便很多，我们直接通过链接直接获取API文件，不需要进行网页解析，点击HTR后点击“请求”就能看到表单数据了。
很显然，“sex”就是性别，“f”是“female”的缩写，“p”代表着页码，因为搜索页面一共有10页，所以我们需要构造一下完整的请求url：
http:// search.jiayuan.com/v2/s earch_v2.php ？key=&sex=f&stc=1:11,2:18.24,3:155.170,23:1&s
13万+
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
