提取网页中链接和标题的正则表达式

关注

转载最新推荐文章于 2022-04-11 22:53:48 发布 1.5k 阅读 AI 写同款· GEO 优化 ›

python爬取虎嗅网首页新闻超链接、图片链接、标题要求：爬取该网站首页内容，即获取每一个超链接、图片链接、标题，以.CSV存储(一行就是一个新闻的超链接、图片链接、标题) 文章目录用不上的思考过程正文1.观察新闻页面源码2.编写代码提取信息3.观察首页源码并编写正则表达式源码建议直接点正文???? 用不上的思考过程 1.新闻超链接存在于a的herf属性中，/article/408795.html，前面要加上https://www.huxiu.com 2.图片链接暂时还不知道存在哪 https://img.huxiucdn.com/article/cove 阅读详情

1.远程抓取： using System.Text.RegularExpressions;using System.IO; WebClient w = new WebClient(); byte[] bytes = w.DownloadData("http://news.sina.com.cn/"); string strHtml = System.Text.Encoding.Default.GetString(bytes); string p =@"/<a.*href/s*=/s*(?:""(?<url>[^""]*)""|'(?<url>[^']*)'|(?<url>[^/>^/s]+)).*/>(?<title>[^/<^/>]*)/<[^/</a/>]*/a/>"; Regex reg = new Regex(p, RegexOptions.IgnoreCase); MatchCollection ms = reg.Matches(strHtml); Console.WriteLine("总共抓取了：{0}条链接。",ms.Count); foreach(Match m in ms) { Console.WriteLine("{0}/n{1}/n", m.Groups["title"].Value, m.Groups["url"].Value); } 2.本地测试： using System.Text.RegularExpressions;using System.IO; string mystr=@"<A HREF=""aaaahttp://www.csdn.net"">aaaa</A>"; string p = @"/<a.*href/s*=/s*(?:""(?<url>[^""]*)""|'(?<url>[^']*)'|(?<url>[^/>^/s]+)).*/>(?<title>[^/<^/>]*)/<[^/</a/>]*/a/>"; Regex reg = new Regex(p, RegexOptions.IgnoreCase); MatchCollection ms = reg.Matches(mystr); foreach(Match m in ms) { MessageBox.Show (m.Groups["title"].Value); MessageBox.Show(m.Groups["url"].Value); }