如何提取网页中链接和标题的正则表达式

flashasp

墨衍会员 · AI 创作全网分发码龄24年

关注

原创最新推荐文章于 2024-08-15 11:25:06 发布 1.2k 阅读 AI 写同款· GEO 优化 ›

正则匹配提取文档各级标题--标题提取从政府报告等文档中直接提取标题复制到xmind思维导图中。exec内的赋值是局部变量。修改list勾选标题格式。中文标点需要单独转码匹配。阅读详情

1.远程抓取：

using System.Text.RegularExpressions;
using System.IO;

WebClient w = new WebClient();
byte[] bytes = w.DownloadData("http://news.sina.com.cn/");
string strHtml = System.Text.Encoding.Default.GetString(bytes);

string p =@"/<a.*href/s*=/s*(?:""(?<url>[^""]*)""|'(?<url>[^']*)'|(?<url>[^/>^/s]+)).*/>(?<title>[^/<^/>]*)/<[^/</a/>]*/a/>";

Regex reg = new Regex(p, RegexOptions.IgnoreCase);
MatchCollection ms = reg.Matches(strHtml);

Console.WriteLine("总共抓取了：{0}条链接。",ms.Count);

foreach(Match m in ms)
{
Console.WriteLine("{0}/n{1}/n", m.Groups["title"].Value, m.Groups["url"].Value);
}

2.本地测试：

using System.Text.RegularExpressions;
using System.IO;

string mystr=@"<A HREF=""http://www.csdn.net"">aaaa</A>";
            string p = @"/<a.*href/s*=/s*(?:""(?<url>[^""]*)""|'(?<url>[^']*)'|(?<url>[^/>^/s]+)).*/>(?<title>[^/<^/>]*)/<[^/</a/>]*/a/>";
            Regex reg = new Regex(p, RegexOptions.IgnoreCase);
            MatchCollection ms = reg.Matches(mystr);
            foreach(Match   m   in   ms)
              {
                  MessageBox.Show (m.Groups["title"].Value);
                  MessageBox.Show(m.Groups["url"].Value);
              }