网页爬虫的最简C/C++程序代码示例------先通过列表获取所有博文id, 然后遍历所有博文id

涛歌依旧

墨衍会员 · AI 创作全网分发码龄14年

关注

原创最新推荐文章于 2025-07-11 11:47:04 发布 2w 阅读 AI 写同款· GEO 优化 ›

AI权益加码！Claude Code、Cursor等20+工具免费用！购周边限时加赠Coding Plan Lite，畅享主流AI工具！学习进阶更高效！阅读详情

做个网页爬虫很简单，本文我们来用C/C++语言玩一下，所用环境是Windows + VC++6.0, 其余平台也类似。

郑重说明：请勿用作非法或者商业用途，否则后果自负

我们在新浪上随便找一个博客，比如：http://blog.sina.com.cn/u/5890965060，我们可以看到，博主的用户名是：5890965060, 我们访问列表，并用fidder抓包，可以确定列表访问格式，直接上代码吧（如下程序只考虑功能，不考虑性能）：

#include <stdio.h>
#include <winsock2.h>
#pragma comment(lib, "ws2_32.lib")

int getRand(int n)
{
	return rand() % n + 1;
}

int main()
{
	int j = 1;
	for(j = 1; j <= 12; j++) // 博主的博文有12个列表
	{
		int flag = 0;
		WSADATA wsaData;
		WSAStartup(MAKEWORD(1,1), &wsaData);
		char szWeb[] = "blog.sina.com.cn";  // 新浪博客
		HOSTENT *pHost = gethostbyname(szWeb);
		const char* pIPAddr = inet_ntoa(*((struct in_addr *)pHost->h_addr)) ;
		printf("web server ip is : %s\n", pIPAddr);

		SOCKADDR_IN  webServerAddr;
		webServerAddr.sin_family = AF_INET;
		webServerAddr.sin_addr.S_un.S_addr=inet_addr(pIPAddr);
		webServerAddr.sin_port = htons(80);

		SOCKET sockClient = socket(AF_INET, SOCK_STREAM, 0);
		int nRet = connect(sockClient ,(struct sockaddr*)&webServerAddr, sizeof(webServerAddr));
		if(nRet < 0)
		{
			printf("connect error\n");
			return 1;
		}

		// 该博主博客列表访问格式/s/articlelist_5890965060_0_%d.html
		char szHttpRest[1024] = {0};
		sprintf(szHttpRest, "GET /s/articlelist_5890965060_0_%d.html HTTP/1.1\r\nHost:%s\r\nConnection: Keep-Alive\r\n\r\n", j, szWeb);

		printf("send buf is:\n");
		printf("%s\n", szHttpRest);

		nRet = send(sockClient , szHttpRest, strlen(szHttpRest) + 1, 0);
		if(nRet < 0)
		{
			printf("send error\n");
			return 1;
		}

		FILE *fp = fopen("test.txt", "a+");
		while(1)
		{
		    char szRecvBuf[2] = {0};
			nRet = recv(sockClient ,szRecvBuf, 1 ,0);
			
			if(nRet < 0)
			{
				printf("recv error\n");
				goto LABEL;
			}			
			
			if(0 == nRet)
			{
				printf("connection has been closed by web server\n");
				goto LABEL;
			}
			
			if(0 == flag)
			{
				printf("writing data to file...\n");
				flag = 1;
			}

			fputc(szRecvBuf[0], fp);
		}


	LABEL: 
		fclose(fp);
		closesocket(sockClient);  
		WSACleanup();  

		printf("list index is ------------------------------------> %d\n\n\n", j);
		Sleep(1000 * getRand(1));
	}

	printf("\n\n\ndone!!!!!!\n\n\n");

    return 0;
}

过滤test.txt文件发现(过滤原则依赖于fiddler抓包，从而确定博文链接的格式)：