Python 爬取内容存入Excel实例

AI权益加码!Claude Code、Cursor等20+工具免费用! 购周边限时加赠Coding Plan Lite,畅享主流AI工具!学习进阶更高效! 阅读详情

       【根据博友们的反馈,博主用python3重新写了一遍,并做了一些改进,点击查看python爬取豆瓣Top250-改进版

       最近老师布置了个作业,爬取豆瓣top250的电影信息。按照套路,自然是先去看看源代码了,一看,基本的信息竟然都有,心想这可省事多了。简单分析了下源代码,标记出所需信息的所在标签,ok,开始干活!

      鉴于正则表达式的资料已经看了不少,所以本次除了beautifulsoup外,还有些re的使用,当然,比较简单。而爬到信息后,以往一般是存到txt文件,或者数据库中,老是重样的操作,难免有些‘厌倦’。心想,干嘛不存到Excel表呢?对啊,可以存到Excel表嘛。。。

      环境准备:pip install openpyxl  (假设你已配好了python环境)

      好了,废话少说,上代码。

    

# coding=UTF-8
'''
  function:爬取豆瓣top250的电影信息,并写入Excel文件
'''
import requests
import re
from openpyxl import workbook  # 写入Excel表所用
from openpyxl import load_workbook  # 读取Excel表所用
from bs4 import BeautifulSoup as bs
import os
os.chdir('C:\Users\Administrator\Desktop')  # 更改工作目录为桌面


def getHtml(src):
    html = requests.get(src).content
    
python爬取数据存到excel,python爬虫保存数据 上一关我们以QQ音乐为例,主要学习了如何带参数地请求数据(get请求)和Request Headers的用法,最终爬取到了周杰伦歌曲信息的数据。那么有一个新的问题来了——爬到的数据要怎么存下来?可能你会想到这样的方案:把爬到的数据一条条复制黏贴,然后存成Excel文件python简单代码控制小车。这样的方案对于存储十几条数据还好说,可是当我们爬取到的数据超过几百条时,这样的方案显然不可取。走到这一关卡,获取数据、解析数据以及提取数据,我们都学会了。 阅读详情

相关推荐

python抓取网页内容excel,python如何抓取网页数据

记录一下使用python将网页上的数据写入到excel中由于我这边的业务需要去除两个网站中相同的手机号,所以做了一些处理。java程序员第一次接触python,大家可以根据自己的需求修改里面具体的业务逻辑。

www55597的博客 3028

python爬取数据存到excel,python爬取数据的意义

上一关我们以QQ音乐为例,主要学习了如何带参数地请求数据(get请求)和Request Headers的用法,最终爬取到了周杰伦歌曲信息的数据。那么有一个新的问题来了——爬到的数据要怎么存下来?可能你会想到这样的方案:把爬到的数据一条条复制黏贴,然后存成Excel文件python中turtle画。这样的方案对于存储十几条数据还好说,可是当我们爬取到的数据超过几百条时,这样的方案显然不可取。走到这一关卡,获取数据、解析数据以及提取数据,我们都学会了。

weixin_61088415的博客 1140

Python 爬取内容存入Excel实例(改进)

今天想找一个爬虫代码研究一下原理。于是找了一个爬取豆瓣top250的电影信息,并写入Excel文件的代码。但是总是报错(原文章)。通过改进代码学习了爬虫的基本原理。 直接看代码: # coding=UTF-8 ''' function:爬取豆瓣top250的电影信息,并写入Excel文件 ''' import requests import re from openpyxl import wo...

屎山搬运工 1937

Python爬虫入门(链家爬虫)存入Excel表格(适合初学者)

Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。发现我们已经成功定位到了这个数据那我们进一步去取数据吧!掏出我们祖上传下的传家模板写出我们的翻页并且看看我们能不能获取响应。

m0_59162248的博客 4380

python爬取内容_python爬取内容存入Excel实例

python爬取内容存入Excel实例来源:中文源码网 浏览: 次 日期:2019年11月5日【下载文档: python爬取内容存入Excel实例.txt 】(友情提示:右键点上行txt文档名->目标另存为)python爬取内容存入Excel实例最近老师布置了个作业,爬取豆瓣top250的电影信息。按照套路,自然是先去看看源代码了,一看,基本的信息竟然都有,心想这可省事多了。简单分析...

weixin_39553352的博客 254

python爬取天气存入excel_python爬取内容存入Excel实例

最近老师布置了个作业,爬取豆瓣top250的电影信息。按照套路,自然是先去看看源代码了,一看,基本的信息竟然都有,心想这可省事多了。简单分析了下源代码,标记出所需信息的所在标签,ok,开始干活!鉴于正则表达式的资料已经看了不少,所以本次除了beautifulsoup外,还有些re的使用,当然,比较简单。而爬到信息后,以往一般是存到txt文件,或者数据库中,老是重样的操作,难免有些‘厌倦'。心想,干...

weixin_39967996的博客 377

python爬取小说排行榜到excel表中_python爬取内容存入Excel实例

最近老师布置了个作业,爬取豆瓣top250的电影信息。按照套路,自然是先去看看源代码了,一看,基本的信息竟然都有,心想这可省事多了。简单分析了下源代码,标记出所需信息的所在标签,ok,开始干活!鉴于正则表达式的资料已经看了不少,所以本次除了beautifulsoup外,还有些re的使用,当然,比较简单。而爬到信息后,以往一般是存到txt文件,或者数据库中,老是重样的操作,难免有些‘厌倦'。心想,干...

weixin_39737764的博客 426

数据结构化与保存

1.结构化: 单条新闻的详情字典:news 一个列表页所有单条新闻汇总列表:newsls.append(news) 所有列表页的所有新闻汇总列表:newstotal.extend(newsls) (1)单条新闻的详情字典:news import requests from bs4 import BeautifulSoup from datetime import date...

weixin_30701575的博客 68

利用Python爬取数据存入Excel表格

分析要爬取内容的网页结构: demo.py: import requests #requests是HTTP库 import re from openpyxl import workbook # 写入Excel表所用 from openpyxl import load_workbook # 读取Excel表所用 from bs4 import BeautifulSoup as bs ...

web开发与Python 7236

python实现爬取网页将特定信息存入excel

python爬虫爬取网页将特定信息存入excel 背景 1、最近遇到一个需要进行数据分析的项目,主要是将网页上需要的信息,进行归拢,分析。当信息量少的时候,采用复制粘贴-excel分析还比较快捷方便,当如果数据上升到几百甚至几千条时,一个一个的复制粘贴,就明显感觉效率低下,难以操作。 2、之前也一直听说过python爬虫,趁着这个机会正好来实验一波。笔者几年前曾学过python,有一定的基础。 需求分析: 1、目的:通过python爬虫,实现批量化抓取网页中的有效信息,然后将信息,一条一条的存储到excel

Jack Yi的博客 1万+

python爬取沪深所有股票数据并生成Excel文件

爬取沪深所有股票数据并生成Excel文件 一、分析需求 1、对于沪深两市的各只股票,获取其:‘股票代码’, ‘股票名称’, ‘最高’, ‘最低’, ‘涨停’, ‘跌停’, ‘换手率’, ‘振幅’, '成交量’等信息; 2、将获取的信息存放在Excel文件中,股票信息属性作为表头,每只股票信息作为表格的一行,每个单元格存放一个信息。 #程序运行结果如下: 二、分析需求并设计算法 1、确定爬取的网站...

Yixin_Hu的博客 2万+

python爬取内容存入Excel

# coding=UTF-8 ''' function:爬取豆瓣top250的电影信息,并写入Excel文件 想要学习PythonPython学习交流群:1004391443满足你的需求,资料都已经上传群文件,可以自行下载! ''' import requests import re from openpyxl import workbook # 写入Excel表所用 from openpy...

人生苦短, 还不用Python? 2463

Python爬虫学习之爬取豆瓣音乐Top250存入Excel表格中

前言 目标网站:https://music.douban.com/top250 任务: 爬取豆瓣音乐Top250的歌曲名 爬取豆瓣音乐Top250的歌曲对应的表演者、发行时间和音乐流派(分别对应下图斜杠一行的第1个、第2个和最后1个) 爬取豆瓣音乐Top250的歌曲对应的评分和歌曲详情链接 将爬取到的数据依次写入Excel表格中 打开网页 → 点击下一页 → 发现网站URL有所改变 → 再点击下一页 → 返回第一页 → 发现网址的规律 https://music.douban.com/top250?s

qq_45742126的博客 3084

Python爬虫实例爬取国内所有医院信息

本博客仅用于技术讨论,若有侵权,联系笔者删除。 此次的目的是爬取国内医院的基本信息,并按省份存储。爬取的黄页是医院列表。以下是结果图: 一、初始化数据 初始化基本的数据,包括global变量,省份名称等等。 import requests,re,xlwt,datetime from bs4 import BeautifulSoup #初始化 def init(): gl...

VM_Alike的博客 1万+

Python3 selector 爬取豆瓣读书信息 并将其存入Excel表格或mysql数据

一. 爬取豆瓣读书信息 这里只爬取豆瓣读书信息的书名和评分 #coding=utf-8 import urllib.request import lxml.etree from cssselect import GenericTranslator, SelectorError def loadDoubanScore(url, tag, start): ''' 爬取豆瓣读书的评分...

缘来如此 2052

python爬取数据存入excel_将爬取数据存到Excel表格

第一步、导入模块import xlwt # 导入写入excel需要的包第二步、定义函数,将爬取好的数据存到excel文件中,下面以保存python的关键词为例,介绍详细流程。def write_to_excel(filename, lst):# 为防止写入失败,捕获异常try:# 1 创建一个workbook,相当于创建excel文件work_book = xlwt.Workbook(encod...

weixin_39728320的博客 6762
上一篇: Python 爬取网站小实例
下一篇: Python操作mysql数据库
RunnerJxc
博客等级 码龄11年 113粉丝 72原创
评论 60
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值