老板丢给我60万行的Excel数据,幸亏我会Python,不然就惨了

AI权益加码!Claude Code、Cursor等20+工具免费用! 购周边限时加赠Coding Plan Lite,畅享主流AI工具!学习进阶更高效! 阅读详情

一个朋友在某运动品牌公司上班,老板给他布置了一个处理客户订单数据的任务。要求是根据订单时间和客户id判断生成四个新的数据:

1、记录该客户是第几次光顾

2、上一次的日期时间是什么时候

3、与上次订单的间隔时间

4、这是一个existing客户还是一个new客户(见定义)

文件说明:

1、第一列是订单日期和时间(乱序)

2、第二列是客户的id

3、第三列不需要使用

4、60+万行数据

相关定义如下:

1、existing:此次下单日期时间与上次日期时间的距离在N天以内,精确到时间(时分秒)

2、new:即超过N天

整体思路

1、读取表格的行数据存储成list,并按照时间列的升序排序。

2、维护一个map(在python里是字典dict),每个用户 id 作为key,一个二元组(第几次下单,上一次的日期时间)作为value。

3、遍历表格行数据的list。判断客户 id 是否已经存在于map中,若首次出现,则置该客户 id 在map中的value为[1,‘首次下单’],对应行数据新增的4个数据为[1,‘首次下单’,该次日期时间与上次日期时间差,‘new’]。若已经存在,则更新map中对应的value为[原次数+1,该次日期时间],对应行数据新增的4个数据为[原次数+1,上次日期时间,间隔时间,new/existing取决于间隔时间与预设N]。

4、将修改过后的行数据list写入到Excel工作簿并保存。

读取表格数据

我们可以用xlrd模块对Excel文件进行读取,以便进一步分析处理数据。示例代码如下:

以上代码成功输出前100行的日期则说明已经成功读取到数据。输出结果如下:

既然读取文件没有问题,进一步浏览整个文件发现存在多余的空行和重复的标题行在读取和转存中可以用正则匹配过滤掉这些行。

将读取的行数据转存到list中,以便进行排序。

将修改后的行数据list写入Excel表格并保存为xslx格式

结果展示

完整代码

这里给大家分享一份Python全套学习资料,包括学习路线、软件、源码、视频、面试题等等,都是我自己学习时整理的,希望可以对正在学习或者想要学习Python的朋友有帮助!

CSDN大礼包:全网最全《全套Python学习资料》免费分享🎁

😝有需要的小伙伴,可以点击下方链接免费领取或者V扫描下方二维码免费领取🆓

👉CSDN大礼包🎁:全网最全《Python学习资料》免费分享(安全链接,放心点击)👈

1️⃣零基础入门

① 学习路线

对于从来没有接触过Python的同学,我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
在这里插入图片描述

② 路线对应学习视频

还有很多适合0基础入门的学习视频,有了这些视频,轻轻松松上手Python~在这里插入图片描述

③练习题

每节视频课后,都有对应的练习题哦,可以检验学习成果哈哈!
在这里插入图片描述
因篇幅有限,仅展示部分资料

2️⃣国内外Python书籍、文档

① 文档和书籍资料

在这里插入图片描述

3️⃣Python工具包+项目源码合集

①Python工具包

学习Python常用的开发软件都在这里了!每个都有详细的安装教程,保证你可以安装成功哦!
在这里插入图片描述

②Python实战案例

光学理论是没用的,要学会跟着一起敲代码,动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。100+实战案例源码等你来拿!
在这里插入图片描述

③Python小游戏源码

如果觉得上面的实战案例有点枯燥,可以试试自己用Python编写小游戏,让你的学习过程中增添一点趣味!
在这里插入图片描述

4️⃣Python面试题

我们学会了Python之后,有了技能就可以出去找工作啦!下面这些面试题是都来自阿里、腾讯、字节等一线互联网大厂,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。
在这里插入图片描述
在这里插入图片描述

5️⃣Python兼职渠道

而且学会Python以后,还可以在各大兼职平台接单赚钱,各种兼职渠道+兼职注意事项+如何和客户沟通,我都整理成文档了。
在这里插入图片描述
在这里插入图片描述
上述所有资料 ⚡️ ,朋友们如果有需要 📦《全套Python学习资料》的,可以扫描下方二维码免费领取 🆓
😝有需要的小伙伴,可以点击下方链接免费领取或者V扫描下方二维码免费领取🆓

👉CSDN大礼包🎁:全网最全《Python学习资料》免费分享(安全链接,放心点击)👈

如何处理多个一百万行excel表的数据分析 数据驱动的时代,处理大规模数据集的能力成为了企业和个人竞争力的重要组成部分。尤其是在日常工作中,我们经常需要处理包含数百万行数据Excel文件。然而,当面临这样的大数据量时,传统的Excel工具往往显得力不从心,不仅处理速度慢,还容易崩溃。那么,如何高效地处理多个百万行Excel表呢?本文将为你提供一些实用的方法和技巧。 阅读详情

相关推荐

AI赚钱实操路线图:效率杠杆、体验溢价、数据套利、认知外包

AI商业化不是模型参数竞赛,而是将大语言模型能力转化为可交付价值的过程。其核心原理在于识别真实业务中的信息差、时间税、体验断层与专家经验瓶颈,并通过模型选型、提示词工程、数据治理与人机协同等技术手段构建闭环服务。技术价值体现在降本增效的确定性、用户体验的差异化以及决策过程的可复现性。典型应用场景包括智能客服话术优化、外贸合规文档校验、本地商家内容运营、跨境电商选品辅助等。本文聚焦AI落地中的四类高价值路径——效率杠杆、体验溢价、数据套利与认知外包,结合UPDF AI文档处理与多模型混搭实践,提供从需求验证到

weixin_30698527的博客 428

常见的海量数据处理方法

1. 给定a、b两个文件,各存放50亿个url,每个url各占64字节,内存限制是4G,让你找出a、b文件共同的url? 方案1:可以估计每个文件安的大小为50G×64=320G,远远大于内存限制的4G。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。 s 遍历文件a,对每个url求取 ,然后根据所取得的值将url分别存储到1000个小文件(记为 )中。这样每个小文件的大约为300...

程序员的艺术人生! 1100

MuleSoft企业级AI编排:LLM集成的契约翻译与安全护栏

AI编排(AI Orchestration)是将大语言模型深度融入企业核心业务系统的关键范式,其本质不是简单调用API,而是解决LLM‘语义泛化能力’与ERP、CRM等系统‘刚性数据契约’之间的根本矛盾。通过MuleSoft Anypoint Platform构建的上下文注入、多层校验护栏和反馈闭环机制,可实现对SAP、Salesforce等系统的字段级理解与合规输出控制。该架构显著提升LLM在采购建议、合同生成等场景中的准确性与安全性,支撑高并发、低延迟、强审计的企业级AI服务落地。本文聚焦Enterpr

375

python处理excel表格-60万行Excel数据Python轻松处理

原标题:60万行Excel数据Python轻松处理一个朋友在某运动品牌公司上班,老板给他布置了一个处理客户订单数据的任务。要求是根据订单时间和客户id判断生成四个新的数据:1、记录该客户是第几次光顾2、上一次的日期时间是什么时候3、与上次订单的间隔时间4、这是一个existing客户还是一个new客户(见定义)推荐下我自己创建的Python学习交流群960410445,这是Python学习交流...

q6q6q的专栏 1285

EXCEL——处理大批量数据

EXCEL——处理大批量数据方法简介比如例子 方法简介 EXCEL中的元素是按照顺序表存贮的,不适合删减元素,所以我们在删除数据的时候可以转化为选中需要的数据,直接复制粘贴速度非常快。 比如 删除一个元素,后面的元素都需要移动一下。即对于一个60w的数据量,如果你删除第一个元素,那么就需要移动60w次。如果是复制,就只需要移动一次。 例子 开启筛选,只选择你需要的元素,之后全选,复制即可。 ...

Williamcsj的博客 4672

使用ASP技术实现HTML、Word和Excel文件自动生成指南

本文还有配套的精品资源,点击获取 简介:ASP(Active Server Pages)是微软开发的服务器端脚本技术,支持多种文件类型的生成。本指南将详细介绍如何使用ASP结合FSO、模板引擎、Office对象模型等技术,实现基于模板动态生成HTML、Word和Excel文件的过程。这一技术对于Web应用程序和OA办公系统的文件管理和自动化流程至关重要。 1. ASP...

weixin_36235398的博客 1369

python 时间差_老板给我60万行Excel数据幸亏我会Python,不然就

一个朋友在某运动品牌公司上班,老板给他布置了一个处理客户订单数据的任务。要求是根据订单时间和客户id判断生成四个新的数据:1、记录该客户是第几次光顾2、上一次的日期时间是什么时候3、与上次订单的间隔时间4、这是一个existing客户还是一个new客户(见定义)文件说明:1、第一列是订单日期和时间(乱序)2、第二列是客户的id3、第三列不需要使用4、60+万行数据相关定义如下:1、existing...

weixin_39599454的博客 116

老板给我60万行Excel数据幸亏我会Python,不然就凉凉了

一个朋友在某运动品牌公司上班,老板给他布置了一个处理客户订单数据的任务。要求是根据订单时间和客户id判断生成四个新的数据: 1、记录该客户是第几次光顾 2、上一次的日期时间是什么时候 3、与上次订单的间隔时间 4、这是一个existing客户还是一个new客户(见定义) 文件说明: 1、第一列是订单日期和时间(乱序) 2、第二列是客户的id 3、第三列不需要使用 4、60+万行数据 相关定义如下: 1、existing:此次下单日期时间与上次日期时间的距离在N天以内,精确到时间(时分秒

码农黑羽的博客 165

ASP数据库导出Excel数据的完整实现

动态网页构建技术是现代Web开发的基石。ASP(Active Server Pages)是一种服务器端脚本环境,允许开发者使用VBScript或JavaScript等脚本语言来创建动态网页。与传统的静态网页不同,ASP页面可以与服务器端的数据库进行交互,根据用户的请求动态生成内容。在现代信息系统中,数据库是一个集中存储数据的系统,它允许用户通过特定的查询语言,如SQL(Structured Query Language),来检索和管理数据

weixin_28809949的博客 771

100万行Excel导出仅需29秒:xlswriter性能优化实战

你还在为PHP导出Excel时内存溢出发愁吗?当数据量超过10万行,PHPExcel就频繁崩溃;尝试过CSV却失格式;用SPL迭代器优化仍杯水车薪?本文将深入解析viest/php-ext-xlsxwriter——这款PHP C扩展如何实现100万行数据导出仅占2083MB内存,固定内存模式下甚至低于1MB,彻底解决企业级数据报表生成的性能痛点。 读完本文你将获得: - 3种系统环境的极速安装...

gitblog_00557的博客 1060

ASP读取EXCEL数据

   把EXCEL当成数据库来读要有很严格的格式限制,还会出现很多问题...===================Ⅰ)将Excel97或Excel2000生成的XLS文件(book)看成一个数据库,其中的每一个工作表(sheet)看成数据库表 Ⅱ)ADO假设Excel中的第一行为字段名.所以你定义的范围中必须要包括第一行的内容 Ⅲ)Excel中的行标题(即字段名)不能够包含数字. Exce

wvtjplh的专栏 4753

数据运营-如何使用Access对百兆级文件进行数据分析

业务上要处理的Excel数据表格存储量越来越大,超过30MB就慢如蜗牛,这时表格里要是再多个IF、VLOOKUP函数什么的,电脑就直接罢工了;要是遇到向下面这样大小的Excel表格,服务器级别的电脑都吃不消,更别谈进行数据处理和数据分析了。 遇到上图这么大存储量的Excel数据表格,小喵和小伙伴们也是惊呆了,Excel玩转没多久,就遇到这样的难题,有没有能处理大...

简书博客搬家测试账号 1020

如何处理几十万条并发数据

我在博客堂上也看到不少有关并发控制的文章,我一直是推荐使用时间戳来解决的。  比如我们在SQL Server中的表中定义一个字段为timestamp类型的字段ts,这个字段的值不需要我们进行控制的。  在Insert与Update时,数据库会自己进行ts值的更新,因此我们只要在Update时使用:  Update xxx where key=@key and ts=@ts 就可以了,根本不用考虑t

微软新技术 1万+

浅谈MySQL事务

前话 Mysql的事务管理默认关闭(自动事务,数据改动会立即入库)。 在Innodb中,每开启一个事务,都会为该session分配一个事务对象。ReadView(视图)来判断事务的可见性(ACID中的隔离性),视图中包含事务ID、事务ID数组。 查询当前有多少事务正在运行。 select * from information_schema.innodb_trx; 查看自动事务的开启情况 show variables like 'autocommit'; 事务启动方式: 1、显式:begin、st.

weixin_42679286的博客 552
上一篇: 5大程序员会用到的IDE和编辑器,你用过哪个?
下一篇: 这12款idea插件,保证能让你代码飞起来
AI大模型学习
博客等级 码龄4年 2370粉丝 620原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值