【大数据】大数据从概念到应用简述

一、大数据的定义与核心特征

定义
大数据（Big Data）是指规模庞大、类型多样且处理速度要求高的数据集合，其核心在于传统数据处理工具无法高效捕捉、管理和分析这些数据。根据研究机构Gartner的定义，大数据是“需要新处理模式才能具有更强决策力、洞察发现力和流程优化能力的海量、高增长率和多样化信息资产”。

核心特征：5V模型

1. Volume（数据量）
   数据规模从TB级跃升至PB、EB级。例如，短视频平台每天生成数亿条用户行为数据。
2. Variety（多样性）
   数据形式包括结构化（如数据库）、半结构化（如XML/JSON）和非结构化（如视频、文本），需灵活处理。
3. Velocity（速度）
   数据产生与处理需实时化，如金融交易需毫秒级响应。
4. Veracity（真实性）
   数据质量参差不齐，需清洗和验证。例如社交媒体中的虚假信息需筛选。
5. Value（价值密度低）
   海量数据中仅小部分具高价值，如监控视频中仅异常片段有意义。

此外，湖畔大学曾鸣提出大数据的三个关键属性：在线（数据可实时调用）、实时（处理即时性）、全貌（非抽样，覆盖全体数据）。

二、大数据的技术体系

大数据的处理依赖于分布式架构与云计算技术，主要涵盖以下环节：

1. 数据存储

   • 分布式文件系统：如HDFS、Amazon S3，支持PB级数据存储。
   • NoSQL数据库：如HBase、MongoDB，适应非结构化数据的高效管理。

2. 数据处理