2024年6月6日发(作者：)

多大的数据量称得上大数据?

“多大的数据量才谈大数据？”——这是一个经常被问到的问题。提到大数据，就得说这

个数据信息量。

这里给出一个大概的结论，从应用的角度来看，当数据量大到传统技术难以处理时，就可

称为“大数据”了。如传统数据库系统已不能高效地处理1PB的数据，因为仅仅向磁盘写

入1PB的数据就要耗费200多天。而全人类的总资产也不到1P美元。此外，数据能否称

为“大数据”，还要看数据的复杂性以及产生数据的速度等特征。

也有说法，所谓的“大数据”，并不是在于它的数据量有多么大，而是通过对相对全量的、

繁杂的数据进行分析，找出相关的规律，从而实现对未来的预测，或者用来改善原先的方

案。详述如下：

字节(Byte)是计算机信息技术用于计量存储容量和传输容量的一种计量单位，一个字节等

于8位二进制数，在UTF-8编码中，一个英文字符等于一个字节。通常我们接触比较多的

就是U盘，手机和电脑，这些一般到TB级别就足够用了，大部分是GB。具体如下图：

表1列出一个更感观的认识：

表1. 从1KB到1Z：数量与举例

英文 中文

1K

千

数量

千

财富

普通人的月收入

约为5K

富翁的年收入约

为1M

比尔·盖茨的资

产约为70G

人体

人的肌肉数目约为

0.6K

人的头发数目约为

0.1M

信息量

一篇作文约为1KB

1M

兆 百万 一张照片约为1MB

1G

吉 十亿

人类DNA的碱基数目

一部电影约为1GB

约为6G

1T

太 万亿

中国2014年的人体内包含的细胞数目淘宝每天新产生的图

GDP为10T美元 约50T 片约20TB

人类脑神经元的连接数百度每天处理的数据

约为1P 约为20PB

--

全人类至今讲过的话

语约为5EB

2020年全球的数据总

量预计达40ZB

1P

拍 千万亿

--

1E

艾 百亿亿

--

1Z

泽 十万亿亿

-- --

一些更为具体的例子如下：

我们常听到各种表示数据大小的单位，例如网络下载速度是每秒“50KB”，手机包月流量

为“100MB”，视频文件大小为“1.8GB”，移动硬盘的容量为“2TB”。

1KB等于 1024字节，或大约一千字节。K是一个较小的数据单位，例如一篇500字左右的

作文大约有1KB的信息，而普通人的月收入一般为几K元。

1MB(兆字节)等于1024KB，或大约一百万字节。从数据的角度来看，M不算一个大单位。

例如，一张普通图片只有1MB左右。但如果某人的年收入超过1M元，他就是年薪百万

的富人了。

1GB(吉字节)等于1024MB，或大约十亿字节。即使从数据的角度，G也算一个较大的单位。

例如，一个8GB的U盘可以装下2000本《天龙八部》，而比尔·盖茨的个人财产也只有

几十G美元。

1TB(太字节)等于1024GB，或大约一万亿字节。2014年个人移动硬盘的容量约为1TB。T

是一个很大的单位，只有少数国家的GDP超过1T美元。例如中国2014年的GDP约为

10T美元。

国际数据公司（IDC）的研究结果表明，2008年全球产生的数据量为0.49ZB，2009年的数

据量为0.8ZB，2010年增长为1.2ZB，2011年的数量更是高达1.82ZB，相当于全球每人产

生200GB以上的数据。而到2012年为止，人类生产的所有印刷料的数据量是200PB，全

人类历史上说过的所有话的数据量大约是5EB。

IBM的研究称，整个人类文明所获得的全部数据中，有90%是过去两年内产生的。而到了

2020年，全世界所产生的数据规模将达到今天的44倍。每一天，全世界会上传超过5亿

张图片，每分钟就有20小时时长的视频被分享。然而，即使是人们每天创造的全部信息

——包括语音通话、电子邮件和信息在内的各种通信，以及上传的全部图片、视频与音乐，

其信息量也无法匹及每一天所创造出的关于人们自身的数字信息量。这样的趋势会持续下

去。

披露的一组数据 可以给大家一个初步的印象，来一起看看每天Facebook上都得处理多少

数据吧：25亿 Facebook上分享的内容条数27亿 “赞”的数量， 3亿上传照片数500+TB

新产生的数据105TB 每半小时通过Hive扫描的数据100+PB （1PB=1024TB） 单个HDFS

（分布式文件系统）集群中的磁盘容量 FB的工程总监Parikh解释了这些数据对于

Facebook的意义：“大数据的意义在于真正对你的生意有内在的洞见。如果你不能好好利

用自己收集到的数据，那你只是空有一堆数据而已，不叫大数据。” 目前Facebook有着

世界最大的分布式文件系统，单个集群中的数据存储量就超过100PB。在Facebook内部，

从一开始就没有在不同的部门之间（比如广告部和用户支持部）设立障碍或者分割数据。

这样一来产品开发者就可以跨部门获得数据，实时知晓最近的改动是否增加了用户浏览时

间或者促成了更多的广告点击。