大数据进化论

---

大数据进化论
大数据(Big Data)，指在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。

不管定义如何不同，大数据与传统BI是社会发展到不同阶段的产物，不过大数据对于传统BI，既有继承，也有发展，从”道”的角度讲，BI与大数据区别在于前者更倾向于决策，对事实描述更多是基于群体共性，帮助决策者掌握宏观统计趋势，适合经营运营指标支撑类问题，大数据则内涵更广，倾向于刻画个体，更多的在于个性化的决策。

基于这个特点，大数据很容易在生产中形成基于个体的评估和闭环反馈网络，BI则由于偏向宏观而难以在生产中贯彻执行从而产生实际价值，因此，当前的大量的新数据应用领域，实际BI是没有覆盖的，比如RTB广告、智能制造、个性医疗等等。

当然纯粹从思想的角度讲，两者在概念上是可以实现统一的，都遵循数据-信息-知识-智慧这个脉络，甚至在更高的层次，两者也是可以统一的，比如这个定义：“世界上万事万物都在被数据化，形成一个与现实世界相关联的数据世界，人类可以利用数据化的方式，应对和解决生存和发展问题。”

因此很多人说BI跟大数据没区别，的确是这样，没必要抬高大数据，但由此认为两者价值也差不多，那也有问题，它忽略了”术”的不同，由此造成应用的巨大差别。

举个例子：神经网络理论几十年前就有，为啥直到现在才有深度学习突破性的进展，关键是其”术”的能力提高了，一定程度讲，大规模数据并行处理让这个理论焕发了新生。

理念是一回事，付诸实践是另一回事，因此，我们还是要从“术”的角度来阐述大数据与传统BI的区别，事实上，传统BI，由于其术的限制，已经达到了一定瓶颈。

传统BI厂家喊了多少年的”帮助企业做出明智的业务经营决策”，现在除了一堆报表系统，搞了一些决策树等统计算法，还剩下什么呢?传统企业引入了那么多的BI咨询，写了那么多报告，真正发生过价值的有多少?BI已死也并非空穴来风。

如果搞BI的还在原有的地方转圈圈，不去变革，除了空喊我也是大数据，没有意义，因为数据价值最终还得看落地的能力。

大数据的4V特征大家都懂，大数据在量、维度、速度等方面相对于传统BI的改变的确让数据改造世界的能力发生了质的变化, 那么，大数据的“术”于传统BI到底有哪些变化?传统企业需要做哪些改变呢?

1、超越BI，拓展新的业务边界

大数据不是绣花枕头，它的第一要务就是解决业务问题，大数据一定程度上讲就是用全新的数据技术手段来拓展和优化业务，传统企业需要聚集一拨人来研究这个问题。

如果对外，想清楚新的商业模式，如果对内，想清楚在哪个场景，可以用大数据的手段来提升效率。

当前大数据可以产生价值的地方，从行业的角度看，互联网、制造业、公共服务、医疗保健、金融服务都有广阔前景。

从领域的角度看，广告、营销、风控、供应链都是大数据发挥价值的地方，对于特定企业，比如电信运营商，大数据也可以在网络优化等方面提供新的方法。

大数据应用场景是企业特别需要想清楚的地方，传统BI失败，一定程度讲，是技术推动业务导致的倒挂现象所致，是高估传统BI利用数据的能力所致，比如大量领域用传统BI产生不了生产力，当然也少不了忽悠。

大数据也面临这个重大问题，但应该看到，随着大数据概念的普及，应用领域的大幅延伸，企业的管理和业务人员对于数据的认识有了很大的转变，数据化的思维开始深入人心，对于大数据来说，是一个新的机会。

不业务，无大数据。

2、颠覆BI，打造大数据技术引擎

这是当前大数据领域最火的地方，很多企业纷纷在建设自己的大数据台，不外乎解决以下问题，以下仅举例。

比如用Hadoop、流处理等技术解决海量的结构化、非结构化数据的ETL问题，用Hadoop、MPP等技术计算海量数据的计算问题，用redis、HBASE等方式解决高效读的问题，用Impala等技术实现在线分析等问题。

本质是基于廉价的机器，采用去中心化，分布式的方式去解决海量结构，非结构化数据的存储、处理和读写的问题。

要理解这个，其实去读懂Google的三篇论文就可以了，分别是关于Google File System、Google Bigtable及Google MapReduce的。

但并不是每个企业都需要打造自己的大数据平台，量力而行吧，可以自研 ，比如BAT，也可以采购，比如传统大企业，也可以租用，比如用阿里云和AWS。

在技术上，传统BI的ETL、数据仓库、OLAP、可视化报表技术，都处于淘汰的边缘，因为它解决不了海量数据(包括结构化与非结构化)的处理问题，其所有的功能都可以被对应的大数据组件所替代，因此不再有发展前途，大多数企业即使没有大数据业务的驱动，但大数据技术的成本优势在那里，不做大数据也倒逼你用大数据技术，是不?

当然传统BI那套，也将长期存在，毕竟大数据的普及和应用是个漫长的过程，传统企业对于大数据技术稳定性的担忧也是个障碍，但企业至少要末雨绸缪了，趋势不可挡啊，大数据技术会越来越成熟。

我记得自己的企业1年前还在用DB2，仅一年的时间，GBASE就把它替换了。我们总是低估了技术革命对于我们自身的影响程度。

3、重塑BI，升级人员的知识结构

有了业务，也有了技术，再来看看人吧，很多企业在热火朝天的建设大数据平台，但建完之后，却发现仍然是个报表系统，或者仍然是原来的BI，领导一看，会感叹，不就是换了个马甲啊，大数据有啥用?

很多企业，它可以有很多的预算购买很贵的机器和软件，但对于引入人才和培养人才却有点力不从心，买了1个亿的大数据硬件和软件，却希望原来的BI班底就能带来大数据应用的繁荣，那也是差强人意的事情，新品装旧酒，原来班底能搞定公司的报表系统就已经很好了。

为什么传统BI人员搞不定?

大数据需要有人专门研究和探索，传统BI人员时间精力有限，此为其一，不是否定BI人员的能力，只是表达不要奢望BI人员既做个合格的报表哥，又是个大数据创新达人，企业要能做些取舍。

大数据的数据处理，涉及太多新的技术，传统BI只要懂点SQL就可以活的很好了，但现在看看，不同的应用场景需要不同的大数据处理方法了，而且不再有人机交互那么好的客户端了，至少要懂流处理、HADOOP、列式或分布式键值数据库吧，大数据对于BI人员的技能要求其实大幅提高了,此其二。

大数据更强调全量了，原来的BI挖掘人员，搞一些样本在单机上运行个R就很欢乐，但现在不行了，针对5000万用户搞个三度交往圈试试?传统方式在BI时代大都尝试过了，只有更新方法，才能带来新的机会，比如，至少要求建模师会在SPARK上开发算法程序吧，对于用户画像、产品标签化、推荐系统、排序算法都应有所理解，此其三。

人才是大数据的核心要素，没有人的投入，不能奢望有啥产出，需要多点人才的引入和培养，少点大数据的心灵鸡汤，大数据绝对不是大忽悠，如果有所怀疑，就问问你这个企业有多少人是在做大数据研究和实践的。

因此，大数据相对于传统BI，不是简单的PLUS的关系，它涉及了思想、工具和人员深层次的变革，BI人员既不要一提大数据，就嗤之以鼻，认为它是新包装的马甲，其实就那么回事;也不需妄自菲薄，以为搞大数据就那么高大上，它的确是BI大多数思想的传承，传统BI对于数据的处理思想，都可以用于大数据。

---

---