别用大数据混淆试听 驳《大数据告诉你,电商会把假货卖给谁》


blob.png

 

看了《大数据告诉你,电商会把假货卖给谁》,原文地址http://mt.sohu.com/20151110/n425862336.shtml全文看下来,写的像小数,异常精彩。

我只想说一句,作者带着激动的心情写了看似很正确的话来修饰大数据的恐惧。

根据我大数据从业经验来看,今天说说数据乃至大数据,决定进行透析,透析就是一层层的,日常我们经常看到报表,报告或者大数据或者数字,这些都是大数据范畴类。

我们先大数据底层说起。第底层当然是大数据收集(叫大数据积累,存储等是广义上的收集)

大数据的收集趋势,从标准化数据到零散的,从多年积累的到每日都要达到千万级大数据,从纯数据到文本大数据,到各种大数据,到各种颗粒度。

互联网时代,数据量是几何级的升高,但绝大多数的都是标准化的数据,相对更容易,但最大的问题是量大,快速,多变。

大数据的收集后的下一步,基本上可以分为,大数据校验,为什么是大数据校验,因为整个大数据就是不正确的,GA的大数据正确么?接口的大数据正确么?另外一部分是数据分析&数据挖掘,超过半数的企业的大数据都是不准确的,或者不完全准确的,涉及到接口,接口交换或者传输各种问题。

数据都不能正确的,何谈大数据

多半谈大数据的是不知道数据质量的,这一点千真万确。


第二层是数据应用&数据分析&数据挖掘

大数据应用其实是业务的运用,不是数据运用,不是数据结果运用

面对小数据很多时候我们一筹莫展,更别提更多的大数据,往往不了解的人都会说,我们通过大数据,得出某某结论,其实这是断掉中间的东西(如何分析,如何发现未知,确定未知),臆想,众口铄金,迷乱了很多人的双眼。

大数据的结果是为业务分析服务,不是大数据,还是小数据的分析,大数据的分析一定是最后做到小数据,既要全局全揽,还要落到小点。

再谈大数据的数据模型,模型是统计学家,前人的成果,搜索下现行所有模型,仍然是关联模型,行为判别,再加上判别等模型。

 

第三层是大数据的重中之重-数据转换存储

大数据其实是底层技术的大数据,海量的数据更多是数据集成,存储,转换。

每日千万量的大数据,每次ETL如此量的数据,是服务器的配置的设置,大数据考验的有一点是数据架构。


第四层时回归到小数据,解释世界

做了大量模型,推荐模型,关键在于准确度,这些需要汇报,汇报高级主管的,落的是小数据。

当很多人在说需求预测,自动输出,这些是模型范畴的选模型步骤,模型检验,其实跟我们理解的都不一样,大数据混淆,模型的说法也开始使用到业务工作中,完全开始混了。

回归大数据,一定是回归小数据,跟所说的大数据似乎关系很小。

大数据落到最后,是解释世界,业务分析。

记得之前跟客户团队成员提过,大数据的都不会分析,甚至不知道如何分析;做数据分析的都在谈数据研究,做数据研究的都在做市场研究,做市场研究的其实在做业务。

End.

作者:统计网—大辉(中国统计网特邀认证作者)

微信:dprett
原文链接:http://www.itongji.cn/cms/article/articledetails?articleid=4937