学习数据分析，做大数据紧缺人才
    主页 / 数据动态 / 行业资讯 /

2018年大数据市场：发展并向云端迁移

作者：Cynthia Harvey
大数据市场发展繁荣且势头迅猛——虽然最近很多人不再管它叫“大数据”了。“大数据”一词最早出现在1990年代末的一本科技词典中，当时SGI的John Mashey等人将这个词用于形容提炼巨大且增长迅猛的企业数据，利用当时的技术，人们很难存储并分析这些数据。

2001年，分析师DougLaney提出了大数据的定义，它包含三个“V”的维度：数量（volume）、速度（velocity）和种类（variety）。在随后的几年里，Laney的定义成为了行业通用的标准，有些人还加入了第四个V来定义它——可变性（variability）。

2005年，随着雅虎推出Hadoop开源分布式数据存储，大数据技术经历了一次戏剧性的增长。这项技术成为了整个商业和开源数据存储及分析解决方案生态系统的关键。

2014年，IDC和EMC发布了最新版本的《数字世界研究报告》，其中指出全球数字化系统中存储的数据量正在以每年40%的速度增长着。报告还预测，到2020年，整个数字化世界中将存储44泽字节的信息。这些数据就如同宇宙中的繁星一样多，要把这些信息装进2014年代的数据表里，表格的长度是日月距离的6.6倍。

现如今，大数据的发展并没有萎缩，但数据存储量的增长不再能够引起那么多人们的注意了。相反地，很多组织现在开始关注于数据分析、数据科学以及机器学习。他们直接把管理大数据当做是业务的一部分；如果他们希望在竞争中获得胜利，他们就需要找到将存储的大数据转化为高价值洞察的方式。

 

大数据市场概况

在过去的十年里，企业在大数据技术上花的钱越来越多。根据IDC报告，全球大数据及商业分析的收入可能将从2017年的1508亿美元增长到2020年的2100亿美元，复合年增长率高达11.9%。

IDC集团副总裁DanVesset说：“在经历了S型曲线式的多年发展以后，大数据和商业分析解决方案已经完全成为了主流。”BDA成为了决策支持和决策自动化的助力器，现在已经稳当地成为了公司高层的探测器。这类解决方案同时也是在全球范围内跨越行业和业务流程实现数字化转型的关键支柱。

各个组织和企业都认为大数据项目对他们的营收有积极的影响。在《NewVantage Partners 大数据管理调查》中，80.7%的受访者反馈针对大数据的投资是成功的，48.4%的人认为他们通过大数据项目实现了可以被计量的好处。

这样的结果可能会鼓励企业继续向大数据投资，但他们所采纳的大数据解决方案的类型正在发生转变。根据Forrester的一项调查，“大数据正在向云端迁移。事实上，全球范围内，通过云端订阅购买大数据解决方案的增长速度是本地化订阅的7.5倍。”Forrester还补充道，“此外，根据我们2016-2017年针对数据分析专家的调查，公有云是大数据领域首选的技术。”

对于依赖机器学习技术的大数据分析而言，云端解决方案特别受欢迎。机器学习需要高级且昂贵的计算机硬件，但在云端进行机器学习的方式能够令企业以极少的成本实现这一过程，这样的成本只是自行安装数据中心的一小部分。虽然企业面临着和云端分析相关的种种困难，但专家认为云端分析发展的趋势未来几年将会加快。
 

大数据技术

随着大数据市场的逐渐成熟，供应商们也开发出了各式各样不同的大数据技术来满足企业的需求。这是一个非常广阔的市场，但大部分大数据解决方案都可以根据以下标准进行分类：

 

  • 商业智能（BI）：商业智能解决方案能够基于存储在数据仓库中的业务数据提供分析及报告能力。根据Gartner报告，BI和分析的市场预计将从2017年的183亿美元增长到2020年的228亿美元。但是，它们的增长速率比以前更慢。

  • 数据挖掘：数据挖掘的范围很广，其中包括了各式各样的找到大数据模式与规律的技术。虽然很多大数据解决方案依然在异同数据挖掘的能力，但这个概念已经不太受到供应商的欢迎了，因为他们开始用“预测性分析”和“机器学习”来形容自己的解决方案。

  • 数据整合：大数据分析技术面临的一个巨大挑战就是要从各个分散的数据源收集各种相关的数据，并把他们统一到一个能够轻松实现分析的格式。这为我们带来了很多的数据整合解决方案，有时大家把它叫做ETL（数据提取、转换、加载）解决方案。根据Markets and Markets的研究报告，数据整合业务的收入到2022年可能会增长到124亿美元。

  • 数据管理：这类型的解决方案中包含了能够帮助企业整合、清洗、存储、维护并保证数字数据质量的各种工具。Markets and Markets预计这类型大数据工具到2022年将产生1052亿美元的收入。

  • 开源技术：很多市面上最常用的大数据技术都是通过开源的授权来实现的。特别像Hadoop和Spark这样以Apache为基础进行管理的技术，已经非常受欢迎。很多供应商都能够提供这些开源大数据技术的商业化支持版本。

  • 数据湖：数据湖能够消化各种来源渠道的数据，并以数据源原始的格式进行存储。它与数据仓库之间的差别在于，数据仓库中的数据都是经过清洗并且调整到可分析格式的数据。对于那些希望同时进行结构化和非结构化分析的组织而言，数据湖非常受欢迎。

  • NoSQL数据库：不同于关系型数据库管理系统（RDBMSes），NoSQL数据库不通过传统的行列表格形式存储信息，而是通过各种模型，例如行列、文件、数据追踪图等改格式进行存储。很多企业都在使用NoSQL数据库用于非结构化数据的存储和分析

  • 预测性分析：这是目前最受欢迎的大数据分析形势。预测性分析关注过往的历史趋势，目的是对未来会发生什么做出预测。很多现代的预测性分析解决方案都加入了机器学习的能力，目的是随着时间的增加提高预测的准确性。Zion的一项市场调研报告指出，预测性分析的指出将从2016年的34.9亿美元增长到2022年的109.5亿美元。

  • 诊断分析：诊断分析在预测性分析上更进了一步。除了告诉企业未来可能会发生什么，这样的解决方案还能够基于事件发生的原因提出建议，达成期望的结果。专家认为，目前市面上只有少数的大数据分析解决方案拥有真正的预测性分析能力，但很多供应商都在大力研究这个领域。

  • 内存数据库：内存技术大大提升了大数据分析的速度。在任何的计算机系统中，内存数据的存取（有时也叫RAM）相比存储在硬件或实体硬盘中的数据存取都是快的多的。内存数据库能够帮助用户在内存中存储大量的数据，大幅提升速度。

  • 人工智能和机器学习：很多新一代的大数据分析工具都加入了机器学习能力，这是人工智能（AI）领域的一个子集。机器学习利用算法帮助系统随着时间的增长优化任务处理的能力，并且不需要直接的编程行动。这是大数据领域中发展最快的部分。

  • 数据科学平台：很多供应商都开始将他们的大数据分析解决方案标榜为“数据科学平台”。这个领域的产品通常而言都把很多不同的功能整合到了同一个平台上。这个领域里几乎所有的产品都有一些分析或者机器学习的功能，很多也有数据整合和数据管理的能力。

来源：Datamation

 

未来的制造业要的不是石油，它最大的能源是数据.

马云