人工智能与大数据有什么新方向?


人工智能与大数据产业炙手可热,那么人工智能与大数据人才的待遇如何呢?这一点其实不用多说,只要大家时常关注一些猎头QQ群的状态,或者猎头朋友的签名档内容,再或者干脆到“猎聘网”、“前程无忧”等专业的人才中介网站去看看就会了然于胸-30万年薪找不到人,40万年薪找不到人,50万、60万还是找不到人,一时间可谓洛阳纸贵,似乎市场上的人工智能与大数据人才是“一将难求”。

二这也从一个侧面说明,很多公司愿意花这么多薪水雇佣一位人工智能人才,不管他的头衔是人工智能与大数据科学家,还是人工智能大数据架构师,抑或是人工智能与大数据产品经理,很显然这些公司都是把人工智能与大数据产业发展作为自己的经营战略的重要组成部分来看待。

目前随着全球科技变革深入推进,大数据和人工智能已然从高度技术化与学术化的频率中逐步向外延伸了,开始形成万物互联、万物智能的智能化新时代了。从目前市场上的人才需求观点来看,人工智能大数据人才大致可以分为以下3个方向。

  1. 偏重基建与架构的AI“大数据架构”方向。
  2. 偏重建模与分析的AI“大数据分析”方向。
  3. 偏重应用实现的AI“大数据开发”方向。
     

当然,也有理想主义者会认为能来个三合一的人才就更好了,但是知识宽度和知识深度本身就是一组矛盾,毕竟对于有限的学习时间和精力,能够在一方面做到运用自如已属不易。
 

大数据与机器学习
 

大数据架构方向的人才更多注重的是Hadoop、Spark、Storm等大数据框架的实现原理、部署、调优和稳定性问题,以及它们与Flume、Kafka等数据流工具以及可视化工具的结合技巧,再有就是一些工具的商业应用问题,如Hive、Cassandra、HBase、PrestoDB等。能够将这些概念理解清楚,并能够用辩证的技术观点进行组合使用,达到软/硬件资源利用的最大化,服务提供的稳定化,这是大数据架构人才的目标。
 

怎么入手呢? 以下是大数据架构方向研究的主要方面。
 

  1. 架构理论:关键词有高并发、高可用、并行计算、MapReduce、Spark等。
  2. 数据流应用:关键词有Flume、Fluentd、Kafka、ZMQ等。
  3. 存储应用:关键词有HDFS、Ceph等。
  4. 软件应用:关键词有Hive、HBase、Cassandra、PrestoDB等。
  5. 可视化应用,关键词有HightCharts、ECharts、D3、HTML5、CSS3等。


人工智能与大数据这些普通百姓感到陌生和遥远的科技名词,如今正大踏步地走入人们的寻常生活了。
CPDA课程海报