大数据在国内已经火热了一段时间,无论是政府还是企业都已开始重视大数据,纷纷设立大数据部门,数据之于企业的重要性不言而喻。因此优秀的企业为了分析收集来的海量数据,会毫不犹豫地雇佣专业级的数据分析师来帮助公司进行决策,创造价值。
据某招聘网站调查,一名有经验的数据分析师的年薪不低于20万。而数据工程师、数据科学家等则收入更高。作为数据分析师,无论最初的职业定位方向是技术还是业务,最终发到一定阶段后都会承担数据管理的角色。因此,一个具有较高层次的数据分析师需要具备完整的知识结构。大数据时代,数据分析对于企业决策和发展起到越来越重要的作用。
1.数据采集
了解数据采集的意义在于真正了解数据的原始面貌,包括数据产生的时间、条件、格式、内容、长度、限制条件等。这会帮助数据分析师更有针对性的控制数据生产和采集过程,避免由于违反数据采集规则导致的数据问题;同时,对数据采集逻辑的认识增加了数据分析师对数据的理解程度,尤其是数据中的异常变化。
在数据采集阶段,数据分析师需要更多的了解数据生产和采集过程中的异常情况,如此才能更好的追本溯源。另外,这也能很大程度上避免“垃圾数据进导致垃圾数据出”的问题。
2.数据的加工整理
在明确数据分析目标基础上收集到的数据,往往还需要进行必要的加工整理后才能真正用于分析建模。数据的加工整理通常包括数据缺失值处理、数据的分组、基本描述统计量的计算、基本统计图形的绘制、数据取值的转换、数据的正态化处理等,它能够帮助人们掌握数据的分布特征,是进一步深入分析和建模的基础。
3.数据分析
数据分析相对于数据挖掘更多的是偏向业务应用和解读,当数据挖掘算法得出结论后,如何解释算法在结果、可信度、显著程度等方面对于业务的实际意义,如何将挖掘结果反馈到业务操作过程中便于业务理解和实施是关键。
4.数据展现
数据展现即数据可视化的部分,数据分析师如何把数据观点展示给业务的过程。数据展现除遵循各公司统一规范原则外,具体形式还要根据实际需求和场景而定。基本素质要求如下:
工具:PPT、Excel、Word甚至邮件都是不错的展现工具,任意一个工具用好都很强大。
形式:图文并茂的基本原则更易于理解,生动、有趣、互动、讲故事都是加分项。
原则:领导层喜欢读图、看趋势、要结论,执行层欢看数、读文字、看过程。
场景:大型会议PPT最合适,汇报说明Word最实用,数据较多时Excel更方便。
最重要一点,数据展现永远辅助于数据内容,有价值的数据报告才是关键。
5.数据应用
数据应用是数据具有落地价值的直接体现,这个过程需要数据分析师具备数据沟通能力、业务推动能力和项目工作能力。
数据沟通能力。深入浅出的数据报告、言简意赅的数据结论更利于业务理解和接受,打比方、举例子都是非常实用的技巧。
业务推动能力。在业务理解数据的基础上,推动业务落地实现数据建议。从业务最重要、最紧急、最能产生效果的环节开始是个好方法,同时要考虑到业务落地的客观环境,即好的数据结论需要具备客观落地条件。
项目工作能力。数据项目工作是循序渐进的过程,无论是一个数据分析项目还是数据产品项目,都需要数据分析师具备计划、领导、组织、控制的项目工作能力。
1、数理统计基础
作为一名数据分析师,一定要掌握一些基础的、成熟的数学模型算法。例如:回归分析、因子分析、聚类分析、决策树、关联规则、神经网络等。同时建议多看一些博文,看别人对于这个方法的理解,怎么在实际业务中应用,以及如何优化等等。在算法上可以不做到用软件编写算法,但是一定要知道原理,知道怎么应用,怎么调整参数,参数的含义等等。
2、工具
对于一个初级的数据分析师要掌握的基础工具,Excel,SPSS,数据库(如mysql等),随着大数据的来临,传统的一些软件已经不足以支撑数据分析、数据挖掘了,随着工作年限的增长,工作内容的加深,R和Python一定要会一个,目前流行的很多机器学习算法要这些软件才能实现。现在机器学习很火,建议多研究一下这方面的内容,不论是对于自身的提升还是对职业发展都是非常有利的。
3、对行业的了解程度
对特定行业的了解可以帮助数据分析师尽快进入状态,加速决策的过程。如果缺少这一前提,你的数据分析师可能不得不花时间来先对整体行业有一个大概地认知,学习相关知识,然后才能投入其中。
4、沟通能力
现代社会,工作通常要通过分工合作来完成。沟通成为其中必不可少的一环。所以你想要雇佣的数据分析师在这方面有所建树的话,可以极大地提升工作效率。另外,拥有良好沟通能力的专家懂得合理地呈现数据可视化成果并且讲好数据故事。
要成为高级数据分析师的话,一方面是要强化对业务的理解,最好是做到通过数据分析帮助公司决策方向,或者说促进企业快速增长。另一方面,要加强机器学习/数据挖掘的专业知识学习,将机器学习成为数据分析的手段。最后,要强调的是,数据分析师是一个实践的职位,要在实际项目中不断的训练。