学习数据分析，做大数据紧缺人才
腾讯 QQ 大数据：BI 方法论 - 数据体系建设之路
作者：张殿鹏
当一个企业要建立数据体系，它需要什么样的流程？当一个新的产品上线，它需要怎样建设业务的数据体系？这两个问题是否一些方法论去遵循？笔者原以为能在网上搜一篇关于数据体系建设的文章，居然未能如愿，甚为遗憾。OK，老衲就来杜撰一篇！本文将从腾讯的数据体系、SNG 数据中心的数据发展历程、业务的数据体系建设三个方面对企业、业务的数据建设进行阐述，各位同仁将就着看，多提意见少拍砖
一、 什么是数据体系
完整的数据体系应该是包含数据系统 / 数据产品 / 数据服务等若干个相互联系且基于数据所组成的有机体 —— 本文作者
二、 腾讯的数据架构
也许大家对这金字塔并不陌生，它集成了 N 多数据同仁的智慧，最终总结出这六层结构。
1. 数据基础平台
笔者所在的数据团队用的数据处理平台是腾讯分布式数据仓库（TDW），它集成了数据存储、计算、机器学习等功能。
2. 数据体系和可视化
有了数据处理平台，那我们统计好的数据需要有系统来呈现给用户，当前笔者用的平台是 SNG - 数据中心的 “腾讯罗盘”。业务的数据体系可以帮助产品经理和分析师更好的理解数据，这块将在后续的文章做重点介绍。
3. 产品与运营分析
当业务发展到一定阶段，单纯的数据监控和统计已经不能支撑其业务发展。这就需要数据分析同学分析产品的用户画像、用户的行为、收入构成等，以便运营同学发现运营中的问题，挖掘潜在的机会点。
4. 精细化运营平台
如果说分析结论是一个指南针，那么精细化运营平台就是一个狙击步枪。它可以准确的帮助运营同学把目标用户提取出来做精细化运营，目前笔者常用的内部工具有：神盾推荐系统、数据提取平台、用户生命周期管理系统。从字面上就能看出来，推荐系统解决了业务千人千面的个性化推荐，数据提取平台给产品经理提供清洗数据、交叉分析的平台，用户生命周期管理系统是产品经理的用户运营平台。
5. 数据产品
市场上有很多的数据产品，比如百度的百度指数、阿里的数据魔方，像 SNG 有社交指数、宜出行等。
6. 战略分析与决策
数据的作用除了帮助提升业务运营效果外，还可以成为领导层做战略规划的依据。比如每到年底，我们会对明年的业务活跃用户数、付费用户数做预测。
三、 SNG 数据中心的数据发展历程
笔者所在的数据中心几经变革，从早期的单机收集数据、开发报表到现在的在线实时计算和机器学习，不断的完善数据基础功能、扩展数据的应用场景，进而把数据的价值最大化。
四、 业务的数据体系建设
1. 为什么要有业务的数据体系
先问几个问题：有没有入职一年多了，还不知道部门业务架构？有没有作为骨干员工，还只清楚自己的一亩三分地？有没有做了 leader，还不了解业务大盘趋势？
显而易见，业务的数据体系既可以让产品同学了解所在组织的业务架构，也可以让运营同学了解过去一段时间的运营详情，同时为下阶段的运营提前做出规划。
2. 业务数据体系建设的方法论
2.1 “业务体系”
这里更多指的是业务构成。无论是作为一个运营产品经理、数据产品还是 BI 同学，不了解业务数据体系就像有一本武林秘籍却没有内功心法。想要把数据发挥更大的作用，就需要了解团队里或者部门中其他人在做些什么？有没有可以合作的地方？是否可以把成功的案例拿来套用？
我们先来看看几年前为某包月做的业务体系，详细内容涉及到敏感数据就不展开。
是不是还算清晰？可以很快的了解到包月的业务的模块构成。任何一个增值业务都可以在上图的二级节点里找到自己的位置。
这么构建的两个优点：
a) 即便是多元化和产品更新迭代速度快的产品，也能清晰的了解业务结构
b) 把各个业务从逻辑上划分 5 大块，如果有一部分出问题，能快速定位
2.1.1 “数据体系” 的四要素
这个增值业务的数据体系为什么要这么设计？
a) 业务洞察
这是一个应该问自己的问题，有的同学只关注自己的一亩三分地，很少抬头望望团队在做什么，兄弟团队在做什么，部门在做什么。这是一个组织架构和内容的划分，比如 13 年的 SNG 增值产品部（那时候还叫会员产品部）。
从业务角度来划分，她包含了会员、靓号、QQ 旋风、QQ 游戏加速器、钻皇、MP 活动；
从组织架构划分，她有体系运营中心（负责营收、VIP 关怀和成长）、个性化中心（气泡、表情、主题等个性化特权）、功能特权中心（手 Q 阅读、动漫、炫耀类特权）、游戏增值中心（端游、手游、会员的游戏特权）、个人形象中心（QQ 秀、购物号等）。
从运营渠道来划分，她有 tips、小钱包、邮件、红点、公众号等。
从用户角度来划分，她有 VIP 等级、成长值、积分等。
b) 数据分类
对一个业务团队来说，用户数和收入是必然关注的两块指标。
活跃：各个业务的 DAU、特权活跃、平台活跃、各渠道流量、页面漏斗转化等
付费：收入金额、ARPU、付费转化率、支付渠道、支付入口、ROI 等等
用户研究：她有各种页面转化率、生命周期管理、留存率、用户画像和各种业务重合度、用户等级体系
c) 逻辑抽象 —— 脑洞大开，你的能力超乎你的想象
根据以上 2 块内容，可以把会员业务抽象成五大模块：营收体系、活跃体系、成长体系、关怀体系、用户研究。
d) 绘图软件
常用的绘制软件有 MindManager、Xmind，软件提供了各种场景，选一个合适的 Map。
常遇到的问题：数据分类和业务架构怎么结合?
解答：每个业务都有活跃付费、以及它的留存等相关数据结构，但这里的增值业务数据体系更多是让我们了解整个大的业务数据体系。如果想要详细的看数据，那么就需要把它转化为 “指标体系”。
2.2 指标体系
做社交互联网的数据分析指标体系和其它行业的指标体系不同，有做交易支付为目标的，也有做用户流量的。所以了解业务形态，是首要任务。大到方向，小到细节。
- 走出去，先和运营的产品同学聊聊。看看他们都关注什么，他们对业务的理解是什么。他们平时都看什么指标。例如业务今年 KPI 是年收入 80 亿，而你只关注大盘趋势忽略各平台入口的流量和付费转化。所以指标体系不是大而全，需要有侧重点。
- 看看不同层次的人对这个业务的理解。业务 leader 和运营同学具体看的维度和思考的维度会有不同，了解不同的思考维度和声音，对建立不同的数据体系有重要的意义。
- 了解用户的声音，往往用户的声音才是对一个产品和平台最真实的反馈，这些需要数据指标体系来量化。
- 结合数据分析师的视角，最终构成了指标体系。
我们来看看某年某月某日为某手游做的指标体系：
这么设计的优点：
结合了业务洞察和数据分类，抽象成直观可量化的指标，进而监控业务的运营状况；帮助运营同学和开发同学快速拆解定位；能够快速复制到其它业务。
2.3 报表体系
有了数据体系、指标体系，那么就需要把这些结构化的业务划分、维度和指标转化成可视化的数据结构，并通过可视化的平台来呈现，目前 SNG 大部分业务用的是腾讯罗盘系统。
报表设计的几大要点：
a) 不是所有的数据都要放到一张报表里看。曾见过一张报表，有超过 40 个指标，后来产品同学自己都忘了怎么看报表。设计报表就像对着 ppt 演讲一样，一张图表只讲一个故事。
b) 多问问自己设计这个报表的目的是什么，要解决什么问题。是常规营收监控？平台渠道的转化？切忌随意，小心黑砖
c) 准备好数据源，了解统计口径。数据源是外部的还是内部的？存放在哪里？怎么获取？统计口径是如何的？口径变动的周期是多久？只有这些都确定了，开发效率才能提供，维护成本也会降低。报表开发流程规范：
2.4 分析体系
如果说单张报表是让你了解某块数据的 “点”，那么报表体系就是把这些点组在一起的“线”。然而怎么综合评估某业务 / 产品的运营状况是否健康、未来的机会点以及风险呢？那么需要我们把这些“线” 织成一张网。
对于业务来说，评估业务内部优劣势、外部机会与挑战最合适的方法莫过于 SWOT：
那么如何判断此增值业务的 S、W、O、T 呢?
S: 通过分析用户属性与营收贡献判断我们的用户主要构成与优势的渠道 / 平台
W：通过分析用户健康度、特权活跃来看我们还有哪些空白领域未填补，以及哪些功能是占据大量资源但收益较低
O：通过分析用户属性和平台流量的转化比，发现潜在的机会、挖掘新的内容进而扩大业务盘子
T: 通过分析用户规模、竞品对比、平台和市场前景等角度发现业务可能遇到的挑战
现在，我们再来看看某增值业务的分析月报框架。
详细内容因涉及到业务具体情况就不展开。但通过框架可以很清晰的反映近期此增值业务的发展趋势、业务的优劣势以及可能面对的机会与挑战。类似的增值业务可以根据实际的业务情况再拆分。
最终，把 SWOT 的内容整合到一张报告里，每月固定输出给运营同学！
五、 结语
总之，互联网产品的数据体系需要产品经理、产品运营人员、开发人员和数据分析师共同合作完成，并不是业务同学或 BI 单方面就能完成的事情。为了更好的建设符合大数据时代的产品运营的数据体系，我们需要充分理解数据体系的商业目标，设计科学严谨的产品数据体系，做好数据上报的规范，结合大数据存储和计算的能力，搭建具有大数据技术能力的数据分析和数据挖掘体系，并在这些基础上形成数据体系设计、数据上报采集、数据存储计算和数据分析挖掘的良性循环。
也期待下一阶段能在用户生命周期管理、精准推荐等领域帮助业务有新的突破。
这不是结束，而是另一段 “风花雪月” 的开始……
未来的制造业要的不是石油，它最大的能源是数据.