学习数据分析，做大数据紧缺人才
看美国联邦机构如何使用大数据
- FHA是唯一一家不需要救助的次贷保险机构。他们运用大数据分析来帮助预测违约率、偿还率和索赔率。另外，他们还利用大数据技术为可能出现的场景构建现金流模型，以确定维持正向现金流所需的保费。
- 使公众可以方便快捷地查看400多万份政府文件，包括《联邦公报》（FederalRegister）发表的联邦法规和地方政府发布的通告。该项目利用先进大数据分析和自然语言处理来摄取政府文件，追踪政策、法律和规章的变化。用户可以轻而易举地对拟订中的联邦法规进行评论或投票。
- 美国教育部教育技术办公室表示：“大数据分析能够发现学习在线课程的学生是否走入误区，并帮助他们调整方向。这些先进的大数据分析还有可能根据按键点击模式判断学生是否对当前课程感到无聊，然后重新获取他们的注意力。
- 波士顿马拉松爆炸案的侦办就是很好的例子。大数据技术让警方得以快速分析48万多幅图像。这些图像即为非结构化数据。对嫌疑犯的详细描述使分析人员可以撰写代码和算法，对图像进行迅速分析，寻找异常情况和特定模式。从传感器信息中自动筛查犯罪行为令实时分析得以实现，缩短了决策时间，减少了接触敏感数据的人员或系统数量。
原文翻译：
在采用大数据策略方面，虽然私营部门发挥了模范带头作用，但公共部门也做出了不少成绩。本文列举了美国联邦机构和地方政府机构制定和运用大数据策略的几个例子，涵盖欺诈检测、金融市场分析、健康研究、政府监督、教育、犯罪学、环保和能源勘探等领域。
引言
本文是一组系列博客的第四篇文章。这组文章探讨的是政府在实施大数据策略时所面临的若干问题。第一篇文章解释了数据的“大”为什么应该按照复杂性而不仅仅是体量来定义。第二篇和第三篇文章讲述了大数据策略为公共机构摆出的四个挑战。
以下是美国联邦机构和非联邦机构积极制定和运用大数据策略的几个例子。希望这些例子能启发大家利用自己手中的新一代分析工具探索各种可能性。
· 美国社会保障局（SSA）利用大数据策略来分析大量的非结构化伤残索赔数据。SSA现在能够更快、更高效地处理医学分类和预期诊断,重塑整个决策过程，更好地识别可疑的不实索赔。
· 美国联邦住房管理局（FHA）在利用大数据分析来管理正向现金流基金方面拥有23年的经验。在房地产泡沫破裂期间，FHA是唯一一家不需要救助的次贷保险机构。他们运用大数据分析来帮助预测违约率、偿还率和索赔率。另外，他们还利用大数据技术为可能出现的场景构建现金流模型，以确定维持正向现金流所需的保费。
· 美国证券交易委员会（SEC）运用大数据策略来监督金融市场活动。他们利用自然语言处理程序和网络分析来帮助识别违规交易活动。
· 美国食品药物管理局（FDA）在全国各地的很多测试相关实验室里都部署了大数据技术，以便研究食源性疾病的模式。这套数据库属于该机构的技术转让项目，能让FDA更快地对进入食品供应的受污染产品作出反应，这类产品在美国导致每年有32.5万人因食源性疾病住院治疗，3,000人死亡。
· 美国国立卫生研究院（NIH）在2012年启动了“从大数据到知识”（BD2K）计划。BD2K是一项不仅限于该院的计划，旨在使生物医学研究成为一项数字研究事业，促进新知识的发现和运用，最大程度地提升社会参与度。从生物医学大数据中获取丰富信息的能力，将增进我们对人类健康和疾病的了解。然而，适当工具的匮乏、糟糕的数据可达性和培训的不足妨碍了我们有效地整合研究力量。BD2K将帮助NIH应对这个挑战。
· 美国医学研究所（IOM）和卫生及公共服务部（HHS）在2010年3月召集了一小群来自白宫、联邦机构、学术界、社会部门、公共卫生团体、信息技术公司、大企业和医疗服务系统的领导者，商讨新的社区健康数据计划的建立事宜。2010年6月，IOM和HHS举办了“社区健康数据论坛：利用信息的力量来改善健康”。此次公共论坛的目的是进一步推动创新者对社区健康数据的使用，让个人和社区都能为自身的健康做出明智的选择。这些初始会议现在已经发展成为正式的全国性大会HealthDatapalooza，致力于开放健康数据，将企业、初创公司、学者、政府机构和个人联合起来，通过对健康数据的开创性和有效利用，改善患者的健康状况。
· 通告和评论项目（Notice andComment project）使公众可以方便快捷地查看400多万份政府文件，包括《联邦公报》（FederalRegister）发表的联邦法规和地方政府发布的通告。该项目利用先进分析和自然语言处理来摄取政府文件，追踪政策、法律和规章的变化。用户可以轻而易举地对拟订中的联邦法规进行评论或投票。网站数据每天都会更新，实时显示新的提案和趋势。在提案变成法律之前，用户可以利用网站内部集成的社交媒体和网上的最佳写作技巧来有效地宣扬他们的观点，寻求其他人的支持。
· 美国教育部利用大数据挖掘和学习分析来改善教学。美国教育部教育技术办公室表示：“大数据分析能够发现学习在线课程的学生是否走入误区，并帮助他们调整方向。这些先进分析还有可能根据按键点击模式判断学生是否对当前课程感到无聊，然后重新获取他们的注意力。由于这些数据是实时收集的，因此很有希望通过多个反馈回路实现持续改善。这些反馈回路的时间跨度不一——对学生来说是立刻思考下一个问题，对老师来说是每天安排第二天的教学，对校长来说是每月评估进展，对地方官员来说是每年评估总体的学校教育改善情况。”
· 美国国土安全部（DHS）是证明公共部门需要大数据策略的好例子。该机构的组织形式突显了在许多政府机构之间进行数据互通和整合的必要性。DHS不仅提供了很多如何进行有效整合的例子，也提供了很多如何更加成功地实现数据互通的经验教训。
· 美国各地的州和地方执法部门在运用大数据策略方面有不少亮点。波士顿马拉松爆炸案的侦办就是很好的例子。大数据技术让警方得以快速分析48万多幅图像。这些图像即为非结构化数据。对嫌疑犯的详细描述使分析人员可以撰写代码和算法，对图像进行迅速分析，寻找异常情况和特定模式。从传感器信息中自动筛查犯罪行为令实时分析得以实现，缩短了决策时间，减少了接触敏感数据的人员或系统数量。
· 美国国家航空航天局（NASA）和美国林务局（U.S. Forest Service）几年来一直在努力加强数据互通和研究合作，让自己可以更准确地预测天气、土壤状况和森林火险。这项努力在数据要求和数据治理的协调方面事先下了很大功夫。除了先进的技术以外，还需要相关人员更好地理解问题和协调可用数据的使用，以制定出一套整体策略。
· 深水地平线（Deep WaterHorizon）钻井平台漏油事故的应对措施就是依靠大数据互通来阻止原油泄漏，遏制污染物，对损害作出响应。私营部门和公共部门合作，在两周内就完成了数据的整合，使各个工作组可以分析天气、海洋和植物数据。大数据技术被用来预测哪些区域可能受到影响，并帮助确定应该向哪里派遣清理人员。
· 美国国家大气研究中心（NationalCenter for Atmospheric Research）制定了一套大数据策略，将公用事业单位、大学和能源业的研究和数据整合起来，以便更准确地预报天气和预测能源的供应与需求。通过研究天气和大气模型，分析师可以让可再生能源的生产和使用变得更加可靠和高效。他们把数据纳入天气实时分析模型，揭示能源生产和能源需求的重要信息。
原文:Five Examples of How Federal Agencies Use Big Data
未来的制造业要的不是石油，它最大的能源是数据.