数据分析师（上海CPDA）：说说大数据里面的小应用随着信息技术的快速发展，近来，大数据(bigdata)及以之为基础的研究范式——大数据范式(bigdataparadigm)——成为了越来越流行的概念。虽说大数据的“大”乃是相对概念，即相对于 ...

数据分析师(上海cpda)

数据分析师：说说大数据里面的小应用

 

 

随着信息技术的快速发展， 近来， 大数据(big data) 及以之为基础的研究范式——大数据范式 (big data paradigm)——成为了越来越流行的概念。 虽说大数据的 “大” 乃是相对概念， 即相对于数据存储和处理技术而言的 “大”， 从而并无绝对意义， 但这几年很多人对相对于当前技术而言的 “大” 似乎产生了特殊感觉， 认为它已超越了某种临界值， 将引发诸多领域的重大、 甚至革命性的变革。 每当有大的新东西出现在地平线上时， 这种稍显迫不及待的迎接革命的感觉乃是常见的衍生现象， 其可靠性往往大可商榷。 不过， 大数据有着各种各样的具体应用倒是不争的事实。

 

 

大数据

 

在本文中， 我们就来介绍一项小应用。

 

严格讲， 本文的标题有些 “拉大旗作虎皮”， 因为这项小应用在大数据中的应用对于当前技术而言远远算不上 “大” (因此我们对 “大数据” 一词加了引号)， 不过它所采用的以数据关联为核心， 将因果置一旁的做法乃是大数据范式中的典型方法， 而且这项小应用规模虽小， 毕竟也需动用计算机， 从而在手段上跟大数据范式也算搭界。

 

这项大数据中的小应用就是确定某些历史文件的年代。

 

确定历史文件的年代一向是史学家们关心且必须要做的事情， 因为很多资料只有确定了年代才能发挥应有的作用。 但由于不难想象的种种原因， 很多历史文件的年代是未知的。 为确定这类文件的年代， 一种典型的做法是求助于碳-14 年代测定法 (radiocarbon dating)。 但是， 由此测定的年代往往有几十年的误差， 对远古文件也许不算什么， 对近代文件却稍嫌粗糙。 此外， 这种方法有时还会对文件产生一定程度的破坏。 除碳-14 年代测定法外， 利用纸张、 油墨等技术的演进历史， 从文件所用的纸张或油墨的类型上确定年代也是常用方法， 但可惜误差往往也在几十年以上。 这些方法的不尽如人意之处， 使得其它方法有了用武之地。 最近， 加拿大多伦多大学 (University of Toronto) 的研究者蒂拉亨 (Gelila Tilahun) 等人就示范了一种新方法。

 

 

蒂拉亨等人的研究对象是英国中世纪 (medieval) 时期的大量契据 (charter)。 那些契据大都为拉丁文， 记录的是各类财产及土地的交易， 对研究中世纪时期的英国历史有不小的参考价值。 不过， 在现存百万份以上的契据中， 大部分是既没有标注年代， 也无法从所述内容中推断出年代的。 另一方面， 中世纪距今不过几百年， 前面提到的那些方法的几十年误差相对来说就显得很大， 而且上百万份的巨大数量也使那些方法变得不太现实。 为此， 蒂拉亨等人采用了一种新方法。 他们以几千份年代已知的契据为基准， 对年代未知的契据与年代已知的契据中词汇及词组的分布规律进行统计对比， 由此分析出前者与不同年代的后者之间的相似程度， 并以此确定前者最有可能的年代 (即相似程度最大的年代)； 或者， 也可以先由后者估算出不同词汇及词组在不同年代的出现概率， 再以它们在前者中的出现数量估算出前者在各个年代的出现概率， 进而确定最有可能的年代 (即出现概率最大的年代)。

 

 

这类方法的准确度如何呢？ 蒂拉亨等人用一个很聪明的方法进行了测算， 那就是将之应用到年代已知的文件上， 将估算结果与实际年代进行比较。 他们发现， 这种估算的平均误差可缩小至 10 年以下， 从而比前面提到的那些方法更精确。

 

当然， 这种方法中也有许多不确定性， 比如契据之间的相似程度， 契据在不同年代的出现概率等都并无唯一定义， 统计对比所用的算法也不唯一。 这些不确定性在大数据范式中是很常见的， 它们有弊也有利。 “弊” 者在于理据不像碳-14 年代测定法之类的方法那样明晰； “利” 者则在于提供了改进方法所需的额外自由度。 事实上， 蒂拉亨等人的研究本身就是这种额外自由度的体现， 因为他们并不是这类方法的创始人， 而只是利用不确定性所提供的额外自由度， 引进了新的定义及算法。