2014-10-06・台風18号とビッグデータとスモールデータ

台風18号が先ほど通過。横浜かちょっと西あたりを通ったようだ。雨は強かったが、風は通過する±30分ほどが強くなっただけで済んだ。それでも横浜市内で警戒水位を超えた河川があり、珍しくあちこちで避難勧告が出た。戸塚周辺を流れる名物の柏尾川もぎりぎりのところまで水位が上昇したらしい（昭和50年頃よりも前はたびたび氾濫したそうだ）。



さて、バズワードとなっている「ビッグデータ」。容量が大きいデータや件数が大きいデータも最近はなんでもかんでもビッグデータ扱いだが、一応定義を調べてみると、wikipediaには次のように書かれている。

http://ja.wikipedia.org/wiki/ビッグデータ



・ビッグデータは、高ボリューム、高速度、高バラエティの情報資産のいずれか（あるいは全て）であり、新しい形の処理を必要とし、意思決定の高度化、見識の発見、プロセスの最適化に寄与する。



・ビジネスインテリジェンスは、高密度データに要約統計を使用し、物事の計測や傾向を捉える。



・ビッグデータは、低密度データに誘導統計を使用し、巨大なボリュームにより（回帰性等の）法則を推論し、（推論による限界はあるが）予測可能性を生み出す。



判ったような判らないような。



ビッグデータのアンチテーゼとして最近提唱されているのが「スモールデータ」である。こちらはまだ日本語のwikipediaには載っていない。英語版によると以下のように定義されている

http://en.wikipedia.org/wiki/Small_data



・Small data is data that is small enough size for human comprehension. About one quarter of the human brain is involved in visual processing, and the only way to comprehend Big data is to reduce the data into small, visually-appealing objects representing various aspects of large data sets or data "features" (such as histogram describing data projections and relationships, charts, scatter plots) that can be understood by humans. The term "big data" is about machines and "small data" is about people.



・A formal definition of small data has also been proposed by former analyst and current Actuate VP of innovation Allen Bonde: "Small data connects people with timely, meaningful insights (derived from big data and/or “local” sources), organized and packaged – often visually – to be accessible, understandable, and actionable for everyday tasks."



後者の定義はZDNetが日本語訳を出している。

http://japan.zdnet.com/cio/sp/35041193/



・スモールデータは、（ビッグデータおよび／あるいは「局所的な」情報源から導出された）タイムリーかつ有意義な洞察を、アクセス可能かつ理解可能、日々の業務でアクション可能なかたちに（そしてしばしばビジュアルなかたちに）体系化してまとめ上げたうえで、人と結びつけるものである。



これらの定義や、関連の英文アーティクルを何本か読んでみたが、結局のところよく判らない。スモールデータの例やビッグデータとの比較表でも載っていれば一発で理解できるのだろうが、アメリカ人はなぜか文字で書くのが大好きで、概念を掴むときにいつも困る。



ビッグデータが関連ソリューションを売りたい企業によって都合よく解釈されているのと同じように、スモールデータも都合よく解釈され、バズワードとして混乱を与えるだろう。すでに一部の企業が都合のいい解釈を始めている。IT業界は常にバズワードとの戦いである。

Tweet