ビッグデータBig Data
扱う道具そのものが変わるほど積み上がったデータ
- ビッグデータは、記録が人の手では扱いきれないほど積み上がり、扱う道具そのものが変わった状態です。
- 基準は何ギガバイトといった数字ではなく、一人の手と一台のコンピュータで済むかどうかです。
- 量だけが問題ではありません。積み上がる速さとてんでばらばらな形も一緒に関わってきます。
- 一件は取るに足らなくても、数千万件集まると街が動く様子が浮かび上がります。
- たくさん集まったからといって良いデータとは限りません。抜け落ちた人たちと個人情報の問題が一緒についてきます。
目次
1たとえで理解する
交通系ICカードをタッチすると、いつどの駅で乗ったかが一行残ります。自分の記録だけを見れば、通勤時間が書かれている程度です。ところが全国で一日に記録される件数は数千万件にのぼります。ここまで積み上がると、表を開いて目で追う方法では手も足も出ません。ファイルひとつでは開けず、コンピュータ一台にも収まりません。その代わり、これまで見えなかったものが見えてきます。どの乗換駅が何時に混むのか、終電を逃した人たちがどこへ散っていくのかが浮かび上がります。扱い方が変わり、見えるものも変わる地点、そこからがビッグデータです。
2くわしく
大きいの基準は数字ではありません
ビッグデータには「何ギガバイトから」という合意された線がありません。基準は相対的です。今使っている道具では開けず、今使っているやり方では計算が終わらないとき、そのデータはその場でビッグデータになります。
一駅の一日分の乗降記録なら、表計算ソフトで十分開けます。一路線の一か月分は少し重たく、全国の一年分はまったく開けません。同じ種類の記録なのに、量が増えるにつれてある瞬間、道具を替えなければならない線を越えます。
だからビッグデータは、データそのものの性質というよりデータと道具の間の関係を指す言葉です。十年前は手に負えなかった量が、今ではノートパソコンで処理されることもあります。線そのものが動き続けています。
分けて入れ、分けて計算します
コンピュータ一台に入りきらなければ、方法はひとつです。何台にも分けて入れることです。全国の記録を地域ごとに分けて何台にも配り、計算もそれぞれが自分の担当分だけをこなし、結果だけをあとで集めて合わせます。
こうすると、台数を増やした分だけ扱える量も増えます。その代わり新しい心配も出てきます。一台が壊れるとその担当分がまるごと消えるので、同じ断片を複数台に重ねて持たせ、機械どうしのやり取りの時間が計算時間より長くならないよう仕事の分け方も別に設計しなければなりません。
一台で済む仕事を無理に何台にも分けると、かえって遅くなります。分けて得られる利益より、分けて合わせる手間の方が大きくなるからです。だから現場では、今のこのデータが本当に分けるほどの量なのかをまず確かめます。
速さと形もあわせて関わります
交通系ICカードの記録は今この瞬間にも刻まれています。昨日までの記録を整理している間に、今日の分がまたそれだけ積み上がります。全部集まってから計算する方式では永遠に追いつかないので、流れ込んでくるそばから処理し続ける方式が別に必要になります。
形もそろっていません。カードの記録は列がはっきりした表ですが、一緒に使われるバスの位置信号や問い合わせの文章は形式がばらばらです。時代によって記録の仕方が変わり、古い記録と最近の記録で列がそろわないこともよくあります。
だからビッグデータを語るときは、量と速さと多様さをあわせて見ます。三つのうちどれかひとつが大きくなっただけでも、それまでのやり方が崩れるからです。
一件は取るに足らなくても集まれば結が見えます
記録一件にはたいした情報がありません。火曜の朝にどこかの駅で乗ったという事実だけです。ところが数千万件が重なると、個々の記録にはなかったものが現れます。どの区間が何時に飽和するのか、雨の日に人がどんな経路で乗り換えるのかといったことです。
AIが今のように上達したのも、これのおかげが大きいです。規則を人が書いてやる代わりに例をたくさん見せる方式は、例が十分にあるときだけ通用します。インターネットに文章や写真が積み上がり、機械がそれを読み込めるようになって、ようやく例が十分になりました。
同時に計算する力も必要になります。データがどれだけ多くても、それを全部見渡す装置がなければ使えないからです。データが積み上がったことと計算装置が速くなったことが重なった時期に、今のAIが生まれました。
多いことと偏りのないことは別です
全国の交通系ICカードの記録には、カードを使わない人が抜け落ちています。歩いたり自転車で移動したりする人、自家用車に乗る人の移動は一行も残りません。記録がどれだけ多くても、この人たちはずっと見えないままです。
量が増えても、抜けている部分が自然に埋まるわけではありません。 一方に偏ったまま数千万件が積み上がると、かえってその偏りが事実のように見えてしまい、なお危険です。数字が大きいと信じてしまいがちだからです。
個人情報の問題もついてきます。ある人の移動記録が長く積み重なると、名前が消してあっても住む場所と働く場所が浮かび上がります。だから複数人をまとめてぼかした形でだけ公開したり、細かく揺らして個人を特定できなくする処理を通したりします。
3もう少し正確に
ビッグデータを説明するとき、よく三つの軸が挙げられます。量が大きいという意味のボリューム、速く積み上がるという意味のベロシティ、形式がばらばらという意味のバラエティです。ここに値を信じてよいかを表すベラシティと、実際の使いみちを表すバリューを加えて五つの軸で説明することもあります。処理の面では、データを何台にも分けて保存し、計算を断片に分けて各台で回してから合わせる分散処理が基本の骨組みです。
たとえがずれる部分もあります。交通系ICカードの記録は列が決まった整った表なので、実際のビッグデータよりずっと整理されています。現場で扱うのは形式が入り混じり、誤りの混ざった記録である場合が多いです。またカードの記録はすでに全部集まってから見ますが、実際にはデータが積み上がっている最中に結果を出さなければならない状況の方がずっと多いです。ビッグデータという言葉自体も最近はあまり使われず、データパイプラインやデータ基盤のような、働き方そのものを指す言葉に移り変わっています。
4やってみる
5よくある誤解
容量が何テラバイトかを超えればビッグデータだと思われがちですが、実際は決まった線はありません。今使っている道具で手に負えなくなった瞬間がその線です。
データが多ければ結果も正確だと考えられがちですが、実際は偏った記録が増えれば偏りまで一緒に大きくなります。
ビッグデータとAIは同じものだと思われがちですが、実際はビッグデータが材料を扱う仕事で、AIはその材料から規則を学ぶ仕事なので、別の段階です。
7ひとこと要約
つまりビッグデータは記録が人の手では数えきれないほど積み上がり、扱う道具そのものを替えなければならない状態で、その代わり一件ずつ見ていたときにはなかった結が見えてきます。
誤りや、もっと良いたとえがありますか？ 修正を提案する · 最終更新2026-09-02