最新記事

ネット

「ネット言論のダークサイド」を計算機で解析する ── データ分析による報道の技術とその再現性 ──

2016年5月10日（火）22時31分
大野圭一朗


解析の結果

　はたして、その結果はうんざりするものでした:


The 10 regular writers who got the most abuse were eight women (four white and four non-white) and two black men. Two of the women and one of the men were gay. And of the eight women in the "top 10", one was Muslim and one Jewish.

And the 10 regular writers who got the least abuse? All men.




定期的に記事を執筆している記者のうち、最も多くの嫌がらせを受けた10人の内訳は、8人が女性で2人が黒人男性だった。そのうち2人の女性と1人の男性はゲイだった。その「トップテン」の８人の女性うち、1人はムスリムで、1人はユダヤ人だった。

そして最も嫌がらせを受けた回数が少なかった10人は、全員男性だった。


　この結果を導き出したのは、計算機によるデータ解析でした。解析結果についても思うところはあるのですが、ここでは技術的な部分についてのみ注目してみます。実はこの記事に合わせて、解析チームの方がこの解析に使った手法についてかなり詳細に書いています:

gardians04.jpg


対象とする読者

　本稿ではこの記事に書いてある手法を、技術者ではない方に向けて解説してみます。ですからプログラマの方などが読まれると冗長に感じられるかと思いますが、そこはご勘弁を。専門家向けの記事と、「データ解析」という言葉が事実上「魔法」と同義語で使われている全く技術に触れない記事はたくさんあるのですが、その中間が埋まっていないように感じていたというのが執筆の動機の一つです。実例の解説は、その「魔法」にかかった靄を取り除き、実際の作業がどのくらい地味なものかを明らかにすることができると思います。

gardians05b.jpg

元の記事では、結果を可視化したものが見られる (© The Guardian)

　なお結果の詳細は、D3.jsを使ったインタラクティブなチャートとして元記事に掲載されていますので是非ご覧になってみてください。「ジャズや競馬[注]の話題に関しては穏やかなコメントが比較的多いが、フェミニズムやパレスチナ問題のコメント欄はかなり荒れる」と言う、どこかで聞いたような話だな...と思わず苦笑してしまうような事実がデータに基づき図表で解説されています。実際の嫌がらせの内容にも触れていますので、読んでいてあまり気持ちのいいものではない部分もありますが、「誰でも自由に発信できる世界」に対して記者の方々が払っているコストの生々しい実態が読めます。
[注]: イギリスの記事ですから、日本の競馬とは雰囲気や意味合いがかなり異なるので、そこは注意して読んでください 。

gardians05.png

仮説検証のための技術

　今回の分析では、複雑な統計解析は行われていません。最終的に得られたデータを可視化して、それを使って仮説が正しいかどうかざっと眺めるような作業になっています。基本的な流れとしては、手元にあるデータに欠けている情報を追加し、複数のデータセットを統合し、フィルタリングし、ブラウザ上で可視化するというものです。これは可視化を伴う分析を行う場合の最も基本的な作業です。ただし今回は比較的大きなデータを使っていますので、一部は商用クラウドサービス上でSpark（後述）を利用しています。ここからは実際に使われたデータやツール、手法について詳しくみていきます。

gardians06.png

可視化を目的にする場合の典型的な作業の流れ。基本的に、大量のデータを人間が把握できる大きさまで「濃縮」する作業と言い換えることができる。

使われた技術

　今回使われたツールは、データ分析を業務として行っている方々にはおなじみのものばかりです。例を挙げると:

・テキスト処理のためのPerlスクリプト
・Amazon Web Service (S3, Redshift, EMR)
・Apache Spark
・PostgreSQL
・D3.js
・HTML5

などです。これらのツールは以下のように分類できます。

・データを蓄積して検索可能にする技術: PostgreSQL, S3, Redshift
・データを加工するプログラム: Perlスクリプト
・大規模なデータを複数の計算機で処理する技術: Spark
・それらを実行するための環境を提供する技術: AWS全般, EMR
・最終的なユーザー（今回のケースでは読者）がデータをわかりやすく見られるようにする技術: D3.js, HTML5

これらが実際にはどう使われたのかは後ほど見ていきます。

今、あなたにオススメ
ニュース速報

ワールド

中国国防相、「弱肉強食」による分断回避へ世界的な結
2025.09.18

ビジネス

首都圏マンション、8月発売戸数78％増　価格2カ月
2025.09.18

ワールド

米ＦＲＢのＳＲＦ、今月末に市場安定の役割果たせるか
2025.09.18

ワールド

米政権、政治暴力やヘイトスピーチ規制の大統領令準備
2025.09.18
ニュース速報一覧
今、あなたにオススメ
MAGAZINE
特集：世界が尊敬する日本の小説36
特集：世界が尊敬する日本の小説36
2025年9月16日/2025年9月23日号（9/ 9発売）

優れた翻訳を味方に人気と評価が急上昇中。21世紀に起きた世界文学の大変化とは

メールマガジンのご登録はこちらから。
人気ランキング
  • 1
    「日本を見習え！」米セブンイレブンが刷新を発表、日本では定番商品「天国のようなアレ」を販売へ
  • 2
    燃え上がる「ロシア最大級の製油所」...ウクライナ軍、夜間に大規模ドローン攻撃　国境から約1300キロ
  • 3
    中国は「アメリカなしでも繁栄できる」と豪語するが...最新経済統計が示す、中国の「虚勢」の実態
  • 4
    1年で1000万人が死亡の可能性...迫る「スーパーバグ…
  • 5
    「二度見した」「小石のよう...」マッチョ俳優ドウェ…
  • 6
    【クイズ】世界で最も「リラックスできる都市」が発…
  • 7
    「最悪」「悪夢だ」 飛行機内で眠っていた女性が撮影…
  • 8
    中国山東省の住民が、「軍のミサイルが謎の物体を撃…
  • 9
    中国経済をむしばむ「内巻」現象とは？
  • 10
    【クイズ】世界で1番「島の数」が多い国はどこ？
  • 1
    「最悪」「悪夢だ」 飛行機内で眠っていた女性が撮影...目覚めた時の「信じがたい光景」に驚きの声
  • 2
    「中野サンプラザ再開発」の計画断念、「考えてみれば当然」の理由...再開発ブーム終焉で起きること
  • 3
    「我々は嘘をつかれている...」UFOらしき物体にミサイルが命中、米政府「機密扱い」の衝撃映像が公開に
  • 4
    【クイズ】次のうち、飲むと「蚊に刺されやすくなる…
  • 5
    科学が解き明かす「長寿の謎」...100歳まで生きる人…
  • 6
    「二度見した」「小石のよう...」マッチョ俳優ドウェ…
  • 7
    【クイズ】世界で唯一「蚊のいない国」はどこ？
  • 8
    【クイズ】世界で1番「島の数」が多い国はどこ？
  • 9
    「なんて無駄」「空飛ぶ宮殿...」パリス・ヒルトン、…
  • 10
    観光客によるヒグマへの餌付けで凶暴化...74歳女性が…
  • 1
    「4針ですかね、縫いました」日本の若者を食い物にする「豪ワーホリのリアル」...アジア出身者を意図的にターゲットに
  • 2
    【クイズ】世界で唯一「蚊のいない国」はどこ？
  • 3
    「まさかの真犯人」にネット爆笑...大家から再三「果物泥棒」と疑われた女性が無実を証明した「証拠映像」が話題に
  • 4
    信じられない...「洗濯物を干しておいて」夫に頼んだ…
  • 5
    「最悪」「悪夢だ」 飛行機内で眠っていた女性が撮影…
  • 6
    「レプトスピラ症」が大規模流行中...ヒトやペットに…
  • 7
    「あなた誰？」保育園から帰ってきた3歳の娘が「別人…
  • 8
    「中野サンプラザ再開発」の計画断念、「考えてみれ…
  • 9
    「我々は嘘をつかれている...」UFOらしき物体にミサ…
  • 10
    プール後の20代女性の素肌に「無数の発疹」...ネット…
トランプ2.0記事まとめ
日本再発見 シーズン2
CHALLENGING INNOVATOR
Wonderful Story
MOOK
ニューズウィーク日本版別冊
ニューズウィーク日本版別冊

好評発売中