あなたを支配し、社会を破壊する、AI・ビッグデータの罠

　数理モデルは、あくまでツールである。私たちは、ツールに使われることなく、きちんと使いこなさなければならない。（311ページ）

著者は、データサイエンティストのキャシー・オニールさん。ハーバード大学で数学の博士号を取得し、バーナードカレッジ教授を経て、ヘッジファンドに転職。数学の能力を活かし成果を上げるが、サブプライム・ローン問題を目の当たりにして、数学がもつ破壊力に気づく。
本書では、正しく数学を使っているにも関わらず、有害なモデルを作り出す仕組みを「数学破壊兵器（Weapons of Math Destruction：WMD）」と呼ぶ。大量破壊兵器の Mass と数学の Math をかけているのは、オニールさんのユーモアだ。現在の AI は公平性を理解できない。AI に学習させるための数理モデルを誤れば、AI が出力する結果も偏ったものになる。また、定量化できない人間的スキルも評価されない。
それでも大量のデータを瞬時に処理する AI が役に立つ場面は多い。私たちは、AI がツールであることを認識し、常に必要なデータを与えて有効活用することで、だれにも公平で豊かな生活がやって来ることを目指すべきであろう。

オニールさんは、かつて野村克也監督が実践して見せたような ID野球を引き合いに、「野球のモデルは公平である。というのも、ある程度の透明性が保たれているからだ」（29 ページ）と説く。野球モデルの場合はデータが絶えず更新される。
モデルは、物事を単純化したものなので、何か重要な情報が無視されることになる。場合によっては、モデル制作者の価値観や欲望が反映されることがある。たとえば再犯モデルが算出する高リスク者とは、「無職であったり、法に反する行為をしたことのある友人や家族に囲まれた生活を送らざるをえない地域の出身であったりする可能性が高い。質問票の評価スコアが高いせいで、その人物の刑期は長くなり、刑務所で犯罪仲間に囲まれて過ごす時間も長くなる―そのこと自体が、刑務所に戻ってくる可能性を高める」（44 ページ）。このことがフィードバックとなり、再犯モデルの正しさを証明してしまうのだ。そして、どのようなアルゴリズムで算出しているのか、外部に開示されない。
オニールさんは、「不透明であること、規模拡大が可能であること、有害であること―この 3 つが数学破壊兵器の 3 大要素」（50 ページ）と指摘する。

第2章では、ヘッジファンドで働いていた頃を振り返り、「サブプライム住宅ローン自体は、数学破壊兵器ではなかった。あくまで金融商品であって、モデルではなく、数学はほとんど関与していなかった」（66 ページ）と説明する。しかし、「数学は、消費者を煙に巻くために使用され」（66 ページ）、「同時に大勢の人が破産することはない」（67 ページ）という前提が崩れた結果、規模拡大の特性が働き、数学は開閉器が誕生した。次に、データサイエンティストとしてビッグデータの世界に転職したオニールさんは、「金融の世界とビッグデータの世界は、あらゆる点で似ていた」（76 ページ）という。「アルゴリズムの働きにより、敗者は敗者の人生から抜け出せなくなる」（78 ページ）というのは、実感する。負の連鎖だ。

第3章でオニールさんは、US ニューズによる大学ランキングを引き合いに出し、これが数学は開閉器となった経緯を解説する。代理データを用いて組み上げられたモデルは、実際の人々の営みに比べると、遥かに単純な作りになってしまうことを指摘する。また、学費をモデルの公式から外したことで、大学経営者はより多くの資金をランキング評価項目の改善のために投入できることになったのだ。

第5章では、AI を使った犯罪予測モデルを取り上げる。
迷惑犯罪は、貧しい地区ならたいていの場所で見られる、地域特有の犯罪であり、地域によっては反社会的行動（ASB）とも呼ばれている。残念ながら、このような軽犯罪までモデルに組み入れてしまうと、分析結果が歪む恐れがある。迷惑犯罪データが多発すれば、その区画に配備される警官の数は増える。すると、その区画で逮捕される人数はさらに増える。こうして、有害なフィードバックが生まれる。警察が巡回すればするほど、ある特定の地域の有罪率は高まり、モデルで人種を区別していなくても、結果は偏ることになる。私たちは、自分たちが扱っているツールは科学的かつ公平であると信じ込み、貧しい 人々を犯罪者に仕立て上げるのだ。
数学破壊兵器は効率性を重視する傾向にある。私たちは、公平性を守るために少しばかり効率性を犠牲にしなければならない。なぜなら、公平性や信頼性は、AI が評価するための定量化が難しいことだからだ。

第6章、第7章では就職や仕事に使われる AI モデルを取り上げる。オニールさんは、「公平性と合法性の問題を脇に置いたとしても、適性検査は、仕事能力の予測には役に立たないことが研究によって示されている」（165 ページ）という。そして、企業がデータを利己的に使用している様は、まるで骨相学のような疑似科学だと指摘する。

第8章では信用の格付けを、第9章では健康プログラムを扱う。
こうしたモデル作成者は、公平性やチームのためではなく、効率性と収益性の最適化が目的としている。オニールさんは、「データを取捨選択し、公平とは何かを判断するのは、マシンにとって完全に未知の領域であり、あまりに複雑すぎる。そのような芸当ができるのは、人間だけだ」（233 ページ）と指摘する。
また、起業が従業員の健康管理をしているように見せかけて、「健康スコアに基づく選別が行われるようになるだろう」（262 ページ）と警鐘を鳴らす。なぜなら、BMI（体格指数）が 2 世紀も前に、医療や人体に関する知識のない数学者によって考案されたものだからだ。「ウェルネス・プログラムについては、個人の成功体験が大々的に広告されているわりには、医療費の削減につながっていないことも明らかになっている」（265 ページ）という。

第10章では、AI モデルが民主主義の土台を壊すと警鐘を鳴らす。たとえば、Facebook は、「現代版の都市広場のようでありながら、その実、同社のソーシャルネットワーク上で利用者に何を見せ、何を知らせるのかを、自社の利害に即して決定している」（269 ページ）と指摘する。そして、有権者個人をスコアリングすることは、少数の有権者の重要度を高め、それ以外の人々を脇役に追いやることになり、民主主義の土台を壊す行為と警鐘を鳴らす。

最終章で、オニールさんは、数学破壊兵器の武装解除を提案する。
人間による意思決定には欠陥も多いが、進化しうるという点が大きな長所である。数理モデルはあくまでツールであり、私たちはツールに使われることなく、きちんと使いこなさなければならない。オニールさんは、「医師の職業倫理を謳った『ヒポクラテスの誓い』のように、データサイエンティストも、実務に就く時に職業倫理や任務について宣誓すべき」（308 ページ）と提案する。知識や情報は、いつも足りているとは限らない。知識や情報が足りないときに、「何かが足りない」と気づいてこそ、データサイエンティストはその職務をまっとうできる。
数学破壊兵器を手懐け、だれにも公平で、豊かな生活が送れるようにしたいものである。