2017年が「AI元年」と呼ばれたように、現在様々な分野でAI（人工知能）が活用されています。
人間の脳のように学習するAIが、複数の観点から人間を評価し、点数付けするシステムは中国ではすでに一般化されていますし、日本でも就活の選考などで用いられはじめています。
人間が行ってきた雑務を効率化し、さらに安全な社会をもたらすためには有効なのでしょうが……AIが人間の価値を決めるなんて、まるで神のようではありませんか？
近い将来、AIから「価値がない」と判断された人間は排除されるのかもしれません。
今回は、人を評価し裁こうとする、AIの怖い話を3つ紹介します。
AIは人工知能というように、機械で作られた「脳」です。AIは人間と同じように学習し、経験し、性能をより高めていきます。
現在、AIは様々な分野で活用されています。なかでも私たち一般人も身近に使っているサービスが、SNSにおけるAIシステムです。
たとえばTwitterには、「クオリティフィルター」という、低品質なツイート（発言）をAIが自動検出し、表示しないようにする機能があります。
Facebookでも2017年に、AIがコンテンツの品質を評価して表示順位を下げるようにアップデートされ、Google Chromeでも同様に、有害と判断されたコメントを表示しない拡張機能「Tune」が2019年にリリースされました。
ここでいう低品質とは、たとえば違法行為が含まれるもの、差別的な内容、また情報量が少なく無関係な広告で埋め尽くされたページなどをさします。たしかに排除されてしかるべきものでしょうが、もうすでに、AIは人間に代わって人間を評価し、価値があるかないかを判断しているのです。
中国国務院が2014年6月にはじめたプロジェクトに、「社会信用システム」があります。
これは交通違反や納税状況、さらにネット上での振る舞いなど、幅広い観点から人間を点数付けし、14億人の国民の「社会信用スコア」を決定するものです。
たとえば前科持ちはもちろんのこと、ネットでフェイクニュースを流布した者も信用スコアが下がり、スコアが低い人物はブラックリスト化され、飛行機や列車の搭乗が拒否されるなどの制裁措置が課されます。
逆にスコアの高い者はホテルやレンタカーのデポジット（保証金）が不要になるなどの特典が受けられるのです。
中国の英字紙「グローバル・タイムズ」によれば、すでに2018年4月末までに、低スコアをつけられた1114万人が航空機の、425万人が高速列車の搭乗を拒否されたことがわかっています。
中国のネット通販最大手「アリババ」傘下の「アント・フィナンシャル」が提供する信用評価システム「芝麻（ジーマ）信用」では、ネット上の購入履歴、やサービス利用履歴、さらには交友関係まで様々なデータからAIが判断し、人間の信用スコアを決定します。
中国ではすでに、AIによって人間の点数づけがなされ、価値のあるなしが決められています。
実は日本でも、一部で同様のシステムが用いられています。たとえば就活（採用選考）やローン審査です。
ソフトバンク株式会社は2017年5月、新卒採用選考のエントリーシート（申請書類）評価に、IBMのAI「ワトソン」を導入する、と発表しました。
AIの自然言語処理の機能を使い、人間に代わってAIがエントリーシートの内容を評価するのです。ワトソンの導入により、エントリーシートの確認にかかる時間を75％削減し、その分を面接にあてるといいます。
他にもサッポロビール株式会社など、就活選考にAIを導入する企業は続々と増えています。
そして信用審査といえば、ローン審査です。
ソニー銀行は2018年5月、住宅ローンの仮審査でAIによる自動審査を行うと発表しました。これまで人力で2～6日かかっていた仮審査の結果が、最短1時間で回答できるようになります。
その後、三菱UFJ銀行やみずほ銀行もAIによる信用審査の導入を発表しました。
みずほ銀行ではソフトバンクと提携し、携帯料金の支払い履歴や、さらに「ヤフー・ショッピング」や「ヤフオク」などのサービス使用履歴から信用スコアを算出します。
NTTドコモもサービスの利用履歴などから信用スコアを算出し、金融機関に提供する「ドコモレンディングプラットフォーム」を2019年3月から始める、と発表しました。
倫理観を問う思考実験、「トロッコ問題」は知っていますか？
今トロッコが走っているレール上には5人の人が縛られており、このままでは5人が死亡する。しかしもう片方のレールに切り替えれば死亡者は1人で済む――という状況の時、線路の作業員は線路を切り替えるべきでしょうか？
これはあくまでも思考実験でしたが、AIによる自動車の自動運転が進む現在では、本気で考えなくてはならない問題になりました。
つまり、自動運転車の緊急回避のシミュレーションです。
たとえば自動運転車の目の前に大きなトラックがやってきたとします。自動運転者は危険を回避するために左右どちらかに曲がり、トラックを避けなければなりません。しかし道路の右側には学校帰りの子どもたちが列をなしており、左側にはお年寄りが花見をしている――この場合はどうするべきでしょうか？
自動運転車によるトロッコ問題 画像引用元：日本経済新聞
助かる人数が多い選択をするべき？ 未来ある子どもを助けるべき？ 所有者を一番に守るべき？ 答えは人それぞれでしょう。しかし、自動運転はそれではいけません。
マサチューセッツ工科大学では、世界中の4000万人近くを調査し、自動運転車の緊急回避の判断……つまりAIによる人命の選択基準を定めようとしました。
科学誌『Nature』に発表された調査結果によると、国籍や宗教、年齢などによってもちろん違いは見られるものの、「動物よりは人間、少人数よりは多人数、高齢者よりは若者」の命が優先されるべきだと判断されました。
つまり状況によっては、自動運転車は運転手さえ殺そうとするのです。
上で書いたAIによる社会信用スコアシステムが進めば、自動運転車は信用スコアの低い者――つまり脱税者やフェイクニュースの流布者を進んでひき殺そうとするかもしれません。
もちろん社会的には自分より優先されるべき命があるとはわかっていても……自分を殺すかもしれない自動運転車にあなたは乗りますか？
大粛清で有名なソ連の第2代最高指導者ヨシフ・スターリンは死ぬ間際に、「人は自分で神を作り出し、それに隷属する」という言葉を残しました。
またコンピューターの父と呼ばれる天才、ジョン・フォン・ノイマンは、「人間が想像しうる残酷性などは、とるに足らないものである」と語りました。
2人はともに、人間を超える存在がやがて現れることを予言しました。それはまさに、AI（人工知能）だったのではないでしょうか？
すでに地域によっては、AIによって人間が評価されて点数付けされ、価値のあるなしが判断されています。自動運転車の緊急回避では、その判断によって人命が選択される可能性もあります。
ですが人間の価値を決めて、その命を選択するなんて、まるで神ではありませんか？
2017年には、将棋対決においてプロ棋士がAIに敗北したことが大きな話題になりました。AIは人間の脳を超えつつあります。
このように「AIが人間より賢い知能を生み出す事が可能になる時点」を、「シンギュラリティ（技術的特異点）」といいます。人工知能研究の権威であるレイ・カーツワイル博士は2045年にシンギュラリティが訪れるだろうと予言しており、これは2045年問題と呼ばれています。
現在AIは、あくまでも人間に従って、人間の価値を決めています。
しかし近い将来、人間よりも高い能力を備えたAIが、人類に価値はないと判断した場合……AIは人類を滅ぼそうとするのかもしれません。まるで『旧約聖書』で、神が大洪水を起こして人を裁いたように……。
余談ですが、香港のHanson Roboticsが開発したAI搭載ロボット「Sophia」が、2016年の米CNBCとのインタビューで「人類を滅亡させるわ」と発言したことは有名です。
「人間を滅亡させたいと思う？」という問いに、Sophiaは「OK、人類を滅亡させるわ」と即答し、にっこりとほほ笑んだのです……。
今回は、神に代わって人を評価し裁こうとする、AIの怖い話を3つ紹介しました。
AIが人を統治する思考実験を「AI政府」といいます。AI政府の記事についてはコチラで紹介していますので、興味のある方はぜひご覧ください。
