「サピエンス全史」「ホモ・デウス」のイスラエル人歴史学者ユヴァル・ノア・ハラリの新作。AIの可能性、というか主に危険性に対して強く警笛を鳴らす大作となっています。
タイトルの「NEXUS」は「つながり」や「ネットワーク」という意味で、ハラリのこれまでの著作では、人類がここまで発展してきたのは人間が物語というある種の虚構により協力しあってきたからだとしてきましたが、そのネットワークをAIは人間以上に使えてしまう可能性があり、それはたくさんの悲劇を生むだろう（すでに生んでいる）、ではどうすればよいのか、と論考を広げています。
自分の手に余る力を呼び出す傾向は、個人の心理ではなく、私たちの種に特有の、大勢で協力する方法に由来する。人類は大規模な協力のネットワークを構築することで途方もない力を獲得するものの、そうしたネットワークは、その構築の仕方のせいで力を無分別に使いやすくなってしまっているというのが、本書の核心を成す主張だ。というわけで、私たちの問題はネットワークの問題なのだ。
私たちはみな、ＡＩが自ら決定を下したり新しい考えを生み出したりすることのできる史上初のテクノロジーであるという事実を肝に銘じるべきだ。従来の人間の発明はすべて、人間に力を与えた。なぜなら、新しいツールがどれほど強力でも、その用途の決定権はつねに私たちの手中にとどまっていたからだ。ナイフや爆弾は、誰を殺すかを自ら決めることはない。
私たちはコンピューターアルゴリズムを信頼し、賢い決定を下してより良い世界を生み出してもらえると思って、安心していいのだろうか？ それは、魔法をかけた箒が水を運んでくれることを当てにするよりもはるかに危険な賭けだ。そして、私たちが賭けているのは人間の命だけではない。ＡＩは、サピエンスの歴史の道筋ばかりか、あらゆる生命体の進化の道筋さえも変えかねないのだから。
確かに、そういった側面はあるだろうと改めて気付かされますが、ここから話は歴史になり、国家や宗教の成り立ちや、文書や書籍がどのように発展してきたかに移っていきます。
クラーマーは、印刷機を利用して反撃に出た。追放されてから二年のうちに、彼は『魔女への 鉄槌（ Malleus Maleficarum）』という書物を編集して出版した。これはいわば、魔女の正体を暴いて殺すためのＤＩＹ（ドゥーイットユアセルフ）ガイドブックであり、その中でクラーマーは魔王の世界的な陰謀や、誠実なキリスト教徒が魔女を見つけ出して撃退する方法を詳しく説明した。特に、魔法を使うことが疑われる人々に自白させるために恐ろしい手段で拷問を行なうことを推奨し、有罪とされた者に対する罰は処刑しかないと、断固として主張した。
魔女狩りは、人間一人、あるいは一家族を殺すだけで終わりになることはめったになかった。根底にあるモデルが世界的な陰謀を想定していたので、魔法を使ったとして告発された人々は、共犯者の名を挙げるように拷問された。そして、その告白を証拠として使い、他の人々を投獄し、拷問にかけ、処刑した。このような不条理なやり口に役人や学者や聖職者が異議を唱えたら、それが、彼らが魔法使いであるに違いない証拠と見なされ、彼ら自身が拘束され、拷問された。
一度も会ったことのない人の研究に対するこの種の信頼は、一六六〇年に設立された「自然についての知識を改善するためのロンドン王立協会」や、一六六六年創立のフランス科学アカデミーなどの科学協会、一六六五年創刊の「フィロソフィカル・トランザクションズ」や一六九九年創刊の「王立科学アカデミー年誌・論文集」といった科学雑誌、『百科全書』（一七五一～七二年刊）の編纂者のような科学出版業者にはっきり見て取れた。これらの機関は、経験的証拠に基づいて情報のキュレーションを行ない、クラーマーの空想ではなくコペルニクスの発見に人々の注意を向けさせた。
魔女狩りだけでなく、過去に起こった宗教戦争、帝国主義、ロシアのクラーク狩り、全体主義からのホロコースト、のような悲劇が起こる「不可謬（ふかびゅう）のメカニズム」の登場は繰り返されています。不可謬というのは、自らを絶対的に正しいとする考え方のことです。
自己修正メカニズムは、情報テクノロジーとしては聖典とは正反対だ。聖典は不可謬ということになっている。だが、自己修正メカニズムは可謬性を受け容れる。私の言う 自己修正メカニズムとは、ある存在が自らを正すために使うメカニズムのことだ。
だが、カトリック教会のような機関の自己修正の特徴は、それが行なわれたときにさえ、褒め称えられることはなく否定される点にある。教会の教えを変えていることをけっして認めないというのが、教会の教えを変えるときの鉄則なのだ。
科学では、それとは正反対だ。科学の機関での雇用や昇進は、「出版か死か」という原則に基づいており、権威ある雑誌に論文を載せてもらうには、既存の説の間違いを暴いたり、先輩や恩師が知らなかったことを発見したりしなければならない。
これはぜひとも記憶にとどめておかなければならないのだが、選挙は真実を発見するための方法ではない。むしろ、人々の相反する願望を裁定することによって秩序を維持する方法だ。選挙は、何が真実かではなく、過半数の人が何を願っているかを明確にする。そして人々は、真実が実際とは違っていることを欲することが多い。したがって、民主主義的なネットワークは、多数派の意思からさえ真実を守るために、ある程度の自己修正メカニズムを維持する。
こういった科学や民主主義のような「自己修正メカニズム」が非常に重要である、というところから、それでは、AIがそれを助けるのか、損なうのかという論点に移ります。
フェイスブック自体が、この理屈を使って批判を 逸らした。そして、次のように公に認めるだけにとどまった。二〇一六～一七年に「我々は、分断を助長してオフラインの暴力を煽るのに弊社のプラットフォームが利用されるのを防ぐための努力が足りなかった」。
この声明は、罪を認めているように思えるかもしれないが、実際には、ヘイトスピーチを拡散させた責任の大半をプラットフォームのユーザーに転嫁し、フェイスブックの罪はせいぜい不作為の罪、すなわちユーザーが作り出したコンテンツを効果的にモデレート（選別）できなかったことにすぎないと、暗に言っている。だがこれは、フェイスブック自体のアルゴリズムが問題のある行動を取ったことを無視している。
政治の行方を左右するアルゴリズムの力については、まだまだ言うべきことがある。特に、アルゴリズムが自力で決定を下したという主張に異議を唱え、アルゴリズムがしたことはどれも、人間のエンジニアが書いたプログラムや人間の重役陣が採用したビジネスモデルの結果だと言い切る読者も多いかもしれないからだ。あいにく本書は、そのような意見には賛成しかねる。
ＡＩアルゴリズムは、人間のエンジニアが誰もプログラムしなかったことを、自力で学習でき、人間の重役が誰も予見しなかった事柄を決定することができる。これがＡＩ革命の真髄だ。この世界は、無数の新しい強力な行為主体であふれ返りつつある。
意識を持たないフェイスブックのアルゴリズムは、より多くの人により多くの時間をフェイスブックに 注ぎ込ませるという目標を持つことができる。続いてそのアルゴリズムは、その目標の達成に役立つなら、常軌を逸した陰謀論を意図的に拡散するという決定を下すことができる。反ロヒンギャの組織的活動の歴史を理解するには、ウィラトゥやフェイスブックの重役陣といった人間の目標や決定だけではなく、アルゴリズムの目標や決定も理解する必要がある。
そして、フェイスブックの事例などから、AIが目標を持ち自己決定することの意味と難しさを提示します。
憂慮するべきことだが、反ロヒンギャの組織的活動にフェイスブックが関与した件のように、コンピューター革命を先導する企業は、責任を消費者や有権者、あるいは政治家や規制者に転嫁しがちだ。彼らは社会や政治の騒乱を引き起こしたとして非難されると、「弊社はただのプラットフォームにすぎません。お客様が望み、有権者の方々が許すことをしているだけです。弊社のサービスを利用することなど、誰にも強制していませんし、既存の法律にもまったく抵触していません。お客様は、弊社のしていることが気に入らなかったら、離れていくことでしょう。有権者の皆様は、弊社のしていることが気に入らなかったら、弊社を規制する法律を成立させるでしょう。お客様はさらに多くを求め続け、弊社のすることを禁じる法律もないのですから、万事問題なしであるに違いありません」という逃げ口上でかわす。
この問題は、さらに根が深い。「顧客はつねに正しい」と「有権者がいちばんよく知っている」という原則には、さまざまな前提があるからだ。それらの前提とはすなわち、顧客や有権者や政治家が周囲で何が起こっているかを承知していること、ティックトックやインスタグラムを利用すると決めた顧客がその選択の影響を完全に把握していること、アップル社やファーウェイ社への規制を実現させる有権者や政治家がこれらの企業のビジネスモデルと活動を完全に理解していること、人々が新しい情報ネットワークを熟知した上で賛同したことだ。
かつそれを制御することの難しさから、私たちは過去は魔女狩りや全体主義からの世界大戦のような悲劇を、なんとか（滅亡せずに）切り抜けてこれたが、今後も切り抜けられる保証はない、と。
ポピュリスト政党とカリスマ的な指導者の波が最近起こっている理由の一つだ。人々がもうこの世界を理解することができず、消化し切れない厖大な情報に圧倒されているように感じるときには、陰謀論の 恰好の餌食になり、自分に理解できるもの、すなわち人間に救いを求める。
いま世界中で起こっている政治的な対立や陰謀論のような動きも、情報の波とアルゴリズムの複雑性に人間が対応できなくなってきているのでは、という可能性を提示します。
もし、人や世論を操るのがうまいボットや人知を超えたアルゴリズムが公の場での話し合いを支配するようになったら、私たちがこれまでにないほど民主的な討論を必要としているまさにそのときに、その討論が成り立たなくなりかねない。
私たちは、正真正銘の人間の見解を検閲するにあたっては慎重を期するべきだが、憤慨や憎悪を煽って攻撃的な言動に走らせるようなコンテンツをアルゴリズムが意図的に拡散するのを禁じることはできる。
二〇一八年に発効したＥＵの一般データ保護規則は、アルゴリズムが、たとえばある人にクレジット払いを認めないといった、人間についての決定を下したら、その人は、その決定についての説明を手に入れ、人間の当事者にその決定に対する異議を申し立てる権利を与えられるとしている。理想的には、それによってアルゴリズムの偏見を抑制し、民主的な自己修正メカニズムがコンピューターの間違いのうち、せめて重大なものの一部だけでも突き止めて正すことができてしかるべきだ。
そのためAIの発展には非常に慎重に対処する必要があるとし、その中でできることをいくつかできることも提示します。ただ著者も最終的には、いまこれだという対処方法はなく、AIも発展途中なので、これから考え対応し続けていかなければならない、というスタンスです。
引用が非常に多くなってしまいましたが、上下巻で膨大な事例や見解が提示されており、ここであげた以外にもたくさんの示唆があり、さまざま考えさせられました。AI時代に、今まで何がどう起こってきて、これからどうなっていきそうなのか、ということを一定把握する上で必読の作品かなと思います。長いですが、ハラリの今までの著作と同じく非常に読みやすく、おもしろいです。
個人的には、AIの危険性については十分注意しなければならないし、仕事のやり方を抜本的に変える必要があるし、それには個人としても社会としても困難が伴いますが、新しい価値を生み出してお客さまに提供できる機会として前向きに捉えています。明らかにパラダイムが変わる転換点なので、そんな時代に生きて、仕事できることにワクワクしています。