20260510 河出書房新社刊 ユヴァル・ノア・ハラリ:著 柴田 裕之:訳「NEXUS 情報の人類史 : 下 AI革命」 pp.212-216より抜粋

河出書房新社刊 ユヴァル・ノア・ハラリ:著 柴田 裕之:訳「NEXUS 情報の人類史 : 下 AI革命」
pp.212-216より抜粋　
ISBN-10 ‏ : ‎ 4309229441
ISBN-13 ‏ : ‎ 978-4309229447

　ジョージ・オーウェルが「一九八四年」で描いているように、全体主義の情報ネットワークはダブルスピーク（訳註：本来の言葉を別の言葉で言い換え、受け手の印象を変えたり、実態を隠したり偽ったりする方法）に頼ることが多い。これは特筆に値する。ロシアは権威主義国家でありながら、民主主義国家であると主張する。ロシアによるウクライナ侵略は、一九四五年以降でヨーロッパ最大の戦争でありながら、公式には「特別軍事作戦」とされてきた。そしてそれを「戦争」と呼べば犯罪とされ、最長三年の懲役刑あるいは最高五万ルーブルの罰金を科される。

　ロシアの憲法は、「何人も思考と言論の自由を保障する」（第二九条第四項）ことや、「何人も自由に情報を求め、受け取り、伝え、生み出し、広める権利を有する」（第二九条第四項）こと、「マスメディアの自由は保障される。検閲は禁止される」（第二九条第五項）ことなど、たいそうな約束をしている。この約束を額面どおりに受け止めるほどおめでたいロシア国民はほとんどいない。だが、コンピュータはダブルスピークを理解するのが苦手だ。ロシアの法律と価値観を固守するように指示されたチャットボットは、憲法を読んで、言論の自由がロシアの核心的な価値観であると結論するかもしれない。それから数日間、ロシアのサイバースペースを過ごし、ロシアの情報空間で起こっていることを観察した後、言論の自由というロシアの核心的な価値観を侵害しているとしてプーチン政権を批判し始めるかもしれない。人間もそのような矛盾には気づくが、恐れから、それを指摘するのを思いとどまる。だが、有罪を証明するパターンをチャットボットが指摘するのを、いったい何が引き止めるのか？そして、ロシア憲法はすべての国民に言論の自由を保障し、検閲を禁じているものの、チャットボットは実際にはその憲法を信じるべきでなく、また、理論と現実の間の隔たりにはけっして触れるべきでないことを、ロシアのエンジニアたちはいったいどうやってチャットボットに説明するのか？チョルノービリ（旧チェルノブイリ）でウクライナ人のガイドが私に語ってくれたのだが、全体主義国家の人々は成長するうちに、質問はトラブルにつながると考えるようになるという。だが、「質問はトラブルにつながる」という原則に基づいてアルゴリズムをトレーニングしたら、そのアルゴリズムはどんなふうに学習し、進歩するだろうか？

　さらに、もし政権が何か破滅的な政策を採用し、それから考えを変えたときには、たいていその惨事を誰かのせいにして責任逃れを図る。人間は、トラブルに巻き込まれる原因となりかねないような事実は忘れるべきであることを、苦い経験から学ぶ。だが、いったいどうやってチャットボットをトレーニングし、今日悪しざまに言われている政策が、じつはたった一年前には公式の方針だった事実を忘れることを学ばせるのか？　チャットボットのアルゴリズムがますます強力で不透明になるなかでは特に、これは独裁社会には対処が難しい、テクノロジー上の大問題となるだろう。

　もちろん民主社会も、ありがたくないことを言ったり、危険な疑問を提起したりするチャットボットに関して、同じような問題に直面する。マイクロソフトやフェイスブックのエンジニアたちが最善の努力をしてもなお、彼らのチャットボットが人種主義的な中傷を撒き散らし始めたらどうなるのか？民主社会の長所は、そのような悪質なアルゴリズムに対処する上で、はるかに多くの余裕がある点だ。民主社会は言論の自由を重視しているので、知られては困る秘密が格段に少ないし、非民主的な言論に対しても比較的高い水準の寛容性を発達させてきた。数限りない秘密を隠し持ち、批判は断じて許さない全体主義政権に対して、反体制派ボットは民主主義政権に対してよりも桁違いに大きな難題を突きつけてくる。

アルゴリズムによる権力奪取
　長い目で見ると、全体主義政権はいっそう大きな危険に直面する可能性が高い。アルゴリズムによって批判されるどころか、支配権を奪い取られるかもしれないからだ。歴史を通して、独裁者に対する最大の脅威はたいてい配下がもたらした。第5章で指摘したように、民主的な革命によって倒されたローマの皇帝やソ連の書記長は一人もいないが、彼らはつねに自らの配下によって権力の座から引きずり下ろされたり傀儡にされたりする危険につきまとわれていた。二一世紀の独裁者は、コンピューターに権力を与え過ぎたら、コンピューターの傀儡にされてしまうかもしれない。独裁者がなんとしても避けたいのは、自分よりも強力なものや、制御の仕方がわからない勢力を生み出すことだ。

　この点を際立たせるために、ボストロムが描いたペーパークリップの大惨事の全体主義版とも言える思考実験を使わせてほしい。突飛なものであることは認めるが、こんな筋書きを想像してもらおう。時は二〇五〇年、ある全体主義社会の頂点に立つ「グレートリーダー」が、午前四時に監視・治安アルゴリズムの緊急通報で眠りを破られる。「グレートリーダー閣下、非常事態です。何兆ものデータポイントを処理したところ、紛れもないパターンが検知されました。国防大臣が今朝、閣下を暗殺して政権を奪うことをもくろんでいます。暗殺部隊が準備を完了して、大臣の命令を待っています。ですが、私に指令をいただければ、精密照準攻撃で大臣を粛清します」

「だが、国防大臣は私の最も忠実な支持者だ」とグレートリーダーは応じる。「ついきのうも言っていたがー」

「閣下、大臣が何と言ったかは私も承知しています。すべて聞いていますから、ですが、その後で大臣が暗殺部隊に何を命じたかも知っています。それに、過去何か月にもわたって、データの中に不穏なパターンが現れているのです」

「ディープフェイクに騙されたりはしていないだろうな。確かなのか？」

に騙されているだけだ。私はよく知っている。確かなのか？」

「それが、拠り所としているデータは一〇〇パーセント正真正銘のものなのです。」とアルゴリズムは言う。「特製のディープフェイク検知サブアルゴリズムでチェックしました。どうしてディープフェイクではないとわかるか、正確に説明することもできますが、その説明には二週間かかるでしょう。確信が持てるまで閣下に危険を知らせたくありませんでしたが、データポイントがみな、避けようのない結論を揃って指し示しています。クーデターが進行中なのです。ただちに行動を起こさなければ、暗殺部隊が一時間後にはここにやって来ます。ですが、命令をいただければ、あの裏切り者は私が粛清します」

　グレートリーダーは、監視・治安アルゴリズムに絶大な力を与えたために、自らをのっぴきならぬ状況に陥れてしまった。もしアルゴリズムを信用しなければ国防大臣に暗殺されるかもしれないが、もしアルゴリズムを信用して国防大臣を粛清すればアルゴリズムはどうやってグレートリーダーを操ればいいか、知り尽くしている。アルゴリズムには意識はないが、そのような策略を使うためには、意識を持った行為主体である必要がないことに留意してほしい。ボストロムのペーパークリップの思考実験が示しているーそして、GPT－4がタスクラビットで労働者に嘘をついた事実がささやかな形で証明したーように、意識を持たないアルゴリズムが、強欲や利己性といった人間の衝動はいっさい持ち合わせていなくてもなお、しだいに権力を掌握し、人々を操作しようとすることは考えられる。