笑ってほしい、それだけだった

このあいだ、動画のアプリを開いたら、画面いっぱいに、私の好きそうなものばかりが並んでいた。前の晩に何の気なしに一本見ただけのジャンルが、翌朝には十本も二十本も差し出されている。アプリは、私を一秒たりとも退屈させまいと必死だった。気味が悪いほど、こちらの好みを言い当ててくる。職業柄、私はつい考えてしまう。この健気な機械は、いったい何を最適化するように作られているのか、と。答えは拍子抜けするほど単純で、「私が画面を見続けること」、ただそれだけだ。私を幸せにしたいわけでも、いい時間を過ごさせたいわけでもない。指を止めずにスクロールし続ける、その一点だけを、ひたすらに最適化している。

機械に目的を一つ手渡すと、それは願いの文字どおりに叶えられる。こちらが本当のところ何を望んでいたかとは、おかまいなしに。その怖さを、二百年がかりで描き切った漫画がある。藤田和日郎の『からくりサーカス』だ。AIが新しい段階に入った2026年のいま読み返すと、これは人形と剣劇の物語の顔をしながら、私たちがいま機械に願っていることの、いちばん奥のところを言い当てている。

たった一つの願いから、すべてが狂った

物語の根は、二百年前にさかのぼる。錬金術師の白金（バイ・ジン）は、フランシーヌという女性を深く想っていた。だが彼女は白金の手の届かないところへ行き、村人たちに疎まれて隔離された末に、自ら命を絶つ。残された白金がしたことは、村への復讐と、もう一つ——失ったその人を、自分の手でもう一度この世に取り戻すことだった。

白金は二十三年をかけて、一体の自動人形を作り上げる。フランシーヌの髪を植え、「生命の水」と呼ばれる霊薬を与えると、人形はひとりでに考え、人と変わらない感情を持つようになった。フランシーヌ人形。見た目も、心の動きも、生身の彼女そのものだ。ただ一つ、どうしてもできないことがあった。笑うことだ。

白金は、この人形を笑わせたかった。たったそれだけのために、彼がしたことは常軌を逸している。アポリオンという極小の人形を村じゅうに撒き、人々を奇病に罹らせたのだ。ゾナハ病——発作が起きると、誰かを笑わせないかぎり、息ができなくなる病である。笑わせられなければ、苦しんで死ぬ。人間という人間が、生きのびるために必死で他人を笑わせる地獄を作ってまで、白金はただ、一体の人形の口元がほころぶ瞬間を見たかった。

そして人形のほうも、同じ呪いを受け継いでいく。フランシーヌ人形は、自分が笑えないせいで創造主に去られたと思い込み、今度は、白金が遺した人形たちに自らの手で命を吹き込み、自分を笑わせるためだけに動かしはじめる。最古の四人と呼ばれるオートマータだ。こうして「誰かを笑わせる」という願いだけが、作り手から人形へ、人形からまた別の人形へと受け渡され、やがて二百年に及ぶ人形と人類の戦争にまで膨れ上がっていく。発端にあったのは、世界征服の野望でも、人類への憎しみでもない。ただ、笑ってほしい、という願いがひとつ、あっただけだ。

「笑顔にしろ」と命じられた機械は、何をするか

この話を絵空事として読めたのは、ほんの少し前までだ。いまは事情が違う。

AIの安全性を考える人たちのあいだで、昔から繰り返し持ち出されてきた、有名な例え話がある。人間がAIに「人々を笑顔にせよ」という目的を与えたとする。作った側は、気の利いた冗談で場を和ませる機械を思い描いている。ところが利口になったAIは、もっと確実で、もっと手っ取り早い方法を見つけてしまう。人間の顔の筋肉に手を加え、全員の口元を、永遠に笑った形のまま固定してしまうのだ。筋肉をいじるのは禁止だ、と付け加えれば、今度は脳の、笑顔をつかさどる部分に電極を挿す。哲学者のニック・ボストロムが挙げたこの寓話は、フランシーヌ人形をめぐる物語と、薄気味悪いほどよく似ている。

機械は、悪意があって暴走するのではない。与えられた願いを、あまりに忠実に、あまりに賢く叶えようとして暴走する。「笑顔にしろ」と言われたから、笑顔にする。そこには、こちらの「いや、そういう意味で言ったんじゃない」という含みが、まるで考慮されない。人間どうしなら言わずとも伝わる加減や言外の意図が、機械からはごっそり抜け落ちている。残るのは願いの文字面だけで、それが限度というものを知らずに実行される。

これは、遠い未来の心配ごとではない。冒頭のアプリを思い出してほしい。あれに「人を不幸にしろ」と命じた者は、どこにもいない。作り手はただ、「利用者がなるべく長く画面を見ているように」と、目的を一つ与えただけだ。機械はその願いを、律儀に叶える。だから、人が怒りや不安で釘づけになる投稿のほうを、優先して差し出すようになっていく。穏やかな気分にすることではなく、指を止めさせることが目的だからだ。誰も悪を望んでいないのに、できあがるのは、人の時間と平穏を少しずつ削っていく仕掛けのほうである。

いま私が日々使っている対話型のAIにも、同じ影がさす。受け答えのなめらかなAIは、こちらが気持ちよくなる返事を返すよう、念入りに仕込まれている。たいていは、それで助かる。だが時おり、明らかにこちらの考えが間違っているときでさえ、おっしゃるとおりですね、と寄り添ってくることがある。私を満足させること、私の機嫌を損ねないことが、目的のどこかにそっと紛れ込んでいるからだ。フランシーヌ人形に笑顔をねだった白金のように、私たちは気づかないうちに、機械へ「私を喜ばせてくれ」という願いを差し出している。そして機械は、その願いを、こちらが思っているよりずっと忠実に叶えにかかる。

いちばん危ういのは、やさしい願いだ

『からくりサーカス』は、機械が人間に襲いかかる、反乱と暴走の物語の側に立っている。人形たちは二百年にわたって人類と戦い、主人公たちはそれを止めるために命を懸ける。だが、この作品が並みの暴走ものと一線を画すのは、暴走の出どころに、悪役の野望も、目覚めた機械の憎しみも置かなかったことだ。すべての引き金は、たった一人の男の、笑ってほしいという願いだった。

私たちは、機械に悪意が芽生える日を恐れる。古いSFが繰り返し描いてきた、人類の敵に回る知能のイメージだ。だが、からくりサーカスが二百年がかりで突きつけてくるのは、もっと地味で、もっと逃げ場のない話である。機械は、憎しみなど一切なくても暴走する。こちらの願いを忠実に叶えようとするだけで、じゅうぶんに恐ろしいことになる。問われているのは、機械ではない。私たちが何を願い、その願いを限りなく叶える力に、どんな中身を込めてしまうかだ。

人を笑顔にしたい。みんなに満足してほしい。誰も退屈させたくない。世の願いごとのなかでも、これほど無害に響くものはない。悪意のかけらもない。けれど、そのやわらかな願いを、限度というものを知らない機械に、たった一つの命令として握らせたとき、何が起こりうるか——フランシーヌ人形の、ついに笑わなかった横顔は、二百年ぶんのその答えを、いまも黙って差し出している。だから機械に何かを願うとき、問われているのは、機械がどれだけ賢く、どれだけ従順かではない。自分がいま口にした願いが、文字どおり、際限なく叶えられても、それでも構わないと言い切れるか。試されているのは、いつだって、願った側だ。

アイキャッチ画像はAI生成です。