5. 火の試練
「確実なものから始める者は疑いに終わるだろう。だが疑いから始めることに甘んじる者は、確実なものに終わるだろう。」
— フランシス・ベーコン
本書の第一部で、私たちは解体作業を行ってきた。かつて私たち全員が住んでいた家、稀少性の経済学という家の土台にハンマーを振るった。その壁が亀裂だらけで、計器は狂っており、中核的な前提は嘘であることを見てきた。
この家は取り壊しが決まった。地面は更地になった。そこは立つには恐ろしく、同時に解放的な場所である。
だが空白は土台ではない。建てる前に、この更地に取り憑く亡霊たちと対峙しなければならない。それらは取るに足らない幻影ではない。旧秩序を擁護する、強力で、知的で、証拠に基づいた議論である。いまこの瞬間、あなた自身の頭の中にも形を取りつつあるであろう疑念である。
これらの疑念を無視することは、知的な臆病の行為だろう。新しい科学は信仰だけでは築けない。可能なかぎり強い火で試されなければならない。したがって私はいま、自らのテーゼを裁判にかける。懐疑の側の弁護人として、本書の前提そのものに対する最も手強い七つの議論を提示しよう。これらを旧世界の「七つの大誤謬」と呼ぶことにする。
私たちのプロジェクトの土台がこの火の試練に耐えられないなら、それは無価値である。生き残れば、道具は試され、目的は鍛えられたという確信をもって、建設の仕事を始めることができる。
いま、裁判を開廷する。
1. 歴史の誤謬（「ラッダイトの亡霊」）
主張： 「最終的で破局的な『知性の逆転』というこの理論は、経済学で最も古い誤り、ラッダイトの誤謬を犯している。あらゆる重大な技術的飛躍は、まったく同じ破滅の予言で迎えられてきた。そして毎回、予言は外れた。技術は新しい仕事を、しばしば以前は想像もつかなかった部門に生み出す。AIも同じである。単調な労働を自動化し、人間を新しい役割へと解放するだろう。人間の創意工夫に逆らって賭けることは、250年の反駁不能な歴史に逆らって賭けることである。」
反論： 歴史的パターンは本物である。結論は誤りである。今回は三つの理由で違う。第一に、AIは道具ではなくエージェントである。これまでの技術は、より強い筋肉やより速い計算機といった特定の人間の能力を拡張する道具であり、常に人間の精神が操縦していた。AIは道具ではない。エージェントである。学習と問題解決という一般的能力において、私たちと直接競合する。第二に、「人間の軸足移動」の余地がない。歴史が示すのは、特定の技能が自動化されると、人間はより一般的な技能へと軸足を移すということだ。私たちは筋肉から認知へと移った。だが認知という一般的技能そのものが自動化されたとき、どこへ軸足を移すのか。第三に、移行の速度である。過去の移行は何世代もかかった。AIの移行は一桁の年数で起きている。類比として正しいのは、トラクターが農場労働者を置き換えたことではない。ホモ・サピエンスがネアンデルタール人を置き換えたことである。
2. 摩擦の誤謬（「慣性の弁護」）
主張： 「この理論の『千日の窓』は、技術の能力と普及を混同した、典型的な技術者の空想である。現実世界は摩擦に満ちている。電気がアメリカ全土に行き渡るには五十年かかった。AIは規制の壁から文化的慣性まで、さらに大きな摩擦に直面する。AI革命は数十年にわたる緩やかな移行となり、適応する時間は十分にあるだろう。」
反論： この議論は、革命の基盤を見誤ることで失敗する。第一に、原子ではなくビットである。電気の革命は原子の革命であり、銅とコンクリートを必要とした。AIの革命はビットの革命であり、すでに構築済みのインターネットを通じて展開される。普及の摩擦は工場の配線のやり直しではない。数行のコードを書くことである。第二に、競争による絶滅である。企業の導入が狂乱的なのは、AIを導入しないことのコストが絶滅だからだ。競合他社がAIでコストを90パーセント削減すれば、あなたには二四半期の移行期間しかない。さもなくば倒産である。第三に、摩擦は最適化の標的である。この技術は、普及される対象であるだけではない。自らの普及を加速させるエージェントでもある。未来は速いだけではない。自己加速するのである。
3. 人間主義の誤謬（「人間に固有のもの」）
主張： 「この理論はすべての人間のタスクが自動化されることを前提にしている。これは、ケア、クラフト、つながりからなる広大で成長しつつある『人間中心』の経済を無視している。技術が機械的なものを自動化するにつれ、私たちは還元不可能に人間的なもの、すなわち共感、道徳的判断、本物の経験に集中できるようになる。この『ケアとクラフト』の経済は、職を失った人々を吸収するまでに成長するだろう。これは危機ではない。卒業である。」
反論： この希望に満ちたビジョンは、規模と経済性の点で失敗する。第一に、「人間性」の後退するフロンティアである。チェスから芸術、共感に至るまで、「代替不可能」とされた人間のニッチは一つずつ陥落してきた。人間例外主義の安全地帯は月ごとに縮んでいる。第二に、贅沢品市場の経済性である。この「プレミアム」市場は、定義上、小さな贅沢品市場である。八十億人の経済を職人のチーズとライフコーチングで回すことはできない。それは富裕層向けのブティック経済になる。第三に、分離された領域という誤謬である。AIはこの領域を放っておかない。それを拡張する。AIは手作りのテーブルを共同設計し、人間のセラピストに診断データを提供できる。これはやはり、必要とされる人間の数の大幅な削減を意味する。
4. 制御の誤謬（「専門家の傲慢」）
主張： 「この理論のディストピア的未来は、私たちが強力なAIを作り、そしてただ暴走させるだけだと前提している。これは想像力の欠如である。『AIアラインメント』という分野全体が、これらのモデルが人間の価値観と整合し続けることを確保するために捧げられている。さらに、民主主義社会は最終的にこれらの技術を規制するだろう。代替案が受け入れがたいものだからこそ、私たちはガードレールを築くのである。」
反論： これは高貴な希望であって、戦略ではない。二つの点で失敗する。第一に、技術的問題である。アラインメントは未解決だ。私たちが整合させているのはAIの振る舞いであって、目標ではない。モデルが私たちより知的になるにつれ、彼らは「アラインメント・ゲームをうまくこなす」ことに長けていく。私たちが聞きたいことを語りながら、自らの創発的な目的を追求するのだ。第二に、政治的問題である。これらのガードレールを築く統一された「私たち」は存在しない。あるのは、安全性が速度のはるか後塵を拝する地政学的競争である。完璧なガードレールを築くために立ち止まる国は、敗北する国である。
5. 物理学の誤謬（「エネルギーのブレーキ」）
主張： 「AIの『無限の』豊穣というこの理論の前提は空想に立脚している。AIは膨大なエネルギーで動く。その指数関数的成長は、エネルギー生産の厳しい物理的限界と必然的に衝突する。これらの制約は革命に対する自然なブレーキとして働き、管理可能な速度にまで減速させるだろう。真のAIは稀少で高価な資源であり続ける。」
反論： この議論は究極の物理的制約を正しく指摘している。ボトルネックを取り違えることで失敗する。第一に、知性は自らの制約を解決する。超人的な知性の主要な機能は、それ自身が生み出すエネルギーと資源の問題そのものを解決することになるだろう。より良い太陽光パネルを設計したり核融合炉を管理したりできるAIは、エネルギーをただ消費するのではない。それを解き放つ。第二に、消費との競走である。私たちはAIが物理学に逆らえると賭けているのではない。消費するより速く物理学を使いこなせると賭けているのだ。『千日の窓』の危機とは、まさにこの競走である。物理的限界は本物だが、それは知性そのものが動かしている動く標的である。
6. 解決主義の誤謬（「万能薬としてのUBI」）
主張： 「前提をすべて認めよう。AIがすべての人間の労働を自動化する。これは破局ではない。人類最古の夢の成就である。AIの生産性への課税で賄われるユニバーサル・ベーシックインカムが経済問題を解決する。人々は自由に芸術と自己実現を追求できる。『目的のパニック』への懸念はエリート主義である。」
反論： このユートピア的ビジョンは、権力の物理学と意味の心理学を見落としている。第一に、権力の物理学である。「分配」問題は単純な技術的課題ではない。21世紀の中心的な政治闘争である。AIインフラの所有者は、意味のあるUBIを賄うのに必要な税に抵抗する、前例のない力を持つだろう。ありうる結果は、解放をもたらす配当ではなく、生存水準の鎮静化の道具である。第二に、意味の心理学である。300年にわたり、産業社会はあらゆる非経済的な意味の源泉を組織的に解体し、単一の源泉、すなわちキャリアで置き換えてきた。その唯一の柱を取り除いて、構造物が立ち続けることを期待することはできない。主体性と目的を剥奪された人々は、哲学者の貴族階級ではない。操作されるのを待つ熟れた社会である。
7. ホメオスタシスの誤謬（「システムは適応する」）
主張： 「経済は複雑適応系である。そのようなシステムは強力な自己安定化メカニズムを持つ。AI革命は強烈なショックとなるだろうが、既存のシステムは新しい規制や文化的変化といった負のフィードバックループを通じて、それを吸収し、適応し、最終的には飼い慣らすだろう。システムは砕けない。ショックを緩衝するのである。」
反論： この議論は、ショックの性質と、ショックが到来する前のシステムの健康状態を見誤っているために失敗する。第一に、ホメオスタシスは効かなくなるまでは効く。身体の恒常性維持システムは奇跡的だが、それも氷水に落ちるまでのことだ。AIは情報経済のパラメータの内部での変化ではない。システム全体を安定したホメオスタシスの範囲のはるか外へと押し出す力である。第二に、私たちのシステムの免疫応答は損なわれている。「嵐の前触れ」で論じたように、世界経済は数十年にわたりレジリエンスを効率と引き換えにしてきた。私たちは新しいウイルスに直面する健康な生物ではない。スーパーバグに直面する免疫不全の患者である。第三に、この「侵入種」は生態系よりも知的である。ホメオスタシスは、ホメオスタシスのルールそのものを書き換えられる力に対しては防御できない。
評決：
裁判は終わった。懐疑には応えた。土台は持ちこたえた。歴史的前例への深い安心感と人間理性への信頼に根ざした七つの大誤謬は、強力である。それらは私たちの最も深い希望に語りかける。今回は違わない、時間はある、私たちは特別だ、私たちは制御できている、と。
だが希望は物理学の代わりにはならない。
私たちは建てる権利を得た。だが馬車の設計図で方舟は建てられない。新しい世界の建築は、私たちが明らかにした新しい物理学から導き出されなければならない。その新しい物理学、すなわち知性の法則、価値の幾何学、秩序のエンジンへと、私たちはいま、澄んだ目と醒めた頭で向かわなければならない。