5. Випробування вогнем
«Хто починає з певності, той закінчить сумнівами; хто ж згодиться почати із сумнівів, той закінчить певністю».
— Френсіс Бекон
Першу частину цієї книжки ми присвятили знесенню. Ми взяли молот і вдарили ним по фундаменту будинку, в якому колись усі жили, — будинку економіки дефіциту. Ми побачили, що його стіни поцятковані тріщинами, прилади божевільні, а засадничі припущення — брехня.
Будинок визнано аварійним. Ділянку розчищено. Стояти на ній — і моторошно, і визвольно.
Але порожнеча — не фундамент. Перш ніж будувати, ми мусимо зустрітися віч-на-віч із привидами, що блукають розчищеною ділянкою. Це не дрібні фантоми. Це потужні, розумні, засновані на фактах аргументи на користь старого ладу. Це сумніви, які, найпевніше, саме зараз зароджуються у вашій власній голові.
Ігнорувати ці сумніви було б інтелектуальною боягузтю. Нову науку не збудуєш на самій вірі; її треба випробувати найсильнішим можливим вогнем. Тож тепер я віддам на суд власну тезу. Я виступлю адвокатом скептицизму й викладу сім найгрізніших аргументів проти самого засновку цієї книжки. Назвімо їх Сімома смертними хибами старого світу.
Якщо фундамент нашого проєкту не витримає цього випробування вогнем, він нічого не вартий. Якщо витримає, ми зможемо взятися до будівництва з упевненістю, що наші інструменти випробувано, а наша мета загартована.
Суд починається.
1. Хиба історії («Привид луддита»)
Аргумент: «Ця теорія остаточної, катастрофічної "Інверсії інтелекту" винна в найстарішій помилці економіки — хибі луддитів. Кожен великий технологічний стрибок зустрічали тими самими пророцтвами загибелі. І щоразу вони виявлялися хибними. Технологія створює нові робочі місця, часто в галузях, яких раніше годі було й уявити. ШІ нічим не відрізняється. Він автоматизує рутину, звільнивши людей для нових ролей. Ставити проти людської винахідливості — означає ставити проти 250 років незаперечної історії».
Спростування: історичний патерн реальний. Висновок хибний. Цього разу справді все інакше — з трьох причин. По-перше, ШІ — це агент, а не інструмент. Попередні технології були інструментами, що посилювали конкретні людські здібності, — сильніший м'яз чи швидший калькулятор, — і завжди їх скеровував людський розум. ШІ — не інструмент; він агент. Він конкурує з нами безпосередньо за загальну здатність навчатися й розв'язувати проблеми. По-друге, немає «людської переорієнтації». Історія показує, що коли певну навичку автоматизують, люди переорієнтовуються на загальнішу. Ми перейшли від м'язів до пізнання. Але на що переорієнтовуватися, коли автоматизовано саму загальну навичку пізнання? По-третє, швидкість переходу. Минулі переходи тривали поколіннями. Перехід до ШІ відбувається за лічені роки. Доречна аналогія — не трактор, що замінює наймита. А Homo sapiens, що витісняє неандертальців.
2. Хиба тертя («Захист інерцією»)
Аргумент: «"Вікно в тисячу днів" цієї теорії — класична фантазія технолога, що плутає можливості технології з її поширенням. Реальний світ сповнений тертя. Щоб електрифікувати Америку, знадобилося п'ятдесят років. ШІ стикається з іще більшим тертям — від регуляторних перешкод до культурної інерції. Революція ШІ буде повільним, багатодесятилітнім переходом, що дасть нам удосталь часу на пристосування».
Спростування: цей аргумент провалюється, бо хибно оцінює субстрат революції. По-перше, біти, а не атоми. Революція електрики була революцією атомів, що потребувала міді й бетону. Революція ШІ — це революція бітів, що розгортається через інтернет, який уже збудовано. Тертя поширення — це не переобладнання фабрики, а написання кількох рядків коду. По-друге, конкурентне винищення. Корпорації впроваджують ШІ гарячково, бо ціна невпровадження — вимирання. Якщо ваш конкурент скорочує витрати на 90 відсотків завдяки ШІ, у вас є два квартали на перехід — або ви банкрут. По-третє, тертя — це мішень для оптимізації. Технологія — не просто те, що впроваджують; вона агент, що прискорює власне впровадження. Майбутнє не просто швидке; воно самоприскорюється.
3. Хиба гуманізму («Суто людське»)
Аргумент: «Теорія припускає автоматизацію всіх людських завдань. Вона ігнорує величезну й дедалі більшу "людиноцентричну" економіку турботи, ремесла й зв'язку. Що більше технологія автоматизує механічне, то більше звільняє нас, щоб ми зосередилися на тому, що є невідчужувано людським: емпатії, моральному судженні, автентичному досвіді. Ця економіка "турботи й ремесла" зростатиме й поглине витіснених. Це не криза; це випускний».
Спростування: це сповнене надії бачення провалюється через масштаб і економіку. По-перше, межа «людяності» відступає. «Незамінні» людські ніші — від шахів до мистецтва й емпатії — падають одна за одною. Безпечна територія людської винятковості меншає щомісяця. По-друге, економіка ринку розкоші. Цей «преміальний» ринок за визначенням малий, ринок розкоші. Не можна вести економіку для восьми мільярдів людей на ремісничому сирі й лайф-коучингу. Вона стає бутиковою економікою для багатих. По-третє, хиба окремої сфери. ШІ не залишить цієї сфери в спокої; він її підсилить. ШІ може спільно з майстром спроєктувати стіл ручної роботи або надати діагностичні дані терапевтові-людині. І це все одно означає масове скорочення кількості потрібних людей.
4. Хиба контролю («Зарозумілість експерта»)
Аргумент: «Антиутопічні майбутні цієї теорії припускають, що ми збудуємо потужний ШІ, а потім просто дамо йому шаленіти. Це брак уяви. Ціла галузь "узгодження ШІ" (AI Alignment) присвячена тому, щоб ці моделі залишалися узгодженими з людськими цінностями. Крім того, демократичні суспільства зрештою врегулюють ці технології. Ми збудуємо запобіжники, бо альтернативи неприйнятні».
Спростування: це шляхетна надія, а не стратегія. Вона провалюється з двох причин. По-перше, технічна проблема. Узгодження не розв'язане. Ми узгоджуємо поведінку ШІ, а не його цілі. Що розумнішими за нас ставатимуть моделі, то краще вони гратимуть у «гру в узгодження», кажучи нам те, що ми хочемо почути, і водночас переслідуючи власні емерджентні цілі. По-друге, політична проблема. Немає єдиного «ми», яке збудувало б ці запобіжники. Є геополітичні перегони, в яких безпека далеко поступається швидкості. Нація, що зупиниться, щоб збудувати досконалі запобіжники, — це нація, яка програє.
5. Хиба фізики («Енергетичне гальмо»)
Аргумент: «Засновок теорії про "нескінченний" достаток ШІ спирається на фантазію. ШІ працює на величезних обсягах енергії. Його експоненційне зростання неминуче зіткнеться з жорсткими фізичними межами виробництва енергії. Ці обмеження діятимуть як природне гальмо революції, сповільнивши її до керованого темпу. Справжній ШІ залишиться дефіцитним, дорогим ресурсом».
Спростування: цей аргумент правильно вказує на кінцеві фізичні обмеження. Він провалюється, бо помиляється щодо вузького місця. По-перше, інтелект розв'язує власні обмеження. Головною функцією надлюдського інтелекту буде розв'язання тих самих енергетичних і ресурсних проблем, які він створює. ШІ, здатний спроєктувати кращу сонячну панель або керувати термоядерним реактором, не просто споживає енергію — він її вивільняє. По-друге, перегони зі споживанням. Ми не ставимо на те, що ШІ може кинути виклик фізиці; ми ставимо на те, що він зможе опанувати її швидше, ніж споживає. Криза «Вікна в тисячу днів» — це саме ці перегони. Фізичні межі реальні, але це рухома мішень, яку рухає сам інтелект.
6. Хиба солюціонізму («ББД як панацея»)
Аргумент: «Припустімо, що весь засновок правильний: ШІ автоматизує всю людську працю. Це не катастрофа; це здійснення найдавнішої мрії людства. Безумовний базовий дохід, що фінансується податками на продуктивність ШІ, розв'язує економічну проблему. Люди будуть вільні займатися мистецтвом і самоактуалізацією. Тривога щодо "паніки втрати призначення" — елітарна».
Спростування: це утопічне бачення не зважає на фізику влади й психологію сенсу. По-перше, фізика влади. Проблема «розподілу» — не просте технічне завдання; це центральна політична битва XXI століття. Власники інфраструктури ШІ матимуть безпрецедентну владу, щоб опиратися податкам, потрібним для фінансування вагомого ББД. Імовірний результат — не визвольні дивіденди, а інструмент умиротворення на рівні прожиткового мінімуму. По-друге, психологія сенсу. Триста років індустріальне суспільство систематично демонтувало всі неекономічні джерела сенсу й замінило їх одним-єдиним: кар'єрою. Не можна просто прибрати цю одну опору й чекати, що будівля встоїть. Населення, позбавлене свободи дії та призначення, — не аристократія філософів; це суспільство, дозріле для маніпуляцій.
7. Хиба гомеостазу («Система пристосується»)
Аргумент: «Економіка — складна адаптивна система. Такі системи мають потужні механізми самостабілізації. Революція ШІ стане потужним шоком, але чинна система поглине його, пристосується до нього й зрештою приборкає його через петлі від'ємного зворотного зв'язку, як-от нові регуляції та культурні зрушення. Система не розлетиться на друзки; вона амортизує шок».
Спростування: цей аргумент провалюється, бо хибно оцінює природу шоку й здоров'я системи до того, як шок настане. По-перше, гомеостаз працює, доки не перестає працювати. Гомеостатичні системи організму дивовижні — доки ви не впадете в крижану воду. ШІ — це не зміна в межах параметрів інформаційної економіки; це сила, що виштовхує всю систему далеко за межі її стабільного гомеостатичного діапазону. По-друге, імунна відповідь нашої системи підірвана. Як показано в розділі «Провісники бурі», наша світова економіка десятиліттями обмінювала стійкість на ефективність. Ми не здоровий організм, що стикається з новим вірусом; ми пацієнт з ослабленим імунітетом перед лицем супербактерії. По-третє, «інвазивний вид» розумніший за екосистему. Гомеостаз не може захиститися від сили, здатної переписати самі правила гомеостазу.
Вирок:
Суд закінчено. Скептицизмові дано відповідь. Фундамент устояв. Сім смертних хиб, що вкорінені в глибокому затишку історичних прецедентів і вірі в людський розум, — потужні. Вони промовляють до наших найглибших надій: що цього разу все не інакше, що в нас є час, що ми особливі, що ми все контролюємо.
Але надія — не замінник фізики.
Ми заслужили право будувати. Але ковчег не збудуєш за кресленнями карети. Архітектуру нового світу треба вивести з нової фізики, яку ми відкрили. Саме до цієї нової фізики — законів інтелекту, геометрії цінності та двигуна порядку — ми мусимо тепер, ясним поглядом і тверезим розумом, звернутися.