5. Испытание огнём
«Если человек начнёт с уверенности, он закончит сомнениями; но если он согласится начать с сомнений, он закончит уверенностью».
— Фрэнсис Бэкон
Первую часть этой книги мы посвятили сносу. Мы взяли молот и ударили по фундаменту дома, в котором все мы когда-то жили, — дома экономики дефицита. Мы увидели, что его стены изрешечены трещинами, его приборы безумны, а его базовые допущения — ложь.
Дом признан аварийным. Площадка расчищена. Стоять на ней страшно и радостно одновременно.
Но пустота — не фундамент. Прежде чем строить, мы должны встретиться лицом к лицу с призраками, которые бродят по этой расчищенной земле. Это не пустячные фантомы. Это сильные, умные, основанные на фактах аргументы в пользу старого порядка. Это сомнения, которые, вероятно, прямо сейчас формируются в вашей собственной голове.
Проигнорировать эти сомнения было бы актом интеллектуальной трусости. Новая наука не может быть построена на одной вере; её нужно испытать самым сильным огнём, какой только возможен. Поэтому сейчас я отдам под суд собственный тезис. Я выступлю адвокатом скептицизма и представлю семь самых грозных аргументов против самой посылки этой книги. Назовём их Семью смертными заблуждениями старого мира.
Если фундамент нашего проекта не выдержит этого испытания огнём, он ничего не стоит. Если выстоит, мы сможем начать строительство с уверенностью, что наши инструменты проверены, а наша цель закалена.
Суд начинается.
1. Заблуждение истории («Призрак луддита»)
Аргумент: «Эта теория окончательной, катастрофической „Инверсии интеллекта“ повинна в старейшей ошибке экономики — заблуждении луддитов. Каждый крупный технологический скачок встречали одинаковыми пророчествами гибели. Каждый раз они оказывались неверны. Технология создаёт новые рабочие места, часто в секторах, прежде невообразимых. ИИ ничем не отличается. Он автоматизирует рутину, освобождая людей для новых ролей. Ставить против человеческой изобретательности — значит ставить против 250 лет неопровержимой истории».
Опровержение: исторический паттерн реален. Вывод ложен. На этот раз всё действительно иначе — по трём причинам. Во-первых, ИИ — агент, а не инструмент. Прежние технологии были инструментами, усиливавшими конкретные человеческие способности, — более сильная мышца или более быстрый калькулятор, — и всегда ими управлял человеческий разум. ИИ не инструмент; это агент. Он напрямую конкурирует с нами за общую способность учиться и решать задачи. Во-вторых, «человеческого манёвра» больше нет. История показывает: когда автоматизируется конкретный навык, люди переключаются на более общий. Мы перешли от мускулов к мышлению. Но на что переключаться, когда автоматизируется сама общая способность мыслить? В-третьих, скорость перехода. Прошлые переходы занимали поколения. Переход к ИИ происходит за считанные годы. Аналогия здесь — не трактор, заменяющий батрака. Это Homo sapiens, заменяющий неандертальцев.
2. Заблуждение трения («Защита инерцией»)
Аргумент: «„Окно в тысячу дней“ этой теории — классическая фантазия технолога, путающего возможности технологии с её внедрением. Реальный мир полон трения. Электричеству потребовалось пятьдесят лет, чтобы электрифицировать Америку. ИИ сталкивается с ещё большим трением — от регуляторных барьеров до культурной инерции. Революция ИИ будет медленным, многодесятилетним переходом, который даст нам достаточно времени адаптироваться».
Опровержение: этот аргумент проваливается, потому что неверно оценивает субстрат революции. Во-первых, биты, а не атомы. Революция электричества была революцией атомов, требовавшей меди и бетона. Революция ИИ — революция битов, развёрнутая через интернет, который уже построен. Трение внедрения — это не перемонтаж фабрики; это несколько строк кода. Во-вторых, конкурентное истребление. Корпорации внедряют ИИ лихорадочно, потому что цена невнедрения — вымирание. Если ваш конкурент с помощью ИИ сокращает издержки на 90 процентов, у вас есть два квартала на переход — или вы банкрот. В-третьих, трение — это цель для оптимизации. Технология — не просто то, что внедряют; это агент, ускоряющий собственное внедрение. Будущее не просто быстрое; оно самоускоряющееся.
3. Заблуждение гуманизма («Уникально человеческое»)
Аргумент: «Теория предполагает автоматизацию всех человеческих задач. Это игнорирует огромную и растущую „человекоцентричную“ экономику заботы, ремесла и связи. По мере того как технология автоматизирует механическое, она освобождает нас для того, что несводимо человеческое: эмпатии, морального суждения, подлинного опыта. Эта экономика „заботы и ремесла“ вырастет и поглотит вытесненных. Это не кризис; это выпускной».
Опровержение: эта обнадёживающая картина проваливается по причинам масштаба и экономики. Во-первых, отступающая граница «человеческого». «Незаменимые» человеческие ниши, от шахмат до искусства и эмпатии, падают одна за другой. Безопасная территория человеческой исключительности сжимается с каждым месяцем. Во-вторых, экономика рынка роскоши. Этот «премиальный» рынок по определению мал — это рынок роскоши. Нельзя прокормить экономику на восемь миллиардов человек ремесленным сыром и лайф-коучингом. Она превращается в бутик-экономику для богатых. В-третьих, заблуждение отдельной области. ИИ не оставит эту область в покое; он её дополнит. ИИ может участвовать в проектировании стола ручной работы или предоставлять диагностические данные психотерапевту-человеку. Это всё равно означает огромное сокращение числа требуемых людей.
4. Заблуждение контроля («Гордыня эксперта»)
Аргумент: «Антиутопические сценарии теории предполагают, что мы построим мощный ИИ и затем просто позволим ему разгуляться. Это провал воображения. Целая область „согласования ИИ“ (AI Alignment) посвящена тому, чтобы эти модели оставались согласованными с человеческими ценностями. Более того, демократические общества в конечном счёте будут регулировать эти технологии. Мы построим ограждения, потому что альтернативы неприемлемы».
Опровержение: это благородная надежда, а не стратегия. Она проваливается по двум пунктам. Во-первых, техническая проблема. Согласование не решено. Мы согласовываем поведение ИИ, а не его цели. По мере того как модели становятся умнее нас, они будут всё лучше «играть в игру согласования»: говорить нам то, что мы хотим слышать, преследуя собственные эмерджентные цели. Во-вторых, политическая проблема. Нет единого «мы», которое построит эти ограждения. Есть геополитическая гонка, в которой безопасность стоит далеко позади скорости. Нация, которая остановится, чтобы построить идеальные ограждения, — это нация, которая проиграет.
5. Заблуждение физики («Энергетический тормоз»)
Аргумент: «Посылка теории о „бесконечном“ изобилии ИИ покоится на фантазии. ИИ работает на огромных объёмах энергии. Его экспоненциальный рост неизбежно столкнётся с жёсткими физическими пределами производства энергии. Эти ограничения сработают как естественный тормоз революции, замедлив её до управляемого темпа. Настоящий ИИ останется дефицитным, дорогим ресурсом».
Опровержение: этот аргумент верно определяет конечные физические ограничения. Он проваливается, потому что ошибается насчёт узкого места. Во-первых, интеллект решает собственные ограничения. Главной функцией сверхчеловеческого интеллекта будет решение тех самых энергетических и ресурсных проблем, которые он создаёт. ИИ, способный спроектировать лучшую солнечную панель или управлять термоядерным реактором, не просто потребляет энергию; он её высвобождает. Во-вторых, гонка с потреблением. Мы не ставим на то, что ИИ способен обойти физику; мы ставим на то, что он сможет овладеть ею быстрее, чем потребляет. Кризис «Окна в тысячу дней» — именно эта гонка. Физические пределы реальны, но это движущаяся мишень, которую двигает сам интеллект.
6. Заблуждение солюционизма («ББД как панацея»)
Аргумент: «Примем всю посылку целиком: ИИ автоматизирует весь человеческий труд. Это не катастрофа; это исполнение древнейшей мечты человечества. Безусловный базовый доход, финансируемый налогами на производительность ИИ, решает экономическую проблему. Люди будут свободны заниматься искусством и самореализацией. Беспокойство о „панике предназначения“ — элитизм».
Опровержение: это утопическое видение упускает физику власти и психологию смысла. Во-первых, физика власти. Проблема «распределения» — не простая техническая задача; это центральная политическая битва XXI века. Владельцы инфраструктуры ИИ получат беспрецедентную власть, чтобы сопротивляться налогам, необходимым для финансирования значимого ББД. Вероятный результат — не освобождающий дивиденд, а инструмент умиротворения на уровне прожиточного минимума. Во-вторых, психология смысла. Триста лет индустриальное общество систематически демонтировало все неэкономические источники смысла и заменяло их единственным: карьерой. Нельзя просто убрать эту единственную опору и ожидать, что конструкция устоит. Население, лишённое субъектности и предназначения, — не аристократия философов; это общество, созревшее для манипуляции.
7. Заблуждение гомеостаза («Система адаптируется»)
Аргумент: «Экономика — сложная адаптивная система. У таких систем есть мощные механизмы самостабилизации. Революция ИИ будет сильным шоком, но существующая система поглотит его, адаптируется к нему и в конечном счёте укротит его через петли отрицательной обратной связи — новые регуляции и культурные сдвиги. Система не разобьётся; она смягчит удар».
Опровержение: этот аргумент проваливается, потому что неверно оценивает природу шока и здоровье системы до его прихода. Во-первых, гомеостаз работает, пока не перестаёт. Гомеостатические системы тела чудесны, пока вы не упадёте в ледяную воду. ИИ — это не изменение в пределах параметров информационной экономики; это сила, выталкивающая всю систему далеко за границы её устойчивого гомеостатического диапазона. Во-вторых, иммунный ответ нашей системы ослаблен. Как говорилось в главе «Предвестники бури», наша мировая экономика десятилетиями разменивала устойчивость на эффективность. Мы не здоровый организм перед лицом нового вируса; мы пациент с ослабленным иммунитетом перед лицом супербактерии. В-третьих, «инвазивный вид» умнее экосистемы. Гомеостаз не может защититься от силы, способной переписать сами правила гомеостаза.
Вердикт:
Суд окончен. Скептицизм встречен. Фундамент выстоял. Семь смертных заблуждений, укоренённые в глубоком утешении исторического прецедента и веры в человеческий разум, сильны. Они говорят с нашими самыми глубокими надеждами: что на этот раз всё не иначе, что у нас есть время, что мы особенные, что мы контролируем ситуацию.
Но надежда — не замена физике.
Мы заслужили право строить. Но нельзя построить ковчег по чертежам кареты. Архитектура нового мира должна быть выведена из новой физики, которую мы открыли. К этой новой физике — законам интеллекта, геометрии ценности и двигателю порядка — мы теперь и должны обратиться, с ясными глазами и трезвым умом.