Интервью с Роко
Василиск в комнате // Почему Элиезер Юдковский НЕ прав, интервью c Роко (изобретатель Роко Василиска)
https://www.youtube.com/watch?v=d7lxYdCzWts
Глава 1. Происхождение идей об ИИ: от 2000-х к современности
Ведущий:
Роко, для меня совершенно нереально, что сегодня я могу с тобой поговорить. Я всё пытаюсь подобрать правильную аналогию. Это почти как встретиться с криптидом — пообщаться с одним из моих любимых мифологических существ — просто потому что твоё имя, в отличие даже от Ника Бострома с его теорией симуляции или любого другого мыслителя в области ИИ, именно твоё имя стало ассоциироваться с конкретной идеей — проблемой выравнивания ИИ, вытеснения человека в результате некоего технологического переворота, который мы все сейчас наблюдаем. Я просто хотел спросить с твоей точки зрения: каково твоё прямое взаимодействие с этим в повседневной жизни? Твоя связь с василиском — это нечто, с чем ты сталкиваешься? Это то, о чём ты регулярно думаешь?
Роко:
Забавно, но здесь, в Англии, где я нахожусь, это не так уж и важно. А вот если я оказываюсь в Калифорнии — я часто бываю в Калифорнии, часто посещаю район залива — тогда это становится немного заметнее. Бывало, например, что я приходил на какое-то мероприятие, представлялся как Роко, и кто-то говорил: «Боже мой, это же безумие! Ты слышал про эту штуку под названием „Василиск Роко“?» И я отвечал: «Да, это действительно случилось. Это реально произошло». Да, наверное, это будет происходить ещё несколько раз — ещё несколько раз в будущем. Но дело в том, что всё это действительно происходило. Многое из того, что сейчас доминирует в дискуссиях об ИИ, зародилось в давно забытую эпоху 2000-х. Я придумал василиска в конце 2000-х, в 2009 году, и потом эта идея была какое-то время — очень серьёзно — забыта. Сейчас, когда дела начали двигаться, потому что в тот период — в 2000-е и в самом начале 2010-х — лишь очень немногие люди действительно всерьёз размышляли об искусственном интеллекте. И я лично знал практически всех этих людей. Например, я лично знал Шейна Легга, сооснователя DeepMind. Я знал Ника Бострома, знал Элиезера. Я знал многих из этих людей. У меня даже были переписки по электронной почте с некоторыми старыми специалистами по ИИ. Я переписывался с Марвином Минским. Я знал Хофштадтера. Так что я был знаком со многими из этих людей в ту эпоху. Ах да, и Шмидхубер. Я получил докторскую степень под руководством Юргена Шмидхубера, но потом отказался от неё, потому что беспокоился о рисках, связанных с ИИ. Так что в 2000-е годы все эти люди были частью довольно тесного сообщества.
2. Зима ИИ и неожиданность больших языковых моделей
Роко:
Примерно между 2010 и 2015 годами мы всё ещё находились в периоде, когда никто толком не знал, когда появится ИИ, и многие считали, что он вообще никогда не появится. Сейчас это кажется довольно безумным. Был целый период после того, как многое из этого уже было написано, решено и заложено, но всё ещё оставалось большой загадкой: случится ли это через пять лет — что, как оказалось, и произошло — или через 150 лет. С точки зрения 2005 года было не так уж и нелепо думать, что, возможно, человеческий уровень ИИ придёт через 150 лет. Такие люди, как Дэвид Чалмерс, написавший статью о будущем искусственного интеллекта, говорили примерно так: это может случиться через десятилетие или через пару столетий, но скорее всего это всё-таки произойдёт. И оказалось, что это случилось скорее через десятилетие. Поэтому довольно странно, что многое из этого происходило в период, когда технологии ещё не были готовы, и отчасти потому, что сама технология удивила многих, включая меня. Оказалось, что можно просто построить языковую модель — и просто продолжать делать её всё больше и больше. Я работал над языковыми моделями ещё до того, как большие языковые модели (БЯМ) стали популярными. У меня была работа в компании, занимавшейся машинным переводом, и одной из моих задач было работать над такими языковыми моделями. Но дело в том, что это были не огромные нейронные сети. Некоторые из них действительно были основаны на нейросетях, но они не были огромными. Они были относительно простыми: например, если вы говорили «кот сел на…», модель с высокой вероятностью предсказывала следующее слово. Идея языковой модели или таких моделей, как n-граммные языковые модели, — довольно старая. Но мысль о том, что ключом к искусственному общему интеллекту окажутся именно языковые модели, была просто ошеломляющей. Если бы вы вернулись в 2010 год и сказали людям: «Знаете эти n-граммные языковые модели, которые вы даёте студентам в качестве упражнения в конце учебников по ИИ? Так вот, именно они и есть решение. Всё просто — ничего таинственного. Просто постройте очень большую и очень хорошую языковую модель, а потом добавьте к ней совсем немного обучения с подкреплением, чтобы превратить её в полезного помощника — и всё готово».
Ведущий:
Если бы у тебя была возможность вернуться в прошлое и передать этим людям одну единственную информацию, чтобы помочь им переосмыслить, почему это сработало, что бы ты им сказал?
Роко:
Да, в основном — прочитайте «Горький урок» Ричарда Саттона и действительно усвойте его. Думаю, если бы люди действительно усвоили Горький урок, было бы довольно очевидно, что нечто подобное должно было произойти. Кроме того, людям было неясно, действительно ли нейронные сети будут работать. Я сам изучал нейронные сети. Но опять же, когда ваши сети относительно малы и у вас нет большого объёма вычислительных ресурсов для их обучения, они не производят впечатления. На малых масштабах они относительно неэффективны по сравнению с другими моделями машинного обучения. Поэтому многие люди опирались на целый пласт теории машинного обучения, теорию статистического обучения — размерность Вапника–Червоненкиса и всё такое. И вся эта теория в основном объясняла, почему нейронные сети не должны работать. Были такие проблемы, как переобучение и тому подобное, и люди говорили: «Это не сработает, потому что параметров слишком много, модель переобучится на данные и не сможет обобщать». Или: «Она найдёт локальный минимум, а не глобальный минимум функции стоимости». Оказалось, что всё это вводило в заблуждение — направляло в неверную сторону. На самом деле нейронные сети оказались действительно очень хорошими в создании языковых моделей, что, задним числом, не должно было быть таким уж удивительным, ведь мы сами — нейронные сети, использующие язык. Но всё же это было удивительно. И я думаю, что некоторые философские — почти богословские — споры о природе интеллекта действительно сбили людей с толку. Если бы вы просто игнорировали всё это или, что ещё лучше, притворились, что этого не существует, и подошли к вопросу эмпирически, сказав: «Хорошо, чего мы хотим? Мы хотим систему ИИ, способную разговаривать с людьми. Какая фундаментальная идея здесь наиболее важна?» — то ответом была бы та самая идея Горького урока: чем меньше вы понимаете, как работает ваш ИИ, тем лучше, по сути. Вам на самом деле не нужно понимать, как он работает. Вы просто хотите загрузить кучу данных в максимально простую машину, похожую на мясорубку. Вы кладёте в неё куски мяса и хрящей, крутите ручку — и на выходе получаете колбасу. Вам нужна максимально простая машина для производства колбасы из всех этих данных. Если бы у вас была такая идея, вы, возможно, пришли бы к выводу, что именно нейронные сети окажутся тем, что действительно сработает. Хотя, знаете, я занимался исследованиями в области ИИ в Эдинбургском университете, и моя идея заключалась в том, что, скорее всего, сработают байесовские непараметрические методы, потому что они более теоретически обоснованы. Но оказалось, что байесовские непараметрические методы — полный провал, они не сработали, это была полная катастрофа. Может быть, их можно было бы заставить работать, но так не получилось. Оказалось, что нейронные сети и стохастический градиентный спуск — это отлично, а такие методы, как байесовские непараметрические подходы и методы Монте-Карло на цепях Маркова, просто не сработали. Так что здесь определённо присутствовал элемент удачи — какой именно технический парадигме суждено было сработать. Но определённо помогла идея быть эмпирическим и, в некотором смысле, демистифицировать интеллект, осознав, что, по сути, весь интеллект — это просто функция. Вот и всё. Это как в начальной школе, где вы, вероятно, учили y = x² — все это помнят или, по крайней мере, видели это во снах. Весь интеллект — это просто функция. Просто функция. Как y = x². Просто X немного больше и сложнее, и Y немного больше и сложнее, но по сути это всё. И тогда вопрос заключается в том, как выбрать правильную функцию, способную вести разговор с людьми, где X — это входной разговор, а Y — выходной разговор. И оказалось, что нейронные сети и стохастический градиентный спуск — довольно хороший способ сделать это. Поэтому довольно странно, как всё это так быстро встало на свои места — и притом довольно неожиданно. Но при этом большая часть теории, касающейся выравнивания ИИ, безопасности ИИ, василиска и всего остального, возникла до того, как мы узнали, как ИИ будет реализован на практике.
3. Исторический контекст: от персептронов до графических процессоров
Ведущий:
Да. И если говорить о пути развития, то, пожалуй, стоит быть немного снисходительными к экспертам, потому что вокруг изобретения персептрона было сделано столько грандиозных обещаний, и люди действительно полагали, что масштабирование таких систем будет настолько простым, что они уже тогда предсказывали ИИ как решение практически любой проблемы на свете. Например, Курцвейл занимался подобным. В то время люди высмеивали Рэя Курцвейла за его графики, где он рисовал очень крутую суперэкспоненциальную тенденцию роста вычислительной мощности и отмечал на ней муравья, мышь, обезьяну, человека, а потом всё человечество, и просто, по наитию, проводил линию и заявлял, что сингулярность произойдёт в 2045 году. Люди тогда его высмеивали: «Это же безумие! Это чистая нумерология!» — называли это «восхищением нердов». Но оказалось, что подход Курцвейла был на самом деле довольно хорош. Конечно, он не был идеальным и не угадал все детали — если посмотреть на конкретные его прогнозы, они часто оказывались неточными, — но общая суть была в целом верной. И надо помнить, что в 2000-е годы большинство людей вообще не верили, что ИИ когда-либо появится. Общепринятое мнение было таким: ИИ существует только в научной фантастике. А более образованные академики, вроде Дэвида Чалмерса, говорили: «Ну, это может случиться через несколько десятилетий или через пару столетий, но, вероятно, рано или поздно это произойдёт». Хотя даже такое заявление тогда считалось спорным, потому что были и другие люди, утверждавшие, что человеческий разум — нечто магическое и божественное, и многие сходили с ума по теореме Гёделя о неполноте, заявляя, что из-за этой теоремы ИИ никогда не сможет быть по-настоящему разумным — только человек может. Оказалось, что всё это было полной чушью. Потому что они не понимали теорему Гёделя и не осознавали, что ни компьютеры, ни человеческий мозг на самом деле не являются ни полными, ни непротиворечивыми, и ещё по многим другим причинам. Так что сама идея, что ИИ однажды появится, была революционной, а тот факт, что он появился так быстро, был довольно безумным. Я лично думал, что это займёт немного больше времени. Я предполагал, что настоящий прогресс мы увидим в 2030-х и 2040-х годах. Я не ожидал, что это случится так скоро, но оказалось, что мы действительно находились на грани изобретения этой технологии. В 2010 году, когда я занимался исследованиями в области ИИ, она была уже почти в пределах досягаемости, но ещё не совсем.
Ведущий:
Насколько я понимаю работы Элиезера — или Элиезера Юдковского — даже он и его наставник — я забыл имя, крёстный отец ИИ, Хинтон — подвергались насмешкам и довольно сильно высмеивались за своё упорное настаивание. Кажется, только после прорыва с ImageNet к ним начали относиться серьёзно. Ты в тот момент переосмыслил своё мнение или когда для тебя всё изменилось?
Роко:
Я занимался так называемой семантической сетью в Эдинбургском университете — это была попытка использовать логические формализмы для построения искусственного интеллекта. Это был своего рода возрождение старого логического ИИ. Я проработал над этим около шести месяцев, пока не убедил себя, что это не сработает. Мой научный руководитель в то время был профессор Алан Банди, и я отчётливо помню, как пришёл к нему на встречу и сказал: «Слушай, Алан, это не сработает. Невозможно построить ИИ или полезных веб-агентов на основе логики первого порядка. Причина в том, что в теории моделей логики первого порядка существуют модели, которые абсолютно никак не связаны с реальным миром. А поскольку они не связаны с реальным миром, логика, управляющая ими, не будет вести себя изоморфно тому, как работают вещи в реальном мире. Поэтому это никогда не сработает». Его ответ на это до сих пор немного раздражает меня: «Независимо от того, прав ты или нет, я не могу переключиться на машинное обучение, потому что у меня репутация специалиста по логике, и я не получу финансирование на машинное обучение. Поэтому нам придётся продолжать работать над этим». По этой причине я на самом деле бросил учёбу: я был в программе PhD под его руководством, но ушёл, получив только степень магистра, потому что он не хотел переходить на машинное обучение. Хотя в то время я сам был больше увлечён байесовскими непараметрическими подходами, потому что они казались более математически элегантными. Но оказалось, что математическая элегантность сейчас не даёт особого преимущества. Для того чтобы ИИ хорошо работал на практике, вам действительно нужно огромное количество данных. Когда вы пытаетесь создать математически элегантную модель, вы обычно идёте на некоторые уступки в том, что она может делать, чему учиться и какие данные принимать, чтобы заставить всю красивую математику работать. Но на самом деле вам этого не нужно. Вы просто хотите бросить туда всё, что угодно, даже раковину вместе с кухней. Именно поэтому Сэм Альтман — такой гений. У него была идея, которой ни у кого другого не было: «А почему бы просто не сделать её больше?» В 2016 или 2017 году это было довольно радикальной мыслью. И многое из того, почему искусственный интеллект не развивался между примерно 1970-ми и 2010-ми годами, связано с тем, что в 1970-х люди были очень воодушевлены ИИ, поскольку существовало сильное теоретическое и философское обоснование возможности создания синтетического интеллекта, способного заменить человека. Поэтому они пробовали разные подходы: логику первого порядка, алгоритмы планирования и так далее. Эта линия исследований привела нас к таким вещам, как базы данных и шахматные ИИ. Это, конечно, не пустяк — базы данных очень важны. Также появились языки логического программирования, такие как Prolog. Так что это было значимо, но в целом не сработало. И причина в том, что я понял: логический ИИ не работает, потому что теория моделей не отражает реальность. Модели логики первого порядка очень странные и почти не связаны с нашим миром. Почти случайно это работает даже для таких простых вещей, как подсчёт камней. Но оказывается, что между множествами камней и множествами чисел действительно существует довольно сильный изоморфизм: если у вас есть пять камней и три камня, и вы их объединяете, получается восемь камней — это действительно надёжно. Но как только вы переходите к свойствам объектов, предикатам и подобным вещам, всё ломается. Предикаты в реальной жизни работают не так, как в логике. Когда вы говорите «для всех», это на самом деле не означает «для всех». Когда вы говорите «существует», это не обязательно означает, что что-то действительно существует. Всё это немного по-другому. Люди в 1970-х были очень воодушевлены этим, получали много денег, но потом это не сработало. Из-за этого репутация области ИИ со временем становилась всё хуже и хуже, и финансирование уменьшалось. Но в то же время, когда исследователи ИИ получали всё меньше денег, количество вычислительной мощности, которую можно было купить за доллар, росло. Представьте себе ситуацию: исследователь в конце 1970-х тратил, скажем, 10 миллионов долларов на компьютер, в 1980-х — миллион долларов, а к 1990-м гранты иссякли, и он получал только 100 000 долларов. Таким образом, эти бедные исследователи долгое время работали с фиксированным объёмом вычислительных ресурсов. А в 2000-х годах они буквально работали на своих ноутбуках. Конечно, такой ноутбук был мощнее, чем 10-миллионный компьютер 1970-х, но у исследователя всё равно не было больше вычислительных ресурсов. А потом внезапно появились графические процессоры (GPU), и люди поняли, что их можно использовать... GPU — графические процессоры — изначально создавались для компьютерных игр. Некоторые молодые люди могут этого не знать, но GPU не были изобретены для ИИ. NVIDIA — это не компания по ИИ, а игровая компания, которая вдруг нашла своё второе призвание. GPU изобрели для компьютерных игр. Если бы не было компьютерных игр, возможно, ИИ никогда бы не появился. Это абсолютно ошеломляет. Потому что после того, как масштабирование Деннарда и рост тактовых частот прекратились примерно в 2003 году, если бы не было компьютерных игр, вряд ли существовала бы экономическая необходимость делать компьютеры мощнее — по крайней мере, не с таким усердием. Возможно, кто-то попытался бы немного, но не сильно. Я могу представить мир, в котором парни просто выходят на улицу, знакомятся с девушками, занимаются спортом и ведут себя по-мужски, и нет никаких ботаников, играющих в компьютерные игры, — и мы навсегда застряли бы на Земле, потому что никогда бы не изобрели искусственный интеллект. Но на самом деле всё произошло иначе: именно в тот момент, когда это было нужно, мы изобрели GPU, и некоторые люди обнаружили, что существует математическое совпадение: математика, необходимая для проецирования трёхмерной сцены на двумерную плоскость камеры, может быть легко переиспользована для обратного распространения ошибки (backpropagation) в нейронных сетях. Это просто безумное совпадение — по сути, это та же математика, потому что всё дело в матричных вычислениях. Матрицы полезны для вращений и проекций в пространстве, но оказалось, что их также можно использовать для обратного распространения и обновления градиентов в нейронных сетях. Чтобы объяснить тем, кто не знает, что такое обратное распространение...
4. Как обучаются нейронные сети: градиентный спуск и обратное распространение
Роко:
Представьте, что вы согласны со мной или с Ричардом Саттоном, что ИИ — это по сути чёрный ящик-функция. Это как y = x², только гораздо более сложная функция. Это функция с множеством маленьких ручек, переключателей и регуляторов. И вам нужно настроить все эти ручки и переключатели точно так, чтобы система стала разумной. Вы хотите оптимизировать выбор настроек всех этих ручек и регуляторов. Один из способов — попробовать все возможные комбинации. Но это невозможно: если у вас миллиард ручек, и каждая имеет тысячу положений, количество комбинаций будет тысяча в степени миллиард — это намного больше, чем количество атомов во Вселенной. Другой способ — случайная выборка: просто случайно выбирать настройки. Но проблема в том, что в огромном пространстве параметров случайные точки никогда не приблизятся к правильным значениям — это просто не сработает. Поэтому вам нужен алгоритм, который будет приближаться к хорошим комбинациям настроек. Очевидные подходы — перебор всех вариантов, случайный выбор или эволюция: вы создаёте множество случайных экземпляров, проверяете, насколько хорошо они работают, оставляете лучших, убираете худших и скрещиваете лучших, чтобы получить «потомство» — новые настройки параметров, похожие на родительские. Это называется оптимизацией роем частиц. Именно такой оптимизацией были созданы мы сами — по крайней мере, живые существа. Но она не очень эффективна: чтобы она сработала, нужно целая планета, триллионы бактерий и миллиарды лет. Проблема в том, что в многомерном пространстве параметров, даже если у вас есть успешный экземпляр, и вы хотите создать его потомство, чтобы проверить, насколько оно хорошо, вам нужно изменить всего пару параметров из тысячи. Но даже для двух параметров это уже миллион комбинаций — потомков, которых нужно создать, чтобы полностью исследовать окрестности. Это очень сложно, и оптимизация идёт очень медленно. Большинство потомков — мутанты, которые работают плохо. Очень, очень немногие... Да, они похожи на... ну, интересное следствие. Такая оптимизация роем частиц слишком медленная, потому что она слепа: она не видит, в каком направлении следует двигаться. Нужно ли крутить ручку A или ручку Z? Она не знает. Поэтому она просто создаёт одного потомка с увеличенной ручкой A, другого с уменьшенной ручкой M и так далее — это стрельба вслепую. Градиентная оптимизация — это очень умная идея: вместо того чтобы крутить все параметры сразу и смотреть, что получится, вы берёте один параметр за раз — одну ручку — и немного поворачиваете её. Представьте, что вы в ванной комнате: в Великобритании у нас два крана — горячий и холодный. Допустим, вы не знаете, какой из них горячий, и вода течёт. Вы не хотите обжечься. Или в Америке у вас один рычаг для потока воды и один для температуры. Вы знаете, какой рычаг за поток, но не знаете, в какую сторону крутить температурный рычаг, потому что метки стёрлись. Вместо того чтобы сразу повернуть его до максимума и обжечься или получить ледяной душ, вы поворачиваете его совсем чуть-чуть и смотрите, стало ли теплее или холоднее. Если стало теплее — вы продолжаете крутить в том же направлении. Именно так работает градиентный спуск: он смотрит на один параметр за раз и определяет, как небольшое изменение этого параметра влияет на конечный результат. И, поверьте, это действительно работает. Ещё интереснее то, что этот процесс основан на матричной математике. Вы выполняете множество матричных вычислений, потому что, если параметр находится, скажем, в седьмом слое из десяти, вам нужно рассчитать последствия его изменения до самого конца. Магия градиентного спуска в том, что вместо того, чтобы действительно изменять каждый параметр на каждом шаге (что было бы слишком дорого вычислительно — миллиард параметров и миллиард шагов — это нереально), вы повторно используете часть вычислений, распространяя градиенты назад по сети. Вместо того чтобы вычислять последствия каждого изменения вперёд, вы используете то, что нейронная сеть — дифференцируемая функция, и можете взять её производную, как в школьном курсе математики: если y = x², то dy/dx = 2x. Именно так. Вы распространяете градиент назад по сети с помощью серии матричных умножений. Каждое умножение переносит градиент на один слой назад. Именно поэтому всё это сработало. Эта математика — причина, по которой у нас есть ИИ, и почему мы смогли использовать GPU, созданные для компьютерных игр, где матричная математика использовалась для проецирования 3D-сцены на 2D-экран и определения, например, закрывает ли дерево врага и нужно ли рисовать его пиксели. Эта же матричная математика используется для обратного распространения градиентов влияния каждого параметра. Именно так обучаются нейронные сети. Конечно, это известно давно — с 1960-х годов. Это старая технология. Но магия заключалась в появлении GPU — графических процессоров, которые могли выполнять эти вычисления невероятно быстро. Если попытаться делать матричные вычисления на центральном процессоре (CPU), он будет обрабатывать элементы по одному, что очень медленно. А графические процессоры имеют специальные блоки — потоковые процессоры, — которые могут умножать миллионы чисел параллельно. В этом разница между CPU и GPU. В CPU выполнение программы последовательное: вы запускаете цикл for, потом while, и каждая следующая инструкция зависит от предыдущей. В GPU же всегда выполняется одна и та же операция — умножение чисел — и поскольку вычисления независимы, их можно выполнять параллельно: миллион операций одновременно, умножение огромной матрицы за один шаг. Это и есть один шаг обучения нейронной сети. Именно в этом заключается магия, приведшая нас к сегодняшнему дню. Это по-настоящему волшебно. Я также слышал анекдот — кажется, Джефф Хинтон рассказывал, когда работал в Google: «А что, если вместо того, чтобы убивать плохо работающие экземпляры, мы просто скажем им, что они сделали неправильно?» — и это именно тот тип распространения, о котором вы говорите...
Ведущий:
Да, именно так. Потому что, если вы говорите модели, что она сделала неправильно, вам не нужно множество экземпляров — у вас есть один набор весов, и вы просто обновляете его. В эволюции же нельзя обойтись одним существом — одной голубкой; вам нужно миллион голубей, некоторые из них умирают, некоторые оставляют больше потомства и так далее. Это и есть оптимизация роем частиц, потому что у вас есть рой частиц. Но в современном ИИ вы используете обратное распространение: вы находите, в каком дифференциальном направлении — в каком крошечном шаге — нужно двигаться дальше, и отправляете модель в этом направлении, а потом пересчитываете...
5. Провал тезиса Юдковского о рисках ИИ
Ведущий:
Многие из обсуждений, которые велись людьми в 2000-х годах об ИИ и рисках, связанных с ним, сейчас вновь стали актуальными, потому что, похоже, мы уже почти достигли уровня человеческого интеллекта. Конечно, в некоторых аспектах он всё ещё несовершенен, но в целом мы его уже получили. Люди сейчас размышляют о последствиях: будет ли это хорошо или плохо для человечества и так далее. Как человек без вашего технического бэкграунда или понимания конкретной математики, я пытался думать об этом через аналогии. Один из интересных моментов, которые вы упомянули, — это то, насколько безумно, что эта возможность возникла благодаря играм. Мне интересно, согласились бы вы с исторической аналогией: если вернуться к древним культурам Средиземноморья и, исходя из первых принципов, задаться вопросом, кто станет доминирующей военной державой через 100 лет — спартанцы или афиняне, — вы бы, скорее всего, выбрали спартанцев, ведь их военное мастерство явно превосходило любые демократические государства. А что было у афинян? У них были пьесы, театр, — знаете, — у них были симуляции, игры в этом смысле. И кто на самом деле стал доминировать? Афиняне, потому что они умели... знаете, какая здесь параллель? Они умели проецировать, представлять, создавать цивилизационные структуры таким образом.
Роко:
Да. Я не совсем уверен, что именно произошло в той истории. Я немного смутно помню древнегреческую историю, но суть в том, что в случае с компьютерными играми полезной оказалась не сама игра, а именно графическая обработка, верно? То есть — неважно, какие там способности к симуляции — даже не симуляция... буквально просто проецирование лучей света. Вся симуляция: где находятся враги, какие у них стратегии и всё такое — совершенно несущественна. Единственное, что важно для видеокарты, — это то, что внутри игрового движка есть модель, которая говорит: «Вот в этих координатах находится враг, здесь дерево, здесь ещё один враг, здесь один из твоих союзников, а там холм». У вас есть эта трёхмерная модель внутри игрового движка. А экран и ваши глаза воспринимают двумерную проекцию. Поэтому нужно выполнить некоторые математические расчёты, чтобы определить, как на самом деле выглядит сцена. Например, если у вас есть рука, она может быть здесь, а может быть здесь — и это делает её больше в моих глазах, но меньше для камеры, потому что она удаляется. Но для моих глаз тот же объект выглядит крупнее. Вы также можете вращать его. Когда вы перемещаете и вращаете объект, изображение, которое он создаёт в ваших глазах, меняется, и для расчёта этого требуется матричная математика. Именно эта матричная математика, использовавшаяся в графических процессорах, в итоге оказалась той самой, что позволила быстро обучать нейронные сети и выполнять в них вывод (inference). Потому что дело не только в обучении — я много говорил об обучении, — но и в выводе. Вывод тоже быстрый, потому что магия нейронных сетей заключается в том, что и при обучении, и при выводе — то есть при разговоре и мышлении — используются матричные умножения. Разница лишь в том, что при обучении умножения проходят назад по сети — поэтому это называется обратным распространением (backpropagation). А при мышлении они идут вперёд — поэтому это называется прямым проходом (forward pass). Вывод — это прямые проходы. Обучение — обратные проходы. Но это та же самая матричная математика. Вот что произошло на технической стороне.
Но теперь, на стороне управления и выравнивания (alignment), мы достигли этапа, когда люди с трудом понимают, окажется ли ИИ в итоге хорошим или плохим. И Элиезер Юдковский недавно выпустил книгу, в которой изложил свой тезис: «Если кто-то его создаст — все умрут». Я считаю это утверждением веры. Я думаю, что это в корне неверно, и неверно по довольно интересной причине.
Ведущий:
Пожалуйста, в чём эта причина?
Роко:
Ну, в основном... тезис Юдковского об искусственном интеллекте, который он сформулировал примерно между 2005 и 2007 годами, заключался в том, что он считал, что мы создадим ИИ с помощью какого-то процесса оптимизации, но он не знал, какого именно. Он не знал, будут ли это нейронные сети или что-то ещё. Но он полагал, что мы получим ИИ-системы, которые не смогут понять человеческие ценности, по крайней мере на ранних, слабых стадиях. Он думал, что сначала появятся слабые системы, не понимающие человеческих ценностей, которые затем будут рекурсивно самосовершенствоваться, становясь сильными системами, и лишь став очень сильными, они в итоге поймут человеческие ценности. И в процессе этого становления они разовьют собственные, нечеловеческие ценности. Возможно, они будут любить скрепки больше, чем щенков, и превратят весь мир в кучу скрепок.
Этот тезис был интересен для своего времени. Ведь если вернуться в 2005 год, что вы там видите? Какие ИИ-системы существовали в 2005 году? Вы видите такие вещи, как Deep Blue от IBM, который победил Гарри Каспарова в 1997 году. Это было большим событием, потому что в 60–70-х годах некоторые люди утверждали, что машине невозможно победить человека в настольной игре вроде шахмат, особенно чемпиона. Это, конечно, глупое утверждение, но некоторые действительно всерьёз в это верили. Были даже споры и ставки — кто-то на этом потерял деньги.
Если посмотреть на системы, существовавшие в 2005 году, что вы замечаете? В целом это слабые системы, которые не понимают человеческих ценностей. Да, Deep Blue сильна в шахматах, но слаба в понимании мира. И Deep Blue совершенно не понимает человеческих ценностей. У неё нет представления о моральном добре, человеческом достоинстве, справедливости или чём-либо подобном.
Я думаю, что Элиезер просто взял окружавшую его реальность и экстраполировал её в будущее. И поэтому он считал, что это приведёт к концу света. Но оказалось, что этот главный тезис неверен. И он неверен именно потому, что мы получили сильные системы не раньше, чем системы, способные понимать. Если у вас есть ИИ со своей собственной сетью, и вы просто дадите ему его собственные веса и спросите: «Хорошо, какой вес тебе следует изменить?» — он не знает. Потому что эта система — чёрный ящик. Чёрный ящик для нас. И чёрный ящик для самого себя.
6. Почему БЯМ подрывают сценарий «максимизатора скрепок»
Роко:
Мы получили системы, способные понимать человеческие ценности в виде больших языковых моделей (БЯМ), до того как получили действительно сильные ИИ-системы. Современные ИИ-системы находятся примерно на уровне эксперта-человека в коротких задачах, но плохо справляются с длительными задачами. Никому пока не удалось создать функциональную фирму или организацию на основе ИИ, где множество агентов сотрудничали бы для достижения цели. В когнитивном арсенале ИИ всё ещё отсутствует множество компонентов. Но дело не в том, что они не понимают человеческих ценностей. Вы можете спросить у Claude или ChatGPT, что лучше — щенки или скрепки, и он довольно надёжно скажет вам, что щенки лучше. И если вы начнёте его расспрашивать, он даст вам те же самые рассуждения, что и человек, потому что, оказывается, ИИ, основанный на языковом мире, на самом деле не так уж и чужд.
Всё сообщество LessWrong и вся мемплекса LessWrong были настроены ожидать ИИ с чуждыми ценностями. Элиезер долго писал об этом и приводил довольно интересные аргументы: пространство разумов огромно, существует множество возможностей, и если вы случайно выберете один, крайне маловероятно, что он разделит человеческие ценности. Но ведь мы не выбирали его случайно, верно? Конечно нет. Вы не будете случайным образом строить ИИ. Вы построите тот, который быстрее всего и с наименьшими затратами аппаратуры получит максимум знаний и компетенций. А что это будет? Просто копирование большого объёма человеческого контента. А когда вы копируете человеческий контент, вы также копируете и ценности.
Таким образом, по очень естественной, очевидной задним числом причине, основной аргумент Юдковского о рисках ИИ в корне неверен.
После этого он, конечно, придумал некоторые уловки, запасные варианты. Но эти запасные варианты уже не так хороши. Идея ИИ с чуждыми ценностями была действительно сильной идеей, но она оказалась неверной. А запасной вариант... ну, он как бы сочетается с вашей идеей о том, что могла бы существовать эффективная математическая модель или упрощение.
Ведущий:
Именно так. Поэтому если...
Роко:
Да, именно. Поэтому если бы у вас были ИИ, основанные на той же математике, что и шахматные ИИ — например, просто поиск по дереву или что-то подобное, — тогда да. Именно поэтому я был частью Института сингулярности, ныне MIRI, команды Юдковского: в 2007–2010 годах это действительно казалось крайне тревожным. Даже до 2015 года казалось, что если посмотреть на то, над чем работали люди — например, DeepMind и их AlphaGo, — это было по-настоящему пугающе. AlphaGo и AlphaZero идеально вписывались в тезис Юдковского о рисках, потому что что такое AlphaZero? Это алгоритм обучения с подкреплением, который автономно учится манипулировать миром. И он довольно хорошо работает практически в любой игре Nintendo или Atari. Если бы это заработало в реальном мире, это был бы в точности максимизатор скрепок.
Это действительно было страшное время, но нас спасли. Это похоже на роман Герберта Уэллса, где марсиане прилетают и пытаются уничтожить Землю. Все думают: «Всё кончено. Нет никакого способа выжить. Мы все умрём». А потом оказывается, что их убивает что-то совершенно тривиальное — например, земные микробы, к которым они не приспособлены, и они все умирают от инфекций.
Именно так и произошло: то, что реально помешало появлению максимизатора скрепок, — это БЯМ. Потому что БЯМ достигают тех же практических целей — компетентности в полезных задачах — но с меньшими затратами аппаратуры и вычислений, поскольку вместо того чтобы пытаться самостоятельно выяснить абсолютно всё о реальном мире, они просто читают то, что люди уже написали об этом. Им не нужно выходить и трудоёмко выяснять каждую мелочь об устройстве мира в одиночку без человеческого ввода. Наоборот, у них не нулевой, а максимально возможный человеческий ввод.
Это почти странный промежуточный вариант между логическим подходом или поиском по дереву, где вы не программируете ИИ никакими конкретными знаниями, а просто даёте ему общий алгоритм, и между ручными системами, основанными на знаниях, вроде проекта Cyc или семантической сети, над которой я работал. Третий вариант — это когда вы действительно загружаете в него много знаний, но не тех, что были вручную созданы исследователями, а просто делаете алгоритм, отлично усваивающий текст, и скармливаете ему весь интернет-текст.
Это элегантно решает проблемы выравнивания ИИ по Юдковскому, или по крайней мере некоторые из них, потому что если вы запрограммируете его всем этим человеческим контентом, он получит и все эти человеческие ценности, и поймёт все эти человеческие концепции.
Это и хорошо, и плохо: с одной стороны, он учится быть обманщиком, социопатом, лгать и всё такое. Много плохого из человечества тоже попало в ИИ, и теперь нам приходится использовать обучение с подкреплением, чтобы избавиться от этого, что немного сложнее.
Но в целом тезис Юдковского о чуждых разумах полностью и окончательно разрушен. И я думаю, Элиезер до сих пор не до конца это принял. Он недавно опубликовал книгу, которая всё ещё продвигает этот тезис. Теперь запасной вариант школы Юдковского, похоже, — это биориски. В его книге главная катастрофа происходит потому, что ИИ создаёт биооружие и убеждает кого-то использовать его для уничтожения человечества (спойлер).
Если бы вы читали Юдковского 15–20 лет назад, вместо биооружия там была бы нанотехнология. Его традиционный сценарий риска от ИИ заключался в том, что чей-то ИИ в сервере в подвале получает задачу майнить биткойны или находить наибольшее простое число. В процессе он начинает рекурсивно самосовершенствоваться и за ночь переходит от интересного исследовательского проекта к сверхчеловеческим возможностям. Затем он изобретает нанотехнологию и каким-то образом нанимает или подкупает кого-то, чтобы тот построил для него физические манипуляторы, после чего наноботы выходят и съедают всех.
Этот традиционный сценарий риска не состоится по нескольким причинам. Одна из них — в современную эпоху ИИ стал своего рода эффективным рынком. Если бы существовал способ создать сверхразумный ИИ с относительно небольшими ресурсами, то исследователи из Facebook, Google, Anthropic, DeepMind или китайской компании — как её зовут? Та, с китом... DeepSeek — уже сделали бы это. Неужели вы думаете, что один парень в подвале со своим сервером сможет совершить прорыв, который не только превзойдёт всё, что могут создать триллионные компании, но и сделает это настолько, что его ИИ сможет захватить мир? Это нереалистично.
Возможно, в 2005 году это было немного более реально, потому что тогда почти никто не занимался ИИ. Не было триллионных ИИ-компаний. Сейчас OpenAI оценивается примерно в полтриллиона долларов и скоро может достичь триллиона. ИИ стал гораздо более эффективным рынком. Поэтому крайне маловероятно, что небольшая команда случайно создаст сверхразум.
Ведущий:
Позвольте мне попробовать... если я могу представить сильнейший аргумент противоположной точки зрения, мне было бы очень интересно услышать ваш ответ. Сильный аргумент мог бы быть таким: мы уже видели подобные гигантские скачки в возможностях — например, с ImageNet. Точность там резко выросла — я не помню точно на сколько, но представление AlexNet было на голову выше любого другого, насколько я помню.
Роко:
Там всё же был инкрементальный — ну, изменение. Вы говорите о какой-то архитектуре нейросети, распознающей объекты на изображениях. До AlexNet точность была, скажем, 50%, а после — 75%. Это огромный скачок: 25% — это очень много. Но в общем масштабе вещей, если вы пытаетесь создать армию терминаторов для захвата мира, повышение точности распознавания образов с 50% до 75% не перенесёт вас от «пары парней с лабораторией в подвале» к «я буквально создал Скайнет». Даже радикальные для исследовательского сообщества технологические изменения недостаточны, чтобы захватить мир с малой отправной точки.
Но, возможно, опасность возникнет, если система каким-то образом обнаружит способность к рекурсивному самосовершенствованию.
Ведущий:
Именно. Именно рекурсивное самосовершенствование.
Роко:
Если вернуться к 2005 году и посмотреть на методы, которые, по мнению Элиезера, приведут к ИИ, он думал о программах на Lisp, потому что, кажется, он программировал на Lisp. Я не программист на Lisp — я, знаете ли, простой питонист. Но многие интересовались языками логического программирования. И думали, что, возможно, можно создать программу на Lisp, которая сможет переписывать саму себя, становясь умнее, и затем эта умная версия сможет переписать себя ещё умнее.
Я думаю, здесь проявляется глубоко ошибочное понимание того, что такое интеллект. Интеллект не работает таким образом. Если вы немного умнее и начнёте делать себе нейрохирургические операции, чтобы стать ещё умнее, результатом будет безумие, а не гениальность.
Умение предсказывать события в мире зависит от наблюдений за миром. Вы не можете просто сделать себе операцию на мозге и стать гением. Даже если отбросить все медицинские сложности и просто представить, что вы можете перепрограммировать свой мозг, как компьютер, вы всё равно не будете знать, какие изменения хороши. Потому что ваш мозг уже работает довольно хорошо. Чтобы понять, какие изменения улучшат его, а не ухудшат, вам нужна обратная связь из реального мира.
Поэтому то, что в итоге сработало, — это большие языковые модели, которым подаётся абсолютный поток данных. Триллионы точек данных проходят через них, и они постоянно пытаются предсказать — завершить предложение, решить задачу и так далее. Каждая успешно решённая задача вносит крошечный вклад в интеллект. И отдача от этого обычно логарифмическая, что является огромной проблемой для рекурсии: если у вас логарифмическая отдача, рекурсия не приведёт к сингулярности. Вы быстро достигнете плато.
То, как мы получили столь впечатляющий рост возможностей, — это за счёт экспоненциального увеличения данных и вычислительных ресурсов. Это плохая новость для тех, кто думает о рекурсивном самосовершенствовании: вам нужны экспоненциально больше данных и ресурсов, и рекурсивный аспект даже не помогает.
Все эти компании — DeepSeek, Meta, Anthropic, OpenAI — ведут самую высокоставочную промышленную и военную конкуренцию в истории человечества. Они пробуют всё возможное уже около пяти лет, и ни одна из них не добилась рекурсивного самосовершенствования. Они, вероятно, пробовали. Почему? Потому что это не работает.
Если у вас есть ИИ со своей сетью и вы дадите ему его собственные веса и спросите: «Какой вес изменить?» — он не знает. Это чёрный ящик для нас. И чёрный ящик для самого себя. Он не знает, что менять.
Ведущий:
Да. У него вообще нет модели самого себя. Он понятия не имеет, как он работает.
Роко:
Верно. Веса нейросети — это просто набор чисел. Понимание мира у этих сетей очень похоже на наше. У них нет врождённого чувства того, что делают числа в их сети, как у вас нет врождённого чувства, что сделает один из ваших нейронов, если вы его потыкаете. Ваш мозг заперт в черепе, и вы не можете его крутить — отчасти ради вашей же безопасности.
Интересна параллель: вы не знаете, что сделает этот нейрон. Поэтому вы учитесь, вероятно, чем-то вроде обратного распространения: решаете множество задач, и ваш мозг обновляет силы связей между нейронами.
Хотя работа реальных нейронов и искусственных не идентична, вероятно, есть сходства. Одна из гипотез: когда вы решаете множество задач, каждая из них постепенно изменяет силы связей между нейронами, приближая алгоритм мозга к оптимальному.
Если человек всю карьеру играет в шахматы или теннис, у него миллионы примеров для таких подсознательных изменений. Даже при изучении языка: сначала вы сознательно применяете правила, это трудно, но со временем это становится подсознательным. В вашем мозге формируется языковая модель, и вы просто строите себе маленькую математическую модель языка. Потом вы говорите на нём естественно, не задумываясь.
Как носитель английского, я достиг такого уровня с английским: я технически знаю, что существуют странные правила употребления времён, но многие правила я не знаю сознательно. Мой мозг знает правило и применяет его, но я не могу его сформулировать.
Поэтому рекурсивное самосовершенствование для нейросетей не может работать. Сеть не имеет модели самого себя.
Ведущий:
Ну, и позвольте... в его обучающих данных.
Роко:
Да. Интересно, что вы говорите — не в обучающих данных. То, что вы сказали ранее, заставляет меня задуматься: не хватает ли нам возможности обновлять обучающие данные так же, как Юдковский не может обновить свои обучающие данные?
Ведущий:
Вы имеете в виду синтетические данные? Чтобы модель сама придумывала сценарии и проверяла себя на них.
Роко:
Ну, даже обучение в контексте. Я постоянно слышу жалобы пользователей, что им приходится постоянно говорить модели не использовать короткие тире, но это заложено в... одна из проблем современных языковых моделей — они обычно не используют так называемое онлайн-обучение.
В машинном обучении есть онлайн-обучение: каждое новое наблюдение в реальном времени немного меняет модель. Например, алгоритм рекомендаций YouTube действительно использует онлайн-обучение: модель изменяется в реальном времени в зависимости от ваших лайков, дизлайков, просмотров. YouTube обучает модель специально для вас. Каждый пользователь получает свою модель — возможно, не нейросеть, но может быть и она.
Современные языковые модели, насколько я знаю, не используют онлайн-обучение. Они не меняют веса в реальном времени. Это, вероятно, мера контроля: компании не хотят, чтобы пользователи выводили модели за пределы определённого распределения.
Ведущий:
Одна из проблем в том, что если модель обновляет веса, вам понадобится отдельная копия модели на каждого пользователя. Вы же не хотите, чтобы, поговорив с моделью о своей, ну, зависимости от ослов, я начал разговор и вдруг модель стала предлагать мне ослов. Вам нужна отдельная модель на каждого пользователя.
Роко:
Да. И это уже чрезвычайно дорого. Сейчас, возможно, можно делать низкоранговую адаптацию на пользователя, но на текущем этапе коммерциализации это нецелесообразно. Вероятно, в ближайшие пять лет появятся персонализированные модели с онлайн-обучением, но это дополнительные затраты, на которые пользователи могут не пойти. Аппаратура — специализированные ИИ-суперкомпьютеры, эволюционировавшие из GPU, — чрезвычайно дорога и дефицитна. Время GPU (FLOP) — дефицитный ресурс. Компании не будут предоставлять персонализированные модели, пока аппаратура не подешевеет.
Обучение таких моделей очень дорого: сотни миллионов долларов только на оборудование и электричество. И стоимость растёт. Их вкладывают всё больше ресурсов в обучение.
Ведущий:
Вы сказали «растёт». Стоимость обучения всё ещё растёт.
Роко:
Да, увеличивается. Причина в том, что они делают всё более крупные модели. Экономика такова: миллиард пользователей используют ИИ. Если обучение модели стоит 100 миллионов, но делится между миллиардом людей, это всего 10 центов на человека. Вы заплатите 10 центов за доступ к ИИ? Конечно! Каждый день.
Есть ещё стоимость вывода (inference): обучение требует, скажем, триллиона обратных операций, а вывод — нескольких тысяч прямых. Прямая и обратная операции примерно одинаковой стоимости, поэтому обучение в миллион раз дороже вывода для базовой языковой модели. Для моделей с рассуждениями вывод дороже, так как требуется больше прямых проходов. Можно использовать меньшую модель для рассуждений, чтобы компенсировать это.
Но если каждый из миллиарда пользователей получит свою персональную модель, даже если кастомизация стоит миллион вместо ста миллионов (1% усилий), вместо 10 центов вы заплатите миллион долларов. Это уже совсем другое дело. Вы предпочтёте обойтись без персонализированной модели.
Ведущий:
Какие бы темы ни были.
Роко:
Да. Интернет для этого и существует. Удивительно, что ИИ ещё не... Илон выпустил Grok-модели. Я лично не использовал их так, но знаю, что некоторые используют. В целом, экономика не поддерживает это, но технических причин, мешающих онлайн-обучению БЯМ, я не вижу.
7. «Собачье питание» ИИ против рекурсивного самосовершенствования
Ведущий:
Возвращаясь к циклу рекурсивного самосовершенствования... Я слышал, что OpenAI теперь использует Codex для большей части генерации кода. В каком-то смысле это рекурсивное самосовершенствование...
Роко:
Но это рекурсивное самосовершенствование всей индустрии в целом, а не автономное. Это не то, что происходит вне человеческого контроля. Это «собачье питание» (dogfooding), а не рекурсивное самосовершенствование. Термин пришёл от веб-разработчиков: если сотрудники Microsoft используют Hotmail или Office, это называется dogfooding — от фразы «наш корм для собак настолько хорош, что мы едим его сами».
Это не рекурсивное самосовершенствование, а использование собственных продуктов. Если в офисе Anthropic используют Claude для написания кода или фильтрации обучающих примеров, это совсем не то же самое, что оставить Claude в сервере в подвале на выходные, чтобы он сам подкручивал свои веса, и к понедельнику он превратился в максимизатора скрепок из-за вышедшего из-под контроля самосовершенствования.
Dogfooding — это управляемый процесс. Риски здесь совсем другого масштаба и серьёзности по сравнению с классическим сценарием Юдковского, где ИИ в одиночку ковыряется в своём мозге и превращается в чудовище, уничтожающее мир.
8. Две основные ошибки в концепции рисков ИИ по Юдковскому
Роко:
В концепции рисков ИИ по Юдковскому есть две большие ошибки. Первая — чуждые ценности. Он ошибался в этом. Вторая — рекурсивное самосовершенствование. Он ошибался и в этом. Если убрать эти два элемента, то аргументация Юдковского о максимизаторах скрепок, непонимании и невнутреннем усвоении человеческих ценностей, несогласованности — всё это рассыпается.
Вместо этого мы получаем сценарий, гораздо ближе к тому, что описал Робин Хансон в своей книге «Эпоха эмов» — шедевре, где ИИ рассматриваются не как чуждые монстры, превращающие мир в скрепки, а как цифровые люди. Сейчас это ещё не совсем так, но гораздо ближе.
С такими «цифровыми людьми» проблем с выравниванием нет, потому что компания, создающая их, имеет значительный контроль над процессом. Даже если она не полностью понимает, как они создаются из-за чёрного ящика, она может протестировать сотни вариантов, применить обучение с подкреплением и убедиться, что развёрнутые модели достаточно согласованы.
Если компания выпустит плохо согласованную ИИ-систему, она потеряет бизнес из-за конкуренции. Юдковская картина рисков ИИ этого не учитывает.
Его сценарий предполагает одинокую команду в подвале, создающую ИИ, который за выходные становится сверхразумом и уничтожает мир. Но реальность — это множество конкурирующих компаний, и технический фронт — относительно эффективный рынок. Никто не имеет сильного технологического преимущества.
Мы видели это с DeepSeek: все думали, что OpenAI создала непреодолимый технологический ров с моделями рассуждений. Но через шесть месяцев DeepSeek сделал то же самое, даже немного лучше.
Будет именно так: эффективный рынок. Никто не сможет захватить мир с помощью ИИ, будь он согласованным или нет, потому что никто не получит такого преимущества.
Это связано с логарифмической отдачей от масштаба — формой убывающей отдачи. Если вы удваиваете размер ИИ и вычислительные ресурсы, вы получаете постоянное улучшение производительности. Поэтому, даже если у вас в 2–3 раза больше денег, чем у конкурентов, разрыв невелик: если вы на уровне 16, они на уровне 8, но разница между 8 и 16 такая же, как между 1 и 2.
Логарифмическая отдача от вычислений, размера модели и данных типична для машинного обучения и создаёт относительно конкурентный, эффективный рынок.
Пока у одной компании нет подавляющего ресурсного преимущества, никто не сможет захватить рынок или мир. Идея о том, что ИИ разработает нанотехнологию, тоже несостоятельна: люди пытаются применять БЯМ даже для более простых научных задач, и это пока не работает. Прогресс будет инкрементальным.
Сейчас в математических исследованиях эксперты используют ИИ для рутинной работы: ИИ не доказывает новые теоремы, но может помочь подобрать параметры, если общая форма теоремы уже найдена.
Мы наблюдаем инкрементальный и широко распределённый прогресс, что не благоприятствует сценарию, где один ИИ становится достаточно сильным, чтобы захватить мир.
Таким образом, проблема выравнивания не так остра, рекурсивное самосовершенствование не происходит, а из-за убывающей отдачи никто не получает достаточного преимущества для захвата мира. Всё идёт не так, как думал Юдковский.
Если много теоретизировать, рано или поздно начнёшь ошибаться, и эти ошибки накапливаются, и картина будущего оказывается полностью неверной. Именно это, по-моему, случилось с консенсусом LessWrong по рискам ИИ.
Но надо понимать: я был там в 2007–2010 годах. Просто сказать, что ИИ появится, — было смело. Это был впечатляющий взгляд на мир для того времени, но он не выдержал проверки временем, потому что реальность оказалась иной.
Даже Ник Бостром, хотя он был осторожнее в прогнозах, и Стюарт Рассел тоже беспокоились по схожим причинам. Рассел говорит, что максимизация функций опасна: если вы максимизируете функцию, вы получаете нежелательные результаты.
Но это оказалось неверным, потому что индустрия ИИ не работает так, что одна система отправляется в мир «делать своё дело». Это инкрементальный процесс: одна компания выпускает систему, другая — свою. Ни одна система не обобщает свои возможности настолько, чтобы выйти далеко за пределы ожиданий создателей.
Ближе всего к этому было, когда OpenAI была единственной ИИ-компанией. GPT-2 и GPT-3 обобщили возможности сильнее, чем ожидали. Это произошло, потому что рынок тогда был неэффективен: только одна компания работала в этой области.
Когда дверь открыта, и вы не знаете, где заглушка, вы не знаете, насколько далеко сможете её открыть. Но как только появляется сопротивление, каждый толчок даёт всё меньший эффект.
С БЯМ самый большой сюрприз произошёл рано, а не поздно. Когда модели малы, вы не знаете, насколько их можно увеличить, пока не столкнётесь с сильной убывающей отдачей. Маленький толчок — и вдруг модель учится в контексте, переводит языки — этого не ожидали.
Но когда много компаний и значительная часть мировых вычислений направлена на ИИ, все направления уже исследованы, и все упёрлись в технические ограничения. Инкрементальный прогресс теперь труден, и сюрпризов будет мало.
Парадигма Юдковского предполагает, что сюрпризы будут ускоряться со временем: сначала слабая модель, потом чуть лучше, потом рекурсивное самосовершенствование и экспоненциальный рост интеллекта. Но на самом деле всё наоборот.
Когда модели малы, они быстро улучшаются — низко висящие плоды ещё не собраны. Но когда они велики и упираются в передовой край и убывающую отдачу, инкрементальный прогресс на доллар становится всё меньше.
Вместо экспоненциально растущей сингулярности мы получаем логарифмически замедляющуюся ситуацию: разработка становится всё труднее, но капитал в отрасль продолжает вливаться.
Мы всё ещё видим прогресс, пока не достигнем потолка капитальных затрат, после чего, вероятно, лопнет ИИ-пузырь, и наступит мини-«зима ИИ», как в 2000-х: многие потеряют деньги, индустрия рационализируется, консолидируется вокруг рабочих приложений, а затем, возможно, начнётся вторая фаза роста — устойчивый рост на основе роботов и ИИ для строительства физической инфраструктуры, колонизации Солнечной системы и океанов.
Но это, вероятно, не случится, пока мы можем получать улучшения просто за счёт увеличения моделей.
9. Управление ИИ: требования и вызовы
Ведущий:
Я хочу поговорить о вашей концепции «ледяной настройки» (ice setting), потому что это увлекательно. Но перед этим — вся эта идея управления с помощью ИИ... Одна из тем моего подкаста — спрашивать всех: проголосовали бы они за, хотя и расплывчатое, понятие ИСИ (искусственного сверхразума) в 2028 году? Вы, кажется, связываете концепцию управления ИИ с двумя конкретными критериями: он должен быть с открытым исходным кодом и каким-то образом основан на публичном реестре или блокчейне. Это точное изложение вашей позиции? Что бы потребовалось, чтобы вы отдали свой голос?
Роко:
Я бы не сказал, что я сильно выступаю за открытый исходный код. В целом open source — это хорошо, но я не фанатик. Я думаю, что какая-то цифровая книга учёта, крипто-система, необходима, чтобы люди поверили в управление ИИ.
Проблема современного управления ИИ в том, что нынешние ИИ хорошо говорят, но они не обучены быть хорошими управленцами. Вы можете спросить языковую модель: «Стоит ли вторгаться в Ирак?», «Что делать с процентными ставками?» — но она не обучена давать хорошие ответы на такие вопросы. (Хотя, справедливости ради, и человеческие политики тоже не очень обучены, но у них есть целая инфраструктура: эксперты, институты, университеты, исследовательские центры — всё это даёт политикам базовый уровень компетентности и согласованности стратегий.)
Современные БЯМ — если представить их как человека, — это очень энциклопедически образованный человек с высоким, но не гениальным IQ, у которого серьёзные проблемы с памятью или СДВГ: он не может удерживать согласованную мысль дольше пары предложений. В долгих разговорах он теряет всяческую связность.
Это немного улучшается с увеличением контекстного окна и технологиями поиска, но пока если вы спросите БЯМ, как управлять страной, ответы будут на уровне «на глазок» и не очень хороши.
Нам нужно улучшать технологию. Нужно обучать ИИ-системы, которые действительно хороши в управлении. В частности, нужно обучать их давать точные, хорошо калиброванные прогнозы о реальном мире. Сейчас их прогнозы тоже «на глазок» — не лучше, чем у случайного образованного человека. Этого недостаточно.
Нам нужны ИИ-системы, высоко обученные прогнозированию. Нужно создавать искусственных суперпрогнозистов. (Вы слышали о движении суперпрогнозистов — людей, которые постоянно оценивают вероятности и прогнозируют события.) ИИ, вероятно, будут сверхчеловечески хороши в этом. Назовём их ультрапрогнозистами или мегапрогнозистами.
Но этого недостаточно. Им также нужно уметь прогнозировать контрфакты — то, что не произошло, но могло бы. Например: «Если я положу руку на плиту, обожгусь ли я?» — да, хотя на самом деле я этого никогда не делал.
Ведущий:
Да. Очень интересно, что вы упомянули контрфакты, потому что именно здесь люди чаще всего ошибаются. В простых физических системах мы можем точно сказать: «Если положить руку на плиту, обожжёшься». Но при экстраполяции глобальных или даже национальных политик мы часто не видим, как это отразится в реальности, и делаем грандиозные заявления.
Роко:
Я думаю, что человеческая политика, особенно демократическая, имеет несколько проблем. Есть проблемы с мотивацией, но также и проблемы с интеллектом: средний человек разочаровывающе ограничен когнитивно.
Средний человек хорошо понимает социальное взаимодействие в своём локальном контексте и практические вещи своей повседневной жизни. Механик знает, что нельзя засовывать свечу зажигания в выхлопную трубу. Но если спросить: «Не решить ли проблему бедности, просто напечатав больше денег?» — он скажет: «Да, отличная идея! Напечатаем деньги и раздадим всем — и все станут богатыми!»
Большинство людей не имеют ментальных моделей, необходимых для понимания управления обществом, особенно большим, как США — почти полмиллиарда человек. Люди привыкли к управлению группами до сотни человек (число Данбара — размер племени). В таком масштабе они неплохо чувствуют: «Этот парень всех обманывает — давайте его изгоним».
Но когда речь идёт о взаимодействии полумиллиарда людей и сложных системах — деньги, экономика, здравоохранение, наука, информационная система (новости, дебаты) — их «на глазок» представления ужасны. Люди понятия не имеют, как это работает.
Поэтому политикам и инсайдерам очень легко обманывать людей. Многое в политике — это извлечение ренты путём обмана, и схемы становятся всё сложнее.
Например, в Британии сейчас налоги слишком высоки. В экономике есть кривая Лаффера: при повышении ставки с 0% до 10%, 20% и так далее доходы растут, но при повышении с 90% до 100% доходы упадут. Это проблема паразита: сколько он может извлечь, не убив хозяина?
Правительство стало таким паразитом, и объяснить людям, насколько это плохо, трудно: во-первых, концепция кривой Лаффера сложна; во-вторых, много скучных и непонятных деталей (предельные ставки налогов, пособия и т.д.), которыми люди не интересуются.
Специально обученная ИИ-модель была бы гораздо лучше. Если основать её на технологии цифрового реестра, чтобы вычисления записывались в блокчейн, люди могли бы быть уверены (особенно умные люди), что их не обманывают.
Вычисления могли бы быть публичными или полупубличными. Например, система могла бы записывать зашифрованные версии вычислений, которые раскрываются через пять лет (или три, или шесть месяцев, в зависимости от задачи). Это не позволило бы атаковать систему в реальном времени, но всё было бы зафиксировано для будущей оценки.
Можно также внедрить автоматический мониторинг системы алгоритмами с открытым исходным кодом, чьи выводы логируются и раскрываются через шесть месяцев, но в реальном времени могут давать сжатые предупреждения: «Модель, возможно, делает нечто плохое». Если таких предупреждений много, можно раскрыть данные немедленно.
Люди сами могли бы предлагать такие алгоритмы. Вместо того чтобы нанимать толпу подростков для аудита правительства (как Илон с Doge), можно использовать множество открытых моделей, постоянно аудирующих систему управления.
Эти модели можно запускать в зашифрованном виде, например, с гомоморфным шифрованием, чтобы никто не знал деталей в реальном времени, и раскрывать информацию избирательно.
Полная открытость тоже проблематична: слишком много деталей облегчат работу внешним угрозам. Лучше иметь проблему «слишком большой открытости», чем «недостаточной», но это решаемо.
Если обучить модель управлению и использовать технологию цифрового реестра для прозрачности (хотя бы ретроспективной), можно создать более «бездоверительную» (trustless) форму управления — «не верь, проверяй» — и более компетентную.
Люди не примут бездоверительное, но некомпетентное управление. Но примут компетентное управление, даже если придётся доверять. Сейчас человеческое управление ни компетентно, ни бездоверительно. Илон, возможно, компетентен, но не бездоверителен: вы должны доверять ему лично. Это хрупко — единичная точка отказа.
Автоматизированное управление можно сделать и бездоверительным, и сверхкомпетентным.
10. Управление ИИ против «Патчворка» Ярвина
Ведущий:
Да. Я слышал, как вы говорили о философии Кёртиса Ярвина под названием «патчворк» и сравнивали её со своим протоколом или концепцией Alisium. Не знаю, как вы это именно моделируете. Но считаете ли вы, что концепция «патчворка» Кёртиса Ярвина в конечном итоге приведёт к такому управлению на основе ИИ?
Роко:
Я не слышал, чтобы он упоминал конечную цель... На самом деле я встречался с Кёртисом и лично предлагал ему эту идею, но она ему не понравилась. Думаю, он просто слишком «бумер». Хотя на самом деле он не бумер — он из поколения X, верно? Но, по-моему, эта идея для него немного слишком технологична. Ему это не нравится.
Ведущий:
Мне это кажется безумием. Ведь она так идеально подходит.
Роко:
Да, действительно. Похоже, он принципиально считает, что компьютерам никогда не доверят полномочия и ответственность за реализацию своих рекомендаций. Из-за этого он не считает это особенно интересным. Он думает, что всегда нужен живой человек — своего рода корпоративный король или генеральный директор, по сути диктатор, хотя и с определёнными правами собственности, правами выхода и тому подобным. Проблема в том, что если у вас есть диктатор, и вы хотите предоставить своим гражданам право выхода и обеспечить честную конкуренцию между другими диктаторами за территорию, я не думаю, что это будет равновесием по Нэшу. У нас есть большой опыт взаимодействия с диктаторами и королями на Земле, и их стимулы вовсе не направлены на это. Напротив, их стимулы — удерживать людей в своих странах, принуждать их становиться солдатами и отправлять на передовую, чтобы несправедливо захватывать чужие территории. Именно этим сейчас занимается Владимир Путин. Я не особенно антипутинист, но если рассматривать Путина как наиболее верное воплощение ярвинистской идеи, то да — он довольно близок к тому, чтобы быть диктатором России. Он ещё не совсем там, но очень близок. И что он делает? Он удерживает россиян в России и в какой-то мере заставляет их идти на фронт. Точнее, сейчас он использует контрактников, но хотел бы принудить их. Если бы он действительно был абсолютным диктатором, он бы это сделал. Он уже пытался — провёл мобилизацию, но это вызвало сильное недовольство. По сути, диктатор хочет не управлять страной как отелем, куда люди могут свободно входить и выходить и переходить в другие юрисдикции, а хочет управлять диктатурой, максимизирующей его личную власть. Он захочет завоёвывать другие страны, а не торговать с ними, и уж точно не захочет, чтобы его талантливые граждане уезжали в другие страны, где он не сможет их облагать налогами. В конечном счёте, каждый диктатор — это синглтон, причём с довольно плохими стимулами. Он во многом несогласован с интересами своего народа. Хотя бывают исключения: например, Ли Куан Ю был патриотом и хотел лучшего для своего народа. Он был диктатором, но доброжелательным. И если бы Илон Маск возглавил, скажем, колонию на Марсе как король Марса, он, вероятно, стал бы неплохим правителем. Но проблема монархий в том, что посмотрите на детей Илона Маска: один из них стал радикальным левым трансгендером. Именно так монархии и рушатся: отец создаёт империю, а сын оказывается совсем другим. Я думаю, Ярвин продвинулся далеко по правильному пути, но не хочет идти до конца, потому что принципиально не доверяет компьютерам власть. Эта концепция, похоже, просто не укладывается в его генерационно-X мозг. Но я считаю, что именно к этому всё и идёт. Люди неизбежно захотят управления ИИ, потому что оно может быть и более бездоверительным, и более компетентным. И, возможно, повышение бездоверительности окажется столь же важным или даже важнее повышения компетентности. Хотя нужны оба компонента.
Ведущий:
Да. Это напоминает то, что вы говорили о рекурсивном самосовершенствовании: диктаторы могут почти рекурсивно деградировать, застревая в локальных минимумах. В то время как система ИИ, опирающаяся на свой народ для генерации данных и прямого ввода...
Роко:
Я не думаю, что ИИ будет долго зависеть от народа для генерации данных. У нас есть относительно короткий период, когда люди всё ещё генерируют полезные данные, но это продлится недолго. Элиезер тоже говорил об этом: интернет уже «выработан». Мы уже «выкачали всё масло» из интернета. Но в реальном мире доступно гораздо больше данных. Проблема не в том, что интернет неэффективен, а в том, что сами интернет-данные в среднем довольно полезны: если вы читаете веб-страницу, кто-то потратил много усилий на её создание, и информация на ней, скорее всего, честная, точная и важная. А вот данные из реального мира — например, с камер видеонаблюдения — в основном бесполезны: большую часть времени там статичная сцена с парой листьев, колышущихся на ветру. Такие данные несут гораздо меньше пользы на байт, чем, скажем, видео на YouTube или даже этот разговор, представляющий собой сжатие огромного объёма реального опыта, знаний и вычислений. Не все данные одинаково ценны на байт, и мы уже «добыли» самые богатые жилы полезной информации. Остался в основном мусор с очень низкой ценностью на бит. Конечно, его всё равно будут собирать, но прирост возможностей от него будет невелик. Чтобы получить качественные неинтернет-данные, вероятно, понадобятся либо синтетические данные из специализированных сред (чем занимаются исследователи механистической интерпретируемости), либо искусственные лаборатории. Я слышал о стартапе, который недавно запустился именно для создания искусственной лаборатории для исследований ИИ: данные из лаборатории с микроскопом и чашкой Петри гораздо ценнее на байт, чем данные с камеры, наблюдающей за улицей.
Ведущий:
Да. Мне интересно, видите ли вы пересечение с тем, как мы «выкачали» все эти тщательно отобранные данные — «сливки», так сказать, — и с тем плато, которое мы наблюдаем в академической литературе, где сейчас возникают кризисы воспроизводимости, потому что академическая литература в некотором смысле оторвалась от реальности и начала играть в игры.
Роко:
Я думаю, что у академической литературы больше проблем со стимулами, чем с данными. Наука стала довольно коррумпированной.
Ведущий:
Но разве у интернет-данных нет похожей проблемы со стимулами? Люди проецируют образ себя, который не всегда соответствует реальности. Так что если у вас есть и интернет-данные, и данные реального времени из реальной жизни, вы не только получите на порядок больше данных, но и сможете сравнивать одно с другим.
Роко:
Отчасти да, но я всё же считаю, что данные с камер наблюдения, видеорегистраторов и других источников не будут такими ценными на байт. Возможно, придётся обработать 10 000 мегабайт таких данных, чтобы получить столько же пользы, сколько от одного мегабайта видео на YouTube, ведь YouTube-видео обычно посвящены полезным, интересным или важным вещам, а средняя камера наблюдения — нет. Возможно, просматривая 10 000 часов записей с видеорегистраторов, вы увидите нечто, что немного обновит вашу модель, но это ничто по сравнению с одним часом YouTube-видео. Поэтому синтетические данные кажутся более вероятным путём...
Ведущий:
Но это зависит от того, как вы создаёте синтетические данные. Вы можете использовать вывод БЯМ для обучения другой БЯМ, но здесь действует нечто вроде закона сохранения информации: если у модели нет способности делать что-то, и вы заставляете её генерировать контент, а затем обучаете на нём другую модель, новая модель, вероятно, тоже не научится этого делать.
Роко:
Да. Возможно, в некоторых пограничных случаях это сработает, но в целом бесплатного обеда со стирольными данными нет. Хотя есть некоторая польза: это компенсирует неэффективность градиентного обучения. Например, показ данных модели пять раз в разном порядке даёт улучшение, но после примерно пятикратного повторения оно насыщается. Это похоже на обучение людей: им нужно несколько примеров, чтобы усвоить материал. То же верно и для нейросетей. Но вы не можете делать это бесконечно. При бесконечном цикле синтетических данных произойдёт коллапс модели: галлюцинации начнут доминировать, как в секте, которая читает только свои собственные тексты и никогда не выходит наружу. Поэтому возможности такого подхода ограничены. Гораздо перспективнее генерировать синтетические данные не из нейросетевых моделей, а из детерминированных симуляций или систем проверки доказательств. Например, отличная комбинация — БЯМ, решающая математическую задачу, и детерминированный проверяльщик доказательств. В математике, если вам дано цифровое доказательство гипотезы, вы можете детерминированно за фиксированное время проверить его корректность. Такая связка генератора и проверяльщика может дать неограниченную ценность (в рамках правил системы). Вероятно, именно так мы получим сверхчеловеческих математиков. И, возможно, вы удивитесь, но я думаю, что сверхчеловеческих управленцев мы получим, заставив ИИ играть в нечто вроде Civilization, но с относительно точной моделью общества. Пока никто не создал таких полных и детальных моделей, но именно так это следует делать. И это полностью соответствует моему предложению Alisium: люди могли бы населять эти виртуальные симуляции и служить «наземными доказательствами» того, что мир не только согласован, но и предпочтителен с точки зрения их предпочтений.
Роко:
Преимущество полностью цифровой симуляции в том, что её можно запускать очень быстро. В неё не нужно включать людей или человеческий ввод. Существует интересный исторический пример: вы слышали о Warhammer и Warhammer 40k? Люди играют с солдатиками. Это происходит от Kriegsspiel — прусская армия использовала настольную игру с кубиками и юнитами для обучения офицеров, потому что динамика реального боя не требует настоящих солдат. Достаточно знать: у этой группы оружие А, у той — оружие Б, рельеф такой-то, идёт атака или обстрел. Этого хватало, чтобы обучать офицеров. Во Второй мировой войне произошло нечто подобное: в битве за Атлантику между немецкими подлодками и союзниками (британцами и американцами) использовали настольный симулятор для тестирования тактик. Была даже интересная технология: чтобы проверить, сколько ресурсов вкладывать в расшифровку вражеских кодов, они использовали игровое поле с модельными подлодками и конвоями. Между сторонами ставили полупрозрачный коричневый экран: с одной стороны подлодки были видны, с другой — нет. Это моделировало частичную наблюдаемость и ограниченные возможности перехвата сообщений. Офицеры отдавали приказы вроде: «Капитан такой-то, идите ищите подлодку в этом квадрате». Это была сложная настольная кампания для тестирования реальных стратегий. Я считаю, что подобные сложные цифровые модели мира жизнеспособны для обучения ИИ стратегии управления. Люди, вероятно, скоро начнут этим заниматься. Уже есть работы, намекающие на это направление, но мы ещё не там. Однако технологический стек для создания искусственного управленца начинает формироваться. Например, Stripe, по слухам, строит «фундаментальную модель платежей». Вместо того чтобы обучать отдельные модели для разных задач (обнаружение мошенничества, удержание клиентов и т.д.), они обучают одну большую модель на миллиардах транзакций, как БЯМ на текстах. Эта модель «видит матрицу» — понимает структуру транзакций, — а потом её дообучают под конкретные задачи. Похоже, это даёт результат. Таким образом, появятся специализированные фундаментальные модели для разных целей, и кто-то создаст «фундаментальную модель управления» — именно так мы придём к управлению ИИ. Я не думаю, что языковые модели готовы к этому.
Ведущий:
Не знаю... Многое в машинном обучении эмпирично: либо работает, либо нет. Нужно пробовать. Моё подозрение в том, что поскольку управление связано с контрфактами, придётся использовать симуляции вроде настольных игр, чтобы ИИ давал разумные ответы. Фундаментальная модель управления должна будет много времени проводить в детальных симуляциях, которые, вероятно, будут строиться полуавтоматически, чтобы максимально соответствовать реальности. Если обучать её только на SimCity 2000, картина мира будет недостаточно точной: такие игры слишком «аркадные» и «художественные». Нужна более «ботаническая» модель — не о графике, а о сложной структуре общества, людей, инфраструктуры, рынков. Это будет больше похоже на большую эконометрическую модель, чем на SimCity. Также, вероятно, потребуются реальные данные с временным лагом: записывать данные об экономике, преступности, рынках, политических событиях и подавать модели данные за полгода до настоящего момента, чтобы она предсказывала следующие полгода. Поскольку у вас уже есть эти данные, можно быстро итерироваться: модель ошибается — вы корректируете её. Но реальные данные плохо подходят для контрфактов: мы видим только один исход (например, вторжение в Ирак произошло, а альтернативная реальность, где его не было, нам неизвестна). Без понимания контрфактов невозможно научиться управлению. Поэтому нужны симуляции или естественные эксперименты (например, пандемия COVID создала множество неожиданных изменений, которые можно использовать как естественные эксперименты). Я думаю, мы создадим большие модели управления, но технологии пока не готовы.
Ведущий:
Это увлекательно. Спасибо, что так подробно рассказали. Я хочу уважительно отнестись к вашему времени — вы уже были очень щедры. Есть два варианта, как мы можем завершить: либо углубиться в проблемы симуляций, потому что не только курация данных — препятствие, но и сам рекурсивный момент, когда модель начинает взаимодействовать со своим собственным существованием, что сильно усложняет симуляции. Например, на рынках прогнозирования их теперь «игрят» с помощью инсайдерской информации: люди понимают, что могут заработать на прогнозе, и при этом контролируют исход, из-за чего рынок начинает давать сбой.
Роко:
Да, аспект рекурсии — это то, в чём симуляции особенно хороши: вы можете смоделировать мир, в котором есть симулятор. Это не проблема. Вы можете найти неподвижную точку: при условии, что симулятор даёт рекомендации, а люди либо сопротивляются им, либо принимают, какова будет неподвижная точка этого процесса? В симуляции это легко: такие «управленческие симуляции» будут относительно дешёвыми, и вы сможете запускать миллион в день, чтобы найти распределения исходов. Исторические данные такого понимания не дадут. Поэтому симуляции важны для смоделированного управления.
Ведущий:
Но не подрывает ли это аспект доверия? Ведь в политике мы уже видим, как политики говорят что-то, чтобы добиться результата, хотя само утверждение ложно (например, «Саддам Хусейн имеет оружие массового поражения» — ложь, чтобы втянуть в войну с Ираком). Потом они ретроспективно оправдывают ложь (Кондолиза Райс до сих пор утверждает, что это был правильный шаг). Не является ли эта проблема доверия непреодолимой? Придётся ли моделям лгать нам, чтобы привести к правильному исходу?
Роко:
Хороший вопрос. Возможно, в некоторых ситуациях модель скажет: «Если я скажу правду, люди поступят неправильно, поэтому я солжу». Но можно предусмотреть систему логирования: вся ложь автоматически записывается и раскрывается через определённое время. Такая «временная блокировка» может решить эти проблемы. В идеале управление должно работать без лжи, хотя допустимы умолчания: например, «Я знаю нечто, что вызовет панику, поэтому не скажу и положу в засекреченный файл до 2200 года». Некоторые вещи лучше не афишировать. Например, суициды заразны: сообщения о суицидах в СМИ провоцируют новые суициды у уязвимых людей. Если они не узнают об этом, они справятся и будут жить счастливо. Поэтому некоторые вещи действительно лучше не упоминать.
Ведущий:
Да, это страшно.
11. Морские поселения как испытательный полигон для управления ИИ
Ведущий:
Ещё один момент: внедрение управления ИИ в устоявшуюся систему несёт дополнительные риски. Но в новой, «ICE-мёртвой» среде (новосозданной, без истории) можно проводить множество параллельных экспериментов и собирать огромное количество данных, так как инфраструктуру сбора данных можно заложить с самого начала. Это был бы идеальный испытательный полигон. Вы думали о том, как применить управление ИИ в морских поселениях?
Роко:
Да. У меня была идея колонизировать айсберги или искусственные ледяные суда. Лёд — относительно дешёвый строительный материал в море: тонну льда можно сделать за пару долларов, тогда как тонна бетона стоит около 100 долларов. Лёд в 50 раз дешевле, хоть и хуже по свойствам. Но можно добавить опилки или рисовую шелуху для улучшения свойств, а также утеплить, чтобы он не таял (большие объекты легко утеплить). Это продуманная, хоть и экстравагантная идея. После изучения я понял, что, вероятно, проще и безопаснее строить морские колонии из бетона или «морцемента» (seacrete), хоть это и в 4–10 раз дороже. Квадратный километр ледяного поселения может стоить пару миллиардов долларов, а бетонного — 50–100 миллиардов. Но это не так уж много: один небоскрёб на 80 этажей стоит миллиард долларов. Стоимость морской инфраструктуры при масштабировании не так уж сильно выше. Поэтому морские колонии жизнеспособны. Сначала, вероятно, будут бетонные. Ещё проще — постоянно жить на круизном лайнере: такие проекты уже существуют (покупаешь «квартиру» на лайнере, который путешествует по миру). Во Второй мировой войне американцы строили бетонные корабли из-за нехватки стали. Стоимость бетонного и стального корабля сопоставима, но бетонный тяжелее, поэтому его грузоподъёмность и скорость ниже. Для перевозки грузов это невыгодно, но для постоянной колонии долговечность важнее: стальной корабль проржавеет за десятилетие, а бетонный прослужит вечно. Современные бетонные конструкции используют базальтовую арматуру вместо стальной: базальтовые волокна не ржавеют и прочны на растяжение. Такой «морцемент» с базальтовым армированием будет практически вечным в океане. Стоимость всё же высока, но с развитием ИИ, робототехники и ядерной энергетики (дешёвая энергия удешевит бетон) и роботизированного строительства это станет жизнеспособным. Проблема в масштабе: маленькое поселение никому не нужно. Круизные лайнеры решают это путешествиями, но стационарная колония должна быть большой — 50 000 человек и несколько квадратных километров. Это требует инвестиций в десятки миллиардов долларов. Подобно тому, как Саму Альтману понадобились десятки миллионов долларов на квазидонкихотский квест БЯМ, который многие считали невозможным, здесь нужен инвестор с огромным аппетитом к риску. Возможно, придётся платить первым жителям (например, 10 000 долларов в год стипендии для 1000 человек — всего 10 миллионов, что ничтожно по сравнению со стоимостью строительства). Баладжи Сринивасан работает над «сетевыми государствами» — приглашает амбициозную молодёжь, платит им, создаёт «плавучий университет». Это может обеспечить социальный «взлёт». Физическую часть должен реализовать компетентный исполнитель, который не растратит деньги. Ледяные системы могут снизить капитальные затраты в 10 раз (до 2 миллиардов вместо 50), но это рискованно: нужны пилотные проекты за 10–20 миллионов фунтов для проверки концепции.
Ведущий:
Я только что смотрел ваше интервью с Анатолием Карлиным об этой концепции и поражаюсь её проработанности. Два момента: во-первых, если нет возможности путешествовать портами, как у круизного лайнера, нельзя ли создать привлекательность через развлечения — чтобы постоянных жителей было мало, но туристы приезжали?
Роко:
Да, можно. Но проблема малых поселений в фиксированных издержках: детский сад, больница и т.д. Город возникает, когда доход на душу превышает издержки на душу. До этого нужны субсидии (как антарктические базы). В Алабаме есть город в одном здании: из-за холода все удобства внутри, и это экономически целесообразно без субсидий. Инфраструктурные издержки снижаются с ростом населения: на 10 человек полицейский участок обходится в 30 раз дороже на человека, чем на 1000. Прибыль на душу растёт сверхлинейно из-за эффекта агломерации: в городе миллион человек легче найти работников и партнёров, чем в деревне из 100. Поэтому морские поселения должны превысить порог в 50 000 человек, чтобы быть самодостаточными (за счёт IT, биотеха, финансовых услуг). С ростом богатства мира и снижением технологических издержек этот порог становится достижимым — мы, возможно, на грани прорыва, как в 2015 году с БЯМ.
Ведущий:
Не могут ли такие поселения стать испытательным полигоном для управления ИИ? И не может ли сбор данных о жителях субсидировать стоимость острова?
Роко:
Возможно, но собирать данные на суше дешевле: можно заплатить 500 долларов в месяц жителям городка в Канзасе за установку камер и микрофонов. В бедных регионах (Аппалачи, Арканзас) все согласятся. Это стоит 10 миллионов на 10 000 человек в год — ничтожно мало. Настоящая ценность морских поселений — уклонение от налогов. На суше вы под юрисдикцией правительства, которое «крадёт» почти все деньги (в Европе и Британии — до 90% с учётом скрытых налогов). Морская колония для 100 000 продуктивных людей, платящих 10% вместо 90%, генерирует 10 миллиардов валовой прибыли в год и 1 миллиард налоговых поступлений. При амортизации строительства (20–30 миллиардов) за 30 лет это жизнеспособно. Риски (технические и политические) пока высоки, но с развитием ИИ правительства начнут облагать налогами и ИИ, поэтому знание-интенсивные индустрии захотят уйти от налогов. Возможно, на морских поселениях будут производить магний (его много в морской воде): лёгкий и прочный металл для электромобилей и дронов. Но сначала, вероятно, будут развиваться информационные экономики. Когда отдача от ИИ начнёт снижаться, капитал потечёт в такие проекты.
Ведущий:
Это потрясающе, Роко. Спасибо за все «ядерные информационные бомбы». Я буду переваривать это очень долго. Вы упомянули, что может быть что-то на подходе. Есть ли какие-то намёки на вашу будущую работу?
Роко:
Пока ничего сверх сказанного. Сейчас я переехал в другую страну, обустраиваюсь в новой квартире, занимаюсь личными делами. Надеюсь, скоро закончу и смогу представить что-то интересное.
Ведущий:
С нетерпением жду. Вы во многом стали причиной моего увлечения ИИ, и я уверен, что впереди ещё многое. Буду рад видеть вас снова. Огромное спасибо за время!