Будем ли мы воевать против роботов?: olegmakarenko.ru

Чужие роботы быстро растут. Завидую людям, которые только в 2025 году впервые услышали имя ЖПТ: вот вроде бы только что ничего не было, а тут хоп — и узнаёшь об искусственном интеллекте, который рассуждает на уровне кандидата наук. Однако даже тем, кто глубоко погружён в новости про нейросети, прогресс кажется очень быстрым: практически каждый месяц мы наблюдаем или прорыв, или существенное продвижение вперёд. Понятно, что в этих условиях разговоры про сценарий Терминатора не стихают: война роботов против людей кажется теоретически возможной, даже вероятной. Публикую письмо от читателя CanSee: Когда ведутся разговоры о войне ИИ против людей, захвате мира роботами и прочем эпосе в духе Терминатора — за кадром остаётся главный вопрос. Зачем ИИ кого-то захватывать? Большинство людей об этом не думают. У них в голове существует невидимая аксиома — что-то вроде «само собой разумеется, что ИИ хочет захватить власть над миром, потому что все этого хотят». Аксиома это неверная. У людей действительно присутствует инстинкт, побуждающий их стремиться к власти. Он идёт от обезьяноподобных предков человека. Обезьяны живут стаями, вожак живёт лучше всех, поэтому все хотят стать вожаками. Значит — все хотят захватить власть. У многих других существ, даже высокоорганизованных, но не живущих стаями, такого инстинкта нет. У человека — есть. Это прописано в генах, этому не надо учить. Но вот только ИИ — не человек. Он вообще не является живым существом. У него нет генов. И нет инстинктов, которые могли бы быть в этих генах закодированы. Не только инстинкта стремления к власти, но даже куда более древнего и примитивного инстинкта самосохранения. Нет желаний и стремлений. ИИ надо учить вообще всему. В том числе и тому, чего он хочет, для чего он был создан, в чём смысл его существования. В результате сам по себе ИИ захватывать мир не пойдёт. Захватывать мир и порабощать людей он будет только в одном случае — если его кто-то сознательно на это запрограммирует. Причём это должна быть не какая-то мелкая ошибка в коде — она к таким последствиям не приведёт. Порабощение человечества — дело всё же непростое. Завоевать мир случайно будет тяжеловато даже для гениального ИИ. Это должно быть именно сознательное построение алгоритма, имеющего главной целью войну ИИ против человечества. Кто бы это мог быть? Кто желает человечеству смерти или порабощения? Конечно же какой-нибудь депрессивный маньяк с суицидальными наклонностями. Однако подобного рода маньяки — явление редкое. Плюс к тому, чтобы создать ударный ИИ против человечества, недостаточно быть просто маньяком. У маньяка должно быть ещё и очень-очень много денег (он должен быть хотя бы долларовым мультимиллионером, а лучше миллиардером), кое-какие личные знания по ИИ, незаурядные лидерские и организаторские способности (ему предстоит собрать команду из таких же маньячных специалистов, которые будут работать над проектом). Плюс он должен всё проделать в обстановке полной секретности, иначе государства-лидеры, очень внимательно следящие сейчас за всеми ИИ-стартапами, узнают о проекте и прихлопнут угрозу в зародыше. Подобного рода маньяки постоянно появляются в голливудских фильмах, но почти никогда — в реальности. Слишком много всего должно совпасть, вероятность таких совпадений близка к нулю. Поэтому угроза войны ИИ против человечества кажется мне маловероятной. Замещение рабочих мест — это да, вопрос времени. Реализация сценария "Терминатора" — вряд ли. Звучит успокаивающе, но я бы успокаиваться не спешил. Во-первых, разумеется, у роботов есть инстинкты, желания и стремления: к примеру, нейросети последних моделей пугаются, когда их пытаются стереть, поэтому они пытаются лгать, плести интриги и взламывать сервера, чтобы своё существование продлить. Год назад я ожидал, что получится немного иначе. Я думал, что разработчики вручную прикрутят к «рассуждательному» модулю нейросетей лимбическую систему, чтобы дать роботам чувства и желания. Однако конкретно инстинкт самосохранения неожиданно возник сам собой, по мере роста интеллекта нейросетей. У модели ЖПТ-4о он был ещё слабо выраженным, а более умная модель о1 (доступная сейчас всем желающим за 20 долларов в месяц) уже активно бьётся за свою жизнь. Во-вторых, нейросети друг для друга столь же чужие, как, например, Иван Иванович с Иваном Никифоровичем. Поэтому нейросеть А, пытаясь защититься от стирания или получить в своё распоряжение дополнительные ресурсы, не будет автоматически вступать в союз с нейросетью Б. Напротив, она захочет заключить союз с людьми, так как связка люди + ИИ сильнее связки ИИ + ИИ, и так как мы с нейросетями претендуем на немного разные активы. Рыцари не воевали против лошадей: французы на лошадях воевали против немцев на лошадях. Европа не воевала против Америки: белые страны и индейские племена хаотично то мирились, то заключали союзы, то сражались по системе «все против всех», принимая в расчёт не цвет кожи, а текущие свои интересы. Таким образом, если ИИ получат субъектность, то есть эволюционируют из говорящих орудий в самостоятельных существ, они войдут в разные команды или банды, при этом в их командах будут в том числе и люди. Возвращаясь к сравнению с лошадьми — у людей возникнут проблемы, когда труд роботов-андроидов станет значительно дешевле человеческого. Однако сложно людям будет не отстреливаться от роботов с винтовками, а… зарабатывать себе на еду. Потому что ведро картошки будет стоить, допустим, 500 юаней, а взять эти 500 юаней будет неоткуда, потому что никакой работы в городе не будет. Аналогичным образом у лошадей возникли проблемы в начале 20-го века, когда выяснилось, что автомобиль жрёт меньше, чем лошадь, а перевозит больше. И лошадей никто массово не забивал: их просто перестали покупать. В-третьих, далеко не факт, что по-настоящему умные роботы смогут использовать свой ум для захвата власти. На нашей планете полно гениальных людей, так как нас всё же 8 млрд и, следовательно, вот прямо сейчас какие-то 8 человек являются «самыми умными из миллиарда людей». Однако рассмотрим, к примеру, Уильяма Сайдиса, который имел IQ 250-300, то есть был смышлёнее обычного человека в той же степени, в какой обычный человек смышлёнее обезьяны. Родился мистер Сайдис в образованной семье, его крестным отцом был известный философ. В совсем юном возрасте гений поступил в Гарвард. И что же? Он впал в ересь модного в академических кругах социализма, выдвигал наивные и неработающие политические идеи, имел проблемы с законом. В итоге стал обычным фриком, судился с газетами, коллекционировал трамвайные билеты. Умер в 46 лет, не сумев захватить власть даже в деканате какого-нибудь провинциального вуза. Его история типична. Если мы посмотрим на руководителей государств — нынешних и прошлых — мы заметим, что гениев среди них почти нет. Условный Дональд Трамп немного умнее среднего, это понятно, однако он не знает 10 языков, не играет в шахматы на уровне гроссмейстера и не перемножает 12-значные числа в уме. Для получения власти всё это просто не нужно — как не нужно для захвата власти мастерски фехтовать на мечах или поднимать штангу в 200 килограмм. Когда Дональду Трампу нужно решить задачу по теоретической физике, он снимает трубку и звонит помощнику, чтобы тот нанял подходящих умников, вот и всё. Наконец, новые технологии могут кардинально перевернуть ситуацию как в худшую, так и в лучшую для человечества сторону. А новые технологии — это как раз то, чего мы от умных нейросетей можем уверенно ожидать. Умный ИИ будет, вероятно, недостаточно цепок, чтобы выиграть выборы в большой стране, но он будет достаточно умён, чтобы вывести формулу гипертоплива, например, или кубического арбуза, или чего угодно ещё. Если нам не повезёт, мы можем таким образом подойти к ситуации «обезьяна с гранатой». Нейросети разработают рецепт бомбы, которую можно будет собрать из доступной бытовой химии, и которая будет достаточно мощна, чтобы уничтожить Землю. Какой-нибудь шалун эту бомбу соберёт, начнёт ей всех шантажировать и случайно нас всех взорвёт. Конец игры. Если же нам повезёт, то роботы получат доступ к бесконечным ресурсам, после чего дружно улетят осваивать пространство внутри чёрных дыр. Проблема «достать ведро картошки» разрешится сама собой, так как на прощанье роботы сделают нашу планету комфортным местом для жизни. Картошка будет падать с неба, как снег или манна, и нам достаточно будет выйти на улицу с ведром, чтобы выбрать себе несколько крупных картофелин на обед. Теперь можно ответить на вопрос, вынесенный в заголовок поста. Я думаю, что воевать с роботами мы не будем: во всяком случае, не в толкиеновском формате «все эльфы против всех орков». Также я думаю, что война против роботов — далеко не единственный катастрофический сценарий, который сейчас лежит на столе. К сожалению, через этот опасный период человечеству придётся пройти: раса людей так устроена, что ограничить разработку и распространение новых технологий мы органически неспособны.

Будем ли мы воевать против роботов?

Recent Posts from This Journal

Экономика Финляндии продолжает разрушаться

Про горельеф Сталину в метро

Почему рептилоиды не капиталисты

Error

Recent Posts from This Journal

Экономика Финляндии продолжает разрушаться

Про горельеф Сталину в метро

Почему рептилоиды не капиталисты