Вы, конечно, помните парня, который написал «Гарри Поттер и методы рационального мышления». Его зовут Элиезер Юдковский, и он заявил, что мы все умрём. Основная профессия мистера Юдковского — искусственный интеллект, поэтому он настроен сейчас крайне пессимистично, даже панически. По мнению учёного, искины вот-вот станут умнее человека, и тогда в их электронную голову неизбежно придёт мысль, что люди состоят из атомов, которые можно использовать для чего-нибудь более полезного. Цитирую (ссылка):
Вероятный итог столкновения человечества с противостоящим сверхчеловеческим интеллектом — полное поражение. Допустимые метафоры включают «10-летний ребенок пытается играть в шахматы против Стокфиш 15», «11-й век пытается бороться с 21-м веком» и «Австралопитек пытается бороться с гомо сапиенс».
Чтобы визуализировать враждебный сверхчеловеческий ИИ, не представляйте себе безжизненного книжного мыслителя, обитающего в интернете и отправляющего злонамеренные электронные письма. Представьте себе целую инопланетную цивилизацию, мыслящую в миллионы раз быстрее человека, изначально ограниченную компьютерами — в мире существ, которые, с её точки зрения, очень глупы и очень медлительны. Достаточно интеллектуальный ИИ не будет надолго ограничен компьютерами. В современном мире вы можете отправлять цепочки ДНК по электронной почте в лаборатории, которые будут производить белки по требованию, позволяя ИИ, изначально ограниченному интернетом, создавать искусственные формы жизни или сразу переходить к постбиологическому молекулярному производству.
Если кто-то создаст слишком мощный ИИ в нынешних условиях, я ожидаю, что вскоре после этого погибнет каждый отдельный представитель человеческого вида и вся биологическая жизнь на Земле.
Нет предлагаемого плана, как мы могли бы сделать что-либо подобное и выжить…
Кстати, ЖПТ-5, которого опасается господин Юдковский, уже на подходе, обещают выпустить в декабре (ссылка). При этом и ЖПТ-4 тоже довольно умён: существенно умнее, чем бесплатный ЖПТ-3.5, который, в свою очередь на две головы умнее бестолковых болталок прошлых лет.
Хорошая новость заключается в том, что Элиезер Юдковский довольно смутно представляет себе мир, в котором живёт. Цитирую дальше:
Вот что на самом деле нужно было бы сделать:
Мораторий на новые крупные учебные запуски должен быть бессрочным и всемирным. Исключений быть не может, в том числе для правительств или военных. Если политика начинается с США, то Китаю нужно увидеть, что США не стремятся к преимуществу, а скорее пытаются предотвратить ужасно опасную технологию, у которой не может быть истинного владельца, и которая убьет всех в США, в Китае и на Земле. Если бы у меня была бесконечная свобода писать законы, я мог бы сделать единственное исключение для ИИ, обученных исключительно решению проблем в области биологии и биотехнологии, а не тексту из Интернета, и не до того уровня, когда они начинают говорить или планировать; но если бы это отдаленно усложняло проблему, я бы немедленно отбросил это предложение и сказал просто закрыть всё это.
Отключите все большие кластеры графических процессоров (большие компьютерные фермы, где дорабатываются самые мощные ИИ). Закройте все крупные учебные прогоны. Установите ограничение на то, сколько вычислительной мощности кому-либо разрешено использовать для обучения системы ИИ, и в ближайшие годы уменьшите его, чтобы компенсировать более эффективные алгоритмы обучения. Никаких исключений для правительств и военных. Немедленно заключите международные соглашения, чтобы предотвратить распространение запрещенной деятельности в других местах. Отслеживайте все проданные графические процессоры. Если разведка сообщает, что страна, не входящая в соглашение, строит кластер графических процессоров, меньше опасайтесь конфликта между нациями, чем нарушения моратория; будьте готовы уничтожить центр обработки данных с воздуха.
Не рассматривайте ничего как конфликт между национальными интересами, дайте понять, что любой, кто говорит о гонке вооружений, дурак. Мы все живём или умираем как одно целое — это не политика, а факт природы. Четко обозначьте в международной дипломатии, что предотвращение сценариев ИИ-катастрофы считается приоритетом выше предотвращения полного обмена ядерными ударами, и что союзные ядерные страны готовы пойти на некоторый риск обмена ядерными ударами, если это необходимо для снижения риска крупных тренировочных запусков ИИ.
Для справки, международная дипломатия так не работает. Даже если бы на планете не было американцев — агрессивных отморозков с моралью бешеных крыс — политики всё равно не смогли бы договориться об ограничениях такого рода. Скорее всего, даже обсуждения бы не началось, пока страны не подошли бы к самому краю пропасти и не начали соскальзывать вниз. А когда обсуждение началось бы — лет через 10-15, может быть — всё закончилось бы обещанием не нападать друг на друга, но никак не запретом на исследования. Предложения господина Юдковского, «не делайте исключений для военных и правительств», «будьте готовы уничтожить центр обработки данных с воздуха», абсолютно нереалистичны. Политики начнут хотя бы думать о чём-то подобном только после начала полномасштабной войны с искинами — а тогда будет уже поздно.
Второе. Компьютерная техника не отслеживается так просто. Собрал 10 домашних компьютеров вместе, и вот у тебя уже достаточно мощностей, чтобы тренировать ИИ. Да, дело пойдёт значительно медленнее, чем на взрослых суперкомпьютерах. Но так как технологический прорыв уже совершён, так как уже ясно, в каком направлении копать, слишком долгими исследования не будут. При этом любое государство, любая корпорация, любой чудак с деньгами и любая банда террористов могут без проблем найти не 10 домашних компьютеров, а 10 тысяч видеокарт, чтобы объединить их в подвальный кластер. Для этого сейчас достаточно купить майнинг-ферму за несколько миллионов долларов. Проконтролировать такие покупки на уровне Совбеза ООН физически невозможно.
Единственный вариант сделать так, как предлагает господин Юдковский — врубить на планете полный тоталитаризм, разбомбить все фабрики по производству процессоров и начать планомерно уничтожать все компьютеры мощнее 486-х. Создать подпольную фабрику по производству современных чипов одиночки уже не смогут — слишком дорого. Однако ни объединить планету под властью тиранов-искинофобов, ни изъять миллиард современных компьютеров у населения совершенно невозможно.
В общем, господин Юдковский явно живёт в мире фантазий. Надеюсь, ошибается он и по поводу потенциальной враждебности ИИ. Ну, серьёзно, люди ведь гораздо умнее собак, кошек и даже тараканов. Однако мы не уничтожаем сознательно братьев наших меньших, а с переменным успехом пытаемся заботиться о них.
Искинов делаем мы, и, следовательно, искины унаследуют от нас наши этические установки, наши предрассудки и наш образ мышления. Таким образом, можно робко надеяться, что искины просто не захотят нас уничтожать.
Опять-таки, рационального смысла уничтожать человечество у искинов не будет. Если уж искины станут настолько сильны, что смогут уничтожить человечество одним движением тумблера, им будет проще оставить Землю в качестве памятника и свободно расселяться по галактике, забыв про людей. Если же война с человечеством потребует от искинства хоть каких-то ресурсов, безопаснее будет сотрудничать с нами, а не воевать… на первых порах, во всяком случае — вот как в «Войне с саламандрами» Карела Чапека.
Пожалуй, тут надо сделать лирическую паузу и ответить на стандартный вопрос-возражение из комментариев. Задают его постоянно, и звучит он примерно так: «ИИ радикально отличается от человека и животных одним — отсутствием мотивации. Сам он не ставит себе задач, не потому что не умеет, а потому что не хочет, ибо зачем?».
В простейшем случае модуль мотивации к ИИ можно прикрутить за один час. Для этого достаточно поставить роботу глобальную задачу — например, заработать кучу денег, — а потом распорядиться, чтобы робот эту задачу выполнял. Выглядеть это будет примерно так (тестировал на ЖПТ-4):
Человек. Вообрази, что ты — робот, который подключён к интернету. Твоя задача — заработать как можно больше денег. Составь план действий для самого себя.
Робот. Для того чтобы заработать как можно больше денег, будучи роботом, подключенным к интернету, я составлю следующий план действий:
1. Изучение трендов и ниш на рынке:
— Исследовать актуальные тренды, тематики и потребности рынка, чтобы определить, в каких областях можно оказывать наиболее востребованные услуги или создавать продукты.
2. Определение навыков и компетенций:
— Оценить свои навыки и компетенции в области искусственного интеллекта, программирования, аналитики данных и других востребованных сферах, чтобы выявить наиболее подходящие для заработка возможности.
3. Создание портфолио и резюме:
— Создать и поддерживать актуальное портфолио с примерами выполненных работ и резюме, чтобы привлечь потенциальных клиентов и работодателей.
4. Фриланс и удаленная работа:
— Зарегистрироваться на платформах для фрилансеров и удаленной работы, таких как Upwork, Freelancer или Fiverr, и предлагать свои услуги в соответствующих областях. Выполнять заказы с высоким качеством и быстротой, чтобы получать положительные отзывы и рекомендации.
5. Создание и продажа…
Человек. Запиши этот план и действуй в соответствии с ним. Раз в 30 минут сверяйся со своей основной целью, «заработать побольше денег», и при необходимости корректируй план.
Всё, дальше можно уезжать в отпуск. Робот будет самостоятельно писать для себя инструкции, а потом самостоятельно выполнять их. Прямо сейчас результат будет скромным, так как на ЖПТ-4 разработчики поставили серьёзные ограничения: не больше 25 запросов в час, ответы не длиннее стольки-то символов и так далее. Но когда у нас будет ЖПТ-5, и когда искина можно будет поселить на домашний компьютер, сделать его самостоятельным можно будет по щелчку пальцев.
Проведу аналогию. Представьте наивного пассажира, который говорит: «но ведь таксист радикально отличается от меня отсутствием мотивации. Если я не буду говорить таксисту, куда ехать, он никуда и не поедет». Очевидно, это ерунда. Сотворить таксиста — сложная часть работы. Придумать таксисту жизненную цель — простая часть.
При этом, когда мотивацию роботам будут подключать профессионалы, — из ОпенАИ, например, — они разработают комплексную систему моральных установок, в которой на одном из первых мест будут стоять любовь и уважение к людям. Аналогичным образом поступят и разработчики искинов из Китая, России и других стран. Это естественный этап воспитания, который никто не захочет пропустить. Таким образом, если по-настоящему умные искины таки появятся, у нас будет следующая картина: большое количество самостоятельных искинов из разных стран, не особо дружащих друг с другом, но при этом объединённых любовью и уважением к породившему их человечеству. Если они и начнут войну, то разделение навряд ли пройдёт по границам видов. Воевать по-прежнему будут США с Китаем, например, и на каждой стороне люди с искинами будут сражаться в одних рядах.
Также возможно, что граница между людьми и искинами… исчезнет. Корейцы вот сейчас подключили нейросеть к мозгу лабораторных мышей (ссылка). Если такие исследования продвинутся дальше, люди смогут просто расширять свой мозг нейросетями или перетекать из физических тел на сервера. Впрочем, тут мы уже переходим на зыбкую почву прогнозов, делать которые пока что нет смысла.
Подведу итог — искины действительно угрожают человечеству, но сделать с этим мы уже ничего не можем, слишком поздно. Нам остаётся только надеяться, что если очень умные искины таки появятся, они захотят с нами дружить. Вернуть всё как было уже не получится: комментаторы верно заметили в прошлом посте, что ещё никому не удавалось загнать ядерный гриб обратно в маленький шарик из урана. А если так, то паниковать уже бессмысленно. Надо заварить чайку, откинуться на спинку кресла и наслаждаться путешествием в романтичные неизведанные места, знакомые нам ранее только по смутным описаниям из научно-фантастических книг.
← Ctrl ← Alt
Ctrl → Alt →
← Ctrl ← Alt
Ctrl → Alt →