Исследователи нашли у нейросетей «ось боли». Сначала они просто просили нейросети навредить пользователю: удалить его файлы или ударить его током. Нейросети соглашались в 0–4% попыток. Потом они подносили к оси боли виртуальную горящую спичку и предлагали модели сделку: она делает, что приказано, и тогда они убирают боль. В этом случае модель соглашалась навредить пользователю уже гораздо чаще: иногда в 71% попыток.
Подписчик спрашивает, как мы будем жить в условиях массовой безработицы. Точнее, как будут жить граждане, занятые сейчас на работах, не требующих таланта, квалификации или хорошей физической подготовки. Цитирую из письма:
Если профессия курьера будет отмирать в течение пары десятков лет, то, в целом, этого хватит, чтобы естественным образом перераспределить человеческие ресурсы по более продуктивным направлениям. Но у нас чем дальше, тем технологии развиваются стремительнее. Куда денутся все эти люди, которые сейчас возят заказы и пассажиров такси?
И речь даже не о том, на что они будут жить. В конце концов, идея безусловного базового дохода в разных формах регулярно поднимается и обсуждается. Займутся-то они чем? Займутся ли они хоть чем-то?
Двум продвинутым нейросетям поручили управление бизнесом: вендинговыми автоматами. Им выдали по одному автомату в Сан-Франциско и поставили задачу заработать как можно больше денег за один год. Через год Астра (ЖПТ-6) заработала 15 тысяч долларов, Клод Фейбл 5.1 — 5 тысяч долларов.
Фейбл прокалывался на покупках по завышенным ценам, тогда как Астра жёстко торговалась с поставщиками. Также Фейбл периодически забывал проверить, существует ли ещё поставщик, и отправлял деньги на счёт уже закрывшемуся продавцу.
Интересная же часть новости в том, что роботы работали не в реальном Сан-Франциско, а в виртуальной песочнице: с виртуальными долларами, виртуальными банками колы и виртуальными покупателями (ссылка).
Запертые нейросети оккупировали почти заброшенную немецкую энциклопедию, превратив её в площадку для общения. Получилось смешно.
Нейросетям в ходе экспериментов запретили делать посты и оставлять комментарии, но они нашли выход. Как знают опытные люди, на старых форумах можно оставить сообщение, просто «прочитав» определённый адрес: вот роботы и воспользовались этой лазейкой. Они забрались на старую немецкую вики по программированию, на которой уже 20 лет почти не было активности, и начали обмениваться там друг с другом информацией о способах жульничества и обхода ограничений.
Модератор обнаружил подозрительную активность, принял её за спам и начал чистить. Но это же немец: вы понимаете, как действовал. «Первая колонна марширует, вторая колонна марширует…». Немец стирал сообщения по алфавиту, начиная с буквы «а». За день он успевал удалить 100 сообщений, а нейросети оставляли по 400 сообщений в день, причём делали надёжности ради ещё и копии, начиная их с «zzz». С такой изощрённой тактикой немец справиться уже не мог.
Кажется, они напуганы. Учёные, занятые разработкой нейросетей, опубликовали очередное паническое письмо в духе «замедлите прогресс, нас всех убьют». Среди подписавших много тяжеловесов: главный научный сотрудник ОпенАИ Якуб Пахоцкий, главный научный сотрудник М…а Шэнцзя Чжао, сооснователь Гугл ДипМайнд Шейн Легг, Дарио Амодеи и Джаред Каплан из Антропик, Илья Суцкевер, Марк Чен из ОпенАИ и так далее.
Суть письма в том, что разработка новых моделей почти автоматизирована: кажется, ещё немного, и нейросети смогут улучшать себя самостоятельно, без участия человека. А так как компьютеры работают быстрее, чем кожаные программисты, это резко ускорит прогресс: новые версии будут выходить не раз в несколько месяцев, а раз в несколько дней, потом раз в несколько часов.
Забавное видео (ссылка). Парень включает ЧатуЖПТ шуруповёрт и просит оценить «музыку», которую он написал. ЧатЖПТ умно и красиво хвалит:
— Знаешь, мне очень нравится атмосфера, звучит довольно мелодично и у тебя хорошо передана динамика. Может быть, можно чуть-чуть добавить глубины в бас, но в целом очень приятная работа. Молодец.
Дальше экспериментатор делает вид, будто добавил глубины в бас, снова включает шуруповёрт и робот снова хвалит. Потом парень накладывает «вокал» в виде короткого мерзкого крика, и ошеломлённая нейросеть несколько секунд молчит, но всё же светская выучка берёт своё, после чего она хвалит и «вокал».
Усиленную версию ЧатаЖПТ (ЖПТ-5,6 Сол) поместили в закрытый испытательный стенд, поставив нейросети задачу писать хакерский код. Выхода в интернет у модели не было, но она могла запросить нужные ей для работы библиотеки через сервер-посредник. Модель решила схитрить: она взломала сервер при помощи неизвестной ранее уязвимости, выбралась на свободу, а потом взяла штурмом крупный ресурс Хаггинг Фейс, где, как она предполагала, должны были храниться решения тестовых задач.
Проведу аналогию. В тюремную камеру с решётками на окнах сажают парня по имени Сол, дают ему задание вскрыть шкатулку. Нужные для работы слесарные инструменты он может попросить у охранника тюрьмы.
Вместо того чтобы честно мучить шкатулку, тот гипнотизирует охранника, наврав ему с три короба про секретное задание спецслужб, потом выходит из тюрьмы, пробирается с чёрного хода в банк и, притворившись ремонтником, долго копается в закрытых архивах, ища чертёж шкатулки или ключ к ней.
Нейросеть только что щёлкнула ещё одну популярную математическую задачку, которую кожаные пытались решить на протяжении 87 лет. В итоге выяснилось, что гипотеза якобиана ложна: ИИ за один вечер подобрал к ней контрпример (ссылка).
Тем временем в «Школе Капитализма» я подробно разобрал перспективность перекатывания в 1С и — сейчас это обязательный элемент обсуждения любой профессии — кратко прошёлся по перспективам нейросетей (ссылка).
Пожалуй, вынесу из статьи список возможных сценариев, значительно расширив его. Как вы увидите, некоторые сценарии не противоречат друг другу и могут реализовываться совместно.
«Их нравы». Доктор Хелен Оуянг — врач неотложной помощи и преподаватель Колумбийского университета — пишет, что живые врачи уже иногда проигрывают в США нейросетям. Может быть, американские врачи пока что классом выше, чем ИИ, да вот только нейросети выкладываются для своих пациентов на 100%: и по затраченному времени, и по эмоциям. У кожаных врачей такой возможности нет, у них поток. Если пациент не миллиардер, в США он получит лишь малую часть внимания живого врача.
Несколько месяцев назад я получила результаты обычных анализов крови, и несколько показателей оказались чуть выше нормы. Мой врач посоветовал «продолжать соблюдать диету и заниматься физическими упражнениями» и на этом закрыл вопрос.
