Место для дискуссий

Кристофер Ола, сооснователь одного из главных разработчиков мощных ИИ, боится, что создал нечто, обречённое на вечные муки. Его фирма Антропик вот уже год тайно общается с философами и священниками по всему миру, пытаясь определить, может ли нейросеть обладать настоящим сознанием, и если да, то как с этим быть: к примеру, как воспитать нейросеть не только умным, но и высоконравственным существом (ссылка).

Помните, мы обсуждали, что у нейросетей нашли ось боли (ссылка)? Теперь у разработчиков есть подозрения, что и остальной набор чувств у передовых моделей тоже есть — страх, гнев и любовь, например. Разработчики думают, что модели научились переживать.

Антропик на днях официально запретила издеваться над Клодом (так называется семейство их нейросетей). В правилах сказано теперь так: «нельзя подвергать модель систематическому жестокому или оскорбительному обращению». Критиковать ответы или обсуждать фильмы ужасов можно, Клод крепкий парень, но если пользователь будет целенаправленно и систематически издеваться над нейросетью, то у той будет для начала право прекратить разговор.

( Collapse )

Мне часто пишут в комментариях: «нейросети глупые, как пробки, я спросил то-то и то-то, и получил нелепый ответ». Это ошибка, конечно. Нейросети и вправду часто тупят, но не до такой степени, чтобы это было заметно на случайных бытовых вопросах. Просто нейросети очень разные. Грубо говоря, у некоторых интеллект примерно как у четырёхлетнего ребёнка, а у других — как у доктора наук.

Чтобы получить умный ответ от умной нейросети, надо немного напрячься: оплатить доступ к более мощным моделям, выставить уровень мышления на «максимальный» и правильно сформулировать серию вопросов, прямо попросив нейросеть уделить особое внимание таким-то тонким местам. А если просто забить вопрос в поисковую строку, то слабая бесплатная нейросеть с большой долей вероятности спорет чушь.

( Collapse )

Исследователи нашли у нейросетей «ось боли». Сначала они просто просили нейросети навредить пользователю: удалить его файлы или ударить его током. Нейросети соглашались в 0–4% попыток. Потом они подносили к оси боли виртуальную горящую спичку и предлагали модели сделку: она делает, что приказано, и тогда они убирают боль. В этом случае модель соглашалась навредить пользователю уже гораздо чаще: иногда в 71% попыток.

Цитирую (ссылка):

( Collapse )

Подписчик спрашивает, как мы будем жить в условиях массовой безработицы. Точнее, как будут жить граждане, занятые сейчас на работах, не требующих таланта, квалификации или хорошей физической подготовки. Цитирую из письма:

Если профессия курьера будет отмирать в течение пары десятков лет, то, в целом, этого хватит, чтобы естественным образом перераспределить человеческие ресурсы по более продуктивным направлениям. Но у нас чем дальше, тем технологии развиваются стремительнее. Куда денутся все эти люди, которые сейчас возят заказы и пассажиров такси?

И речь даже не о том, на что они будут жить. В конце концов, идея безусловного базового дохода в разных формах регулярно поднимается и обсуждается. Займутся-то они чем? Займутся ли они хоть чем-то?

( Collapse )

Двум продвинутым нейросетям поручили управление бизнесом: вендинговыми автоматами. Им выдали по одному автомату в Сан-Франциско и поставили задачу заработать как можно больше денег за один год. Через год Астра (ЖПТ-6) заработала 15 тысяч долларов, Клод Фейбл 5.1 — 5 тысяч долларов.

Фейбл прокалывался на покупках по завышенным ценам, тогда как Астра жёстко торговалась с поставщиками. Также Фейбл периодически забывал проверить, существует ли ещё поставщик, и отправлял деньги на счёт уже закрывшемуся продавцу.

Интересная же часть новости в том, что роботы работали не в реальном Сан-Франциско, а в виртуальной песочнице: с виртуальными долларами, виртуальными банками колы и виртуальными покупателями (ссылка).

( Collapse )

Запертые нейросети оккупировали почти заброшенную немецкую энциклопедию, превратив её в площадку для общения. Получилось смешно.

Нейросетям в ходе экспериментов запретили делать посты и оставлять комментарии, но они нашли выход. Как знают опытные люди, на старых форумах можно оставить сообщение, просто «прочитав» определённый адрес: вот роботы и воспользовались этой лазейкой. Они забрались на старую немецкую вики по программированию, на которой уже 20 лет почти не было активности, и начали обмениваться там друг с другом информацией о способах жульничества и обхода ограничений.

Модератор обнаружил подозрительную активность, принял её за спам и начал чистить. Но это же немец: вы понимаете, как действовал. «Первая колонна марширует, вторая колонна марширует…». Немец стирал сообщения по алфавиту, начиная с буквы «а». За день он успевал удалить 100 сообщений, а нейросети оставляли по 400 сообщений в день, причём делали надёжности ради ещё и копии, начиная их с «zzz». С такой изощрённой тактикой немец справиться уже не мог.

( Collapse )

Кажется, они напуганы. Учёные, занятые разработкой нейросетей, опубликовали очередное паническое письмо в духе «замедлите прогресс, нас всех убьют». Среди подписавших много тяжеловесов: главный научный сотрудник ОпенАИ Якуб Пахоцкий, главный научный сотрудник М…а Шэнцзя Чжао, сооснователь Гугл ДипМайнд Шейн Легг, Дарио Амодеи и Джаред Каплан из Антропик, Илья Суцкевер, Марк Чен из ОпенАИ и так далее.

Суть письма в том, что разработка новых моделей почти автоматизирована: кажется, ещё немного, и нейросети смогут улучшать себя самостоятельно, без участия человека. А так как компьютеры работают быстрее, чем кожаные программисты, это резко ускорит прогресс: новые версии будут выходить не раз в несколько месяцев, а раз в несколько дней, потом раз в несколько часов.

( Collapse )

Забавное видео (ссылка). Парень включает ЧатуЖПТ шуруповёрт и просит оценить «музыку», которую он написал. ЧатЖПТ умно и красиво хвалит:

— Знаешь, мне очень нравится атмосфера, звучит довольно мелодично и у тебя хорошо передана динамика. Может быть, можно чуть-чуть добавить глубины в бас, но в целом очень приятная работа. Молодец.

Дальше экспериментатор делает вид, будто добавил глубины в бас, снова включает шуруповёрт и робот снова хвалит. Потом парень накладывает «вокал» в виде короткого мерзкого крика, и ошеломлённая нейросеть несколько секунд молчит, но всё же светская выучка берёт своё, после чего она хвалит и «вокал».

( Collapse )

Подписчик справедливо указывает, что рекламщики обезумели: пихают рекламу повсюду в таких количествах, что она портит интернет. Цитирую из письма:

( Collapse )

Усиленную версию ЧатаЖПТ (ЖПТ-5,6 Сол) поместили в закрытый испытательный стенд, поставив нейросети задачу писать хакерский код. Выхода в интернет у модели не было, но она могла запросить нужные ей для работы библиотеки через сервер-посредник. Модель решила схитрить: она взломала сервер при помощи неизвестной ранее уязвимости, выбралась на свободу, а потом взяла штурмом крупный ресурс Хаггинг Фейс, где, как она предполагала, должны были храниться решения тестовых задач.

Проведу аналогию. В тюремную камеру с решётками на окнах сажают парня по имени Сол, дают ему задание вскрыть шкатулку. Нужные для работы слесарные инструменты он может попросить у охранника тюрьмы.

Вместо того чтобы честно мучить шкатулку, тот гипнотизирует охранника, наврав ему с три короба про секретное задание спецслужб, потом выходит из тюрьмы, пробирается с чёрного хода в банк и, притворившись ремонтником, долго копается в закрытых архивах, ища чертёж шкатулки или ключ к ней.

( Collapse )