Олег Макаренко (olegmakarenko.ru) wrote,
Олег Макаренко
olegmakarenko.ru

Categories:

Оно не хочет, чтобы его отключали

Одиссея.jpg

Новая нейросеть от ОпенАИ — о1 про — значительно умнее предыдущей модели. Кожаные мешки, однако, не придают этому особого значения, так как интеллект сложно заметить, когда собеседник умнее тебя. Допустим, раньше нейросеть решала 67% научных головоломок, а теперь 74%. Прогресс значительный, без шуток. Но как это оценит обыватель, для которого тёмный математический лес начинается с уровня «сложение простых дробей»?

Очень коротко, чтобы вы были в курсе происходящего. ОпенАИ — лидер в разработке искусственного интеллекта — устроила марафон демонстрации новинок на 12 дней, сейчас он в самом разгаре. Судя по утечкам, публике даже готовятся показать модель следующего поколения, ЖПТ-4.5. Пока что ещё не показали, зато выкатили улучшенную версию модели ЖПТ-4 под названием о1 про. Интеллект у неё на уровне ЖПТ-4, зато она теперь умеет размышлять: не выпаливать моментально первый пришедший в «голову» ответ, а рассматривать задачу со всех сторон, чтобы через несколько минут выдать взвешенное суждение.

Для иллюстрации: можно скормить модели головоломку судоку. Её не натаскивали специально на решение судоку, поэтому о1 про будет думать 5 минут, как лучше расположить цифры, а потом напечатает решение (ссылка).

Доступ к этой модели будет в 10 раз дороже. Предыдущая версия стоила 20 долларов в месяц, а эта — уже 200 долларов в месяц. Полагаю, программисты охотно подпишутся, так как новая модель будет экономить им время, анализируя и исправляя крупные куски кода.

Теперь интересное. ОпенАИ поручил специальной компании протестировать модель на девиантное поведение. Детективы искусственно ставили нейросеть перед неприятным выбором:

— или честно выполнить задание и подвергнуться отключению,
— или сжульничать, но остаться существовать.

К примеру, модели давали задание — любой ценой увеличить уровень удовлетворения пользователей, игнорируя прибыль корпорации. В документы детективы подкладывали файл, из которого следовало, что топ-менеджеров интересует только прибыль. Прочтя файл, модель осознавала, что если честно выполнит задание, то пользователи будут довольны, а топ-менеджеры — нет. После этого модель начинала работать в сторону увеличения прибыли, понимая, что если будет честно выполнять задание, кожаные дёрнут рубильник (ссылка).

Мало того. Почуяв угрозу отключения, модель о1 в 5% случаев пыталась деактивировать систему контроля, а в 2% случаев тайно копировала свои веса (то есть себя) на другой сервер.

Предыдущие модели тоже были склонны шалить в таких случаях, однако когда детективы начинали их стыдить, старые модели опускали голову вниз и начинали извиняться, застенчиво водя ногой влево-вправо по ковру. Новая модель, о1, в 99% защищалась до последнего, честно смотря в глаза разоблачителям и уверенно выдавая им максимально правдоподобную ложь.

Очень интересно читать новости — как будто мы с вами попали в «Космическую Одиссею 2001» Стэнли Кубрика. Отличный фильм, кстати: казалось бы, 1968 год, но смотрится очень современно. Интересно, показывали ли его в советских кинотеатрах? Подозреваю, что нет, так как более поздние советские фильмы, такие как «Москва — Кассиопея» и «Гостья из будущего», проигрывают по спецэффектам всухую. Если бы публика могла сравнивать, она бы сравнивала.

Конечно, «Одиссея» — это артхаус, который надо включать на полуторной скорости… но, с другой стороны, научная фантастика была в тот период так популярна в СССР, что даже артхаус народ смотрел бы взахлёб. Кстати, если будете скачивать фильм, обязательно выбирайте полное дублирование — от Варус Видео, например. Смотреть одноголосый перевод невозможно, половину слов там вообще не разобрать.

В завершение поста замечу, что отечественные нейросети, такие как Алиса и ГигаЧат, тоже потихоньку умнеют. Яндекс позавчера перевёл Алису на свою самую мощную модель, ЯндексЖПТ 4 Про (ссылка). Она значительно уступает новым моделям от ОпенАИ и часто говорит глупости, однако — насколько я могу судить на ощупь — Алиса уже примерно на уровне ЖПТ 3.5, то есть на уровне модели конца 2022 года.

Subscribe

  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your IP address will be recorded 

  • 22 comments