Возможно, разработчики ЧатЖПТ сделали что-то пугающее. Два источника из компании ОпенАИ пишут, что разработка ЖПТ-5 уже близка к завершению. Кажется, американцам удалось создать УИ — универсальный искусственный интеллект, способный выполнять любую умственную работу на человеческом уровне.
Цитирую Яма Пелега, учёного и предпринимателя (ссылка):
…Пользователь ФелтСтим подробно описывает две различные модели, которые уже завершили обучение в 2022 году, с кодовыми названиями «Гоби» и «Арракис». Утверждает следующее:
— ОпенАИ обладает мощной моделью «Арракис»;
— Арракис принимает и обрабатывает любую информацию: текст, фотографии, звук, что угодно;
— Арракис превосходит возможности ЖПТ-4 и работает очень близко к людям-специалистам во многих различных областях;
— Частота у Арракиса галлюцинаций намного ниже, чем у ЖПТ-4;
— Половина данных, на которых обучался Арракис, была синтетической;
— Требования к железу примерно такие же, как у ЖПТ-4, из-за условной разгрузки MoE/мультимодальных весов;
— Арракис превосходен в самостоятельной работе;
— Дата выхода запланирована на 2024…
Там же Ям Пелег указывает на некоторые другие источники, которые подтверждают эту информацию. Процитирую тот самый комментарий ФелтСтима, опустив традиционные оговорки про «относитесь со скепсисом» и «я уверен не на 100%» (ссылка)
ОпенАИ не просто медленно разрабатывает одну модель за раз, но работает сразу над несколькими. Модель, о которой я знаю больше всего, имеет внутреннее название Арракис, оно какое-то дикое. Насколько я знаю, это модель «всё-для-всего», что означает, что вы можете вводить любую комбинацию текста, изображения, аудио и видео (я не уверен насчет 3D, это возможно, но я не думаю, что она принимает 3D-модальность).
…
Что касается генерации видео, то она не так мощна, но лучше, чем у Поколения-2, которое считается текущим видеогенератором SOTA. Арракис также намного превосходит возможности ЖПТ-4 и действительно близок к Универсальному Интеллекту. Арракис работает очень близко к людям экспертного уровня во многих вещах, но, к сожалению, пока не на экспертном уровне.
Галлюцинирует Арракис намного реже, чем ЖПТ-4, хотя галлюцинации и не исчезли полностью. Половина данных, на которых Арракис был обучен, являются синтетическими, что на самом деле удивило меня, но это просто показывает, что синтетические данные, безусловно, полезны. Честно говоря, если бы ЖПТ-4 был немного сознательным, то в связи с этим об этой модели было бы много этических разговоров, но Альтман хочет, чтобы люди рассматривали ЖПТ-4 просто как инструмент, даже если есть шанс, что он каким-то образом действительно обладает сознанием.
Мой информатор сказал мне, что стоимость вывода [на один запрос] на самом деле примерно такая же или немного ниже, чем у ЖПТ-4, поскольку за один проход вывода активируется меньше параметров, чем у ЖПТ-4, хотя мне все ещё трудно в это поверить, поскольку параметров определенно намного больше, но кто знает.
Что касается даты релиза, то изначально они не планировали выпускать Арракис в 2024 году, но я думаю, что вполне возможно увидеть его выпущенным где-нибудь в течение 2024 года, поскольку они ускоряются. Впрочем, это их собственная вина. Все пытаются форсировать разработку ИИ, поскольку выпуск ЧатЖПТ и ЖПТ-4 показал, что это достижимо, и теперь другие разработчики постепенно нагоняют ОпенАИ.
Арракис также является очень, очень хорошим автономным агентом. Я понятия не имею, как они будут выпускать его на публику. Они могли бы отключить доступ к загрузке видео, аудио и изображений и медленно выпускать эти функции, как в случае с ЖПТ-4, который всегда умел работать с аудио и фото, но который изначально выпустили только в текстовой версии. Также ОпенАИ постарается сделать так, чтобы Арракис выглядел инструментом, а не личностью. Было бы намного сложнее продать ИИ, если бы он считался «сознательным», а им нужны деньги.
И также, насколько мне известно, всё это основано на текущей информации. Эта модель уже существует, это не какой-то план ОпенАИ, они это уже сделали.
Действительно, распознавать речь и изображения ЖПТ-4 умел со старта, но пользователям разрешили использовать эти функции только вчера (ссылка). Теперь владельцы смартфонов могут поговорить с роботом голосом или показать ему картинку, чтобы тот дал совет. Например, сфотографировать велосипед и спросить, как поднимается седло.
Что касается Арракиса, который предположительно выйдет в 2024, то меня в рассказе источника зацепил фрагмент про «очень хорошего автономного агента».
Если коротко, главная проблема ЖПТ-4 и прочих современных ИИ заключается в том, что они необучаемы, вот как люди после определённых повреждений мозга. Такие больные могут отлично помнить, что было с ними до момента заболевания или травмы — до их 50-летия, например, — но дальше ничего не запоминать.
Представьте инженера, который может вполне адекватно рассуждать про компьютеры Ельцинских времён, но который забывает ваше имя примерно через минуту разговора. Если вы спросите его, почему ваш 486-й компьютер самопроизвольно перезагружается, инженер со знанием дела предложит вам поменять процессор, а если не поможет, исследовать конденсаторы на системной плате. Но если вы начнёте рассказывать ему про современную технику, он будет с трудом следить за ходом вашей мысли, а когда вы выйдете за дверь, все ваши слова немедленно вылетят у него из головы.
Очень рекомендую прочесть книгу Чарльза Дахигга «Власть привычки» — там как раз про такой случай, и вообще книга великолепная, одна из немногих, которые я готов посоветовать всякому без колебаний. Однако сейчас давайте вернёмся к ИИ. У ЧатЖПТ и ЖПТ-4 именно эта проблема с памятью: они очень много знают, но ничего не запоминают надолго, так что через несколько реплик разговор с ними приходится начинать с нуля. Поэтому ЖПТ-4 хорош, когда надо написать простенький скрипт на одну страницу, но весьма плох, когда надо что-то подправить в серьёзном проекте. ЖПТ-4 не способен одновременно охватить сознанием большой объём информации, так как открывая новые документы, он будет одновременно начисто забывать документы, прочтённые минуту назад.
Да, можно поставить очевидный костыль — дневник. Изучил документ, сделал выводы, записал выводы в дневник, потом сбросил память и начинаешь дальше с чтения дневника. Однако в случае с ЖПТ-4 — самой совершенной на сегодня моделью для широкой публики — это работало не очень. Даже слабый программист, который не обладает и сотой долей знаний ЖПТ-4, может, например, поправить сложную ошибку на сайте, если будет последовательно ковыряться в коде, ставить опыты и задавать вопросы на форумах. У ЖПТ-4 так не получится, так как в процессе работы он будет вынужден постоянно начинать всё сначала.
Теперь, когда вы видите проблему, вы понимаете, почему фрагмент про «очень хорошего автономного агента» меня смущает. Если Арракис способен действовать самостоятельно, значит разработчикам удалось как-то решить эту проблему, и Арракис теперь забывает начало беседы не через несколько страниц, как ЖПТ-4, а через, допустим, 100 страниц. Это уже вполне достаточный объём памяти, чтобы работать над реальными задачами. Например, чтобы Арракис самостоятельно вёл бухгалтерию предприятия, подгружая данные, внося первичку, обновляя 1С, отвечая на электронную почту, исправляя все неувязки, отсылая отчёты в Налоговую и читая ежедневно условный Клерк.Ру, чтобы быть в курсе последних изменений законодательства. Более того, мы можем объяснить Арракису, как правильно устраиваться на работу, и он будет самостоятельно шерстить вакансии бухгалтеров по всей России, и откликаться на них.
Если за месяц такой работы Арракис будет тратить машинного времени на 5 миллионов рублей, а зарплаты при этом получать на 50 миллионов рублей, мы стоим на пороге больших перемен. Способный к самостоятельной работе робот может буквально за пару месяцев спылесосить 90% вакансий на удалёнке.
А теперь сладкое. Я не знаю, насколько верна информация про Арракиса — может быть, информатор что-то исказил, где-то ошибся, где-то приврал. Однако я уверен, что гипотетический Арракис — это всего лишь количественный скачок.
Если у вас есть автомобильный двигатель на 35 лошадиных сил, вы точно можете разработать двигатель на 70 лошадиных сил. Если у вас есть компьютер, который работает с частотой в 5 мегагерц и имеет 1 мегабайт памяти, вы точно можете сделать компьютер, который будет работать с частотой в 8 мегагерц и иметь 4 мегабайта памяти. Если у вас есть пушка, которая прицельно стреляет на 200 метров, вы точно можете сделать пушку, которая будет прицельно стрелять на 300 метров.
Вот с собаками так не выйдет. Если вы вывели собаку ростом в 1 метр, вы не можете так просто вывести собаку ростом в 2 метра, тут есть принципиальные ограничения. Также вы не можете сделать сейчас вдвое более ёмкую батарею для смартфона или вдвое более лёгкий двигатель для дрона.
Потому что собаки, батареи и двигатели в 2023 — это уже очень развитые технологии, и все очевидные возможности для быстрого роста там уже выбраны. А нейросети — это технология новая, сырая, на самом взлёте, вот как автомобили в 1900 или компьютеры в 1980 году.
ЖПТ-4 существует. Это медицинский факт, робот здорово помогает мне в обслуживании зоопарка моих бухгалтерских скриптов. Арракис, судя по описанию, это тот же ЖПТ-4, только более умный, с большим объёмом памяти и с более совершенным модулем рационального мышления. Следовательно, выход Арракиса на публику — вопрос времени. Если Арракиса ещё нет сейчас, то его разработают чуть позже. Если Арракиса не разработает ОпенАИ, его разработают Сбер, Яндекс или какой-нибудь китайский айти-гигант. Как говорил по другому поводу Попандопуло, «чует моё сердце, что мы на пороге грандиозного шухера» (ссылка).
И, да, кстати. Открытые модели — доступные каждому, умеющие работать вот прямо на домашнем компьютере — постепенно нагоняют коммерческие аналоги. Вопрос не в том, когда ожидаемый Арракис будет в каждом смартфоне, вопрос в том, когда именно он там поселится: в 2024 или, может быть, в 2028 году.