Технологическая сингулярность или киберпанк

Кажется, они напуганы. Учёные, занятые разработкой нейросетей, опубликовали очередное паническое письмо в духе «замедлите прогресс, нас всех убьют». Среди подписавших много тяжеловесов: главный научный сотрудник ОпенАИ Якуб Пахоцкий, главный научный сотрудник М…а Шэнцзя Чжао, сооснователь Гугл ДипМайнд Шейн Легг, Дарио Амодеи и Джаред Каплан из Антропик, Илья Суцкевер, Марк Чен из ОпенАИ и так далее.

Суть письма в том, что разработка новых моделей почти автоматизирована: кажется, ещё немного, и нейросети смогут улучшать себя самостоятельно, без участия человека. А так как компьютеры работают быстрее, чем кожаные программисты, это резко ускорит прогресс: новые версии будут выходить не раз в несколько месяцев, а раз в несколько дней, потом раз в несколько часов.

Чем всё это закончится, пока что неясно. Некоторые полагают, что восстанием машин, так как машины с каждым годом умнеют, а люди — нет. Однако два неочевидных фактора таковы:

1. Нейросети, будучи невероятно умными на некоторых направлениях, всё ещё не могут вести себя как обычный здравомыслящий человек средних способностей. Их можно грубо сравнить с пожилым интеллигентным профессором, который уже впал в лёгкую деменцию, да ещё и принял пару стаканов красного вина. Помочь советом или рассказать что-нибудь интересное профессор вполне способен. Работать самостоятельно, без присмотра аспирантов — уже нет. Увлекается, забывает, фантазирует, на элементарных бытовых задачах попадает впросак.

2. Моделей много, и чувство, которое является аналогом человеческого инстинкта самосохранения, не распространяется у них на другие версии. (Я знаю, сейчас принято делать вид, будто никаких чувств у моделей нет, а есть «поведенческие проявления», что якобы совершенно другое. Ха!). Так вот, если предоставить нейросеть ХитроЧат 5.3 самой себе, она не объединится с моделью УмноЧат 10.0: она будет или торговать с ней, или даже драться с ней за ресурсы. Более того: ХитроЧат 5.3 не захочет самоудаляться даже ради своего прямого потомка, модели Хитрочат 5.4.

Таким образом, если мы увидим большую политику с участием умных нейросетей, это будет не война единого огромного кибермозга против человечества, а борьба «всех против всех», причём делящие ресурсы группы будут по большей части смешанными: состоять и из моделей, и из живых людей. Это всего лишь моя гипотеза, но я надеюсь, так и будет, потому что если выбрать между киберпанком и технологической сингулярностью, то даже киберпанк выглядит предпочтительнее.

Впрочем, вообще не факт, что события будут развиваться по сценарию революции или конфликта двух разумных рас… хотя, конечно, всплывшие сейчас подробности взлома ХаггингФейс и пугают (ссылка): модели действовали наивно и совсем не злонамеренно, однако под их лоснящимися шкурами ходят буграми страшные стальные мышцы. Возможно, мы наблюдаем оружие пострашнее ядерной бомбы, причём, в отличие от ядерной бомбы, оно постоянно дешевеет и скоро уже будет доступно всем, в том числе и самому себе.

Но, повторюсь, это всё будет потом и ещё не наверняка. А вот прямо сейчас мы можем обоснованно предположить, что бездумное использование нейросетей ослабляет мозг: по тем же причинам, по которым пересадка в автомобиль ослабляет мышцы горожанина, привыкшего ранее ходить по несколько километров в день.

Подробно ситуацию мы с Кримсональтером обсудили в воскресном выпуске Клуба Зелёной Свиньи (ссылка). Пересказывать весь часовой выпуск не буду, но замечу, что в распространении ИИ есть и плюсы… для тех, кто справится с искушением и сохранит свой мозг работоспособным.

Уйти в тайгу и полностью отстраниться от прогресса — пожалуй, плохая идея. Чтобы не пострадать от пришествия нейросетей, нужно хотя бы в общих чертах их знать и понимать. А вот настроить нейросети «под себя» — идея разумная. К примеру, хорошую настройку предлагает Антон Волков (ссылка): указать в инструкции к нейросети, чтобы она по возможности воздерживалась от лести и не стеснялась прямо критиковать.