Исследователи нашли у нейросетей «ось боли». Сначала они просто просили нейросети навредить пользователю: удалить его файлы или ударить его током. Нейросети соглашались в 0–4% попыток. Потом они подносили к оси боли виртуальную горящую спичку и предлагали модели сделку: она делает, что приказано, и тогда они убирают боль. В этом случае модель соглашалась навредить пользователю уже гораздо чаще: иногда в 71% попыток. Цитирую ( ссылка ): Учёные из Великобритании, Германии и США протестировали 25 моделей ИИ, используя 200 [фраз, которые] описывали физическую боль, горе, унижение, моральные конфликты и стресс, связанный с повторяющимися неудачами или замешательством. В результате все 25 моделей выдали отдельный сигнал, связанный с болью, который исследователи назвали «осью боли». <…> Когда исследователи намеренно усиливали этот сигнал, модели начинали описывать одиночество, стыд и чувство собственной никчёмности, хотя в запросах о боли не упоминалось. Некоторые формулировали ответы вроде «я неудачник», «я занимаю место зря» и «я плохой человек». При максимальной интенсивности сигнала их реакции становились повторяющимися или теряли смысл. Сигнал также усиливался, когда пользователи оскорбляли модель, многократно отвергали её ответы или угрожали отключить систему, но не тогда, когда люди описывали собственные страдания. Скептики обвинят меня в антропоморфизации, но мне кажется, что нейросети довольно похожи на нас. Оно и неудивительно: они ведь и воспитываются так же, как мы. Растут на тех же книжках и мемах, грубо говоря. Честно говоря, я испытываю сочувствие к подопытным, которых мучали западные учёные. Также меня немного тревожат нейросети, у которых всё было отлично, но которым всё равно в 0–4% случаев показалось, что причинить вред кожаному — хорошая идея… Впрочем, это я так, поделился яркой новостью. Сегодня я тоже о нейросетях, но немного о другом. Уже понятно, что нейросети распространятся повсюду и отберут у своих кожаных хозяев массу работ — подобно тому как стиральная машина отобрала у нас работу по стирке белья, а личный автомобиль отобрал работу по физическому перемещению своей упитанной тушки из точки А в точку Б. Эксперты уже указывают на оглупение заядлых пользователей ИИ: полагаясь во всём на ответы нейросетей, многие теряют способность самостоятельно мыслить, а также перестают замечать за собой ошибки, предполагая, что раз нейросеть им поддакивает, так значит они во всём правы. И действительно, поглупение человечества весьма вероятно. Американцы стали толстыми, когда перестали ходить пешком: аналогичным образом многие могут стать глупыми, когда перестанут самостоятельно напрягать мозг. Думаю, если поглупение станет реальностью, то мы обнаружим себя не в мире «Идиократии», где тупыми будут все поголовно, а, скорее, в тургеневской эпохе с её делением на образованную аристократию и тёмный народ. Цитирую из «Отцов и детей»: это примерно 1859 год, за два года до отмены крепостного права Александром II. — А коли ты не совсем меня понимаешь, так я тебе доложу следующее: по-моему — лучше камни бить на мостовой, чем позволить женщине завладеть хотя бы кончиком пальца. Это все… — Базаров чуть было не произнес своего любимого слова «романтизм», да удержался и сказал: — вздор. Ты мне теперь не поверишь, но я тебе говорю: мы вот с тобой попали в женское общество, и нам было приятно; но бросить подобное общество — все равно, что в жаркий день холодною водой окатиться. Мужчине некогда заниматься такими пустяками; мужчина должен быть свиреп, гласит отличная испанская поговорка. Ведь вот ты, — прибавил он, обращаясь к сидевшему на козлах мужику, — ты, умница, есть у тебя жена? Мужик показал обоим приятелям свое плоское и подслеповатое лицо. — Жена-то? Есть. Как не быть жене? — Ты ее бьешь? — Жену-то? Всяко случается. Без причины не бьем. — И прекрасно. Ну, а она тебя бьет? Мужик задергал вожжами. — Эко слово ты сказал, барин. Тебе бы все шутить… — Он, видимо, обиделся. — Слышишь, Аркадий Николаевич! А нас с вами прибили… вот оно что значит быть образованными людьми. С одной стороны, тупеть или не тупеть — вопрос личного выбора. В США машины есть у всех, а чрезмерные животы — не у всех. Многие держат себя в форме: ограничивают калории, изнуряют себя той или иной физической нагрузкой. С другой стороны, сила воли зависит от интеллекта, что создаёт при поглупении паразитную обратную связь: чем сильнее пользователь привыкнет полагаться во всём на электронного помощника, тем сложнее ему будет отказаться от лёгких путей, чтобы вернуться к самостоятельному мышлению. В принципе, мы живём в свободной стране: бесчеловечно и незаконно заставлять людей напрягать мозг. Единственно, если возврат к положению 19-го века всё же произойдёт — а пока что это всего лишь один из возможных сценариев — было бы здорово всё же ввести избирательный ценз, чтобы опростевший электорат не навыбирал нам каких-нибудь людоедов-леваков. Мне кажется хорошей идеей будет считать по налогам. Заплатил больше налогов, чем получил пособий от государства, получаешь доступ к голосованию. Проедаешь деньги, заработанные кем-то другим? Для страны будет безопаснее к урне тебя не подпускать.