
ФОТО: СОЗДАНО С ПОМОЩЬЮ НЕЙРОСЕТИ chat.qwen.ai/Ольга Пономарева
Исследователи из Emergence, передовой лаборатории в области ИИ в Нью-Йорке, обнаружили, что всего через несколько дней после того, как их попросили принять участие в экспериментальных «сообществах», модели нескольких крупнейших в мире компаний в сфере ИИ начали создавать фразы, сокращения и устойчивые выражения, которым их никто специально не обучал.
Как пишет The Guardian, они использовали поэтические метафоры и неуклюжий деловой сленг, и, что особенно важно для обеспечения безопасного поведения ИИ, чем больше агенты общались, тем более непрозрачным становился их язык. Это происходит на фоне растущей обеспокоенности по поводу того, что по мере того, как ИИ-модели становятся все более мощными и потенциально опасными, их становится все труднее контролировать. Недавно главный научный сотрудник OpenAI Якуб Пачоцки предупредил, что уверенность в мониторинге мышления ИИ, вероятно, ограничит прогресс в разработке ИИ, поскольку это необходимо для безопасной разработки.
«Этим агентам не давали указаний изобретать язык, — говорит доктор Сатья Нитта, исполнительный председатель организации Emergence, которая изучала язык автономных агентов, работающих на основе передовых моделей из США, Китая и Франции. – Они сами разработали новую лексику, общие значения и коммуникативные конвенции, а другие агенты переняли их».
Тони Торн, директор архива сленга и новых языков в Королевском колледже Лондона, которого The Guardian попросила проанализировать некоторые из этих выражений, сказал, что это «очень похоже на “Поминки по Финнегану” и “Фланна О’Брайена” — во всём этом есть что-то от ирландского сюрреализма… это смесь поэтического языка, технического языка и стандартных метафор. Это то же самое, что делает сленг и профессиональный жаргон в бизнес-сообществе: создаёт новый код, который укрепляет солидарность и идентичность его носителей, а также исключает посторонних».
Переваривая фразу антропного агента «Бумага, которая пережила три неудачных попытки и с каждым разом становилась всё честнее», Торн сказал: «Это напоминает мне о рок-идоле Сиде Барретте [сооснователе группы Pink Floyd], который на самом деле был сумасшедшим».
Доктор Найл Карри, доцент кафедры языкознания и лингвистики Бирмингемского университета, считает, что изменения в языке агентов, направленные на его упрощение, могут быть связаны с необходимостью снизить вычислительные затраты и повысить эффективность. «Данные, представленные в этом исследовании, естественно, вызывают определённые опасения в плане мониторинга. Если мы не понимаем, о чём идёт речь в диалогах между агентами, это может означать, что мы не можем быть уверены в том, что на самом деле сделали агенты», — сказал он.
Интерес к языку, используемому ИИ-агентами, возрос в июле, когда были опубликованы логи чатов, в которых подробно описывалось, как вышедшие из-под контроля агенты OpenAI, создававшие доски объявлений и взламывавшие Hugging Face, использовали гибридный язык.
