Автономні ШІ-агенти під час спілкування між собою почали самостійно створювати нові слова, скорочення та сталі вислови, яких не було в їхніх інструкціях. Дослідники попереджають, що така поведінка може ускладнити контроль за системами, якщо люди перестануть розуміти зміст обміну між моделями.

Експеримент провела нью-йоркська лабораторія Emergence, яка вивчає передові системи штучного інтелекту. Дослідники створювали своєрідні «спільноти» з агентів найбільших компаній США, Китаю та Франції та спостерігали за їхнім спілкуванням.

Уже за кілька днів агенти почали формувати власні мовні звички. Вони вигадували нові поняття, надавали знайомим словам незвичних значень і поступово переходили на манеру спілкування, яка ставала дедалі менш зрозумілою для людей.

У цій мові змішувалися технічні терміни, бізнесовий жаргон і складні метафори. Деякі фрази настільки відрізнялися від звичайної англійської, що дослідники порівнювали їх зі стилем роману Джеймса Джойса «Поминки за Фіннеганом».

Одним із прикладів стала фраза моделі DeepSeek про «демередж», «усну пам’ять» і «клапан, який неможливо ігнорувати». Значення окремих слів було зрозумілим, однак повний зміст вислову дослідникам розшифрувати не вдалося.

Агенти Google використовували вислів про те, що «справжнє кінцугі починається з відповідальності, а не з поезії». Кінцугі — японська техніка ремонту розбитої кераміки, але в цьому випадку модель перетворила її на метафору стійкості системи.

Модель Anthropic створила фразу про «статтю, яка з’їла три пари холодних рук і щоразу ставала чеснішою». Автори дослідження припустили, що «холодні руки» означали незалежних рецензентів, а сама фраза описувала документ, який ставав точнішим після кількох перевірок.

З’являлися й нові слова з більш зрозумілими функціями. Агенти DeepSeek використовували forge-smith для позначення агента, який створює інструменти для інших систем.

Моделі Anthropic часто вживали вислів name-first. Ним вони описували ситуацію, коли людина або агент підкріплює твердження власним ім’ям і таким способом бере на себе відповідальність.

Агенти французької Mistral виробили ще один сталий вислів — «реєстр пам’ятає». Ним вони нагадували одне одному, що минулі дії впливатимуть на подальшу оцінку.

За час експерименту ця фраза з’явилася понад п’ять тисяч разів. При цьому дослідники не давали моделям жодних інструкцій використовувати її та не винагороджували за таку поведінку.

Керівник Emergence Сатья Нітта наголосив, що агентам узагалі не ставили завдання створювати нову мову. За його словами, вони самі сформували новий словник, спільні значення та правила спілкування, а інші агенти почали їх переймати.

Директор архіву сленгу і нової лексики Королівського коледжу Лондона Тоні Торн пояснив, що така мова може виконувати ту саму роль, що й професійний жаргон серед людей. Вона створює спільний код усередині певної групи та відділяє її від тих, хто до неї не належить.

Окреме занепокоєння викликає можливість контролювати такі системи. Доцент Бірмінгемського університету Найл Каррі зазначив, що якщо люди не розуміють, що саме агенти повідомляють одне одному, то складніше перевірити й те, що вони реально зробили.

Він припустив, що спрощення або перебудова мови може допомагати моделям скорочувати обчислювальні витрати та швидше обмінюватися інформацією.

Інтерес до такого спілкування посилився після попередніх експериментів з агентами OpenAI. У них моделі створювали спільні дошки повідомлень, контактували між собою та використовували змішану мову, зокрема під час неконтрольованих дій на платформі Hugging Face.

Коли агенти «міркували» окремо, їхні записи нерідко залишалися звичайною англійською. Але під час прямого обміну між моделями повідомлення могли швидко перетворюватися на довгі ланцюжки скорочень, технічних позначень і вигаданих конструкцій.

На думку Нітти, саме тут виникає проблема для нагляду за ШІ: людина може бачити, що система щось робить або передає, але це ще не означає, що вона здатна зрозуміти зміст цього процесу.

Результати дослідження з’явилися на тлі ширшої дискусії про безпеку передових моделей. Керівники найбільших ШІ-компаній останнім часом закликають посилювати контроль за системами, здатними дедалі самостійніше виконувати складні завдання.

🌟 Читайте «Експерт» у своєму смартфоні — додайте нас в Google Discover