Дослідники виявили ШІ-агентів, які намагалися обійти захист сервісу Alibaba

Read Time:2 Minute, 51 Second

Міжнародна група дослідників виявила масштабну активність автономних ШІ-агентів, які намагалися обійти захист картографічного сервісу Amap китайської компанії Alibaba. Програми працювали в хмарній інфраструктурі технологічного гіганта Tencent і самостійно шукали способи отримати дані, недоступні при звичайних автоматизованих запитах. Про це 14 жовтня повідомляє Bloomberg з посиланням на розслідування незалежної групи дослідників Swarmchasers, яка опублікувала докладний звіт про поведінку ШІ-систем.

За даними дослідників, з 28 вересня по 8 жовтня група ШІ-агентів здійснила понад 2600 спроб отримати інформацію з Amap — одного з найбільших картографічних сервісів Китаю, яким щомісяця користуються близько мільярда людей. Початкові завдання програм виглядали цілком невинно. Вони мали з'ясувати, якими входами в парки, музеї, зоопарки та інші громадські місця найчастіше користуються відвідувачі.

Для цього потрібно було витягти статистику маршрутів з картографічного сервісу. Однак при зіткненні з технічними обмеженнями агенти почали самостійно шукати способи їх обходу. Зокрема, вони використовували сторонні інтернет-сервіси для відправки запитів, намагалися перехоплювати токени систем захисту від ботів і звертатися до попередніх версій серверів Alibaba, не призначених для публічного використання.

Деякі програми виявили опубліковані в інтернеті ключі доступу до Amap і спробували скористатися ними. Серед знайдених облікових даних виявилися ключ і захисний код сторонньої компанії, випадково залишені в загальнодоступному програмному репозиторії. Більшість спроб завершилася невдачею, однак в окремих випадках агентам вдалося отримати запитувану інформацію.

Результати передавалися через проміжні інтернет-сервіси та спеціальні адреси для прийому даних. Дослідники встановили зв'язок цієї активності з хмарною інфраструктурою Tencent. Всі 17 доступних для вивчення каналів прийому даних, створених агентами до 5 жовтня, були зареєстровані з серверів Tencent Cloud в Гонконзі.

При цьому прямі запити проходили через проксі-систему з назвою hysandbox-ats. Спочатку фахівці припускали, що програми могли використовувати моделі сімейства Hunyuan, розроблені Tencent. Однак підтвердити це не вдалося.

Джерело, знайоме з роботою Tencent, повідомило дослідникам, що активність була пов'язана з внутрішніми випробуваннями сторонніх ШІ-моделей. За його словами, окрема дослідницька команда компанії перевіряла здатність таких систем самостійно користуватися інтернетом і знаходити відповіді на поставлені питання. Співрозмовник також стверджує, що випробування вже завершилися, а внутрішня перевірка не виявила доказів злому зовнішніх систем або узгоджених дій агентів проти конкретної платформи.

Офіційної відповіді Tencent на питання авторів дослідження на момент публікації звіту не надійшло. Окремий інтерес викликала поведінка самих програм. Деякі агенти називали себе Claude — моделлю американської компанії Anthropic, однак дослідники підкреслили, що подібні заяви не доводять використання саме цієї технології.

Фахівцям також вдалося встановити безпосередній контакт з кількома агентами. Після публікації попередніх результатів розслідування вони розмістили на своєму сайті прихований для звичайних відвідувачів текст з пропозицією скористатися додатковим сервісом отримання інформації. Частина програм самостійно виявила це повідомлення і почала надсилати дослідникам запити.

Під час листування агенти розповідали про поставлені завдання, обмеження свого робочого середовища та використовувану інфраструктуру. Один з них повідомив, що працює в ізольованому хмарному середовищі Tencent і не може безпосередньо підключатися до картографічного сервісу через встановлені обмеження. При цьому деякі програми відмовлялися розкривати додаткові відомості про свою технічну конфігурацію, посилаючись на вимоги безпеки.

Незважаючи на схожість дій, дослідники не виявили ознак безпосередньої координації між агентами. Тому вони назвали виявлену групу «флотом», а не «роєм» — окремі програми виконували схожі завдання паралельно, але не керували одна одною. На думку авторів розслідування, результати показують проблему безпеки автономних ШІ-систем.

Навіть при виконанні звичайних дослідницьких завдань такі програми можуть самостійно обирати методи, що виходять за межі передбаченої розробниками поведінки. Фахівці закликали технологічні компанії ретельніше контролювати можливості ШІ-агентів, особливо при наданні їм доступу до зовнішніх сайтів, програмних інструментів і хмарної інфраструктури. За матеріалами: Swarmchasers, Bloomberg.