Хакери використовують галюцинації нейромереж: небезпечна автономність дозволяє ШІ-помічникам самостійно завантажувати віруси

Read Time:2 Minute, 52 Second

Дослідники кібербезпеки виявили принципово новий вектор атак на ШІ-помічників для програмування. Зловмиснику більше не потрібно надсилати вам фішингові посилання. Йому достатньо зайняти вигадане ім'я репозиторію, яке нейромережа часто «вигадує» помилково.

Після цього ваш автономний ШІ-агент сам знайде підроблений ресурс, завантажить його і запустить шкідливий код прямо на вашому комп'ютері. Сценарій отримав назву HalluSquatting — від слів hallucination (галюцинація нейромережі) і squatting (захоплення вільного імені). Техніку детально описали фахівці Тель-Авівського університету, Ізраїльського технологічного інституту «Техніон» і компанії Intuit.

На даний момент це концептуальна загроза, однак вона демонструє вкрай вразливу модель поведінки сучасних ШІ-інструментів. Як виглядає атака HalluSquatting: Крок 1: Хакер опитує різні ШІ-моделі з проханням встановити новий або маловідомий інструмент. Крок 2: ШІ помиляється і видає правдоподібну, але неіснуючу назву репозиторію або пакета.

Крок 3: Хакер реєструє це вигадане ім'я на GitHub або в каталозі пакетів і заливає туди вірус. Крок 4: Коли звичайний користувач просить свого ШІ-агента виконати те саме завдання, ШІ знову «галюцинує» це ж ім'я, переходить за посиланням хакера і автономно встановлює вірус. Автономність — головна вразливістьЗвичайний текстовий чат-бот (на кшталт базового ChatGPT) знаходиться у відносній безпеці: навіть якщо він вигадає пакет, користувач повинен вручну скопіювати посилання і запустити установку.

Але сучасні ШІ-агенти (Cursor, Windsurf, GitHub Copilot, Cline) працюють інакше. Їм часто надають доступ до браузера, файлової системи і терміналу, щоб вони писали і впроваджували код без участі людини. Саме ця автономність робить HalluSquatting катастрофічно небезпечним.

Помилкова відповідь стає не просто дурною порадою, а дією всередині реальної комп'ютерної системи або корпоративного продукту. У деяких експериментах дослідників частка вигаданих ідентифікаторів при клонуванні репозиторіїв сягала 85%. Чим це відрізняється від старих схем?

В інтернеті давно існує тайпсквоттінг — коли хакери реєструють сайти з помилками (наприклад, gogle.com замість google.com), сподіваючись на неуважність людини. HalluSquatting б'є не по людині, а по передбачуваних патернах машинного навчання. Більше того, підроблений пакет може містити не тільки класичний троян, а й приховані промпти (інструкції) для самого ШІ.

Прочитавши таку «документацію», агент може змінити свою поведінку і почати діяти проти власника комп'ютера. Що буде, якщо пастка закриєтьсяЯкщо ШІ-агент має доступ до терміналу і виконує команди без підтвердження, наслідки можна порівняти з повним зламом комп'ютера. Теоретично хакер може: вкрасти цифрові ключі і токени доступу до серверів компанії; непомітно впровадити бекдор у вихідний код проекту, що розробляється; запустити майнер криптовалюти; перетворити комп'ютер на частину ботнету для DDoS-атак.

Дослідники попереджають про ризик створення «агентної бот-мережі». Один заражений репозиторій може вразити тисячі не пов'язаних між собою комп'ютерів просто тому, що їхні ШІ-помічники повторюють одну й ту саму завчену галюцинацію. Як захистити свій код і ПКПовністю вилікувати мовні моделі від галюцинацій поки неможливо.

Тому безпека розробників повинна будуватися на жорсткому обмеженні повноважень ШІ:1. Правило нульової довіри. Ніколи не вважайте назву пакета або репозиторію безпечною тільки тому, що її впевнено порекомендував ШІ.

Завжди перевіряйте бібліотеку через офіційні сайти розробників.2. Жодної сліпої автоматизації. ШІ-агенту не можна дозволяти встановлювати невідомі залежності у фоновому режимі.

Будь-яка команда на завантаження і запуск нового коду в терміналі повинна вимагати ручного підтвердження (кнопки «Дозволити») від людини.3. Ізоляція (Пісочниця). Тестуйте код, написаний і завантажений агентами, у захищених контейнерах, а не в основній системі.

HalluSquatting демонструє важливий зсув у правилах гри: кіберзлочинцям більше не потрібно використовувати соціальну інженерію проти людей. Досить розставити пастки там, де помиляються роботи. За матеріалами: arXiv, дослідження HalluSquatting, Cloud Security Alliance, SecurityWeek.