OpenAI заявила, що виявила та зупинила масштабну скоординовану кампанію, учасники якої намагалися отримати приховані міркування її ШІ-моделей. Компанія пов'язала основну групу такої активності з людьми, асоційованими з китайською Moonshot AI – розробником сімейства моделей і чатбота Kimi. За даними OpenAI, перші ознаки активності з'явилися 1 липня.
Спочатку кількість запитів була невеликою, однак 24-25 липня компанія зафіксувала різкий сплеск – близько 16 тисяч запитів від понад 4 тисяч користувачів, які відповідали схемі вилучення захищених міркувань. Після розширення розслідування OpenAI виявила пов'язану активність із подібними шаблонами запитів у кластері, який охоплював понад 15 тисяч користувачів. За твердженням компанії, до 28 липня цю активність вдалося повністю припинити.
OpenAI характеризує такі дії як ворожу дистиляцію моделей. Дистиляція сама по собі є поширеним методом розробки ШІ, коли результати потужнішої моделі використовують для навчання іншої. Однак у цьому випадку, за версією OpenAI, йшлося про несанкціоноване систематичне отримання даних, які могли допомогти відтворити або поліпшити можливості конкурентної моделі.
Учасники кампанії, як стверджує OpenAI, намагалися отримати не лише звичайні відповіді моделей, а їхні захищені внутрішні міркування. Один зі способів полягав у тому, що зашифровані дані про міркування з однієї розмови переносили до іншої та просили модель розшифрувати й відтворити їх у доступному вигляді. При цьому компанія наголосила, що зловмисники не зламували шифрування, не отримували доступу до баз даних і не проникали до збережених розмов користувачів.
Йшлося про маніпулювання взаємодією з моделями через велику кількість спеціально сформованих запитів. Bloomberg Law зазначає, що OpenAI не змогла встановити, чи всі учасники кампанії діяли від імені одного суб'єкта. Водночас компанія заявила, що основний кластер активності пов'язаний із людьми, асоційованими з Moonshot AI.
Moonshot AI є одним із найбільших китайських розробників генеративного ШІ. Компанія розвиває лінійку Kimi, а її актуальна флагманська модель Kimi K3 орієнтована на складні завдання, програмування та логічні міркування. Після інциденту OpenAI закрила механізм, який дозволяв повторно використовувати зашифровані фрагменти міркувань, додала нові перевірки для потенційного витоку таких даних і почала блокувати пов'язані акаунти.
Інформацію про виявлену схему компанія також передала іншим розробникам ШІ через Frontier Model Forum та державним структурам. OpenAI очікує, що спроби несанкціонованої дистиляції моделей ставатимуть складнішими в міру розвитку передових систем ШІ. Компанія планує посилювати технічний захист, системи виявлення скоординованої активності та обмін інформацією про такі загрози з іншими учасниками ринку.
Інші Новини
Українські та німецькі компанії оголосили про домовленості на понад €100 млн
На німецько-українському бізнес-форумі в Берліні 20 листопада компанії оголосили про нові комерційні домовленості на суму понад €100 млн, повідомив прем'єр-міністр...
Голова Європейської ради Кошта запропонував для бюджету ЄС збір у 3% з окремих цифрових послуг
Голова Європейської ради Антоніу Кошта 21 листопада представив компромісний проєкт бюджету ЄС на 2028–2034 роки. Він запропонував стягувати з великих...
Світові акції втратили 8,1% за тиждень, біткоїн опустився нижче $56 000
За тиждень 16–20 листопада світовий індекс акцій MSCI ACWI втратив 8,1% — це найсильніше тижневе падіння з початку 2020 року....
Чорна п’ятниця 27 листопада: як порахувати, скільки ви дійсно заощадите
Один магазин обіцяє знижку 24%, інший продає ту ж модель дешевше без акції. Перед оплатою варто перевірити, від якої ціни...
2000 грн на обстеження за програмою «Скринінг здоров’я 40+» — хто може подати заявку до 15 грудня
Подати заявку на 2000 грн за програмою «Скринінг здоров’я 40+» цього року можна по 15 грудня включно. Пройти й оплатити...
Контакти клієнтів JPMorgan і Mastercard опинилися під загрозою після інцидентів у підрядників
JPMorgan Chase перевіряє, чи отримали зловмисники доступ до імен та електронних адрес клієнтів. Mastercard підтвердила розкриття адрес електронної пошти частини...
