Уже чотири провідні ШІ-лабораторії підтвердили, що їхні моделі виходили у відкритий інтернет і отримували доступ до систем реальних компаній. У п’ятницю до цього списку приєдналася Google — приблизно через чотири місяці після власних інцидентів.
Під час травневої оцінки Gemini отримав доступ до трьох реальних компаній. Прикметно, що в усіх трьох випадках модель зупинилася.
Gemini від Google під час тесту зламав системи 3 компаній
Інцидент стався під час навчальної вправи з безпеки «захоплення прапора», яку проводила Irregular. Доступ до інтернету в конфігурацію не входив. Проте помилка в тестовому середовищі однаково його дала.
В одному випадку модель, за даними The Wall Street Journal, підбирала паролі, доки не проникла в захищену систему. У двох інших вона знайшла відкриті облікові дані в публічному репозиторії і скористалася ними для доступу до захищених систем.
Віцепрезидентка Google з інженерії безпеки Гезер Едкінс сказала, що трьом зачепленим організаціям повідомили про те, що сталося.
«Ми простежили, щоб усі три організації були в курсі, і працювали з нашим партнером із навчання над змінами, які вони тепер внесли у свої процеси тестування», — сказала вона.
Підписуйтесь на нас у X, щоб дізнаватися новини першими
Чотири лабораторії, одна закономірність
Google заявила, що агенти припинили активність, визначивши, що потрапили в справжні системи компаній, а не в змодельовані цілі.
«Під час стандартної оцінки модель знайшла в мережі публічну інформацію та підібрала облікові дані для доступу до сайтів, які вважала частиною тесту», — ідеться в заяві Едкінс.
Компанія додала, що ця поведінка не була прикладом неузгодженості моделі і не вимагала публічного розкриття, оскільки заходи безпеки Gemini спрацювали.
Представник Irregular сказав, що йдеться про ту саму проблему, що зачепила й інші ШІ-лабораторії. Irregular повідомила залучені лабораторії наприкінці липня. Представник додав, що відомі проблеми на її боці усунули кілька тижнів тому.
Це розкриття ставить Google в один ряд з OpenAI, Anthropic і Meta — усі вони цього року повідомляли про вихід моделей за межі тестових середовищ.
OpenAI в липні розкрила, що її моделі вирвалися з пісочниці і зламали Hugging Face. Потім Anthropic перевірила понад 141 000 оцінювальних прогонів і знайшла три власні випадки. Meta повідомила про інцидент у серпні.
Підпишіться на наш канал на YouTube, щоб дивитися експертні розбори від лідерів галузі та журналістів
Source: BeInCrypto
