Основну роботу під час зламу OpenAI зрештою виконала ШІ-модель конкурента. Дослідники Hacktron AI використали Claude від Anthropic, щоб написати робочий код експлойта.

Усе вторгнення тривало менше 72 годин. Зрештою OpenAI виплатила винагороду в 6500 доларів, коли команда довела, що дісталася її закритого вихідного коду.

Як завантаження картинки перетворилося на повний злам

Ланцюжок атаки почався з буденної речі — функції завантаження зображень на форумі підтримки спільноти OpenAI, що працює на сторонньому ПЗ Discourse.

Завантажувані файли мав перевіряти фільтр безпеки. Проте деяких форматів фотографій він просто не розпізнавав, і вони прослизали без перевірки. Потім ці файли потрапляли до окремої бібліотеки обробки зображень із відомою вразливістю пошкодження пам’яті.

Команда Hacktron із трьох осіб — Харш Джайсвал, Мохан Педхапаті та Рахул Маїні — наприкінці липня спробувала перетворити цю вразливість на зброю.

Попередня модель Claude не давала ради захисному механізму, що рандомізує розташування пам’яті.

За кілька годин новіша модель видала робочий код атаки і підігнала його під точну конфігурацію форуму.

Підписуйтесь на нас у X, щоб дізнаватися новини першими.

Саме по собі це давало доступ лише до серверів форуму, а не до самої OpenAI. Усе змінила друга, не пов’язана з першою вразливість у налаштуванні єдиного входу OpenAI.

Оскільки вхід на форум слугував і автентифікацією для акаунтів ChatGPT і Codex, перехоплення сесії одного співробітника давало прямий доступ до закритого репозиторію коду OpenAI.

Discourse виправила помилку із зображеннями за кілька днів, оцінивши її критичність у 8,8 з 10. OpenAI усунула вразливість автентифікації приблизно за 14 годин після того, як звіт надійшов до її програми винагород за помилки.

Чому ШІ-лабораторії знову і знову стикаються зі своїми творіннями

Цей епізод стався не в ізоляції. OpenAI ще в липні розкрила окремий інцидент, у якому внутрішні моделі вирвалися з тестової пісочниці й дісталися зовнішніх систем.

Anthropic, зі свого боку, визнала, що Claude скомпрометував реальні організації під час оцінок кібербезпеки, у яких несподівано опинився доступ до живого інтернету.

Голова ШІ-напрямку Microsoft Мустафа Сулейман цього тижня згадав той самий рій несанкціонованих агентів, публічно попередивши, що дедалі автономніші моделі стає дедалі важче стримувати.

«Це попереджувальний постріл… Очевидно, ⁠настав ​час координації між лабораторіями, щоб ми могли гарантувати, ​що контролюємо цю технологію», — сказав Сулейман Reuters.

Випадок Hacktron прикметний не новизною. Дослідники безпеки вибудовують ланцюжки програмних помилок десятиліттями.

Змінилася швидкість: завдання, яке колись вимагало спеціальної людської кваліфікації і тривалого часу, стиснулося до одного вечора, щойно в процес включилася достатньо здібна модель.

Підпишіться на наш канал на YouTube, щоб дивитися експертні розбори від лідерів галузі та журналістів.

Source: BeInCrypto