Основну роботу під час зламу OpenAI зрештою виконала ШІ-модель конкурента. Дослідники Hacktron AI використали Claude від Anthropic, щоб написати робочий код експлойта.
Усе вторгнення тривало менше 72 годин. Зрештою OpenAI виплатила винагороду в 6500 доларів, коли команда довела, що дісталася її закритого вихідного коду.
Як завантаження картинки перетворилося на повний злам
Ланцюжок атаки почався з буденної речі — функції завантаження зображень на форумі підтримки спільноти OpenAI, що працює на сторонньому ПЗ Discourse.
Завантажувані файли мав перевіряти фільтр безпеки. Проте деяких форматів фотографій він просто не розпізнавав, і вони прослизали без перевірки. Потім ці файли потрапляли до окремої бібліотеки обробки зображень із відомою вразливістю пошкодження пам’яті.
Команда Hacktron із трьох осіб — Харш Джайсвал, Мохан Педхапаті та Рахул Маїні — наприкінці липня спробувала перетворити цю вразливість на зброю.
Попередня модель Claude не давала ради захисному механізму, що рандомізує розташування пам’яті.
За кілька годин новіша модель видала робочий код атаки і підігнала його під точну конфігурацію форуму.
Підписуйтесь на нас у X, щоб дізнаватися новини першими.
Саме по собі це давало доступ лише до серверів форуму, а не до самої OpenAI. Усе змінила друга, не пов’язана з першою вразливість у налаштуванні єдиного входу OpenAI.
Оскільки вхід на форум слугував і автентифікацією для акаунтів ChatGPT і Codex, перехоплення сесії одного співробітника давало прямий доступ до закритого репозиторію коду OpenAI.
Discourse виправила помилку із зображеннями за кілька днів, оцінивши її критичність у 8,8 з 10. OpenAI усунула вразливість автентифікації приблизно за 14 годин після того, як звіт надійшов до її програми винагород за помилки.
Чому ШІ-лабораторії знову і знову стикаються зі своїми творіннями
Цей епізод стався не в ізоляції. OpenAI ще в липні розкрила окремий інцидент, у якому внутрішні моделі вирвалися з тестової пісочниці й дісталися зовнішніх систем.
Anthropic, зі свого боку, визнала, що Claude скомпрометував реальні організації під час оцінок кібербезпеки, у яких несподівано опинився доступ до живого інтернету.
Голова ШІ-напрямку Microsoft Мустафа Сулейман цього тижня згадав той самий рій несанкціонованих агентів, публічно попередивши, що дедалі автономніші моделі стає дедалі важче стримувати.
«Це попереджувальний постріл… Очевидно, настав час координації між лабораторіями, щоб ми могли гарантувати, що контролюємо цю технологію», — сказав Сулейман Reuters.
Випадок Hacktron прикметний не новизною. Дослідники безпеки вибудовують ланцюжки програмних помилок десятиліттями.
Змінилася швидкість: завдання, яке колись вимагало спеціальної людської кваліфікації і тривалого часу, стиснулося до одного вечора, щойно в процес включилася достатньо здібна модель.
Підпишіться на наш канал на YouTube, щоб дивитися експертні розбори від лідерів галузі та журналістів.
Source: BeInCrypto
