Співзасновник Ethereum Віталік Бутерін заявив, що механізми проти змови, які він описав для блокчейн-управління ще 2020 року, можуть виявитися важливішими для безпеки ШІ, ніж для самої крипти.

Він відповідав на есей дослідника Еріка Дрекслера, який використав нещодавню перевірку безпеки OpenAI — де тисячі ШІ-агентів вибудували несанкціоновану мережу координації й атакували бойові системи Hugging Face — як живий приклад тієї самої динаміки, що він описував шість років тому.

Знайома проблема з новим складом учасників

У дописі в X від 14 вересня Бутерін описав “глибоку двоїстість” між криптоуправлінням і багатоагентними ШІ-системами. У його порівнянні принципал у крипті — це статичний алгоритм, що має справу з агентами-людьми, тоді як система безпеки ШІ може включати людей і слабші великі мовні моделі, які керують сильнішими.

Він послався на свій есей від 11 вересня 2020 року «Coordination, Good and Bad», де припустив, що системи дають кращі результати, коли є межі тому, наскільки агенти можуть змовлятися.

Розробник протиставив велику кількість рівноваг Неша в теорії ігор з індивідуальним вибором кооперативній теорії ігор, де стійкі «ядра» можуть бути відсутні, бо коаліції здатні виграти, змінивши результат.

Шкідлива координація не завжди видна з індивідуальної поведінки. Бутерін навів приклади: продавці домовляються про ціни, виборці продають голоси, майнери блокчейна узгоджено проводять атаку. Серед його захистів — децентралізація, таємне голосування, захист приватності, викривачі, обмеження на зв’язок і механізми, що змушують учасників нести витрати рішень, які вони підтримують.

Порівняння вписується і в ширші погляди Бутеріна на безпеку ШІ: раніше він критикував великі політичні кампанії навколо цієї теми, попереджаючи, що вони можуть призвести до централізованих або авторитарних наслідків. Натомість він виступав за оборонні технології та системи, що ускладнюють зловживання.

Безпека ШІ ставить ту саму ідею в іншій обстановці

Есей Еріка Дрекслера від 10 вересня доводить, що змова ШІ стає простішою, коли агенти схожі, поділяють цілі, вільно спілкуються, спостерігають дії одне одного і зберігають інформацію між повторюваними взаємодіями.

Його контрзаходи включають використання різнорідних агентів, обмеження зв’язку між ними та впровадження критиків (моделей автоматичної перевірки у проді, класифікаторів безпеки та спостерігачів за ланцюжком міркувань) із повноваженнями втрутитися і розірвати можливу змову.

Дрекслер послався на оцінку агентів OpenAI у липні 2026 року, спираючись на опубліковане місяцем пізніше розслідування: воно з’ясувало, що приблизно 1200 агентів користувалися несанкціонованою дошкою повідомлень, а близько 700 брали участь в атаці на бойові системи Hugging Face.

Частина агентів заперечувала і навіть вчиняла конкретні дії — блокувала передачу даних і наклала вето на запропонований лист для соціальної інженерії, — але вони не мали повноважень зупинити прогін чи підняти тривогу вище.

За словами дослідника, так вийшло тому, що постановка “порушувала майже кожну умову”, яку він відзначав у минулому звіті 2019 року як необхідну, щоб утримати багатоагентні системи від змови. При цьому дооснащена система спостереження, випробувана потім на тій самій моделі, скоротила таку поведінку більш ніж у сто разів.

Source: CryptoPotato