Після повторного релізу 1 липня флагманська модель Anthropic Claude Fable 5 зіткнулася з хвилею критики. Користувачі вважають, що посилені обмеження безпеки підірвали її результати в програмуванні, налагодженні та агентних завданнях.

Бенчмарк-група BridgeMind повідомила про різке падіння оцінок у наборі тестів BridgeBench. Anthropic натомість наполягає, що сама модель не змінювалася, а тертя спричинене суворішими класифікаторами безпеки.

Оцінки BridgeBench обвалилися після релізу

BridgeMind перезапустила тести на версії Fable 5 від 1 липня і зафіксувала різке зниження: налагодження — з 86,2 до 25,9, рефакторинг — з 73,6 до 38,4, обробка галюцинацій — з 75,9 до 61,7.

Важлива механіка цих цифр: лише 3 з 12 завдань на налагодження були виконані без відкату на Claude Opus 4.8, і кожен такий відкат оцінювався в нуль балів. Тобто провал відображає заблоковані завдання, а не ослаблене мислення моделі. У BridgeMind наголошують, що за доведення завдання до кінця Fable 5 відповідає своїй червневій формі.

«Модель не стала гіршою. Її посадили в клітку», — заявили в групі.

Хронологія пояснює напруження. Anthropic випустила Fable 5 9 червня, за три дні Вашингтон вимкнув модель. Експортні обмеження зняли 30 червня — через чотири дні після відновлення доступу до Mythos 5 приблизно для 100 американських організацій. Доступ повернувся із застереженнями: до 7 липня Fable 5 витрачає лише 50% тижневих лімітів використання, потім переходить на платні кредити.

Anthropic захищає розширений запас безпеки

У заяві від 30 червня компанія визнала, що навмисно розширила запас безпеки: класифікатори тепер блокують і ті запити, які, ймовірно, безпечні. За даними дослідників Amazon, покращений фільтр зупиняє техніку обходу понад 99% спроб.

Заблоковані запити перенаправляються на Opus 4.8, користувач отримує сповіщення. Водночас Anthropic визнає, що фільтр позначає більше легітимної роботи з кодом і налагодженням, ніж раніше.

Власні тести компанії показали, що Fable 5 не несе унікального ризику: ті самі вразливості знаходили й конкурентні моделі, зокрема GPT-5.5 та Kimi K2.7. За словами Anthropic, дослідники Міністерства торгівлі США перевірили обидві версії захисту й назвали їх винятково надійними.

Ставки виходять за межі одного продуктового циклу: призупинення підштовхнуло Європу домагатися прихильності Anthropic, а китайські ШІ-моделі наздоганяють американські передові лабораторії. Наразі компанія розробляє систему оцінки серйозності джейлбрейків спільно з Amazon, Microsoft і Google. Чи залишаться вимогливі користувачі, чи підуть, значною мірою залежить від того, як швидко класифікатори позбудуться хибних спрацювань.

Джерело: BeInCrypto