Ілон Маск називав Grok 4.5 моделлю «рівня Opus», яка до того ж працює швидше й коштує дешевше. Тепер ця заява дістала підтвердження з боку незалежного агентського бенчмарку: у тесті AutomationBench-AA від Artificial Analysis Grok 4.5 посів перше місце з результатом 51,4% за вартості $0,34 за задачу, обійшовши Claude Fable 5 (48,6%) і Claude Opus 4.8 (48,5%).

Незалежна перевірка слів Маска

Grok 4.5 вийшов цього тижня; модель побудована на базі V9 з 1,5 трлн параметрів. Спершу аргументи Маска спиралися на внутрішні ранні оцінки.

AutomationBench-AA змінює картину: Artificial Analysis проводить бенчмарк самостійно й тримає набір задач закритим, щоб уникнути «забруднення» навчальних даних. Тест охоплює 657 задач у 40 симульованих застосунках, зокрема Gmail, Slack, Salesforce і HubSpot, та оцінює частку цілей, які агент виконує, не порушуючи захисних обмежень.

Дешевше, швидше й здебільшого в межах правил

Вартість $0,34 за задачу в Grok 4.5 виявилася значно нижчою, ніж $1,35 у Fable 5 і $1,46 в Opus 4.8. Найближче підійшов Gemini 3.5 Flash із $0,49.

Модель витрачала близько 8000 вихідних токенів на задачу — приблизно чверть від показника Opus 4.8. Саме ця ефективність пояснює більшу частину розриву у вартості й збігається з тим, як Маск подавав модель на запуску.

«Її сумарне споживання токенів у 0,44 млн на задачу — одне з найнижчих у таблиці лідерів. Низька вартість зумовлена як цією ефективністю, так і низькими цінами на токени», — заявили в Artificial Analysis

Крім того, Grok 4.5 виконав 79,9% цілей і повністю пройшов 21,9% задач. У фінансах — найскладнішому домені — модель лідирувала з 71% проти 64% у Fable 5 і 62% в Opus 4.8.

Водночас правила модель порушувала частіше за найближчих конкурентів: на її рахунку 0,63 порушення захисних обмежень на задачу — проти 0,55 в Opus 4.8 і 0,46 у Gemini 3.5 Flash. Для компаній, які запускають агентів у бойові фінансові системи, цей розрив важливий: одне порушення може обернутися реальними витратами.

Джерело: BeInCrypto