Нова модель Sonnet від Anthropic наближається до рівня Opus, але використовує більше токенів

Anthropic випустила Claude Sonnet 5.5 28 вересня за тією самою прейскурантною ціною, що й Sonnet 5. Компанія заявляє, що модель працює більш ніж на 30% швидше, а виконання кожного завдання коштує до 30% дешевше.

Незалежна компанія з оцінювання моделей дійшла іншого висновку щодо вартості, коли випробувала модель на межі її можливостей.

Стежте за нами в X, щоб першими дізнаватися найсвіжіші новини

Друга модель Anthropic версії 5.5 з’явилася за кілька днів після Opus

Sonnet 5.5 — друга модель у сімействі Claude 5.5. Anthropic випустила Opus 5.5 22 вересня. Того ж дня OpenAI також представила GPT-6 Sol і Luna.

Ціна нової моделі залишилася такою самою, як у Sonnet 5: 2 долари за мільйон вхідних токенів і 10 доларів за мільйон вихідних. Anthropic повідомила, що модель набрала 70,6% у Terminal-Bench 4.0 — тесті агентного програмування. Sonnet 5 набрала лише 10,3%, тоді як Opus 5.5 — 66,4%.

«Opus 5.5 створено для складної роботи, що потребує виважених рішень, а Sonnet 5.5 найкраще справляється з чітко окресленими повсякденними завданнями, виправленням помилок і створенням якісно оформлених документів, презентацій і таблиць», — заявила команда.

Anthropic заявила, що Sonnet 5.5 не розширює межі можливостей моделі. Тому під час оцінювання її відповідності вимогам безпеки зосередилися на таких ризиках, як введення користувачів в оману та сприяння зловживанням із серйозними наслідками.

Sonnet 5.5 також оснащена засобами кібербезпеки та класифікаторами для захисту від дистиляції. Вони блокують спроби вилучити міркування моделі, щоб навчати на їхній основі конкуруючі системи. Claude Haiku 5.5 з’явиться найближчими тижнями.

Тим часом OpenAI відклала випуск майбутньої моделі GPT-6.1 Astra з міркувань безпеки. У понеділок CNBC підтвердила, що модель не відповідала стандартам компанії.

Artificial Analysis виявила більшу витрату токенів у режимі максимальних зусиль

Artificial Analysis, компанія з оцінювання моделей, яка поставила Grok 4.7 на четверте місце, оцінила Sonnet 5.5 у 56 балів за своїм Індексом інтелекту. Це другий результат у загальному рейтингу — на 2 бали нижче за Opus 5.5 у режимі максимальних зусиль.

Компанія зафіксувала результат Sonnet 5.5 у 64% на Terminal-Bench 4.0 проти 60% у Opus 5.5 і GPT-6 Astra. У тестах на знання та робочі завдання, як-от GDPval-AA, Sonnet 5.5 показала приблизно такий самий результат, як Opus 5.5.

За словами компанії, Sonnet 5.5 використала значно більше токенів, щоб досягти цих результатів.

«У режимі максимальних зусиль, де її результати наближаються до Opus 5.5, Claude Sonnet 5.5 використала близько 193 тис. вихідних токенів на завдання Індексу інтелекту»,

Це приблизно на 60% більше, ніж у Opus 5.5 і Sonnet 5 у режимі максимальних зусиль. Це також приблизно у 7 разів більше за кількість токенів у GPT-6 Astra в тому самому режимі.

Клієнти, які отримали ранній доступ і яких цитує Anthropic, повідомили про протилежну тенденцію порівняно із Sonnet 5, хоча й на інших типах завдань. Balyasny Asset Management зафіксувала значно меншу витрату токенів на своїх фінансових завданнях.

«У нашому закритому наборі з 2441 фінансового завдання, що охоплює запитання й відповіді, вилучення даних, аналіз і прогнозування, Claude Sonnet 5.5 показала кращий результат за Sonnet 5 і використовувала близько 121 тис. токенів на відповідь, тоді як Sonnet 5 використовувала 497 тис.», — заявив Джо Пуар’є, старший інженер зі ШІ в Balyasny Asset Management.

Artificial Analysis тестувала попередню версію моделі з помилкою у форматованому виводі, яку Anthropic відтоді виправила. Компанія планує найближчим часом повторно провести відповідні оцінювання.

Підпишіться на наш YouTube-канал, щоб дивитися експертні коментарі лідерів і журналістів

Джерело: BeInCrypto