Компанія NVIDIA нещодавно випустила Nemotron 3 Ultra — найбільшу відкриту ШІ-модель у лінійці Nemotron 3. Реліз відбувся 4 червня 2026 року: у відкритий доступ під вільною ліцензією виклали ваги моделі, навчальні дані та самі методики навчання. Модель створена для тривало працюючих автономних агентів і складних міркувань.

На відміну від закритих флагманів на кшталт ChatGPT або Claude, Nemotron 3 Ultra можна завантажити, донавчити на власних даних і запустити на своїй інфраструктурі. Ставка тут не на максимальний інтелект, а на відкритість, ефективність і контроль над моделлю.

Хочете ще ексклюзивних новин та аналітики? Підписуйтеся на наш телеграм-канал, обговорюйте новини й діліться думками про останні події ринку в чаті!

Чим особлива архітектура моделі

Nemotron 3 Ultra — це не просто «збільшений трансформер». В її основі лежить гібридна архітектура, що складається з трьох різних підходів: шари Mamba-2, шари уваги (Attention) і латентна суміш експертів (Latent MoE) — механізм, який спрямовує кожен запит лише до потрібних «спеціалістів» усередині моделі.

Шари Mamba-2 обробляють довгі тексти швидко й економно: витрати в них зростають лінійно з довжиною, а не лавиноподібно, як у звичайного механізму уваги. Шари уваги, своєю чергою, точно утримують у пам'яті великі обсяги тексту. А Latent MoE стискає дані перед тим, як передати їх експертам, завдяки чому кожен із них працює вузько й точно, не потребуючи додаткових обчислень.

Усього в моделі близько 550 млрд параметрів, але на обробку кожного токена задіюється лише приблизно 55 млрд. Завдяки цьому вона мислить як величезна система, а за витратами поводиться як набагато компактніша. Разом із вікном контексту в 1 млн токенів і швидкістю понад 300 токенів на секунду це дає у п'ять-шість разів більшу пропускну здатність і приблизно на 30% нижчу вартість завдань.

Джерело: BeInCrypto