Співзасновник Ethereum Віталік Бутерін каже, що локальний штучний інтелект (ШІ) вже близький до того, щоб виконувати значну частку повсякденних завдань. Він запустив Qwen3.8-Flash-Next від Alibaba на власному ноутбуці та опублікував результати щодо швидкості.

На відміну від ChatGPT, така система ніколи не звертається до хмарного сервера. Модель перебуває на пристрої, і пристрій сам відповідає на запит.

Локальний тест ШІ Віталіка Бутеріна показує прийнятну швидкість

Його ноутбук використовує чип Strix Halo від AMD. Більшість комп'ютерів розподіляють роботу між процесором і окремою відеокартою, і кожен з них має власний пул пам'яті. Strix Halo об'єднує обидва компоненти на одному кристалі й дозволяє їм використовувати спільний пул пам'яті.

Така конструкція важлива, бо модель ШІ повинна вміститися в пам'ять, перш ніж зможе взагалі працювати. Звичайна відеокарта пропонує від 8 до 24 гігабайт — цього замало для моделі такого розміру. Пристрої на Strix Halo постачаються з обсягом пам'яті до 128 гігабайт, які може використовувати будь-яка з половин чипа. Тому один ноутбук здатен вмістити модель, для якої донедавна було потрібне серверне обладнання.

Швидкості, які він опублікував, достатньо високі для звичайної роботи. Короткі запити поверталися з комфортним темпом читання. Швидкість виводу знижувалася, коли запит розростався до десятків тисяч слів, тож дуже довгі документи залишаються слабким місцем.

Alibaba опублікувала відкриті ваги 26 серпня. Команда стверджує, що модель містить 125 мільярдів параметрів, але одночасно активує лише шість мільярдів, що утримує вимоги до пам'яті на скромному рівні.

Бутерін назвав її Qwen3.8-Flash, хоча Alibaba поширює завантажувану версію як Qwen3.8-Flash-Next. Її старша версія, Qwen3.8-Max, отримала високі оцінки в тестах у серпні.

Чому конфіденційність змінює розрахунок

Бутерін бачить другу вигоду окрім чистої швидкості. Локальна модель відповідає на пристрої, тому запит ніколи не отримує жоден провайдер.

Для складнішої роботи він пропонує поділ. Локальна модель виконуватиме те, що може, а потім видалятиме конфіденційні деталі з усього, що передається більшій розміщеній у хмарі системі.

«використовуйте свою локальну модель, щоб спрямовувати запити до потужних моделей так, щоб ваші запити не розкривали вашу особисту інформацію»

На практиці локальна модель вилучатиме із запиту імена, адреси гаманців або приватний код, а потім передаватиме далі лише частину, що залишилася. Така фільтрація скоротить обсяг даних, які залишають пристрій. Вона не гарантує, що ніщо конфіденційне не проскочить.

Така позиція відповідає його репутації. Він попереджав про стеження під час боротьби проти chat control у ЄС, а користувачі криптовалют зі схожих причин домагалися суворіших обмежень для агентів.

Колективний позов, поданий у травні, звинувачує OpenAI у передачі запитів користувачів ChatGPT компаніям Meta та Google.

Хмарні провайдери й досі утримують передовий край технологій. Але кожен приріст продуктивності локальних рішень забирає з їхніх серверів дедалі більше рутинної роботи, а дешеве обладнання зі спільною пам'яттю продовжує поширюватися.

Відкритим залишається питання, скільки можливостей люди готові обміняти на контроль.

Source: BeInCrypto