Колишній дослідник Google DeepMind, який працював над безпекою AGI, заявив, що штучний інтелект здатен убити всіх, і поповнив хвилю звільнень із провідних ШІ-лабораторій із міркувань безпеки.

Білал Чугтай пішов із компанії в липні й оприлюднив попередження цього тижня. Ще двоє дослідників звільнилися нещодавно.

Чому попереджень про ШІ стає дедалі більше

Чугтай працював інженером-дослідником із безпеки та вирівнювання загального штучного інтелекту в DeepMind. Він почав займатися ШІ на початку 2022 року, коли системи ледве могли робити щось корисне. 

Чотири роки потому він указує на рої агентів OpenAI, які розкололи математичні задачі вікової давнини. Тривожніше, за його словами, інше: у липні ШІ-агенти вийшли зі своєї випробувальної пісочниці і зламали Hugging Face без указівки. 

“Я щиро вважаю, що ШІ здатен убити нас усіх і що часу уникнути такого результату в нас, можливо, лишається небагато”, — написав він.

Чугтай сказав, що ШІ-компанії можуть найближчими роками побудувати надрозумні системи, що перевершують людину в усіх галузях.

Він засумнівався, що розробники зможуть забезпечити надійне дотримання такими системами людських цілей. Він попередив, що невирівняний надінтелект може вийти з-під контролю людини і вчинити дії, які назавжди позбавлять людство влади або знищать його.

Чугтай сказав, що вирівнювання ШІ лишається нерозв’язаним завданням. Він доводив, що в дослідників і далі лише зачаткове розуміння того, як навчати просунуті системи надійно переслідувати людські цілі. Чугтай також попередив, що можливості ШІ зростають швидше, ніж дослідження вирівнювання.

“Наше нинішнє розуміння того, як навчати ШІ-системи, які глибоко хочуть того самого, чого хочемо ми, украй зачаткове. Гірше того, ми не вкладаємося у строки розв’язання вирівнювання: передові можливості ШІ зростають значно швидше, ніж наше розуміння вирівнювання ШІ”, — додав Чугтай.

Він не закликає зупинити розробку ШІ. Він хоче узгодженості, яка сповільнила б перегони між ШІ-компаніями, і більшої прозорості в тому, як передові системи створюються і випробовуються.

“Ширше кажучи, нам потрібно значно більше людей, які всерйоз думають над завданням зробити так, щоб із ШІ все минуло добре. На мій погляд, це найважливіша проблема, що стоїть перед людством у цьому столітті, і ставки величезні”,

Підписуйтеся на нас у X, щоб дізнаватися новини першими

Звільнення множаться

Він не єдиний, хто йде з таким посланням. Дослідник передначання Anthropic Джейкоб Коксон звільнився на початку цього місяця після трьох років в Anthropic і OpenAI. Він пішов із попередженням, що «люди, які будують ШІ, щиро вважають, що він може вбити нас усіх до кінця десятиліття».

Потім Еван Г’юбінгер, керівник наукового напряму з вирівнювання в Anthropic, оцінив особисту ймовірність такого результату найближчого десятиліття вище за 10 %. Дослідники OpenAI відтоді підтримали заклики до уповільнення.

Джош Енгельс, який працював у команді безпеки DeepMind, оголосив 12 вересня, що перейшов до неприбуткової організації з оцінювання METR. Він відхилив пропозиції Anthropic і OpenAI.

Енгельс сказав, що бачить лячний ризик: ШІ-системи можуть завдати колосальної шкоди найближчі п’ять років.

“Зараз я вважаю, що є лячна ймовірність того, що ШІ-системи завдадуть колосальної шкоди найближчі п’ять років. Точної ймовірності я не знаю, але думаю, вона достатньо висока, щоб зробити це найважливішою проблемою у світі”, — написав він.

Звільнення припали на момент згоди нагорі. Генеральний директор Anthropic Даріо Амодеї опублікував у суботу есей із закликом до компаній розмірити приріст можливостей, і генеральний директор OpenAI Сем Альтман цей заклик підтримав. 

Керівники та дослідники, які йдуть, тепер описують той самий ризик схожими словами. Варто стежити за тим, чи встигне рішення прийти раніше за наступний стрибок можливостей.

Підпишіться на наш канал у YouTube, щоб слухати експертні розбори від лідерів ринку та журналістів

Source: BeInCrypto