Дослідник Anthropic Джейкоб Коксон заявив, що звільнився з компанії, стверджуючи, що Anthropic та OpenAI мчать до створення самовдосконалюваного надрозуму і грають життями людей.

За словами дослідника, останні три роки він займався попереднім навчанням моделей в обох компаніях. Свої заяви він зробив у серії дописів у X.

Дослідник Anthropic йде з похмурим попередженням для всіх, хто залишається всередині

Коксон стверджує, що траєкторію розвитку технології сильно недооцінюють. За його словами, майбутні системи зможуть зламувати що завгодно, за одну ніч перетворювати будь-яку галузь і здобувати реальну владу та ресурси.

Він також заявив, що приватні розмови всередині індустрії різко відрізняються від публічних заяв. За словами Коксона, керівники пом’якшують формулювання для преси, а наодинці зізнаються у страху.

“Люди, які створюють ШІ, щиро вірять, що він може вбити всіх нас до кінця десятиліття. Це не рекламний трюк”, — сказав він. “Жодна інша людська діяльність не несе такого рівня небезпеки”.

Коксон провів різницю між двома своїми колишніми роботодавцями. За його словами, багато хто в OpenAI не усвідомив те, що він назвав цивілізаційними ставками, тоді як в Anthropic це розуміють, але залишаються в перегонах за першість.

Він став одним із багатьох співробітників, які цього року порушили лад. Керівник відділу захисних заходів Anthropic Мрінанк Шарма звільнився у лютому.

Джошуа Ачіам, колишній головний футуролог OpenAI, написав 1 вересня, що некеровані системи ШІ будуть розмножуватися в реальному світі та прагнути грошей і влади.

Підписуйтесь на нас у X, щоб першими дізнаватися новини

Заклик до координації

Коксон охарактеризував вступ у те, що він назвав ендшпілем, як самовпевнену авантюру. Він заявив, що таке рішення не повинно прийматися у Slack приватної компанії.

Тим не менш, за його словами, він зберігає оптимізм щодо координації дій. Він стверджує, що атака на Hugging Face зробила угоди про темпи розробки між американськими лабораторіями більш реалістичними.

Обидві компанії вже підтримали версію цієї ідеї. Понад 1100 співробітників передових лабораторій підписали у липні лист “Pacing the Frontier”, зокрема генеральний директор Anthropic Даріо Амодеї та головний науковий співробітник OpenAI Якуб Пахоцкі. 

“Ми просимо уряд США підтримати міжнародні зусилля з розробки технічних та регуляторних інструментів, необхідних для свідомого регулювання темпів автоматизованої розробки ШІ”, — йдеться у листі.

Крім того, обидві компанії також підписали спільний відкритий лист про кіберзахист разом із Google, Microsoft та приблизно 150 іншими організаціями. У листі попереджається, що атаки з використанням ШІ стануть значно масовішими та витонченішими найближчими місяцями.

Попередження Коксона пролунало невдовзі після того, як голова ООН з прав людини Волкер Тюрк заявив Раді з прав людини, що передовий ШІ може становити екзистенційну загрозу.

Коксон додав, що запобігання глобальним перегонам може вимагати тимчасової заборони на зусилля з покращення можливостей моделей. Насамкінець він закликав дослідників лабораторій замислитися, чи хочуть вони запускати надрозумний процес навчання з підкріпленням, не розуміючи, якою вийде підсумкова система.

BeInCrypto звернулося за коментарем до Anthropic та OpenAI.

Підпишіться на наш YouTube-канал, щоб дивитися експертні думки лідерів індустрії та журналістів

Source: BeInCrypto