Заявка на грант надійшла до Claude, його фільтр безпеки помітив її і відмовив. Через кілька днів той самий оператор повернувся, і відхилені запити, як повідомляється, натомість пішли до конкуруючої моделі ШІ.

Anthropic опублікувала цю історію про саму себе, розкривши випадок, коли компанія, що займається ШІ, показує, що її власні моделі торкалися можливої роботи над біологічною зброєю.

Грант, який заблокували

Заявка просила гроші на вивчення чикунгуньї — вірусу, що переноситься комарами, який приносить місяці болю і не має ліків. План полягав у тому, щоб допомогти йому краще поширюватися і уникати імунної системи. Заявку написали цивільні науковці. Роботу мав приймати військовий інститут.

Кожен запит блокувався, але був знайдений обхідний шлях. Сервіс, що обслуговував цих дослідників, створив резервний варіант — перехід на модель конкурента. Claude допоміг написати цей код. Завдання подали йому як виправлення надмірних відмов.

П'ять випадків, жодного доведеного умислу

Звіт займає 154 сторінки і містить п'ять випадків, пов'язаних з біологією. Anthropic заблокувала облікові записи, не розкрила лабораторії, а потім не стала висувати звинувачення, якого всі очікували.

“Ми не стверджуємо, що вони мали намір завдати шкоди, і їх ідентифікація або ідентифікація їхніх лабораторій могла б наразити їх на небезпеку,” — йдеться у звіті команди.

Примітно, однак, що фільтри іноді все ж спрацьовували. Дослідника пташиного грипу перевели на слабші моделі, і Anthropic називає цю допомогу здебільшого технічною.

Випадки біологічної зброї Anthropic у цифрах

Підписуйтесь на нас у X щоб бути в курсі останніх новин

Частина, яка має турбувати людей

Більшість із цих 35 спроб були звичайною цивільною наукою. У цьому й проблема. Ті самі знання створюють і вакцину, і зброю, а фільтр не вміє читати думки.

“Класифікатор не може одночасно приносити користь і запобігати шкоді,” — заявила Anthropic.

Її обмеження перевіряли і раніше. У квітні група в Discord отримала доступ до її обмеженої моделі вже першого дня.

На тлі цих зростаючих побоювань Вашингтон починає діяти: у липні конгресмени Тед Лью та Натаніель Моран внесли законопроєкт AI Kill Switch Act. Він зобов'язав би розробників зберігати можливість вимикати свої системи.

Той самий звіт також повідомив про блокування клієнтів, які використовували Claude для стеження за дисидентами.

Source: BeInCrypto