Чи варто довіряти чат-боту свої гроші? Тест на 10 000 відповідей виніс вердикт
Провідні моделі ШІ провалили 57% відповідей з особистих фінансів, згідно з британською фінтех-компанією Saturn. На складніших багатокрокових запитах частка провалів зросла до 88%.
Результати з’явилися на тлі різко зрослої залежності споживачів від чат-ботів у грошових питаннях.
Складні запитання зламали майже кожну модель
У дослідженні 121 запитання прогнали через 18 безкоштовних і платних моделей від провайдерів, зокрема ChatGPT, Gemini, Claude і Copilot. Кожне запитання повторювали до 5 разів, отримавши понад 10 000 відповідей.
Тест зараховував відповідь як провал, якщо вона містила фактичну помилку, оминала щось суттєве або не включала необхідне попередження.
Найгірше показали себе безкоштовні моделі, проваливши 63% відповідей проти 49% у платних версій. На найскладніших запитаннях безкоштовні моделі помилялися у 93% випадків.
Claude Opus 5 у режимі міркувань очолив рейтинг. Однак він усе одно провалив 39% відповідей. Серед помилок були хибні розрахунки, оминуті податкові зміни та неіснуючі правила.
Одна відповідь щодо оподаткування пенсій могла б підставити вкладника під збір у £17 500 від Податково-митної служби Великої Британії (HM Revenue and Customs).
“Мільйони людей довіряють моделям ШІ поради щодо грошей, але отримують неправильні відповіді, які можуть коштувати їм грошей”, — сказав Амаль Джоллі, генеральний директор Saturn.
Підписуйтесь на нас у X, щоб отримувати останні новини щойно вони з’являються
Довіра до ШІ-чат-ботів усе одно продовжує зростати
Тим часом використання розширилося по ринках і вікових групах. Глобальне опитування EY, що охопило 18 000 споживачів, показало, що 49% використовували ШІ для підтримки рішень про заощадження та інвестиції.
Британський фінансовий регулятор повідомив у серпні, що четверо з п’яти менш досвідчених інвесторів використовували ШІ на допомогу при інвестуванні. З-поміж опитаних 56% заявили, що довіряють цим інструментам, випереджаючи телебачення й радіо з їхніми 47%.
При цьому те саме дослідження виявило, що 44% помилково вважають, ніби фінансова інформація, згенерована ШІ, регулюється.
Опитування PensionBee серед 1000 дорослих американців показало, що майже шестеро з десяти діяли б за грошовими рекомендаціями, не перевіряючи їх самостійно. Майже кожен четвертий сказав, що чат-бот уже давав йому неправильну інформацію про його фінанси.
Джоллі зазначив, що фінансові поради ШІ не регулюються, через що споживачі залишаються без прав на компенсацію, які мав би живий консультант. Він закликав FCA діяти швидко.
Підписуйтесь на наш канал на YouTube, щоб дивитися експертні коментарі лідерів і журналістів
Джерело: BeInCrypto