Склонность доверять ответам ИИ может дорого обойтись пользователям популярных чат-ботов, как показывает новое исследование, если речь идёт о рекомендациях в финансовой сфере. По его данным, ChatGPT, Claude, Copilot, Grok и Gemini дают ошибочные ответы на финансовые запросы в среднем в 57 % случаев. Если следовать их рекомендациям, в итоге можно потерять деньги. Во всяком случае, это утверждают авторы исследования Saturn, на которых ссылается Financial Times . Более того, если речь идёт о более сложных вопросах, которые подразумевают более одного арифметического действия, популярные ИИ-модели в среднем допускают ошибки в 88 % случаев, а в некоторых ситуациях показатель достигает 99 %. Авторы исследования задавали 18 различным популярным ИИ-моделям — как в бесплатной версии, так и по подписке, более 100 различных вопросов, связанных с распоряжением деньгами. Вопросы повторялись до пяти раз, в общей сложности ИИ-моделями ChatGPT, Gemini, Claude и Copilot было обработано более 10 000 запросов. Представители Saturn выявили не только банальные ошибки в арифметических вычислениях, но и «галлюцинации» в области финансовых правил и законов, а также отсутствие должного учёта грядущих изменений в налоговом законодательстве. Как считают эксперты, полагаясь на ошибочные рекомендации ИИ-моделей в налоговой сфере, пользователи рискуют потерять существенные суммы денег. Например, бесплатная модель Claude Haiku 4.5 создала ситуацию, при которой последовавшему её рекомендациям в сфере пенсионного обеспечения гражданину Великобритании грозил бы штраф на сумму 17 500 фунтов стерлингов. В другом случае ИИ-модель сама «изобрела» правило, согласно которому переехавший за границу выпускник вуза якобы получает право прекратить выплаты по студенческой ссуде на образование. При этом следует отметить, что платные ИИ-модели давали более точные ответы в сфере финансов, а новые версии оказывались точнее предыдущих. Лучшие показатели продемонстрировала Claude Opus 5, которая в режиме рассуждений допускала 39 % ошибок.
Источник: 3DNews — https://3dnews.ru/1148765
Комментарии