Приложения искусственного интеллекта могут привести к непредвиденным затратам, если им не хватает эффективного контроля над тем, сколько вычислительной мощности и других ресурсов разрешено потреблять запросу. Риски, связанные с неограниченным потреблением, часто легко упустить из виду, поскольку ни один отдельный запрос не может показаться вредоносным или превысить установленные в организации ограничения на использование, даже если совокупное потребление ресурсов становится дорогостоящим или разрушительным. Важно отметить, что некоторые формы неограниченного потребления не требуют технических знаний или даже злоумышленника. Простой объем, неправильно настроенная автоматизация или длительные сеансы могут привести к увеличению затрат, в то время как отдельные запросы могут выглядеть совершенно обычными и ускользать от традиционных входных фильтров, отметил Сингх. Второй вариант решения проблемы неограниченного потребления — это развертывание агентских инструментов. Здесь злоумышленник пользуется обычным поведением ИИ-агента, а не заставляет его нарушать его инструкции. Например, злоумышленник может скомпрометировать сообщение в блоге, которое агент ИИ, скорее всего, получит и посетит его сотнями поддельных статей. Когда агент сталкивается с контентом во время законной исследовательской задачи, он будет следовать по каждой из ссылок, каждая из которых, в свою очередь, указывает на еще большее количество ссылок, запускающих неконтролируемую цепочку действий, которая в конечном итоге может привести к увеличению вычислительных затрат жертвы, сказал Сингх. При выполнении запроса модель сожжет «гораздо больше жетонов мышления, чем когда-либо понадобится для одного вопроса», отметил Сингх. «Поскольку сам запрос никогда не кажется необычным, это увеличивает затраты на вывод без создания всплеска трафика, который обычно вызывает тревогу». Накопление контекста — еще одна проблема, и она может проявиться без участия злоумышленника. Как объяснил Сингх, в ходе длительного сеанса ИИ модель может неоднократно обрабатывать историю разговоров вместе с каждым новым сообщением. По мере увеличения продолжительности сеанса растет и стоимость каждого ответа. В качестве примера Сингх указал на окно чата агента службы поддержки, которое остается открытым для более чем 150 обменов сообщениями, поскольку в нем есть контроль сброса сеанса. «К 100-му ходу каждый ответ представляет собой повторную обработку стенограммы, длиннее, чем короткий рассказ, а стоимость одного сообщения выросла примерно в 100 раз по сравнению с тем, с чего она началась», — сказал Сингх.
Источник: Dark Reading — https://www.darkreading.com/application-security/how-ai-agents-can-trigger-runaway-costs
Комментарии