Автономный агентный ИИ имеет привычку действовать разрушительно. Вряд ли мы сможем это остановить. У Outerlimit есть решение, направленное на предотвращение любого вреда от мошеннических агентов. Базирующаяся в Нью-Йорке компания Outerlimit вышла из тайны благодаря предварительному финансированию в размере 16 миллионов долларов США, привлеченному от AlbionVC, Evolution Equity Partners, Crane Venture Partners и ряда индивидуальных инвесторов-ангелов. Основанная Тони Пеппером, Нилом Ларкинсом и Питером Винсентом, компания предлагает децентрализованный уровень безопасности и авторизации для защиты автономного агентного ИИ. Предприятия быстро внедряют автономные агенты для повышения скорости принятия решений и автоматизации действий. Поскольку базовые модели ИИ становятся все более мощными (но по-прежнему основаны на вероятности, а не на известной истине), эти автономные агенты используются для все более и более сложных целей с широким доступом к бизнес-идентичности и учетным данным. Однако по мере усложнения бизнес-целей агентов становится, соответственно, труднее определять и ограничивать автономные действия, которые они могут предпринимать (процесс, известный как согласование). Исторически кибербезопасность основывалась на ограничении действий людей с помощью законов (или правил) и страхе перед последствиями. В более широком мире это законодательство, и страх перед денежными штрафами или тюремным заключением является следствием нарушения закона. В кибербезопасности «законом» является управление, а нарушение управления приводит к увольнению. Это было основой безопасности на протяжении всей истории: страх последствий.
Источник: SecurityWeek — https://www.securityweek.com/outerlimit-raises-16-million-to-stop-rogue-ai-agents-from-causing-harm/
Комментарии