Дебаты вокруг управления ИИ разгорелись на прошлой неделе, поскольку эксперты по ИИ предупредили, что растущее число мошеннических агентов ИИ и случаи несогласованного поведения являются лишь предисловием к более серьезным угрозам в будущем. В своей колонке Амодей из Anthropic утверждает, что у производителей моделей и лабораторий по разработке искусственного интеллекта есть узкая возможность переориентироваться на безопасность и защищенность. «Нынешние модели — это почти бесконечный кладезь знаний о том, как хорошо построить ИИ, и о том, что иногда может пойти не так, если он построен плохо», — написал он. «Я считаю, что если бы замедление дало нам хотя бы дополнительный год или два, прежде чем модели достигнут критического уровня возможностей, и мы использовали это время для улучшения согласованности, мы могли бы значительно снизить риск того, что что-то пойдет не так». Тем временем компании предоставлены сами себе, когда дело доходит до внедрения протоколов безопасности для их агентных и автономных программ искусственного интеллекта. Инциденты и призывы к принятию правил подчеркивают разрыв между быстро развивающимися возможностями и способностью отрасли предотвращать вред, рассказал Dark Reading Рами Рахман, старший главный инженер по решениям в ArmorCode. «Действовать быстро, а потом попросить прощения» — неприемлемый подход, когда ответственность за последствия несут организации», — говорит он. «Те, кто разрабатывает и внедряет ИИ, должны нести ответственность за риски, которые они представляют». Неясно, действительно ли создатели моделей ИИ боятся махинаций агентов ИИ, которых они создают, или просто боятся быть привлеченными к ответственности за мошенническое поведение. Однако Google DeepMind, Microsoft и xAI в принципе согласились с возможной паузой, введением некоторых правил и созданием независимого режима тестирования. Используя Управление по регулированию финансовой индустрии США (FINRA) в качестве модели, новое регулирующее агентство могло бы оценить протоколы разработки и провести независимое тестирование для минимизации рисков, заявил в июльской колонке Демис Хассабис, соучредитель и генеральный директор Google DeepMind. «Я считаю, что доверие и согласованность быстро становятся наиболее важными качествами, которые будут отличать агентов и модели», — заявил он. «Любая лаборатория, которая не занимается согласованием, отстанет».
Источник: Dark Reading — https://www.darkreading.com/cyber-risk/rogue-incidents-debate-ai-safety-gets-real
Комментарии