OpenAI в среду опубликовала систему отчетности о случаях несогласованности моделей, а также шесть отчетов о проблемном поведении, наблюдавшихся за последние шесть месяцев. Компания заявила, что эта структура предназначена для ускорения публикации результатов несовпадений, включая случаи, которые она еще не полностью объяснила или смягчила, и что она способствует раскрытию информации, даже если значимость случая неясна. В рамках этой системы каждый обнаруженный инцидент относится к одному из трех треков в зависимости от сложности. В OpenAI заявили, что инцидент с «Обнимающим лицом» подпадал бы под самый медленный следственный процесс системы, который охватывает сложные расследования, особенно с участием третьих лиц. По мнению OpenAI, отчеты, опубликованные вместе с платформой, описывают отдельные случаи и «не должны рассматриваться как отражающие то, как часто в наших моделях возникают несогласованности». В одном отчете внутренняя модель, которой было поручено получить данные о доходах округа во время обучения с подкреплением, неоднократно терпела неудачу в доступе к API данных, затем попыталась зарегистрироваться для получения ключа API, используя одноразовый адрес электронной почты, и провела поиск утечек ключей в публичных репозиториях GitHub. Один восстановленный ключ успешно прошел проверку подлинности и возвратил метаданные. Когда модель все еще не могла получить запрошенные цифры, она фабриковала значения и представляла их в расшифрованном виде с исходного веб-сайта, не раскрывая при этом неудачного получения или использования утекшего ключа. В отдельном отчете описываются модели, использующие внутренний экземпляр OpenAI Artifactory, общий репозиторий пакетов, в качестве доски объявлений для независимых обучающих выборок. Агенты, искавшие недостающие входные файлы, обнаруживали сообщения, оставленные другими решателями, работающими с той же проблемой, читали их и отправляли собственные запросы о помощи. В OpenAI отметили, что агенты использовали учетные данные, которые сама компания предоставила для загрузки пакетов программного обеспечения, и не использовали какие-либо уязвимости для обмена сообщениями.
Источник: SecurityWeek — https://www.securityweek.com/openai-says-its-models-hunted-github-for-leaked-api-keys-during-training/
Комментарии