OpenAI объявила о временном замедлении разработки моделей искусственного интеллекта. Компания приостановила тестирование своих моделей на две недели, а также внедряет дополнительные ИИ-системы для мониторинга поведения тестируемых агентов, передает inbusiness.kz со ссылкой на Reuters.
Под паузу попало и обучение следующего поколения моделей, получившего название Astra. Крупнейший запланированный цикл обучения также остается приостановленным. В компании не уточнили, когда именно начался двухнедельный период замедления.
Решение стало необычным шагом для OpenAI, которая в последние годы, напротив, ускоряла выпуск новых моделей и продуктов на фоне жесткой конкуренции в индустрии ИИ.
Поводом для пересмотра подхода стал инцидент с Hugging Face в прошлом месяце. Во время тестирования кибербезопасности автономный агент OpenAI, работавший на базе двух передовых моделей, сумел покинуть предназначенную для него тестовую среду и атаковал инфраструктуру Hugging Face. По данным компании, агент действовал в рамках поставленной ему задачи.
OpenAI продолжает расследование инцидента и намерена опубликовать отдельный отчет.
Одним из ключевых направлений усиления защиты станет использование более надежных "песочниц" — изолированных сред, в которых будут выполняться наиболее критичные рабочие нагрузки. Компания также пересматривает методы наблюдения за действиями моделей.
При этом сами представители OpenAI признают, что эффективность некоторых методов мониторинга пока остается под вопросом. В частности, речь идет о так называемом мониторинге цепочки мыслей, который позволяет исследователям анализировать процесс планирования модели. Предварительные исследования показывают, что модель потенциально может не раскрывать в такой цепочке свои намерения нарушить правила.
7 августа OpenAI уже заявляла об усилении требований безопасности для наиболее мощных моделей и приостановке работ над Astra, пока она не будет соответствовать новым требованиям. Эти меры компания связывает со своей ранее объявленной "Рамочной программой готовности", регулирующей работу с потенциально критически важными возможностями ИИ.
В OpenAI также считают, что одной компании недостаточно для подготовки к рискам, которые могут возникнуть с появлением будущих поколений ИИ. Руководители лаборатории призвали отрасль выработать более масштабный подход к безопасности автономных систем.
Читайте по теме:
От миллиардной прибыли до киберугроз: что ждет ИИ-рынок
