Создатели ChatGPT создали отделение боеготовности. Оно будет заниматься прогнозированием и защита от опасностей, вызванных искуственным интеллектом.
https://www.sberbank.com/promo/kandinsky/
Ответственная за ChatGPT компания OpenAI заявила, что сформировала подразделение по оценке и исследованию моделей искусственного интеллекта на предмет защиты от «катастрофических рисков». Команду под названием Preparedness («боеготовность») возглавил директор Центра развёртываемого машинного обучения при Массачусетском технологическом институте Александр Мадри.
По информации соцсети LinkedIn, он занял свой пост в компании ещё в мае. В задачи подразделения входит отслеживание, прогнозирование и защита от опасностей, которые несут перспективные системы ИИ. Некоторые из категорий угроз пока, к счастью, не обозначились в реальном поле: к примеру, химические, биологические, радиационные и ядерные.
Гендиректор OpenAI Сэм Альтман многократно выражал опасения, что ИИ способен «привести к вымиранию человечества», и формирование в компании соответствующего подразделения отражает эту позицию. Компания открыта и для изучения «менее очевидных» областей риска ИИ, добавил господин Альтман. Связаться с компанией для изложения своих опасений может любой желающий — авторы десяти лучших работ получат денежный приз в размере $25 тысяч или работу в OpenAI.
«Представьте, что мы предоставили вам неограниченный доступ к моделям OpenAI Whisper (расшифровка речи), Voice (преобразование текста в речь), GPT-4V и DALLE·3, а вы оказались злодеем. Рассмотрим наиболее уникальные, хотя и, вероятно, потенциально катастрофически неправильные сценарии использования модели», — говорится в одном из конкурсных вопросов.
Подразделению Preparedness будет поручено сформулировать «политику разработки с учётом угроз» — документ с подробным описанием подхода OpenAI к построению инструментов оценки и мониторинга моделей ИИ, действий по снижению угроз, а также структуры управления для надзора в процессе развития моделей. Специалисты команды дополнят прочие аспекты работы OpenAI в области безопасного ИИ, уделяя особое внимание этапам до и после развёртывания модели.
И похоже, что создатели ChatGPT не единственные, кого волнует использование ИИ для злодеяний. Как писало ранее ИА «Бизнес Код» ЕС призвал сдерживать развитие ИИ.
