Безопасность ИИ

Новое подразделение в Google DeepMind: AI Safety and Alignment. Перед организацией AI Safety and Alignment поставлена задача интегрировать реальные меры защиты в модели Google GenAI, уделяя особое внимание предотвращению распространения неточных медицинских рекомендаций, обеспечению безопасности детей и уменьшению предвзятости и несправедливости. Организация, возглавляемая Анкой Драган, стремится углубить понимание систем искусственного интеллекта и привести их в соответствие с человеческими предпочтениями и ценностями. Проблемы с безопасностью генеративных моделей потребовали нового подхода.

Вот, например, какие задачи ставятся в объявлении о поиске работников:

Определение и исследование возможных способов отказа базовых моделей, начиная от социотехнического ущерба (например, справедливости, дезинформации) до неправильного использования (например, разработки оружия, преступной деятельности) и потери контроля (например, сбоев с высокими ставками, мошеннического ИИ).

Разработка и внедрение технических подходов для снижения этих рисков, такие как бенчмаркинг и оценки, дизайн наборов данных, масштабируемый надзор, интерпретируемость, состязательная устойчивость, мониторинг и многое другое, в координации с более широкой технической программой команды.

Создание инфраструктуры, которая ускорит скорость исследований, позволяя быстро экспериментировать с моделями фундаментов, а также упрощая регистрацию и анализ результатов экспериментов.

Сотрудничество с другими внутренними командами, чтобы гарантировать, что системы и продукты Google DeepMind AI (например, Gemini) основаны на самых передовых исследованиях и протоколах безопасности и соответствуют им.