См. также другие публикации по теме AutoML
технические проблемы и идеи, родившиеся в бурных водах реки Abava (а равно как и на ее берегах, далеких и близких), выставленные на всеобщее обсуждение
Monday, July 13, 2026
Вершина AutoML
Thursday, May 21, 2026
Wednesday, April 29, 2026
Коалиция за безопасный ИИ
Monday, March 30, 2026
Киберразведка Google
"Google DeepMind и GTIG выявили рост попыток извлечения моделей или «дистилляционных атак» — метода кражи интеллектуальной собственности, нарушающего условия предоставления услуг Google. В этом отчете мы описали шаги, предпринятые нами для предотвращения вредоносной деятельности, включая обнаружение, пресечение и нейтрализацию Google попыток извлечения моделей. Хотя мы не наблюдали прямых атак на перспективные модели или продукты генеративного ИИ со стороны субъектов, использующих сложные целевые атаки (APT), мы наблюдали и нейтрализовали частые атаки по извлечению моделей со стороны частных компаний по всему миру и исследователей, стремящихся клонировать собственную логику.
Для поддерживаемых государством субъектов, занимающихся киберпреступностью, большие языковые модели (LLM) стали важными инструментами для технических исследований, таргетинга и быстрого создания сложных фишинговых приманок. В этом ежеквартальном отчете освещается, как субъекты угроз из Корейской Народной Республики (КНДР), Ирана, Китайской Народной Республики (КНР) и России внедрили ИИ в свою деятельность в конце 2025 года, и улучшается наше понимание того, как злоупотребление генеративным ИИ проявляется в кампаниях, которые мы пресекаем в реальных условиях. GTIG пока не наблюдала случаев, когда APT-группировки или субъекты информационных операций (IO) достигли бы прорывных возможностей, коренным образом меняющих ландшафт угроз." - отсюда
Tuesday, March 24, 2026
Tuesday, February 24, 2026
Теневые агенты
В докладе эксперты выделяют три ключевые темы: искусственный интеллект, киберпреступность и деятельность государственных хакеров.
ИИ на стороне злоумышленников становится обыденностью. Хакеры активно применяют его для ускорения атак, генерации вредоносного кода и проведения информационных кампаний. Особое внимание уделяется переходу к ИИ-агентам, способным автономно выполнять целые цепочки атак.
Инъекции подсказок (Prompt injection) — одна из главных новых угроз. Google прогнозирует резкий рост числа таких атак на корпоративные системы, работающие на базе искусственного интеллекта.
Отдельная масштабная проблема — социальная инженерия с использованием ИИ. Массовым явлением станет голосовой фишинг с имитацией голосов руководителей или сотрудников IT-отдела.
«Агентный сдвиг» в безопасности: ИИ-агенты фундаментально меняют архитектуру защиты. Google предвидит появление нового направления — «агентного управления идентификацией» (agentic identity management), где каждый агент будет обладать собственной цифровой личностью с минимальными привилегиями и временным доступом.
«Теневые агенты» (Shadow Agent) — скрытая внутренняя угроза. Сотрудники начнут самостоятельно разворачивать ИИ-агентов для выполнения рабочих задач в обход корпоративных политик. Это приведет к появлению неконтролируемых потоков конфиденциальных данных. Запреты в данном случае бесполезны — они лишь заставят пользователей уйти в тень. Решение проблемы — создание управляемой ИИ-инфраструктуры с полноценным аудитом.
Sunday, February 22, 2026
Авторизация в масштабе
Tuesday, January 27, 2026
Опасно и тревожно
Компания Google удалила некоторые из своих обзоров состояния здоровья, созданных с помощью искусственного интеллекта, после того, как расследование Guardian выявило, что люди подвергались риску, получая ложную и вводящую в заблуждение информацию.
Компания заявила, что ее обзоры, созданные с помощью генеративного ИИ и предоставляющие краткие обзоры важной информации по той или иной теме или вопросу, являются «полезными» и «надежными». Однако некоторые из этих обзоров, отображаемые в верхней части результатов поиска, содержали неточную информацию о состоянии здоровья, подвергая пользователей риску.
В одном случае, который эксперты назвали «опасным» и «тревожным», Google предоставил ложную информацию о важнейших анализах функции печени, из-за чего люди с серьезными заболеваниями печени могли ошибочно считать себя здоровыми.
Как выяснила Guardian, при вводе запроса «каков нормальный диапазон анализов крови на функцию печени» отображалось множество цифр, мало контекста и не учитывались национальность, пол, этническая принадлежность или возраст пациентов. Эксперты заявили, что то, что Google AI Overviews называл нормой, может сильно отличаться от того, что на самом деле считалось нормой. Эти сводки могут привести к тому, что тяжелобольные пациенты ошибочно посчитают результаты анализов нормальными и не будут посещать последующие медицинские осмотры.
После расследования компания удалила AI Overviews для поисковых запросов «каков нормальный диапазон анализов крови на функцию печени» и «каков нормальный диапазон анализов функции печени». Представитель Google заявил: «Мы не комментируем отдельные удаления в Поиске. В случаях, когда AI Overviews упускают какой-то контекст, мы работаем над общими улучшениями, а также принимаем меры в соответствии с нашей политикой, когда это необходимо». - отсюда
Tuesday, December 23, 2025
Thursday, October 09, 2025
Обеспечение надежного и безопасного ИИ
Сюда же можно отнести и Startup technical guide AI agents, который рписывает использование того же Google Cloud для создания ИИ-агентов
Sunday, June 15, 2025
Google мед
см. также ИБП для медицины. Источники бесперебойного питания для медицины и здравоохранения.
Wednesday, May 21, 2025
Text to SQL
Thursday, March 13, 2025
Источники бесперебойного питания (ИБП)
Промышленные ИБП, ИБП для медицины, ИБП для ЦОД
Промышленные источники бесперебойного питания (ИБП, бесперебойники)
Friday, January 17, 2025
Агенты: белая книга
Tuesday, November 05, 2024
Оценка рисков ИИ
/via SecurityLab
P.S. Это и есть инструмент для аудита систем ИИ, ровно как мы описывали в наших работах. Например, здесь и здесь
Wednesday, June 12, 2024
Кого увольняют?
Thursday, April 25, 2024
Monday, March 25, 2024
Безопасность ИИ
Вот, например, какие задачи ставятся в объявлении о поиске работников:
Определение и исследование возможных способов отказа базовых моделей, начиная от социотехнического ущерба (например, справедливости, дезинформации) до неправильного использования (например, разработки оружия, преступной деятельности) и потери контроля (например, сбоев с высокими ставками, мошеннического ИИ).
Разработка и внедрение технических подходов для снижения этих рисков, такие как бенчмаркинг и оценки, дизайн наборов данных, масштабируемый надзор, интерпретируемость, состязательная устойчивость, мониторинг и многое другое, в координации с более широкой технической программой команды.
Создание инфраструктуры, которая ускорит скорость исследований, позволяя быстро экспериментировать с моделями фундаментов, а также упрощая регистрацию и анализ результатов экспериментов.
Сотрудничество с другими внутренними командами, чтобы гарантировать, что системы и продукты Google DeepMind AI (например, Gemini) основаны на самых передовых исследованиях и протоколах безопасности и соответствуют им.
См. также другие публикации по теме safety