Deep Learning из Женевы

Материалы курса по глубокому обучению университета Женевы

ML специализация

Материалы по "Machine Learning Specialization" by Andrew Ng

Data Science - введение

Материалы курса из Гарварда CS109A - Introduction to Data Science

И о науке

Вручение дипломов в ОИЯИ

Анализ временных рядов

Базовые понятия анализа временных рядов

Анализ данных - собеседования

Книга вопросов (и ответов) для подготовки к собеседованиям в области анализа данных

См. также другие ссылки по теме собеседований

События на графах

Моделирование распространения событий на графах

Архитектура XGBoost

Довольно простое и понятное описание XGBoost

Прикладное машинное обучение

Курс Cornell CS5785: Applied Machine Learning. Готовые ноутбуки

В однобортном сейчас уже никто не воюет

Мода в машинном обучении - быстротечна. Вот уже GAN вышли из моды, теперь модно играться с шумом в stable diffusion моделях

OOD мониторинг

Интересная работа по мониторингу out of ditribution значений в реальном времени. Определение "неподходящих" данных само по себе занимает время (в работе рассматриваются последовательные кадры видео). и для такого определения также актуальны требования робастности.

Товарные рекомендации

Практический пример item recommendations

См. также другие публикации по теме рекомендации

Порождающие модели

Материалы Стенфордского курса CS236 - Deep Generative Models: Syllabus и Notes

P.S. и статья в журнале INJOIT о порождающих моделях

Как долго я тебя искала

Естественная модель применения графов - рекомендация схожих товаров для покупки. Удивительно, что поиск такого естественного применения занял так много времени.

Оценка плотности данных

Плотность данных как метрика для оценки out-of-distribution данных

См. также другие публикации, темой которых является мониторинг моделей машинного обучения

Low code анализ данных

Идея изжить программистов пока еще не умерла. Скорее, здесь даже заметное оживление. Это касается и анализа данных - визуальные инструменты, которые позволяют собирать конвейеры обработки

P.S. см. также следующие публикации по теме без программирования

Кибербезопасность IoT

IoT SAFE - безопасность для Интернета Вещей

Bayesian Machine Learning and Information Processing (5SSD0)

Свежий (2022/2023) курс: Bayesian Machine Learning and Information Processing (5SSD0). Среди доступных материалов есть интересная коллекция notebooks

ИИ & кибербезопасность

Институт цифровой трансформации c3dt.ai - профинансированные исследовательские проекты. Горячие темы в связке Искусственный интеллект и кибербезопасность.

Цифровые двойники и ML

Машинное обучение в цифровых двойниках. Хотя обратное - цифровые двойники в машинном обучении было бы, пожалуй, интереснее. В контексте, например, мониторинга.

Мониторинг для систем машинного обучения

Некоторые статьи по мониторингу ML систем:

Сдвиг меток - оценка по модели черного ящика

Rahman, Quazi Marufur, Peter Corke, and Feras Dayoub. "Run-time monitoring of machine learning for robotic perception: A survey of emerging trends." IEEE Access 9 (2021): 20067-20075. одна из немногих работ по мониторингу в реальном времени

Manifold for Machine Learning Assurance - понижение размерности данных с помощью VAE и использование такой свертки для OOD (out of distribution) мониторинга

A Simple Unified Framework for Detecting Out-of-Distribution Samples and Adversarial Attacks - предлагаем простой, но эффективный метод, который применим к любому softmax-классификатору для обнаружения аномальных тестовых выборок, включая ООД и состязательные атаки. Высокоуровневая идея состоит в том, чтобы измерить плотность вероятности тестового (проверяемого) образца в пространстве признаков DNN с использованием концепции «генеративного» (основанного на расстоянии) классификатора.

Practical Solutions for Machine Learning Safety in Autonomous Vehicles - отдельный уровень сети для разделения in- и out- of distribution

ENHANCING THE RELIABILITY OF OUT-OF-DISTRIBUTION IMAGE DETECTION IN NEURAL NETWORKS - состязательные изменения по-разному воздействуют на in и out of distribution данные. Анализируя softmax уровень после модификации данных можно оценить, каков был этот образец.

См. также другие публикации по теме мониторинг

ML платформы

Отчет по ML платформам (Q3 2022), и один из лидеров рейтинга: с3.ai

ИИ в 2022

Вышел State of AI report за 2022 год

Учись по-гугловски

Список учебных ресурсов от DeepMind

Все, что можно - то обязательно

Аудит систем Искусственного интеллекта (практически - систем машинного обучения) - становится обязательным. Правила игры - меняются.

Одно сплошное телевидение

Ода генеративным моделям в машинном обучении. Ничего не будет - только генерация

AI аудитор

Game changing технологии на первой позиции показывают AI аудит - платформы, которые проверяют модели ИИ для защиты от таких рисков, как кибератаки и скрытые предубеждения

Проверь себя в статистике

Тест из 15 вопросов по статистике Fifteen Questions to Test Your Statistics Knowledge

P.S. См. также другие публикации по теме статистика

Причинность в машинном обучении

Учебник от Cloudera: Causality for Machine Learning

P.S. см. также другие публикации, посвященные каузальности

AI подписки

Что почитать о новых работах в Искусственном интеллекте? 21 новостной источник

Скажи почему?

DoWhy - Python библиотека с открытым кодом для каузального анализа. И пример использования - causal Python.

P.S. см. также другие публикации, посвященные каузальности

Аномалии в тексте

Практический пример - как искать аномалии в тексте

K-means кластеризация

Прекрасный интерактивный учебник по K-means

Дипфейки атакуют

Растущая угроза от deepfakes

См. также другие публикации по теме deepfake

Кибербезопасность Искусственного Интеллекта - публикации

В рамках развития учебной программы по кибербезопасности систем искусственного интеллекта к настоящему времени вышли следующие публикации наших сотрудников, аспирантов и студентов:

Namiot D., Ilyushin E., Chizhov I. Ongoing academic and industrial projects dedicated to robust machine learning //International Journal of Open Information Technologies. – 2021. – Т. 9. – №. 10. – С. 35-46.

Namiot D., Ilyushin E., Chizhov I. The rationale for working on robust machine learning //International Journal of Open Information Technologies. – 2021. – Т. 9. – №. 11. – С. 68-74.

Namiot D., Ilyushin E., Chizhov I. Military applications of machine learning //International Journal of Open Information Technologies. – 2021. – Т. 10. – №. 1. – С. 69-76.

Ilyushin E., Namiot D., Chizhov I. Attacks on machine learning systems-common problems and methods //International Journal of Open Information Technologies. – 2022. – Т. 10. – №. 3. – С. 17-22.

Namiot D., Ilyushin E., Chizhov I. On a formal verification of machine learning systems //International Journal of Open Information Technologies. – 2022. – Т. 10. – №. 5. – С. 30-34.

Li H., Namiot D. A Survey of Adversarial Attacks and Defenses for image data on Deep Learning //International Journal of Open Information Technologies. – 2022. – Т. 10. – №. 5. – С. 9-16.

Yakupov D., Namiot D. Session-Based Recommender Systems-Models and Tasks //International Journal of Open Information Technologies. – 2022. – Т. 10. – №. 7. – С. 128-155.

Namiot D., Ilyushin E. Generative Models in Machine Learning //International Journal of Open Information Technologies. – 2022. – Т. 10. – №. 7. – С. 101-118.

Namiot D., Ilyushin E., Pilipenko O. On Trusted AI Platforms //International Journal of Open Information Technologies. – 2022. – Т. 10. – №. 7. – С. 119-127.

Bidzhiev T., Namiot D. Research of existing approaches to embedding malicious software in artificial neural networks //International Journal of Open Information Technologies. – 2022. – Т. 10. – №. 9. – С. 21-31.

Namiot D., Ilyushin E., Chizhov I. Artificial intelligence and cybersecurity //International Journal of Open Information Technologies. – 2022. – Т. 10. – №. 9. – С. 135-147.

Namiot D., Ilyushin E. On the robustness and security of Artificial Intelligence systems //International Journal of Open Information Technologies. – 2022. – Т. 10. – №. 9. – С. 126-134.

Stroeva E., Tonkikh A. Methods for Formal Verification of Artificial Neural Networks: A Review of Existing Approaches //International Journal of Open Information Technologies. – 2022. – Т. 10. – №. 10. – С. 21-29.

Kostyumov V. A survey and systematization of evasion attacks in computer vision //International Journal of Open Information Technologies. – 2022. – Т. 10. – №. 10. – С. 11-20.

Международный конгресс «Современные проблемы компьютерных и информационных наук»

24–26 ноября 2022 года лаборатория Открытых Информационных Технологий проводит ежегодный Международный конгресс «Современные проблемы компьютерных и информационных наук» (Конгресс), который состоится на факультете вычислительной математики и кибернетики Московского государственного университета имени М.В. Ломоносова, г. Москва (Россия).

Конгресс состоит из следующих мероприятий:

VII Международной научной конференции «Конвергентные когнитивно-информационные технологии»;
XVII Международной научно-практической конференции «Современные информационные технологии и ИТ-образование»;
XII Международной конференции-конкурса «Инновационные информационно-педагогические технологии в системе ИТ-образования» – ИП-2021.

Рабочими языками Конгресса являются английский или русский.

Труды Конгресса будут опубликованы в виде статей в Международном научном журнале «Современные информационные технологии и ИТ-образование» (ISSN 2411-1473), который включён в Перечень ВАК Минобрнауки РФ, и индексируется в РИНЦ, DOAJ, Ulrichsweb Global Serials Directory, European Reference Index for the Humanities and the Social Sciences (ERIH PLUS), Index Copernicus International. Приглашам коллег принять участие в конференциях Конгресса.

Зарегистрироваться можно на сайте Конгресса

Мониторинг моделей машинного обучения

Что входит в мониторинг систем машинного обучения. OOD (out of ditribution) мониторинг как первая задача

См. также другие публикации по теме мониторинг

Проверка статистических гипотез в Python

17 статистических тестов - как это выглядит в Python: Anderson-Darling Test, Pearson’s Correlation Coefficient, Spearman’s Rank Correlation, Kendall’s Rank Correlation, Chi-Squared Test и др.

Интернет чего еще?

Социальный интернет автомобилей. Автомобиль предупреждает другие автомобили о пробках.

P.S. см. также статью в журнале INJOIT про Интернет пистолетов

Программное радио - это просто

Но сложно масштабировать. Презентация доклада на MTTW'22 - одна из самых больших ошибок в истории военной связи.