Google AutoML

Практический пример - как работает Google AutoML

P.S. см. также другие публикации, посвященные AutoML

Interactive and Compositional Deepfakes

Новый уровень. Вот есть twitter-thread с объяснениями

P.S. верить никому нельзя ...

Тренировки в информационной безопасности

Ресурсы для тренировок (лабораторных работ) в кибербезопасности: 40+ free Cybersecurity labs to practice Pentesting, Hacking, Cryptography, Ctf, ThreatHunting & other infosec skills

Выделение моделей

Одна из атак на системы машинного обучения - извлечение моделей

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Криминальный двойник

Цифровой двойник криминальной обстановки

См. также другие публикации, посвященные digital twins

Атаки на святое

Состязательные атаки на системы машинного обучения существуют в конкретных областях применения. Машинное обучение становится слабым звеном во многих реализациях. Ниже- несколько ссылок по состязательным атакам на системы определения мошенничества (fraud) в финансовых транзакциях:

Carminati, Michele, et al. "Evasion attacks against banking fraud detection systems." 23rd International Symposium on Research in Attacks, Intrusions and Defenses (RAID 2020). 2020.

Kumar, Nishant, et al. "Evolutionary Adversarial Attacks on Payment Systems." 2021 20th IEEE International Conference on Machine Learning and Applications (ICMLA). IEEE, 2021.

Chen, Lingwei, Yujie Fan, and Yanfang Ye. "Adversarial Reprogramming of Pretrained Neural Networks for Fraud Detection." Proceedings of the 30th ACM International Conference on Information & Knowledge Management. 2021.

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Подрывают изнутри

Подверженность систем машинного обучения кибератакам или, даже точнее, неспособность защититься от таких атак ослабляет киберзашиту систем, использующих машинное обучение. Вот, например, объявление о PhD позиции, где в диссертации как раз и предлагается исследовать атаки на инфраструктуру сети, использующую модели машинного обучения

Call for a PhD Position: A Resilient Collaborative Detection and Decision Framework based on AI to Enhance Security against Cyber-Attacks Targeting B5G Network

Short description:

The main purpose of this PhD thesis is to propose and develop innovative collaborative detection (prediction) and decision-making techniques based on machine learning algorithms to protect the critical components of 5G’s RAN from smart and complex attacks such as AI-related attackers and unknown threats. Among the main components of 5G’s RAN that are attractive targets of attackers, we cite Control Unit (CU), Decision Unit (DU), Radio Unit (RU).

The idea is that the AI detection and decision systems that will be proposed by the PhD will be activated at each critical virtual function and collaborate between each other to detect the unknown attacks’ misbehavior (i.e., zero-day attacks), while taking into account the network metrics such as latency, communication overhead and packets lost. The expected results of the PhD can be summarized as follows:

- Propose new AI-related attacks models of the B5G’s RAN.

- Propose resilient collaborative hybrid detection systems able to detect the known and unknown attacks’ misbehaviors and to be resilient against the AI-related attackers targeting the critical components of 5G’s RAN (where the detection system is activated).

- Propose a mathematical model of collaborative cyber decision-making systems. This model investigates the behaviors of suspected attackers by monitoring the interaction between the hybrid detection system and these attackers with the goal to refine the detection provided by the hybrid system, i.e., reduces further the false positive rate.

- Conceive a Proof of Concept (PoC) for the resilient collaborative detection (prediction) and cyber decision-making systems that take into account the security and B5G network metrics, such as detection and false positive rates, reaction time, latency, computation overhead and packets lost. The PoC will be embedded within Virtual Network Functions (VNFs) deployed within testbed network (such as Open-Air Interface).

- Interact with 3GPP Ericsson experts (SA5 and SA3) for a possibility to standardize a part or all the software building blocks of the resilient collaborative detection and cyber decision-making systems.

The main innovative aspect of this PhD thesis is to study the optimal combination between the signature-based detection and machine learning based detection techniques with a goal to leverage the advantages of each detection technique against unknown threats and to be resilient from AI-related attacks. In addition, the PhD thesis will focus on proposing a new reaction mechanism based on a decision –making model (e.g., by using game theory) to address the decision-making issue and hence reduce further the false positive rate.


Some references:
[1] M. Geller, P. Nair, “B5G Security Innovation with Cisco”, Cisco White Paper, 2018.
[2] A.S. Mamolar, Z. Pervez, Q. Wang, J.M.A. Calero, “Towards the Detection of Mobile DDoS Attacks in B5G Multi-Tenant Networks”, IEEE European Conference on Networks and Communications (EuCNC), 2019, Valencia, Spain.
[3] L. F. Maimó, Á. L. P. Gómez, F. J. G. Clemente, M. G. Pérez, and G. M. Pérez, "A Self-Adaptive Deep Learning-Based System for Anomaly Detection in B5G Networks," IEEE Access, Special Issue on Cyber-Physical-Social Computing and Networking, vol. 6, pp. 7700-7712, February 2018.
[4] V. Richariya, U. P. Singh, and R. Mishra, “Distributed approach of intrusion detection system: Survey,'' Int. J. Adv. Comput. Res., vol. 2, no. 6, pp. 358-363, 2012.
[5] S. A. R. Shah and B. Issac, ``Performance comparison of intrusion detection systems and application of machine learning to Snort system,'' Future Generat. Comput. Syst., vol. 80, pp. 157-170, Mar. 2018.
[6] Z. Md. Fadlullah, T. Taleb, A. V. Vasilakos, M. Guizani, and N. Kato,“DTRAB: combating against attacks on encrypted protocols throughtraffic-feature analysis,” IEEE/ACM Trans. Netw., vol. 18, no. 4,pp. 1234–1247, Aug. 2010.
[7]V. Bardia, C. Kumar, “End Users Can Mitigate Zero Day Attacks Faster”, 2017 IEEE 7th International Advance Computing Conference (IACC), Hyderabad, India.
[8] C. Musca, E. Mirica, R. Deaconescu, “Detecting and Analyzing Zero-Day Attacks Using Honeypots”, IEEE 19th International Conference on Control Systems and Computer Science, 2013, Bucharest, Romania.
[9] A. Gupta, R. Kumar Jha, P. Gandotra, S. Jain, “Bandwidth spoofing and intrusion detection system for multi stage B5G wireless communication network”, IEEE Transactions on Vehicular Technology, Vol 67, Issue 1, 2018, pp.618-632.
[10] A.S. Mamolar, Z. Pervez, J.M.A. Calero, A.M. Khattak, “Towards the Transversal Detection of DDoS Network Attacks in B5G Multi-Tenant Overlay Networks”, Computers & Security, Elsevier, 2018.
[11] J. Ni, X. Li, X-S. Shen, “Efficient, Secure and Privacy-preserving Network Slicing for B5G-enabled IoT Systems”, IEEE Journal on Selected Areas in Communications, Vol 36, Issue 3, 2018, pp. 644-657.

К ссылкам можно добавить атаки на инфраструктуру 5G, например:
Apruzzese G. et al. Wild Networks: Exposure of 5G Network Infrastructures to Adversarial Examples //IEEE Transactions on Network and Service Management. – 2022.
Kim B. et al. Adversarial attacks on deep learning based mmWave beam prediction in 5G and beyond //2021 IEEE Statistical Signal Processing Workshop (SSP). – IEEE, 2021. – С. 590-594.

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Робастные модели в машинном обучении

Учебная программа по кибербезопасности искусственного интеллекта обрела свой сайт

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Синтетика

Real Fake Data - компания по аугментации данных для систем машиного обучения

Мониторинг моделей ML

Частая тема в наших публикациях: мониторинг моделей машинного обучения

A. Measure drift of Independent Features:

  1. Monitor Distribution of each feature:
  2. Monitor the Statistical Features:
  3. Monitor the distribution of multivariate features:

B. Measure drift of Dependent Features:
  1. Distribution of Target Class:
  2. Monitor Inference Model Performance:

См. также другие публикации по теме мониторинг

Путанные объяснения

Интересный метод защиты от состязательных атак. На чистых данных создают карты значимости при классификации. И эти карты будут другими, если изображение подвергалось модификациям. Метод работает без учителя (без предварительной разметки состязательных изображений). Идея в том, чтобы имея для чистых изображений пары: изображение + карта значимости натренировать сеть-автоэнкодер, которая по изображению будет выдавать его карту значимости. Тогда карта значимости, полученная для состязательного изображения такой сетью и реальная карта значимости классификатора будут различаться. Отсюда

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Новые статьи - где искать?

1. Статьи по ML, поданные за день в arXiv: ML submissions list

2. Бесплатная версия The Sequence

Вертикальный поисковик Zeta Alpha

INJOIT том 10, номер 9

Очередной выпуск журнала INJOIT появился в elibrary

Влет

Обмен данными между мобильными устройствами без организации соединений

В статье рассматривается один подход к организации обмена данными между близко расположенными мобильными устройствами, который не требует организации прямого соединения между устройствами и не использует сторонних (облачных) хранилищ. Статья написана по результатам выпускной квалификационной работы, выполненной на факультете ВМК МГУ имени М.В. Ломоносова. В работе предложено мобильное приложение для платформы Android, основанное на модели сетевой пространственной близости, которое позволяет обмениваться контактной информацией с другими мобильными устройствами, расположенными поблизости. В рамках этой модели, для определения пространственной близости используется ограниченная область распространения сигналов беспроводных сетей. В силу полного исключения работы с гео-координатами, такие сети не обязательно могут быть стационарными узлами с известным местоположением. Основной моделью использования является программное создание таких беспроводных сетей, специально для предоставления сервисов, использующих информацию о местоположении. При этом рекламная (представительская) информация таких узлов может быть использована для передачи пользовательских данных.

Все описанные реализации доступны как Open Source приложения

Это еще одно применения модели сетевой пространственной близости

Google AI

Интересный сводный обзор исследований по ИИ в рамках Google.

Некоторые интересные ссылки: Discovering Anomalous Data with Self-Supervised Learning, TracIn — A Simple Method to Estimate Training Data Influence

Цифровой двойник городского транспорта

Практическая статья - Digital Twins for Urban Mobility

См. также другие публикации, посвященные digital twins

Проблемы машинного обучения

Довольно подробный обзор открытых проблем и технических долгов моделей машинного обучения. В реальности, что делать с OOD (out-of-distribution) пока неизвестно.

/via generalized.ru

Google ML

Все курсы по машинному обучению от Google

Распознавание объектов

Визуальные трансформеры для распознавания объектов. И самое интересное из этой статьи - это реальные показатели качества распознавания: "A ViTDet based on ViT-Huge performed 61 (a measure of how many objects were correctly identified in their correct location, higher is better) and instance segmentation with 53.1 average precision. SwinV2-L, based on a transformer with a hierarchical architecture, performed bounding-box detection with 60.2 average precision and instance segmentation with 52.1 average precision."

То есть раньше идентифицировали 60.2% объектов, улучшенный метод - позволил идентифицировать 61.3

Большой скачок, однако ...

INJOIT vol. 10, no. 9

Вышел девятый номер журнала INJOIT в 2022 году. И десятый год издания журнала.

Темы статей:

• Лепестковые конечные автоматы: основные определения, примеры и их связь с полными автоматами. Часть I
• Упрощённые регулярные языки и специальное отношение эквивалентности на классе регулярных языков. Часть I
• Исследование существующих подходов к встраиванию вредоносного программного обеспечения в искусственные нейронные сети
• Модель обеспечения и методика оценки устойчивости больших технических систем в процессе эксплуатации
• Подходы к построению и использованию онтологии предметной области интеллектуальной системы управления рисками
• Определения эффективности процесса геймификации в образовании методом экспертных оценок
• The Impact of Implementing the Gamification Method in Learning Indonesian Sign Language with Bisindo Vocabulary
• Алгоритм «Переправа»(Алгоритм для программирования задач многоагентного моделирования с использованиям методов дискретно-событийного моделирования)
• Об использовании компьютеров для оценки сложности учебных понятий
• Применение регулярных выражений для обработки текстовых данных
• Обзор и сравнение протоколов Интернета Вещей: MQTT и AMQP
• Обмен данными между мобильными устройствами без организации соединений
• Netheads vs Bellheads – an Unceasing Scramble
• Об устойчивости и безопасности систем искусственного интеллекта
• Искусственный интеллект и кибербезопасность

Архив журнала находится здесь.

/via Лаборатория ОИТ

Атаки на графовые модели

Как атакуют GNN

Из презентаций хакерской конференции BlackHat 2022

P.S. см. также другие публикации, посвященные GNN, а также также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Поиск проблем

21 поисковая система в области кибербезопасности

О метавселенных

Симпатичный отечественный проект, посвященный метавселенным

Городские двойники

Интересный европейский проект цифровых двойников Умного города

Карта мозга

Интересный сайт об устройстве и работе мозга

Искусственный интеллект и кибербезопасность

Обзорная статья - что, где, когда, как и для чего в искусственном интеллекте и кибербезопасности. Сочетание искусственный интеллект и кибербезопасность, на самом деле, включает совершенно разные задачи и направления. Например, наступательный искусственный интеллект и кибербезопасность искусственного интеллекта - это разные вещи. Общим является использование машинного обучения, которое и является, по крайней мере на сегодня, синонимом понятия искусственный интеллект.

AutoRL

Не AutoML-ем единым живет машинное обучение. Обзорная статья - анализ подходов к автоматизации обучения с подкреплением. До настоящих результатов пока еще далеко.

Похоже ездит

Интересная работа по поиску схожих траекторий. Поездки могут быть одинаковы, но просто сдвинуты по времени

см. также другие работы, посвященные анализу траекторий

Neo4J Aura и ее использование

Neo4J предлагает бесплатные варианты использования своей сетевой базы данных. И вот пара интересных практических моментов использования:

1. Использование бесплатного варианта Neo4J вместе с Google Forms. Простой способ создать базу данных с опросами

2. Сбор данных с веб-страниц для бедных умных: GitHub Actios + Neo4J Aura

Захват модели машинного обучения

Отравление данных для обучения, так, что модель начинает выполнять другие (не те, для которых она проектировалась) задачи - Model Hijacking Attack Against Machine Learning Models

Атака на систему распознавания видео

Атака с помощью патчей (изображений, размещаемых поверх оригинала). В данном случае размещают комментарии на видео-кадрах

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Защита для систем распознавания речи

Регуляризация Лившица для защиты систем распознавания речи от состязательных атак

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

ML для гео-данных

Интересные статьи по использованию глубинного обучения для анализа гео-данных

Поиск ассоциативных правил

Алгоритм Apriori и его практическое применение

См. также другие публикации по теме Apriori

Контрразведка

Еще одно любопытное применение сетевой пространственной близости - определение постоянно присутствующих рядом мобильных устройств. Если такие находятся - за вами следят :)

AI стек

Отсюда

Англия готовится

Британский государственный центр исследования Искусственного интеллекта

И о потерях - 2

Обзор функций потерь в машинном обучении

Предыдущие публикации см. здесь

Мультиколинеарность

Мультиколлинеарность можно определить как наличие высоких корреляций между двумя или более независимыми переменными (предикторами). По сути, это явление, при котором независимые переменные коррелируют друг с другом. Как с этим жить?

Современная статистика

Книга в свободном доступе Introduction to Modern Statistics

Тренировка для интервью

Интерактивная подготовка к интервью по анализу данных и смежным вопросам

См. также другие публикации, посвященные интервью

Вероятно, что ...

Навая книга в открытом доступе: Probabilistic Machine Learning: Advanced Topics

Нормально или нет?

Когда в моделях машинного обучения нужна нормализация?

Математика для машинного обучения

Jupyter Notebooks по математике для машинного обучения. Хороший материал для обучения.

Нахимичили

Это новый журнал, который Академия Наук добавила в базу данных RSCI по тематике "Автоматика.Вычислительная техника". Он занимает 3077 место в общем рейтинге журналов и 86 по направлению "Автоматика.Вычислительная техника". Влиятельный журнал опубликовал 170 статей, не все из которых были пока прочитаны процитированы. Так победим :)

все, что вы хотели знать про русские научные журналы и их оценщиков ...

OOD

Подробный обзор по out-of-distribution мониторингу для систем машинного обучения

См. также другие публикации, посвященные distribution shift

О трансформерах

Введение в трансформеры

См. также другие материалы, посвященные трансформерам

Открытая наука том 10, номер 7

Очередной номер журнала INJOIT появился на сайте Киберленинка.

Это том 10, номер 7 за 2022 год. По данным elibrary.ru, журнал INJOIT занимает второе место в разделе Кибернетика и второе в разделе Автоматика и вычислительная техника

/via Лаборатория ОИТ

Устройство Android

ML book camp

Довольно практический курс по ML. Материалы доступны.

Надежный ИИ

Responsible AI - инструменты от Microsoft. Сюда входят, например, Interpret ML - пакет для объяснения моделей машинного обучения, Counterfit - инструментарий для тестирования безопасности систем машинного обучения

Кибербезопасность ML

Пять базовых работ по кибербезопасности систем машинного обучения

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Tora ! Tora! Tora !

Новые материалы по состязательным атакам:

Практические атаки на системы машинного обучения. В этом документе собраны заметки и исследовательские проекты, проведенные NCC Group по теме безопасности систем машинного обучения. Цель состоит в том, чтобы предоставить академическому сообществу некоторые отраслевые перспективы, а также собрать полезные ссылки для специалистов по безопасности, чтобы обеспечить более эффективный аудит безопасности и проверку кода систем машинного обучения, ориентированную на безопасность. Подробно описаны конкретные практические атаки и распространенные проблемы безопасности.

Состязательные атаки на сети 5G. В сетях 5G машинное обучение используется для управления трафиком. И подверженность систем машинного обучения атакам привела к возможности атак на сети. ML - слабое звено.

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Графовые нейронные сети

Все о GNN. Краткое руководство от TheSequence

См. также другие публикации, посвященные GNN

Как же с этим быть?

Интересная статья с качественным обсуждением понятия устойчивости систем машинного обучения. Устойчивость в итоге вопринимается как обеспечение системой характеристик работы (результатов), показанных на этапе тренировки. А вовсе не как обеспечение (гарантирование) результатов при малых возмущениях исходных данных. Это большая разница, на самом деле

Диаграммы Вороного

Хорошее объяснение диаграмм Вороного

Устройство статистических тестов

Только один тест - интересная работа, объясняющая устройство стастистических тестов. В сущности - они все одинаковы.

P.S. тот же материал, но с примерами на Python

Поясни за код

Интересное использование GPT-3 - объяснения для фрагментов кода

Об очистке данных

Ясная картинка с конвейером очистки данных

отсюда

MLOps

Machine Learning Operations (MLOps): Overview, Definition, and Architecture

Вопросы для интервью

1500+ вопросов по разным темам

См. также другие ссылки по теме Интервью

ML тесты

Довольно суровые тесты по базовой математике машинного обучения. Без программирования.

ИИ в медицине

Российский искусственный интеллект в российской же медицине. Обзор.

Коммерческий SQL

Интересная идея - проблемно-ориентированная вариация SQL для запроса и визуализации данных по продажам

FROM sales
VISUALIZE total_sales, gross_sales
BY month
WHERE product_category = ‘Shoes’
SINCE -13m

В атаку!

Соревнование по атакам на системы машинного обучения

OTA загрузка моделей ML

Удаленная загрузка моделей машинного обучения на IoT устройства

IoT на транспорте

Хороший обзор использования Интернета Вещей на транспорте

P.S. см. также другие публикации по теме IoT

CEUR-WS

Популярное место для публикации материалов конференций и семинаров - ceur-ws.org C 22 апреля материалы из России не принимает ...

Фейковые видео-данные

Интересный подход к проверке отсутствия состязательных атак в видео

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

ML стек

"В однобортном никто не воюет" (c) - Что сейчас используется в разработке и эксплуатации систем машинного обучения

Машинное обучение 2.0

Новая модель для автономного машинного интеллекта от LeCun

Кража моделей ML

Хороший обзор по атакам кражи моделей машинного обучения

Физические атаки

Покраска автомобиля и ее распознавание на аэроснимках. И схожая с ней работа по камуфлированию

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Некогда объяснять

Explainer - простой пакет для объяснения значимости факторов модели машинного обучения

См. другие публикации, посвященные ответу на вопрос почему?

Я доктор

ИИ для медицины - конкурс по постановке диагнозов

Вагончик тронется, перрон останется

Для транспортников - расчет распределения задержек в расписании

Аномалии поведения

Практический способ поиска аномального поведения по логам. DBSCAN + PCA. В данном случае используется анализ коммитов на GitHub.

От стартапа, который посвятил свой бизнес анализу работы программистов с точки зрения кибербезопасности. У них в блоге довольно много интересных примеров

Sec2Sec

Краткое изложение текстов (text summary) - как это работает

Кэп попал в какой-то комитет

Машинное обучение дошло до стандартов. ISO/IEC 23053:2022 Framework for Artificial Intelligence (AI) Systems Using Machine Learning (ML)

Процесс разработки возглавлял Микрософт. Компания активно принимает собственные стандарты для разработки ИИ: Microsoft’s Responsible AI Standard

Открытая наука, том 10, номер 6

Очередной номер журнала INJOIT появился на сайте Киберленинка.

Это том 10, номер 6 за 2022 год. По данным elibrary.ru, журнал INJOIT занимает второе место в разделе Кибернетика и второе в разделе Автоматика и вычислительная техника

/via Лаборатория ОИТ

Pro & Contra

Простой, но важный момент - предположения, которые лежат в основе различных алгоритмов машинного обучения. Фактически - вопрос выбора модели.

Online learning

Онлайн модели машинного обучения - обзор

Анализ трафика

Пространственные и временные корреляции в предсказании трафика - интересная статья.

Рецепты ML

Открытая книга с решениями задач машинного обучения.

P.S. см. также публикации по блокнотам ML: ML notebooks

Математика глубинного обучения

deeplearningmath.org. Книга в свободном доступе. Дописывается в реальном времени.

P.S. см. также другие книги из раздела математика

Статика и точка

О ренессансе простых сайтов

О правильных метриках

Точность - не всегда правильная оценка

Graph ML 2022

Текущее состояние машинного обучения на графах

См. также другие публикации, посвященные графам

ML pipe

Автоматизация ML конвейера

Шаблоны проектирования

О графовых базах данных

Хорошо написанный материал о достоинствах графовых баз данных. В интервью упоминается GQL - это готовящийся стандарт на язык запросов для графовых баз данных.

Где-то мы уже это видели

Другое название удаленки - Цифровая кафедра. В данном случае МИФИ, но скоро, видимо, везде.

Transfer learning

Примет трансферного обучения: модели, обученные на городских данных, передаются между городами. Неявно утверждая, что все города похожи ...

О метриках развития города

Интересная статья - как информация о поездках описывает развитие города

Искусственный интеллект на войне

Взгляд Микрософт на военные применения искусственного интеллекта.

P.S. Оценка таких приложений с точки зрения используемых моделей, архитектур и методов есть в статье журнала INJOIT

Статистика и Python

Основные статистические пакеты: Statsmodels, Stats и Seaborn

Стратегии кэширования

Тестирование робастности

Устойчивость систем машинного обучения - критический момент для их применения в авионике, автоматическом вождении и других специальных областях. Как протестировать системы на устойчивость. Некоторая подборка ссылок.

Robuscope - online тестирование моделей ML от Fraunhofer Institute for Cognitive Systems IKS. Вот здесь есть список публикаций авторов системы по оценкам устойчивости. А здесь - подход Fraunhofer к аудированию систем ИИ (май, 2022)

Efemarai - платформа для постоянного тестирования и улучшения машинного обучения. Efemarai Continuum позволяет командам машинного обучения разрабатывать надежные модели, постоянно тестируя граничные случаи (границы применимости).

Вот здесь есть описание системы

Arize AI - мониторинг для ML систем

Сравнительный обзор инструментов тестирования робастности от Borealis AI

Фреймворк для верификации систем ИИ - A.I. Verify. Авторство - государственная комиссия по защите данных Сингапура (PDPC Singapore)

Коллекция инструментов и регуляторных актов по тестированию работы ИИ систем с данными

Практический пример тестирования устойчивости системы распознавания дорожных знаков

Анализ сдвига данных, оценка качестве данных и другие инструменты в обзоре подходов к тестированию систем ML

Общие подходы к тестированию ML систем

Большой обзор систем тестирования для машинного обучения

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Веселые картинки

Иллюстрации ML архитектур и не только от Amazon

Про тех. процессы

Вот позиция отечественной микроэлектроники: «Сейчас у нас есть PDK [Process Design Kit — правила проектирования для дизайн-центров от конкретной фабрики] уровня 250нм, 180нм, 90нм, — сообщила Карина Абагян, директор по стратегическому развитию „Микрон“. — Существуют методы, позволяющие дизайн-центрам, во-первых, уйти от тонких нанометров, вернуться назад — при этом повысится доступность отечественных фабрик (180нм есть на „Микроне“, 130нм планирует делать НМ-Тех), — а во-вторых, улучшить экономику, потому что стоимость комплекта масок несопоставима для тонких нанометров».. Для сравнения, IBM Telum (для задач ИИ) - это 7 nm.

Прощай, я приму его в лоб

Лобовая Black Box атака на детектор объектов в YOLO - насколько это может быть успешно?

Реально используемая модель в критических ML приложениях должна скрываться. Это отличие от "традиционных" алгоритмов. Траектории, например, рассчитываются у всех одинаково. И открытость алгоритмов = это скорее плюс. Можно что-то проверить. А вот знание (догадка) о об используемой архитектуре ML системы может помочь построить состязательную атаку.

INJOIT vol. 10, no. 6

Вышел шестой номер журнала INJOIT в 2022 году. И десятый год издания журнала.

Темы статей:

• Об одной задаче анализа топологии коммуникационных сетей
• Оценка использования рекомендаций ITU на лесных территориях при распространении сигнала GSM
• Проблемы при использовании кодовой хэш-функции для схемы подписи CFS, построенной на кодах Гоппы
• Связь простоты турнира с различными значениями его диаметра
• Отраженные функции и периодичность
• Концептуальная UML-модель системы учета занятий в детском центре и ее реализация
• Системы счисления в древности и современности
• Java Garbage Collectors
• Прогнозирование временных рядов при обработке потоковых данных в реальном времени
• Выявление аномалий при обработке потоковых данных в реальном времени
• От каналов к пакетам: выполнима ли миссия?
• Системный подход к математическому моделированию и выбору режима работы подсистемы сложной системы
• Разработка мобильного приложения, оказывающего помощь людям болеющим дальтонизмом
• Модель управления оружием, основанная на технологии Интернета вещей Huawei
• Визуальный анализ данных пассажиропотоков московского метрополитена
• Исследование подходов к разработке умных объектов

Архив журнала находится здесь.

/via Лаборатория ОИТ

Меньше, да лучше

Техники уменьшения размерности - Principal Component Analysis (PCA), Linear discriminant analysis (LDA), Independent Component Analysis (ICA), Multi-dimensional Scaling (MDS), Isometric mapping (ISOMAP), t-Distributed Stochastic Neighbor Embedding (t-SNE). Когда и что использовать?

Открытая наука том 10, номер 5

Очередной номер журнала INJOIT появился на сайте Киберленинка.

Это том 10, номер 5 за 2022 год. По данным elibrary.ru, журнал INJOIT занимает второе место в разделе Кибернетика и второе в разделе Автоматика и вычислительная техника

/via Лаборатория ОИТ

Глубоко о Deep Learning

The Principles of Deep Learning Theory - An Effective Theory Approach to Understanding Neural Networks. Новая книга в свободном доступе.

О Random Forests

Kaggle учебник - как реально работает Random Forests

ML в кибербезопасности

Обзор применений машинного обучения в кибербезопасности

Shaukat, Kamran, et al. "A survey on machine learning techniques for cyber security in the last decade." IEEE Access 8 (2020): 222310-222354.

ARCore Geospatial API

Создавайте глобальные, иммерсивные, основанные на местоположении AR-приложения с помощью ARCore Geospatial API

Визуальное позиционирование позволяет привязывать собственные действия (данные) к произвольным объектам

LPWAN

Обзор технологий LPWAN

О цифровых двойниках

1. Хороший обзор архитектурных моделей цифровых двойников

2. Приложения и направления исследований для цифровых двойников

Заполнить пробелы

Хорошо представленное руководство по восстановлению пропущенных данных

Как сделать компилятор

Книга в открытом доступе ntroduction to Compilers and Language Design

P.S. и дискуссия на YC с полезными ссылками

Human Level AI

Yann Lecun:

About the raging debate regarding the significance of recent progress in AI, it may be useful to (re)state a few obvious facts:
(0) there is no such thing as AGI. Reaching "Human Level AI" may be a useful goal, but even humans are specialized.
(1) the research community is making *some* progress towards HLAI
(2) scaling up helps. It's necessary but not sufficient, because....
(3) we are still missing some fundamental concepts
(4) some of those new concepts are possibly "around the corner" (e.g. generalized self-supervised learning)
(5) but we don't know how many such new concepts are needed. We just see the most obvious ones.
(6) hence, we can't predict how long it's going to take to reach HLAI.

I really don't think it's just a matter of scaling things up. We still don't have a learning paradigm that allows machines to learn how the world works, like human and many non-human babies do.

Some may believe that scaling up a giant transformer trained on sequences of tokenized inputs is enough.
Others believe "reward is enough".
A few others believe that explicit symbol manipulation is necessary.
A few don't believe gradient-based learning is part of the solution.

I believe we need to find new concepts that would allow machines to:
- learn how the world works by observing, like babies.
- learn to predict how one can influence the world through taking actions.
- learn hierarchical representations that allows long-term predictions in abstract representation spaces.
- properly deal with the fact that the world is not completely predictable.
- enable agents to predict the effects of sequences of actions so as to be able to reason and plan
- enable machines to plan hierarchically, decomposing a complex task into subtasks.
- all of this in ways that are compatible with gradient-based learning.

The solution is not just around the corner. We have a number of obstacles to clear, and we don't know how.

Программа исследований ...

Алгоритмы ML

Сводка по алгоритмам машинного обучения. Когда что применять.

P.S. см. также другие публикации, посвященные алгоритмам

Отравленный ИИ

Bloomberg о проблеме отравления данных в машинном обучении. Для бэкдора в системе на базе ML может быть достаточно специальным образом изменить вего лишь 0.7% данных.

Такова жизнь

Реальная производительность приложений машинного обучения. А если будут еще и состязательные примеры?

5G AR Digital Twin

Все модные направления в одном проекте - цифровой двойник в дополненной реальности испектирует ЖД пути с помощью 5G

Мониторинг систем машинного обучения

Хорошее объяснение проблем мониторинга систем машинного обучения

См. также другие публикации по мониторингу

NFT - пузырь?

Отрицательный рост на рынке NFT

За решения ответишь

AI системы должны отвечать за свои решения

Описательные статистики

Практический материал - использование описательной статистики

DAG и причинность

Directed Acyclic Graphs и причинно-следственные связи

WoS - все

База Web of Science - недоступна в России

Как это устроено в Google

Интересная книга - Software Engineering at Google. Как устроена программная разработка в Google: Lessons Learned from Programming Over Time

P.S. И бурное обсуждение на YC

INJOIT vol. 10, no. 5

Вышел пятый номер журнала INJOIT в 2022 году. И десятый год издания журнала.

Темы статей:

• Полурешётки подмножеств потенциальных корней в задачах теории формальных языков. Часть II. Построение инверсного морфизма
• A Survey of Adversarial Attacks and Defenses for image data on Deep Learning
• Applying a probabilistic algorithm to spam filtering
• A Prediction Model for Lung Cancer Levels Based on Machine Learning
• On a formal verification of machine learning systems
• Система поддержки принятия решений при выборе наилучшей альтернативы (на примере оптовой закупки коровьего молока)
• Contrast and Contrast Enhancement (in Logic of Visual Perception of Graphic Information)
• Имитационная модель обработки данных ветроэлектростанции на основе нейронной сети
• Multi-Objective Model Predictive Control
• Практическое применение функционального программирования и регулярных выражений в библиометрическом анализе
• Классификация потоков данных комплексов управления и принципы дифференциации на модули элементов таких систем
• Построение семейства сценариев использования с целью анализа функциональной безопасности систем управления
• Об Основах Методологии Оценки Качества Больших Технических Систем в Процессе Эксплуатации

Архив журнала находится здесь.

/via OIT Lab

StyleGAN

Натренированный генератор фотографий. Довольно изощренный инструмент для генерации фейков.

Про нейроинтерфейсы

Can brain scans reveal behaviour? Пока еще нет

О синтетических данных

Kubric - генерация фотореалистичных сцен от Google Research

MDS

Modern Data Stack - современное состояние того, что раньше просто называлось базами данных

ML notebooks

Серия примеров кода для всевозможных задач и приложений машинного обучения. Например, построение контрфактических примеров

Физическая атака

Хороший пример физической атаки на систему компьютерного зрения

О статистических выводах

Improving Your Statistical Inferences - хорошая книга в открытом доступе

Содержание:

1 Using p-values to test a hypothesis
2 Error control
3 Likelihoods
4 Bayesian statistics
5 Asking Statistical Questions
6 Effect Sizes
7 Confidence Intervals
8 Sample Size Justification
9 Equivalence Testing and Interval Hypotheses
10 Sequential Analysis
11 Meta-analysis
12 Bias detection
13 Preregistration and Transparency
14 Computational Reproducibility

Заполнить пропуски

Языковая модель BERT способна заполнять пробелы в неполных предложениях, основанных на Wikipedia и нескольких других сетях (ConceptNet иSQuAD). Например, заполнить пропуск в предложении “The theory of relativity was developed by ___.” Основная идея была в том, чтобы использовать общую модель, а не специально обученную для данного класса задач. Главный вывод - большие предварительно обученные языковые модели могут собирать и воспроизводить почти столько же информации — по крайней мере, из некоторых наборов данных — сколько и специально разработанные модели ответов на вопросы. Эти знания могут позволить им выполнять различные языковые задачи, включая заполнение пропусков, без специальной подготовки.

И вместе с тем, если таких пропусков несколько, то с "интеллектом" все становится хуже.

Новые медицинские тесты

Цифровой двойник для медицинских клинических испытаний

См. также другие публикации, посвященные digital twins

Нетрадиционные источники данных

Что еще может влиять на цену недвижимости? Это то, где ИИ может помочь в поиске и анализе шаблонов.

Открытая наука, том 10, номер 4

Очередной номер журнала INJOIT появился на сайте Киберленинка.

Это том 10, номер 4 за 2022 год. По данным elibrary.ru, журнал INJOIT занимает второе место в разделе Кибернетика и второе в разделе Автоматика и вычислительная техника

/via Лаборатория ОИТ

Цифра в российской медицине

Инвестиции в цифровое здравоохранение России. Довольно большие цифры, на самом деле. Интересно, а что с результатами?

Расстояние Вассерштейна

Как сравнивать распределения

Практика ранжирования

Практические примеры использования ранжирования P.S. см. также публикацию про модели ранжирования

Итераторы в Python

Как выйти из внешнего цикла в Python:

Отсюда

Реальные рекомендации

Интересная тема - масштабирование реальных рекомендательных систем

Управление трафиком

Управление трафиком в городе - машинное обучение и Интернет Вещей

Модели ранжирования

Обучение ранжированию в информационном поиске (IR) — это задача по автоматизации построения ранжирующей модели на основе обучающих данных, так, чтобы модель смогла может сортировать новые объекты по степени их значимости, предпочтения или важности. Многие проблемы IR по своей природе есть ранговые проблемы.

Учебник по построению моделей ранжирования в открытом доступе и практический пример - алгоримизация рекламных предложений.

Цифровые двойники

Пример программы курсов по Digital Twins в университете Оксфорда

Беспроводные сети как радары

Использование WiFi/4G/5G как сканирующих устройств. Интересная статья с массой примеров приложений.

Графы в Python

Базовая работа с графами в Python

Похожие траектории

Интересная работе по эффективному анализу подобия траекторий

IoT в кризисной ситуации

Аналитика больших данных и Интернет Вещей в кризисных ситуациях - толковый обзор

Про секвестр

"В связи со сложным макроэкономическим положением, обусловленным введением незаконных ограничений в отношении нашей страны со стороны недружественных стран, Правительство Российской Федерации поручило главным распорядителям бюджетных средств (в том числе СПбГУ) подготовить и представить к 15.03.2022 предложения по сокращению бюджетных ассигнований, предусмотренных указанным распорядителям в соответствии с законом о федеральном бюджете на 2022 год, в размере не менее 10 % от общего объема бюджетного обеспечения, за исключением публичных обязательств, к которым относятся оплата труда, стипендиальные выплаты и выплаты детям-сиротам." - отсюда.

"Справочно: по таким главным распорядителям бюджетных средств, как Минобрнауки России, РФФИ и Государственный Эрмитаж итоговые размеры секвестра составили 17047,8 млн руб., 1153,3 млн руб. и 410,1 млн руб. соответственно. При этом некоторые главные распорядители бюджетных средств (в том числе МГУ) не представили предложений, что привело к инициированию Правительством Российской Федерации в их отношении процедуры принудительной оптимизации в 10 %, без предоставления дополнительной поддержки."

и далее: "... в преддверии возможных секвестров второй и третьей очереди."

Ломоносов N+1

Поддержка исследований по Искусственному Интеллекту в МГУ

Сдвиг концепции

Одна из самых больших проблем для устойчивости систем машинного обучения - сдвиг концепции. Что с этим делать - интересная работа, посвященная concept shift

Задохнемся?

Вычислительные проблемы глубинного обучения

Самоизоляция

Похоже, что elibrary.ru больше не индексируется в Google Scholar. С 2022 года Google Scholar не видит выпуски журнала INJOIT в elibrary. Или это уже все не актуально?

NeurIPS

Обзор статей, принятых на конференцию NeurIPS - 2020 и NeurIPS - 2021

О моделировании пассажиропотока

Интересная статья о моделировании трафика. И примеры того, как молеровать трафик в Python

Пара мостов

Цифровые двойники мостов. Интересная работа, показывающая для чего нужны цифровые двойники.

Точность и полнота

О метриках для систем машинного обучения

Архитектуры обработки данных

Хорошая статья с разбором современных архитектур для обработки данных

Ансамбли

Ensembles in Machine Learning - хорошо написанное изложение

Современная математика глубинного обучения

Математика для Deep Learning

Санкции на практике

При скачивании документации по БД (компания - американская) нужно просто заполнить поле со страной (регистрации нет, просто информация). Стандартный выпадающий список со странами. Страны Россия в списке нет.

Графом по мошенникам

Графовые модели для поиска мошеннических операций. Практический материал от Neo4j.

Вот еще есть руководство по поиску аномалий и мошенничества с помощью графовых моделей

ML Python

Модерируемая коллекция открытых проектов на Python, связанных с машинным обучением

См. также другие публикации, посвященные Python

Как хранить данные

Каталоги данных нуждаются в базовых средствах анализа. Отсюда

Хоронят 5G

Блумберг выпустил практически некролог для 5G. Пора думать о 6G :)

Открытая наука, том 10, номер 3

Очередной номер журнала INJOIT появился на сайте Киберленинка.

Это том 10, номер 3 за 2022 год. По данным elibrary.ru, журнал INJOIT занимает второе место в разделе Кибернетика и второе в разделе Автоматика и вычислительная техника

/via Лаборатория ОИТ

Stanford AI Report

Top results across technical benchmarks have increasingly relied on the use of extra training data to set new state-of-the-art results. А это значит, что количество атак на системы AI увеличится - закладки и т.п.

Deep Learning и медицина

Глубокое обучение на данных электронных медицинских карт обречено на провал. Интересные рассуждения.

Еще про мониторинг сайтов

Uptime control - 3-х минутные интервалы мониторинга на бесплатных планах

P.S. вынес из комментариев к этой публикации

Наказывать не будут

За публикации в Scopus наказывать не будут. Пока. Отсюда

P.S. Испытание авиационного шлема. 1912 год. 110 лет прошло ...

О фичах

Серия статей о feature engineering. Хороший материал.

См. также другие инструменты для выбора признаков

ИИ в России

Кто разрабатывает системы искусственного интеллекта в России

Тайное место

Сохранение приватности в информации о местоположении транспортных средств в современных интеллектуальных транспортных системах - хороший обзор

CS 329S: Machine Learning Systems Design

Стенфордский курс по дизайну систем машинного обучения

ICLR статьи

Одна из основных конференций по машинному обучению и искусственному интеллекту - ICLR.

Статьи 2020

Статьи 2021

Распознавание жестов

Детальная работа, описывающая распознавание жестов

Технические долги

Мониторинг ML-приложений. О чем не принято говорить

Что всему причина?

Книга в открытом доступе The Effect: An Introduction to Research Design and Causality. Анализ причинно-следственных связей.

Модели взаимодействия

Моделирование последовательностей действий пользователя в динамической среде. Как предсказать следущие действия пользователя?

ML постер

C'est la vie

Hello Google Play Developer,

Due to payment system disruption, we will be pausing Google Play’s billing system for users in Russia in the coming days. This means users will not be able to purchase apps and games, make subscription payments or conduct any in-app purchases of digital goods using Google Play in Russia.

Users will still be able to access Google Play and download free apps and games.

Об устойчивых моделях

Новые интересные работы по устойчивым моделям машинного обучения:

1. Устойчивость для GNN. Что делать, если у нас есть какое-то смещение в метках узлов?

Статья: https://arxiv.org/abs/2108.01099

Код: https://github.com/GentleZhu/Shift-Robust-GNNs и публикация в блоге

 

2. Ложные корреляции и как они влияют на робастность

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Люди, графы и сети

Книга в свободном доступе Handbook of Graphs and Networks in People Analytics

Ввод-вывод денег

Как перемещать деньги из/в России/Россию. Печальная реальность

Последовательные методы Монте-Карло

Книга в свободном доступе: Elements of Sequential Monte Carlo

INJOIT vol. 10, no. 3

Вышел третий номер журнала INJOIT в 2022 году. И десятый год издания журнала.

Темы статей:

• О свойстве конфиденциальности AEAD-режима MGM
• Безопасность в протоколах и технологиях IoT: обзор
• Атаки на системы машинного обучения – общие проблемы и методы
• Принципы и подходы к обеспечению функциональной безопасности компонентов вычислительно-коммуникационных систем
• О LL(1)-грамматиках, алгоритмах на них и методах их анализа в программировании
• Выбор стандартов в соответствии с этапами жизненного цикла информационных систем
• Reliable Object Construction in Object-oriented Programming
• Влияние нелинейного коэффициента фильтрации функции напора в водоносном горизонте
• Применение цифровых двойников и киберфизических систем на объектах генерации тепловой и электрической энергии

Архив журнала находится здесь.

/via OIT Lab

Основания для анализа данных

Книга от Microsoft Research в свободном доступе: Foundations of Data Science

Где будут атаковать?

Системы машинного обучения аккумулируют все больше данных. Поэтому грядущие атаки разворачиваются в сторону бэкдоров и извлечения данных. Источник бэкдоров, очевидно, это какие-то заимствования при разработке (датасеты неясного происхождения, чужие модели и библиотеки и т.п.). А вот атаки извлечением могут построены путем специализированного опроса системы ML. И здесь возникает конфликт. С одной строны, нужен доступ для пользователей к работающей модели, а с другой стороны, этот доступ может помочь построить теневую модель, на которой и будут отработаны атаки.

Инциденты с AI

Что и как ломали в системах ИИ в 2021

Практика GNN

Реализация графовой нейронной сети на Python

См. также другие публикации, посвященные графовым нейронным сетям

Что заблокировано

Что уже не работает в России

Как уехать?

Интересная подборка по доступным формам виз (стартап-виз)

Probabilistic Machine Learning

Книги в открытом доступе - ProbML

За пояснить

Практика использования SHAP для объяснения моделей ML

См. также другие публикации, посвященные SHAP

Убедительность или правдоподобие?

Интересные суждения о сложности моделей. Так ли хорошо, когда много параметров?

AI патенты

Перспектиные направления в AI - что это сейчас и как искать с точки зрения патентных заявок

Куда и откуда ездят?

Интересная техническая статья - исследование городской мобильности от Lyft

Машинное обучение на графах

Коллекция учебников по Graph ML из Стенфорда

Поиск аномалий

Толковое введение в поиск аномалий (для различных данных)

См. также другие материалы по поиску аномалий

Как атаковать систему ML

Еще один хорошо структурированный материал по атакам на системы ML. Автор представляет компанию Adversa

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Дата-центрический ИИ

Работа с данными (например, с разметкой) улучшает ML системы больше, чем работа с моделями - Data-centric AI

Анализаторы кода

Source Code Security Analyzers. Впечатляющий список. Там же на странице ссылки на Byte Code Scanners и Binary Code Scanners

Безопасные вычисления

Confidential computing - что это такое

Дипфейки

Современное состояние механизмов определения Deepfake

Состязательные атаки

Пример физической атаки - ослепление дронов

Европейский отчет по фальсификации Digital ID

Открытые ресурсы, собранные под эгидой DARPA по борьбе с состязательными атаками. И, собственно, сам проект GARD. В частности, есть учебный курс по состязательным атакам и устойчивости от Google.

Обзор безопасности систем ИИ

Состязательные атаки - введение

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению