Saturday, December 31, 2022

По отдельности и в общем

Ну и традиционное для 31 декабря - маму с мылом с новой рамой.

Вас!
И нас!
И всех отчасти!
По отдельности и в общем!
С Новым Годом! В смысле - счастьем!
С новым счастьем! То есть, вот с чем:
С новой крышей! С новым домом!
С новым блином! С новым комом!
С новой правдой! С новым сном!
С новой стопкой кверху дном!
С новым делом! С новым словом!

Читать полностью

Wednesday, December 28, 2022

Безопасность критической инфраструктуры

Нормативные акты и регламенты безопасности КИИ

Транспортные цифровые двойники

1. Очень практическая работа по цифровому двойнику для транспорта - двойник обрабатывает потоки (счетчики автомобилей) в реальном времени. Поминутная модель авто-трафика Женевы в цифровом двойнике

2. Моделирование трафика в городе с учетом всей доступной информации

3. Цифровой двойник для поддержки автоматического вождения и дорожных сервисов - двойник транспортной инфраструктуры

См. также другие публикации, посвященные digital twins

Thursday, December 15, 2022

Tuesday, December 13, 2022

Спрятаться от тепловизора

Атаки патчами на системы распознавания позволяют стать "невидимыми" для камер. А вот плащ, который делает "невидимым" для тепловизора

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Tuesday, December 06, 2022

Сдвиг данных в глубинном обучении

Толковая статья по рекомендации Google: Piano, Luca, et al. "Detecting Drift in Deep Learning: A Methodology Primer." IT Professional 24.5 (2022): 53-60.

См. также другие публикации, темой которых является мониторинг моделей машинного обучения

Monday, December 05, 2022

Плотность или неопределенность

Два подхода к поиску OOD примеров в моделях машинного обучения.

См. также другие публикации, темой которых является мониторинг моделей машинного обучения

Saturday, December 03, 2022

Покушение на святое

Атаки на рекомендательные системы для сессий. Интересен подход - сначала пробуют восстановить модель, а затем уже для полученной теневой модели подбирают атаку.

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Friday, December 02, 2022

Машинное обучение и кибербезопасность

Презентация 24.11.2022 на конгрессе в МГУ - Искусственный интелелкт и кибербезопасность:

Повышение кибербезопасности с помощью ИИ (использование ИИ в кибербезопасности)
Кибератаки с использованием ИИ (использование ИИ для усиления кибератак)
Кибербезопасность систем ИИ (атаки на системы ИИ)
Использование ИИ в злонамеренных информационных операциях (фейки с использованием ИИ)

Monday, November 28, 2022

Сдвиг данных и мониторинг

Хорошая статья по OOD мониторингу. По материалам Стенфордского курса CS239S

См. также другие публикации, темой которых является мониторинг моделей машинного обучения

Sunday, November 20, 2022

Гибридный ИИ

Интересная идея о новых подходах к системам Искусственного интеллекта для критических приложений - комбинация работы с данными и со знаниями

ИИ на доверии

Confiance.ai - французский проект по построению доверенного AI для критических приложений. Вот здесь есть информация о проекте

Wednesday, November 16, 2022

История нейронных сетей

Классный материал - иллюстрированная история нейронных сетей. В качестве иллюстраций использованы диаграммы из научный статей соответствующего времени.

Saturday, November 12, 2022

И это двойник

Еще одно приложение цифровых двойников - поговорить с ушедшими

См. также другие публикации, посвященные digital twins

Thursday, November 03, 2022

Tuesday, November 01, 2022

Красивые патчи

Развитие идей атаки патчами на системы распознавания объектов. Цель - создание одежды, которая делает человека "невидимым".

IoT 2022

Материалы конференции IoT Tech Autumn 2022. У организаторов получилось собрать интересные доклады.

Wednesday, October 19, 2022

OOD мониторинг

Интересная работа по мониторингу out of ditribution значений в реальном времени. Определение "неподходящих" данных само по себе занимает время (в работе рассматриваются последовательные кадры видео). и для такого определения также актуальны требования робастности.

Товарные рекомендации

Практический пример item recommendations

См. также другие публикации по теме рекомендации

Tuesday, October 18, 2022

Порождающие модели

Материалы Стенфордского курса CS236 - Deep Generative Models: Syllabus и Notes

P.S. и статья в журнале INJOIT о порождающих моделях

Как долго я тебя искала

Естественная модель применения графов - рекомендация схожих товаров для покупки. Удивительно, что поиск такого естественного применения занял так много времени.

Оценка плотности данных

Плотность данных как метрика для оценки out-of-distribution данных

См. также другие публикации, темой которых является мониторинг моделей машинного обучения

Monday, October 17, 2022

Low code анализ данных

Идея изжить программистов пока еще не умерла. Скорее, здесь даже заметное оживление. Это касается и анализа данных - визуальные инструменты, которые позволяют собирать конвейеры обработки

P.S. см. также следующие публикации по теме без программирования

Кибербезопасность IoT

IoT SAFE - безопасность для Интернета Вещей

Sunday, October 16, 2022

Saturday, October 15, 2022

ИИ & кибербезопасность

Институт цифровой трансформации c3dt.ai - профинансированные исследовательские проекты. Горячие темы в связке Искусственный интеллект и кибербезопасность.

Цифровые двойники и ML

Машинное обучение в цифровых двойниках. Хотя обратное - цифровые двойники в машинном обучении было бы, пожалуй, интереснее. В контексте, например, мониторинга.

Friday, October 14, 2022

Мониторинг для систем машинного обучения

Некоторые статьи по мониторингу ML систем:

Сдвиг меток - оценка по модели черного ящика

Rahman, Quazi Marufur, Peter Corke, and Feras Dayoub. "Run-time monitoring of machine learning for robotic perception: A survey of emerging trends." IEEE Access 9 (2021): 20067-20075. одна из немногих работ по мониторингу в реальном времени

Manifold for Machine Learning Assurance - понижение размерности данных с помощью VAE и использование такой свертки для OOD (out of distribution) мониторинга

A Simple Unified Framework for Detecting Out-of-Distribution Samples and Adversarial Attacks - предлагаем простой, но эффективный метод, который применим к любому softmax-классификатору для обнаружения аномальных тестовых выборок, включая ООД и состязательные атаки. Высокоуровневая идея состоит в том, чтобы измерить плотность вероятности тестового (проверяемого) образца в пространстве признаков DNN с использованием концепции «генеративного» (основанного на расстоянии) классификатора.

Practical Solutions for Machine Learning Safety in Autonomous Vehicles - отдельный уровень сети для разделения in- и out- of distribution

ENHANCING THE RELIABILITY OF OUT-OF-DISTRIBUTION IMAGE DETECTION IN NEURAL NETWORKS - состязательные изменения по-разному воздействуют на in и out of distribution данные. Анализируя softmax уровень после модификации данных можно оценить, каков был этот образец.

См. также другие публикации по теме мониторинг

ML платформы

Отчет по ML платформам (Q3 2022), и один из лидеров рейтинга: с3.ai

Wednesday, October 12, 2022

Все, что можно - то обязательно

Аудит систем Искусственного интеллекта (практически - систем машинного обучения) - становится обязательным. Правила игры - меняются.

Одно сплошное телевидение

Ода генеративным моделям в машинном обучении. Ничего не будет - только генерация

Tuesday, October 11, 2022

AI аудитор

Game changing технологии на первой позиции показывают AI аудит - платформы, которые проверяют модели ИИ для защиты от таких рисков, как кибератаки и скрытые предубеждения

Проверь себя в статистике

Тест из 15 вопросов по статистике Fifteen Questions to Test Your Statistics Knowledge

P.S. См. также другие публикации по теме статистика

Saturday, October 08, 2022

Скажи почему?

DoWhy - Python библиотека с открытым кодом для каузального анализа. И пример использования - causal Python.

P.S. см. также другие публикации, посвященные каузальности

Wednesday, October 05, 2022

Кибербезопасность Искусственного Интеллекта - публикации

В рамках развития учебной программы по кибербезопасности систем искусственного интеллекта к настоящему времени вышли следующие публикации наших сотрудников, аспирантов и студентов:

Namiot D., Ilyushin E., Chizhov I. Ongoing academic and industrial projects dedicated to robust machine learning //International Journal of Open Information Technologies. – 2021. – Т. 9. – №. 10. – С. 35-46.

Namiot D., Ilyushin E., Chizhov I. The rationale for working on robust machine learning //International Journal of Open Information Technologies. – 2021. – Т. 9. – №. 11. – С. 68-74.

Namiot D., Ilyushin E., Chizhov I. Military applications of machine learning //International Journal of Open Information Technologies. – 2021. – Т. 10. – №. 1. – С. 69-76.

Ilyushin E., Namiot D., Chizhov I. Attacks on machine learning systems-common problems and methods //International Journal of Open Information Technologies. – 2022. – Т. 10. – №. 3. – С. 17-22.

Namiot D., Ilyushin E., Chizhov I. On a formal verification of machine learning systems //International Journal of Open Information Technologies. – 2022. – Т. 10. – №. 5. – С. 30-34.

Li H., Namiot D. A Survey of Adversarial Attacks and Defenses for image data on Deep Learning //International Journal of Open Information Technologies. – 2022. – Т. 10. – №. 5. – С. 9-16.

Yakupov D., Namiot D. Session-Based Recommender Systems-Models and Tasks //International Journal of Open Information Technologies. – 2022. – Т. 10. – №. 7. – С. 128-155.

Namiot D., Ilyushin E. Generative Models in Machine Learning //International Journal of Open Information Technologies. – 2022. – Т. 10. – №. 7. – С. 101-118.

Namiot D., Ilyushin E., Pilipenko O. On Trusted AI Platforms //International Journal of Open Information Technologies. – 2022. – Т. 10. – №. 7. – С. 119-127.

Bidzhiev T., Namiot D. Research of existing approaches to embedding malicious software in artificial neural networks //International Journal of Open Information Technologies. – 2022. – Т. 10. – №. 9. – С. 21-31.

Namiot D., Ilyushin E., Chizhov I. Artificial intelligence and cybersecurity //International Journal of Open Information Technologies. – 2022. – Т. 10. – №. 9. – С. 135-147.

Namiot D., Ilyushin E. On the robustness and security of Artificial Intelligence systems //International Journal of Open Information Technologies. – 2022. – Т. 10. – №. 9. – С. 126-134.

Stroeva E., Tonkikh A. Methods for Formal Verification of Artificial Neural Networks: A Review of Existing Approaches //International Journal of Open Information Technologies. – 2022. – Т. 10. – №. 10. – С. 21-29.

Kostyumov V. A survey and systematization of evasion attacks in computer vision //International Journal of Open Information Technologies. – 2022. – Т. 10. – №. 10. – С. 11-20.

Международный конгресс «Современные проблемы компьютерных и информационных наук»

24–26 ноября 2022 года лаборатория Открытых Информационных Технологий проводит ежегодный Международный конгресс «Современные проблемы компьютерных и информационных наук» (Конгресс), который состоится на факультете вычислительной математики и кибернетики Московского государственного университета имени М.В. Ломоносова, г. Москва (Россия).

Конгресс состоит из следующих мероприятий:

VII Международной научной конференции «Конвергентные когнитивно-информационные технологии»;
XVII Международной научно-практической конференции «Современные информационные технологии и ИТ-образование»;
XII Международной конференции-конкурса «Инновационные информационно-педагогические технологии в системе ИТ-образования» – ИП-2021.

Рабочими языками Конгресса являются английский или русский.

Труды Конгресса будут опубликованы в виде статей в Международном научном журнале «Современные информационные технологии и ИТ-образование» (ISSN 2411-1473), который включён в Перечень ВАК Минобрнауки РФ, и индексируется в РИНЦ, DOAJ, Ulrichsweb Global Serials Directory, European Reference Index for the Humanities and the Social Sciences (ERIH PLUS), Index Copernicus International. Приглашам коллег принять участие в конференциях Конгресса.

Зарегистрироваться можно на сайте Конгресса

Мониторинг моделей машинного обучения

Что входит в мониторинг систем машинного обучения. OOD (out of ditribution) мониторинг как первая задача

См. также другие публикации по теме мониторинг

Thursday, September 29, 2022

INJOIT vol. 10, no. 10

Вышел деcятый номер журнала INJOIT в 2022 году. И десятый год издания журнала.

Темы статей:

  • Лепестковые конечные автоматы: основные определения, примеры и их связь с полными автоматами. Часть II
  • Обзор и систематизация атак уклонением на модели компьютерного зрения
  • Методы формальной верификации искусственных нейронных сетей: обзор существующих подходов
  • Разработка и исследование программного модуля для контроля и управления доступом транспортных средств на основе распознавания автомобильных номеров
  • Разработка программного обеспечения для управления системой безопасности зданий
  • Новый метод прогнозирования технологических трендов на основе анализа научных статей и патентов
  • Программная реализация алгоритмов сегментации и поиска зон деформации микроструктуры сплавов по их металлографическим изображениям
  • Интеллектуальный анализ процессов по данным журналов событий информационных систем
  • Моделирование процесса построения и слияния карт местности группой автономных роботов-агентов
  • Использование машинного обучения для определения контировок, исходя из экономического смысла закупочной документации
  • Информационная система управления инвестиционной деятельностью энергосетевой компании
  • Классификация компонентов компьютерной инфраструктуры распределенной организации на основе интеллектуального анализа и структурирования их характеристик
  • Подход к идентификации новых типов рисков с применением искусственного интеллекта и анализа больших данных
  • Возможность использования методологического ресурса экспертных информационных систем для решения задачи выбора оптимальных способов полива и их сочетаний
  • Открытый BIM и автоматизированный учет объемов строительства: от машиночитаемых стандартов до реализации

Архив журнала находится здесь.

/via Лаборатория ОИТ

Wednesday, September 28, 2022

Google AutoML

Практический пример - как работает Google AutoML

P.S. см. также другие публикации, посвященные AutoML

Monday, September 26, 2022

Interactive and Compositional Deepfakes

Новый уровень. Вот есть twitter-thread с объяснениями

P.S. верить никому нельзя ...

См. также другие публикации по теме deepfake

Tuesday, September 20, 2022

Атаки на святое

Состязательные атаки на системы машинного обучения существуют в конкретных областях применения. Машинное обучение становится слабым звеном во многих реализациях. Ниже- несколько ссылок по состязательным атакам на системы определения мошенничества (fraud) в финансовых транзакциях:

Carminati, Michele, et al. "Evasion attacks against banking fraud detection systems." 23rd International Symposium on Research in Attacks, Intrusions and Defenses (RAID 2020). 2020.

Kumar, Nishant, et al. "Evolutionary Adversarial Attacks on Payment Systems." 2021 20th IEEE International Conference on Machine Learning and Applications (ICMLA). IEEE, 2021.

Chen, Lingwei, Yujie Fan, and Yanfang Ye. "Adversarial Reprogramming of Pretrained Neural Networks for Fraud Detection." Proceedings of the 30th ACM International Conference on Information & Knowledge Management. 2021.

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Подрывают изнутри

Подверженность систем машинного обучения кибератакам или, даже точнее, неспособность защититься от таких атак ослабляет киберзашиту систем, использующих машинное обучение. Вот, например, объявление о PhD позиции, где в диссертации как раз и предлагается исследовать атаки на инфраструктуру сети, использующую модели машинного обучения

Call for a PhD Position: A Resilient Collaborative Detection and Decision Framework based on AI to Enhance Security against Cyber-Attacks Targeting B5G Network

Short description:

The main purpose of this PhD thesis is to propose and develop innovative collaborative detection (prediction) and decision-making techniques based on machine learning algorithms to protect the critical components of 5G’s RAN from smart and complex attacks such as AI-related attackers and unknown threats. Among the main components of 5G’s RAN that are attractive targets of attackers, we cite Control Unit (CU), Decision Unit (DU), Radio Unit (RU).

The idea is that the AI detection and decision systems that will be proposed by the PhD will be activated at each critical virtual function and collaborate between each other to detect the unknown attacks’ misbehavior (i.e., zero-day attacks), while taking into account the network metrics such as latency, communication overhead and packets lost. The expected results of the PhD can be summarized as follows:

- Propose new AI-related attacks models of the B5G’s RAN.

- Propose resilient collaborative hybrid detection systems able to detect the known and unknown attacks’ misbehaviors and to be resilient against the AI-related attackers targeting the critical components of 5G’s RAN (where the detection system is activated).

- Propose a mathematical model of collaborative cyber decision-making systems. This model investigates the behaviors of suspected attackers by monitoring the interaction between the hybrid detection system and these attackers with the goal to refine the detection provided by the hybrid system, i.e., reduces further the false positive rate.

- Conceive a Proof of Concept (PoC) for the resilient collaborative detection (prediction) and cyber decision-making systems that take into account the security and B5G network metrics, such as detection and false positive rates, reaction time, latency, computation overhead and packets lost. The PoC will be embedded within Virtual Network Functions (VNFs) deployed within testbed network (such as Open-Air Interface).

- Interact with 3GPP Ericsson experts (SA5 and SA3) for a possibility to standardize a part or all the software building blocks of the resilient collaborative detection and cyber decision-making systems.

The main innovative aspect of this PhD thesis is to study the optimal combination between the signature-based detection and machine learning based detection techniques with a goal to leverage the advantages of each detection technique against unknown threats and to be resilient from AI-related attacks. In addition, the PhD thesis will focus on proposing a new reaction mechanism based on a decision –making model (e.g., by using game theory) to address the decision-making issue and hence reduce further the false positive rate.


Some references:
[1] M. Geller, P. Nair, “B5G Security Innovation with Cisco”, Cisco White Paper, 2018.
[2] A.S. Mamolar, Z. Pervez, Q. Wang, J.M.A. Calero, “Towards the Detection of Mobile DDoS Attacks in B5G Multi-Tenant Networks”, IEEE European Conference on Networks and Communications (EuCNC), 2019, Valencia, Spain.
[3] L. F. Maimó, Á. L. P. Gómez, F. J. G. Clemente, M. G. Pérez, and G. M. Pérez, "A Self-Adaptive Deep Learning-Based System for Anomaly Detection in B5G Networks," IEEE Access, Special Issue on Cyber-Physical-Social Computing and Networking, vol. 6, pp. 7700-7712, February 2018.
[4] V. Richariya, U. P. Singh, and R. Mishra, “Distributed approach of intrusion detection system: Survey,'' Int. J. Adv. Comput. Res., vol. 2, no. 6, pp. 358-363, 2012.
[5] S. A. R. Shah and B. Issac, ``Performance comparison of intrusion detection systems and application of machine learning to Snort system,'' Future Generat. Comput. Syst., vol. 80, pp. 157-170, Mar. 2018.
[6] Z. Md. Fadlullah, T. Taleb, A. V. Vasilakos, M. Guizani, and N. Kato,“DTRAB: combating against attacks on encrypted protocols throughtraffic-feature analysis,” IEEE/ACM Trans. Netw., vol. 18, no. 4,pp. 1234–1247, Aug. 2010.
[7]V. Bardia, C. Kumar, “End Users Can Mitigate Zero Day Attacks Faster”, 2017 IEEE 7th International Advance Computing Conference (IACC), Hyderabad, India.
[8] C. Musca, E. Mirica, R. Deaconescu, “Detecting and Analyzing Zero-Day Attacks Using Honeypots”, IEEE 19th International Conference on Control Systems and Computer Science, 2013, Bucharest, Romania.
[9] A. Gupta, R. Kumar Jha, P. Gandotra, S. Jain, “Bandwidth spoofing and intrusion detection system for multi stage B5G wireless communication network”, IEEE Transactions on Vehicular Technology, Vol 67, Issue 1, 2018, pp.618-632.
[10] A.S. Mamolar, Z. Pervez, J.M.A. Calero, A.M. Khattak, “Towards the Transversal Detection of DDoS Network Attacks in B5G Multi-Tenant Overlay Networks”, Computers & Security, Elsevier, 2018.
[11] J. Ni, X. Li, X-S. Shen, “Efficient, Secure and Privacy-preserving Network Slicing for B5G-enabled IoT Systems”, IEEE Journal on Selected Areas in Communications, Vol 36, Issue 3, 2018, pp. 644-657.

К ссылкам можно добавить атаки на инфраструктуру 5G, например:
Apruzzese G. et al. Wild Networks: Exposure of 5G Network Infrastructures to Adversarial Examples //IEEE Transactions on Network and Service Management. – 2022.
Kim B. et al. Adversarial attacks on deep learning based mmWave beam prediction in 5G and beyond //2021 IEEE Statistical Signal Processing Workshop (SSP). – IEEE, 2021. – С. 590-594.

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Робастные модели в машинном обучении

Учебная программа по кибербезопасности искусственного интеллекта обрела свой сайт

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Thursday, September 15, 2022

Синтетика

Real Fake Data - компания по аугментации данных для систем машиного обучения

Мониторинг моделей ML

Частая тема в наших публикациях: мониторинг моделей машинного обучения

A. Measure drift of Independent Features:

  1. Monitor Distribution of each feature:
  2. Monitor the Statistical Features:
  3. Monitor the distribution of multivariate features:

B. Measure drift of Dependent Features:
  1. Distribution of Target Class:
  2. Monitor Inference Model Performance:

См. также другие публикации по теме мониторинг

Monday, September 12, 2022

Путанные объяснения

Интересный метод защиты от состязательных атак. На чистых данных создают карты значимости при классификации. И эти карты будут другими, если изображение подвергалось модификациям. Метод работает без учителя (без предварительной разметки состязательных изображений). Идея в том, чтобы имея для чистых изображений пары: изображение + карта значимости натренировать сеть-автоэнкодер, которая по изображению будет выдавать его карту значимости. Тогда карта значимости, полученная для состязательного изображения такой сетью и реальная карта значимости классификатора будут различаться. Отсюда

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Friday, September 09, 2022

Thursday, September 08, 2022

Влет

Обмен данными между мобильными устройствами без организации соединений

В статье рассматривается один подход к организации обмена данными между близко расположенными мобильными устройствами, который не требует организации прямого соединения между устройствами и не использует сторонних (облачных) хранилищ. Статья написана по результатам выпускной квалификационной работы, выполненной на факультете ВМК МГУ имени М.В. Ломоносова. В работе предложено мобильное приложение для платформы Android, основанное на модели сетевой пространственной близости, которое позволяет обмениваться контактной информацией с другими мобильными устройствами, расположенными поблизости. В рамках этой модели, для определения пространственной близости используется ограниченная область распространения сигналов беспроводных сетей. В силу полного исключения работы с гео-координатами, такие сети не обязательно могут быть стационарными узлами с известным местоположением. Основной моделью использования является программное создание таких беспроводных сетей, специально для предоставления сервисов, использующих информацию о местоположении. При этом рекламная (представительская) информация таких узлов может быть использована для передачи пользовательских данных.

Все описанные реализации доступны как Open Source приложения

Это еще одно применения модели сетевой пространственной близости

Sunday, September 04, 2022

Цифровой двойник городского транспорта

Практическая статья - Digital Twins for Urban Mobility

См. также другие публикации, посвященные digital twins

Проблемы машинного обучения

Довольно подробный обзор открытых проблем и технических долгов моделей машинного обучения. В реальности, что делать с OOD (out-of-distribution) пока неизвестно.

/via generalized.ru

Friday, September 02, 2022

Распознавание объектов

Визуальные трансформеры для распознавания объектов. И самое интересное из этой статьи - это реальные показатели качества распознавания: "A ViTDet based on ViT-Huge performed 61 (a measure of how many objects were correctly identified in their correct location, higher is better) and instance segmentation with 53.1 average precision. SwinV2-L, based on a transformer with a hierarchical architecture, performed bounding-box detection with 60.2 average precision and instance segmentation with 52.1 average precision."

То есть раньше идентифицировали 60.2% объектов, улучшенный метод - позволил идентифицировать 61.3

Большой скачок, однако ...

Wednesday, August 31, 2022

INJOIT vol. 10, no. 9

Вышел девятый номер журнала INJOIT в 2022 году. И десятый год издания журнала.

Темы статей:

  • Лепестковые конечные автоматы: основные определения, примеры и их связь с полными автоматами. Часть I
  • Упрощённые регулярные языки и специальное отношение эквивалентности на классе регулярных языков. Часть I
  • Исследование существующих подходов к встраиванию вредоносного программного обеспечения в искусственные нейронные сети
  • Модель обеспечения и методика оценки устойчивости больших технических систем в процессе эксплуатации
  • Подходы к построению и использованию онтологии предметной области интеллектуальной системы управления рисками
  • Определения эффективности процесса геймификации в образовании методом экспертных оценок
  • The Impact of Implementing the Gamification Method in Learning Indonesian Sign Language with Bisindo Vocabulary
  • Алгоритм «Переправа»(Алгоритм для программирования задач многоагентного моделирования с использованиям методов дискретно-событийного моделирования)
  • Об использовании компьютеров для оценки сложности учебных понятий
  • Применение регулярных выражений для обработки текстовых данных
  • Обзор и сравнение протоколов Интернета Вещей: MQTT и AMQP
  • Обмен данными между мобильными устройствами без организации соединений
  • Netheads vs Bellheads – an Unceasing Scramble
  • Об устойчивости и безопасности систем искусственного интеллекта
  • Искусственный интеллект и кибербезопасность

Архив журнала находится здесь.

/via Лаборатория ОИТ

Атаки на графовые модели

Как атакуют GNN

Из презентаций хакерской конференции BlackHat 2022

P.S. см. также другие публикации, посвященные GNN, а также также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Monday, August 29, 2022

Saturday, August 27, 2022

Thursday, August 25, 2022

Искусственный интеллект и кибербезопасность

Обзорная статья - что, где, когда, как и для чего в искусственном интеллекте и кибербезопасности. Сочетание искусственный интеллект и кибербезопасность, на самом деле, включает совершенно разные задачи и направления. Например, наступательный искусственный интеллект и кибербезопасность искусственного интеллекта - это разные вещи. Общим является использование машинного обучения, которое и является, по крайней мере на сегодня, синонимом понятия искусственный интеллект.

AutoRL

Не AutoML-ем единым живет машинное обучение. Обзорная статья - анализ подходов к автоматизации обучения с подкреплением. До настоящих результатов пока еще далеко.

Wednesday, August 24, 2022

Похоже ездит

Интересная работа по поиску схожих траекторий. Поездки могут быть одинаковы, но просто сдвинуты по времени

см. также другие работы, посвященные анализу траекторий

Monday, August 22, 2022

Neo4J Aura и ее использование

Neo4J предлагает бесплатные варианты использования своей сетевой базы данных. И вот пара интересных практических моментов использования:

1. Использование бесплатного варианта Neo4J вместе с Google Forms. Простой способ создать базу данных с опросами

2. Сбор данных с веб-страниц для бедных умных: GitHub Actios + Neo4J Aura

Friday, August 19, 2022

Захват модели машинного обучения

Отравление данных для обучения, так, что модель начинает выполнять другие (не те, для которых она проектировалась) задачи - Model Hijacking Attack Against Machine Learning Models

Thursday, August 18, 2022

Атака на систему распознавания видео

Атака с помощью патчей (изображений, размещаемых поверх оригинала). В данном случае размещают комментарии на видео-кадрах

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Monday, August 08, 2022

И о потерях - 2

Обзор функций потерь в машинном обучении

Предыдущие публикации см. здесь

Мультиколинеарность

Мультиколлинеарность можно определить как наличие высоких корреляций между двумя или более независимыми переменными (предикторами). По сути, это явление, при котором независимые переменные коррелируют друг с другом. Как с этим жить?

Wednesday, July 27, 2022

Нахимичили

Это новый журнал, который Академия Наук добавила в базу данных RSCI по тематике "Автоматика.Вычислительная техника". Он занимает 3077 место в общем рейтинге журналов и 86 по направлению "Автоматика.Вычислительная техника". Влиятельный журнал опубликовал 170 статей, не все из которых были пока прочитаны процитированы. Так победим :)

все, что вы хотели знать про русские научные журналы и их оценщиков ...

OOD

Подробный обзор по out-of-distribution мониторингу для систем машинного обучения

См. также другие публикации, посвященные distribution shift

Wednesday, July 20, 2022

Sunday, July 17, 2022

Надежный ИИ

Responsible AI - инструменты от Microsoft. Сюда входят, например, Interpret ML - пакет для объяснения моделей машинного обучения, Counterfit - инструментарий для тестирования безопасности систем машинного обучения

Friday, July 15, 2022

Tora ! Tora! Tora !

Новые материалы по состязательным атакам:

Практические атаки на системы машинного обучения. В этом документе собраны заметки и исследовательские проекты, проведенные NCC Group по теме безопасности систем машинного обучения. Цель состоит в том, чтобы предоставить академическому сообществу некоторые отраслевые перспективы, а также собрать полезные ссылки для специалистов по безопасности, чтобы обеспечить более эффективный аудит безопасности и проверку кода систем машинного обучения, ориентированную на безопасность. Подробно описаны конкретные практические атаки и распространенные проблемы безопасности.

Состязательные атаки на сети 5G. В сетях 5G машинное обучение используется для управления трафиком. И подверженность систем машинного обучения атакам привела к возможности атак на сети. ML - слабое звено.

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Графовые нейронные сети

Все о GNN. Краткое руководство от TheSequence

См. также другие публикации, посвященные GNN

Thursday, July 14, 2022

Как же с этим быть?

Интересная статья с качественным обсуждением понятия устойчивости систем машинного обучения. Устойчивость в итоге вопринимается как обеспечение системой характеристик работы (результатов), показанных на этапе тренировки. А вовсе не как обеспечение (гарантирование) результатов при малых возмущениях исходных данных. Это большая разница, на самом деле

Диаграммы Вороного

Хорошее объяснение диаграмм Вороного

Thursday, July 07, 2022

Thursday, June 30, 2022

CEUR-WS

Популярное место для публикации материалов конференций и семинаров - ceur-ws.org C 22 апреля материалы из России не принимает ...

Фейковые видео-данные

Интересный подход к проверке отсутствия состязательных атак в видео

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Sunday, June 26, 2022

Некогда объяснять

Explainer - простой пакет для объяснения значимости факторов модели машинного обучения

См. другие публикации, посвященные ответу на вопрос почему?

Thursday, June 23, 2022

Monday, June 20, 2022

Открытая наука, том 10, номер 6

Очередной номер журнала INJOIT появился на сайте Киберленинка.

Это том 10, номер 6 за 2022 год. По данным elibrary.ru, журнал INJOIT занимает второе место в разделе Кибернетика и второе в разделе Автоматика и вычислительная техника

/via Лаборатория ОИТ

Pro & Contra

Простой, но важный момент - предположения, которые лежат в основе различных алгоритмов машинного обучения. Фактически - вопрос выбора модели.

Thursday, June 16, 2022

Wednesday, June 08, 2022

О графовых базах данных

Хорошо написанный материал о достоинствах графовых баз данных. В интервью упоминается GQL - это готовящийся стандарт на язык запросов для графовых баз данных.

Где-то мы уже это видели

Другое название удаленки - Цифровая кафедра. В данном случае МИФИ, но скоро, видимо, везде.

Transfer learning

Примет трансферного обучения: модели, обученные на городских данных, передаются между городами. Неявно утверждая, что все города похожи ...

Sunday, June 05, 2022

Тестирование робастности

Устойчивость систем машинного обучения - критический момент для их применения в авионике, автоматическом вождении и других специальных областях. Как протестировать системы на устойчивость. Некоторая подборка ссылок.

Robuscope - online тестирование моделей ML от Fraunhofer Institute for Cognitive Systems IKS. Вот здесь есть список публикаций авторов системы по оценкам устойчивости. А здесь - подход Fraunhofer к аудированию систем ИИ (май, 2022)

Efemarai - платформа для постоянного тестирования и улучшения машинного обучения. Efemarai Continuum позволяет командам машинного обучения разрабатывать надежные модели, постоянно тестируя граничные случаи (границы применимости).

Вот здесь есть описание системы

Arize AI - мониторинг для ML систем

Сравнительный обзор инструментов тестирования робастности от Borealis AI

Фреймворк для верификации систем ИИ - A.I. Verify. Авторство - государственная комиссия по защите данных Сингапура (PDPC Singapore)

Коллекция инструментов и регуляторных актов по тестированию работы ИИ систем с данными

Практический пример тестирования устойчивости системы распознавания дорожных знаков

Анализ сдвига данных, оценка качестве данных и другие инструменты в обзоре подходов к тестированию систем ML

Общие подходы к тестированию ML систем

Большой обзор систем тестирования для машинного обучения

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Wednesday, June 01, 2022

Прощай, я приму его в лоб

Лобовая Black Box атака на детектор объектов в YOLO - насколько это может быть успешно?

Реально используемая модель в критических ML приложениях должна скрываться. Это отличие от "традиционных" алгоритмов. Траектории, например, рассчитываются у всех одинаково. И открытость алгоритмов = это скорее плюс. Можно что-то проверить. А вот знание (догадка) о об используемой архитектуре ML системы может помочь построить состязательную атаку.

Tuesday, May 31, 2022

INJOIT vol. 10, no. 6

Вышел шестой номер журнала INJOIT в 2022 году. И десятый год издания журнала.

Темы статей:

  • Об одной задаче анализа топологии коммуникационных сетей
  • Оценка использования рекомендаций ITU на лесных территориях при распространении сигнала GSM
  • Проблемы при использовании кодовой хэш-функции для схемы подписи CFS, построенной на кодах Гоппы
  • Связь простоты турнира с различными значениями его диаметра
  • Отраженные функции и периодичность
  • Концептуальная UML-модель системы учета занятий в детском центре и ее реализация
  • Системы счисления в древности и современности
  • Java Garbage Collectors
  • Прогнозирование временных рядов при обработке потоковых данных в реальном времени
  • Выявление аномалий при обработке потоковых данных в реальном времени
  • От каналов к пакетам: выполнима ли миссия?
  • Системный подход к математическому моделированию и выбору режима работы подсистемы сложной системы
  • Разработка мобильного приложения, оказывающего помощь людям болеющим дальтонизмом
  • Модель управления оружием, основанная на технологии Интернета вещей Huawei
  • Визуальный анализ данных пассажиропотоков московского метрополитена
  • Исследование подходов к разработке умных объектов

Архив журнала находится здесь.

/via Лаборатория ОИТ

Меньше, да лучше

Техники уменьшения размерности - Principal Component Analysis (PCA), Linear discriminant analysis (LDA), Independent Component Analysis (ICA), Multi-dimensional Scaling (MDS), Isometric mapping (ISOMAP), t-Distributed Stochastic Neighbor Embedding (t-SNE). Когда и что использовать?

Friday, May 27, 2022

Открытая наука том 10, номер 5

Очередной номер журнала INJOIT появился на сайте Киберленинка.

Это том 10, номер 5 за 2022 год. По данным elibrary.ru, журнал INJOIT занимает второе место в разделе Кибернетика и второе в разделе Автоматика и вычислительная техника

/via Лаборатория ОИТ

Глубоко о Deep Learning

The Principles of Deep Learning Theory - An Effective Theory Approach to Understanding Neural Networks. Новая книга в свободном доступе.

Sunday, May 22, 2022

ARCore Geospatial API

Создавайте глобальные, иммерсивные, основанные на местоположении AR-приложения с помощью ARCore Geospatial API

Визуальное позиционирование позволяет привязывать собственные действия (данные) к произвольным объектам

Friday, May 20, 2022

Wednesday, May 18, 2022

Human Level AI

Yann Lecun:

About the raging debate regarding the significance of recent progress in AI, it may be useful to (re)state a few obvious facts:
(0) there is no such thing as AGI. Reaching "Human Level AI" may be a useful goal, but even humans are specialized.
(1) the research community is making *some* progress towards HLAI
(2) scaling up helps. It's necessary but not sufficient, because....
(3) we are still missing some fundamental concepts
(4) some of those new concepts are possibly "around the corner" (e.g. generalized self-supervised learning)
(5) but we don't know how many such new concepts are needed. We just see the most obvious ones.
(6) hence, we can't predict how long it's going to take to reach HLAI.

I really don't think it's just a matter of scaling things up. We still don't have a learning paradigm that allows machines to learn how the world works, like human and many non-human babies do.


Some may believe that scaling up a giant transformer trained on sequences of tokenized inputs is enough.
Others believe "reward is enough".
A few others believe that explicit symbol manipulation is necessary.
A few don't believe gradient-based learning is part of the solution.

I believe we need to find new concepts that would allow machines to:
- learn how the world works by observing, like babies.
- learn to predict how one can influence the world through taking actions.
- learn hierarchical representations that allows long-term predictions in abstract representation spaces.
- properly deal with the fact that the world is not completely predictable.
- enable agents to predict the effects of sequences of actions so as to be able to reason and plan
- enable machines to plan hierarchically, decomposing a complex task into subtasks.
- all of this in ways that are compatible with gradient-based learning.

The solution is not just around the corner. We have a number of obstacles to clear, and we don't know how.

Программа исследований ...

Friday, May 13, 2022

Отравленный ИИ

Bloomberg о проблеме отравления данных в машинном обучении. Для бэкдора в системе на базе ML может быть достаточно специальным образом изменить вего лишь 0.7% данных.

Такова жизнь

Реальная производительность приложений машинного обучения. А если будут еще и состязательные примеры?