Open Source AI

Визуализация Open Source AI - состояние открытых ИИ проектов: AI Gap Map

LLM в картинках

Визуализация работы LLM

См. также другие публикации, посвященные LLM

Визуализация работы LLM

Визуализация информационных потоков внутри модели

xAI в кибербезопасности

Искусственный интеллект (ИИ) всё больше интегрируется во все более обширные сферы повседневной деятельности. Хотя ИИ обладает бесчисленными преимуществами, его запутанные и порой неясные внутренние процессы могут создавать трудности. В настоящее время ИИ широко используется для оценки кибербезопасности, и его применение сложно обосновать; такое отсутствие ответственности вызывает тревогу. Кроме того, за последние десять лет незначительный рост числа вредоносных программ побудил учёных использовать методы машинного обучения (МО) и глубокого обучения (ГО) для обнаружения угроз. Хотя эти методы обеспечивают исключительную точность, их также сложно понять. Таким образом, развитие интерпретируемых и мощных моделей ИИ является необходимым условием их надёжности и достоверности. Доверие пользователей к моделям, используемым для кибербезопасности, может быть подорвано неоднозначностью и неопределённостью существующих методов на основе ИИ, особенно в свете более сложной и разнообразной природы кибератак в наше время.

Настоящее исследование посвящено сравнительному анализу ансамбля глубоких нейронных сетей (DNNW) с различными ансамблевыми методами, такими как RUSBoost, Random Forest, Subspace, AdaBoost и BagTree, для наилучшего прогнозирования на основе данных изображений вредоносных программ. В нём определяется наиболее эффективная модель – ансамбль DNNW, для которой обеспечена объяснимость. Исследования объяснимости, особенно при работе с данными изображений вредоносных программ, относительно немногочисленны, несмотря на то, что алгоритмы глубокого и машинного обучения произвели революцию в области обнаружения вредоносных программ. Для полного понимания значимости признаков и локального или глобального предсказательного поведения модели применительно к различным категориям вредоносных программ используются такие методы объяснимости, как SHAP, LIME и Grad-CAM. Комплексное исследование значимых характеристик и их влияния на процесс принятия решений моделью, а также визуализация нескольких точек запроса – лишь некоторые из достижений. Эта стратегия способствует повышению прозрачности и надежности приложений кибербезопасности за счёт улучшения понимания методов обнаружения вредоносных программ и интеграции объяснимых наблюдений ИИ со знаниями, специфичными для предметной области. - Advancing malware imagery classification with explainable deep learning: A state-of-the-art approach using SHAP, LIME and Grad-CAM

Визуальные уроки

Математика и другие предметы в визуализированных лекциях. Вот, например, лекции по нейронным сетям

См. также другие ссылки по теме визуализация

Практический IoT

Интересная статья с описанием Open Source архитектурных решений для IoT:

В этой статье обсуждается разработка системы IoT для мониторинга и управления различными устройствами и системами от разных поставщиков. Авторы рассмотрели ключевые проблемы в проектах IoT, такие как совместимость и интеграция, масштабируемость, а также хранение, обработка и визуализация данных на этапах проектирования и развертывания. В дополнение к этим общим проблемам авторы также углубляются в конкретные проблемы интеграции, с которыми они столкнулись. Различные устройства и системы были интегрированы в систему, и для иллюстрации возникших проблем используются пять реальных сценариев в среде университетского городка. Сценарии включают мониторинг различных аспектов среды университетского городка, включая качество воздуха, параметры окружающей среды, энергоэффективность, солнечную фотоэлектрическую энергию и потребление энергии. Авторы проанализировали данные и использование ЦП, чтобы убедиться, что система может обрабатывать большой объем данных, генерируемых устройствами. Разработанная платформа использует проекты с открытым исходным кодом, такие как Home Assistant, InfluxDB, Grafana и Node-RED. Все разработки были опубликованы как проекты с открытым исходным кодом в публичных репозиториях. В заключение следует отметить, что в данной работе подчеркивается потенциал и осуществимость систем Интернета вещей в различных реальных приложениях, важность учета ключевых проблем в проектах Интернета вещей на этапах проектирования и развертывания, а также конкретные проблемы интеграции, с которыми можно столкнуться."

отсюда

См. также другие публикации по теме IoT

Про DevOps

Хорошо сделанная визуализация

Визуализация нейронных сетей

Визуальное объяснение работы feed-forward сетей

См. другие публикации по теме визуализация

Визуализация для pandas

Симпатичный пакет для визуальной аналитики pandas dataframes

См. также другие публикации, посвященные pandas или Python

Иллюстрированный ML

Еще одна прекрасная коллекция иллюстраций для машинного обучения

Из других публикаций на эту тему: статистика в картинках и публикации по теме визуализация

Causal Inference и Python

Визуализация каузальности - почему в графическом исполнении

Поиск причин - Causal discovery

см. также другие публикации, посвященные каузальности

Запутать следы

Хорошо сделанная визуализация процесса рандомизации собранной стастистики для сохранения приватности.

Визуализация информации

Хороший учебник по визуализации

Что если?

Визуальное объяснение работы моделей машинного обучения

См. другие публикации по теме визуализация

Большая Берта

Визуальное руководство по использованию модели BERT для классификации предложений

См. другие публикации по теме визуализация

Визуальный ML

Визуализация для Autoencoders. Иллюстрация поиска аномалий с помощью Tensorflow. Вот здесь есть статья с описанием проекта

INJOIT том 8, номер 1

Вышел новый номер журнала INJOIT. Это первый номер в 2020 году. Восьмой год издания пошел.

Темы статей:

• Развитие проектов добровольных распределенных вычислений на основе дорожных карт и многопараметрических оценок
• Структура слога в татарском языке: от данных к модели
• Measuring Similarity of Fiction Texts Based on Distributional Semantic Models (Case Study of the Russian Original Text and English Translations of M.Bulgakov's Novel "The Master and Margarita")
• Сравнительный анализ ассоциаций в корпусах социальных сетей на основе дистрибутивно-семантических моделей для русского языка
• Phygital поколение в условиях свободной глобальной коммуникации
• Исследование доверия жителей Санкт-Петербурга к использованию информационных технологий для взаимодействия с органами власти
• Современные подходы к организации мониторинга пассажиропотоков общественного транспорта городских агломераций
• Компьютерная визуализация русской языковой картины мира
• Автоматизированный сбор данных социальных сетей для разработки факторной модели сетевой самопрезентации
• Анализ виртуализации сверхсовременного общества в контексте решения проблемы мультипарадигмальности социологии
• Свободное программное обеспечение в образовательном процессе как фактор формирования правового и технологического аспектов информационной культуры школьника
• Подход к извлечению, экспликации и представлению контекстного знания при изучении развивающихся междисциплинарных направлений исследований

Архив журнала находится здесь.

/via Лаборатория ОИТ

Визуализация графов

Хорошая русскоязычная статья по визуализации графов. Одно из применений, например, визуализация Graph Embedding

См. также другие статьи, посвященные визуализации

О визуализации данных

Визуализация данных с помощью Kepler.gl и Python. Вот здесь есть пример использования Kepler.gl и Jupyter Notebook

см. также другие публикации, посвященные Kepler

P.S. опубликовано при поддержке: энциклопедия электропитания

NumPy

Симпатичное визуальное введение в NumPy

См. другие публикации по теме визуализация