Практическая кластеризация

Как работает кластеризация данных. С хорошими иллюстрациями.

Кластеризация данных

Кластеризация статей в Wikipedia и другие интересные задачи анализа данных в блоге, посвященном AI.

Еще одна интересная статья о непараметрической кластеризации (Hierarchical Dirichlet Process). Что особенно важно - это реально может использоваться в самых разных прикладных областях. Вот, например, применение в лингвистике.

Об устройстве ЖЖ

Схема технического устройства ЖЖ с комментариями от бывшего сотрудника. Вот смоделировать этот самый Akamai edge cache и нужно для специальной поддержки некоторого сегмента пользователей (если повар нам не врет :-). Кэш запрашивает из базы LJ картинки и далее раздает их от своего имени (соответствующие запросы не попадают в LJ).

Интересно, что устройство программы довольно простое. Кеш-демон привязывается к отдельному веб-серверу, кластеризация на уровне DB решается штатными средствами MySQL, решение о принципе обработки запроса (куда его направить) принимается на уровне приложения: "Кластеризация осуществляется на аппликационном уровне, просто код подсоединяется к разным базам данных в зависимости от того, в каком кластере находятся нужные данные. На уровне DB разные кластеры не знают друг о друге. Внутри кластера репликация между мастером и слейвом осуществляется на уровне DB (MySQL binary log replication)." Надежная схема, с одной стороны, но и модифицировать ее будет сложнее - логика размазана по приложению.

Здесь есть еще материалы по архитектуре больших проектов.

Кластеризация и сегментация

Хорошая вводная статья по принципам классификации и сегментации данных. Представляет интерес также приводимый список продуктов.

Apache Mahout

Хорошее введение в работу с Apache Mahout (машинное обучение). Как построить рекомендательную систему, кластеризация и категоризация

Масштабирование БД

Интересный обзор систем масштабирования для баз данных. Рассматриваются два основных подхода - кластеризация и внешний кэш. Автор (как технический директор Gigaspaces), конечно, агитирует за кэш. То, что в обзоре еще названо IMDG - In-Memory Data Grids.

INJOIT vol. 14, no. 2

Вышел второй номер журнала INJOIT в 2026 году. И четырнадцатый год издания журнала.

Темы статей:

• Prompt Injection Attacks on Agentic Coding Assistants: A Systematic Analysis of Vulnerabilities in Skills, Tools, and Protocol Ecosystems
• Трансформерная модель бинарной классификации временных рядов на данных инерциальных датчиков для детекции спуфинг-атак в БПЛА
• Кластеризация угроз и идентификация рисков нарушения информационной безопасности опасных производственных объектов
• Методы выявления конфиденциальной информации в неструктурированных данных
• Принципы и модель совершенствования алгоритмов постквантового шифрования, основанных на математической теории решёток
• Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 5
• On the System of Reaction-Diffusion Equations in a Limited Region
• A Universal Model for Forecasting Customer Service Revenue: A Paid Parking Service Example
• Модель информационного влияния в социальной сети на основе диффузии сигналов, образованных ортогональными функциями
• Подходы к повышению эффективности Mesh-сети в вычислительной системе с распределенной памятью
• Итеративная двунаправленная рекуррентная сеть для предсказания разрушения многослойных композитов
• Recursion in Actual Java Programming
• Персонализация интерфейсов «мозг-компьютер» основе SSVEP-парадигмы с учетом индивидуальных особенностей реакции пользователя
• О некорректности безусловных программ
• Автоматизация учета научной и учебно-методической деятельности преподавателя
• Development of the Multilingual Sign Language Learning Game for Interactive Education
• О применении компьютерных технологий для анализа художественных текстов (на примере произведений В.Г. Короленко)
• Метод определения степени доверия автономных транспортных средств на основе социальных сил
• Искусственный интеллект в физической реабилитации

Архив журнала находится здесь.

/via Лаборатория ОИТ

Обработка потоков

Big Data - кластеризация данных в потоке

См. здесь другие материалы по использованию Spark

И еще о рекомендациях

В продолжение публикаций о рекомендательных системах:

1. Практическое устройство рекомендательной системы на сайте поиска работы

2. Поиск подобных элементов. Глава из книги

3. MinHash кластеризация

Анализ текстов в Java

MALLET - интересный пакет по анализу текстов в Java: кластеризация, Байес и т.п.

kNN

Простое введение в k-Nearest-Neighbors

См. также другие публикации по теме кластеризация

K-means кластеризация

Прекрасный интерактивный учебник по K-means

INJOIT vol. 7, no. 7

Вышел новый номер журнала INJOIT. Это седьмой номер в 2019 году. Спасибо авторам за интересное содержание.

Темы статей:

• Об асимптотическом поведении резерва страховой компании
• Introduction to signal processing: sampled signals
• Визуальная аналитика в цифровой биомедицине на примере качества диагностики рака молочной железы
• Building annotated semantic model of software products towards integration of DBpedia with NVD vulnerability dataset
• Кластеризация изображений при использовании предобученных нейронных сетей
• Использование эстетического критерия при анализе сценариев эволюции телекоммуникационных систем
• О судьбе железнодорожной сигнализации GSM-R
• Оценка людского и транспортного трафика густонаселенных районов города Москвы с использованием видео со стационарных камер
• Анализ матриц корреспонденции метро
• Современные подходы к механизмам извлечения причинно-следственных связей из неструктурированных текстов на естественном языке
• Цифровая железная дорога Европы - от ERTMS до искусственного интеллекта
• Распределенная инфраструктура отраслевой экосистемы цифровой экономики региона
• Роль цифровых технологий в вопросе конкурентоспособности грузоперевозок железных дорог с морским видом транспорта

Архив журнала находится здесь.

/via Лаборатория ОИТ

Кластеризация документов

Пошаговые примеры кластеризации документов с использованием Python. Содержание:

Stopwords, stemming, and tokenization
Tf-idf and document similarity
K-means clustering
Multidimensional scaling
Visualizing document clusters
Hierarchical document clustering
Latent Dirichlet Allocation (LDA)

Кластеризация

Bayon - пакет с открытым кодом по кластеризации данных

INJOIT том 2, номер 3

Вышел новый номер журнала INJOIT. Темы статей: продолжение цикла от IN к IMS - о сетях связи специального назначения, практическое применение нейронных сетей, продолжение цикла публикаций о программной инженерии - метрики для описания архитектуры программного обеспечения, информатизация обучения, констекстно-зависимые сервисы на основе Bluetooth, кластеризация многомерных данных.

Архив журнала находится здесь.

/via OIT Lab

Кластеризация временных рядов

Хорошая статья с обзором методов последовательной кластеризации временных рядов. Это нужно, например, для определения групп пользователей при мобильном мониторинге.

О Data Science

Некоторые интересные ресурсы:

1. Еще один учебник Введение в машинное обучение. У автора есть интересная домашняя страница

2. Бесплатное приложение, которое позволяет сравнивать методы машинного обучения. Довольно большой список реализованных методов: классификация, кластеризация, регрессия, корреляционный и дискриминантный анализ, генетические алгоритмы.

См. также MLComp по сравнению алгоритмов и другие статьи по machine learning

3. Байесовские методы для программистов. Python.

4. Хорошее введение в collaborative filtering в Mahout. Как работают рекомендательные системы на основе предпочтений пользователя. Вот здесь можно посмотреть другие статьи и примеры по использованию Mahout

Кластеризация маршрутов

О локализации перемещений. Кластерный анализ маршрутов.

K-means кластеризация

Простое объяснение (с примером программы) K-means clusters