Showing posts sorted by relevance for query временных. Sort by date Show all posts
Showing posts sorted by relevance for query временных. Sort by date Show all posts

Sunday, October 22, 2017

Еще о временных рядах

Несколько интересных материалов по одной из наших любимых тем - временные ряды

1. Представление временных рядов в MongoDB. В одном документе объединяют несколько замеров.

2. Интересный подход к поиску шаблонов во временных рядах

3. Нейронные сетив анализе временных рядов

4. Хороший анализ требований к базам данных для временных рядов. Часто это могут быть просто файловые системы. И интересная дискуссия по этому поводу на YC

5. Еще один подход к требованиям для баз данных временных рядов

6. Использование Apache Crunch для анализа временных рядов. Apache Crunch - это Java библитотека для организации пайплайнов в Hadoop и Spark.

7. Датасет для тестирования алгоритмов поиска аномалий во временных рядах.

P.S. см. также другие публикации по теме временных рядов

Sunday, January 12, 2025

Аномалии временных рядов

Недавние достижения в технологии сбора данных, сопровождаемые постоянно растущим объемом и скоростью потоковой передачи данных, подчеркивают насущную необходимость в аналитике временных рядов. В этой связи обнаружение аномалий временных рядов стало важной деятельностью, влекущей за собой различные приложения в таких областях, как кибербезопасность, финансовые рынки, правоохранительные органы и здравоохранение. В то время как традиционная литература по обнаружению аномалий сосредоточена на статистических мерах, растущее число алгоритмов машинного обучения в последние годы требует структурированной общей характеристики методов исследования для обнаружения аномалий временных рядов. Этот обзор группирует и суммирует существующие решения по обнаружению аномалий в рамках таксономии, ориентированной на процесс, в контексте временных рядов. Помимо предоставления оригинальной категоризации методов обнаружения аномалий, мы также проводим метаанализ литературы и излагаем общие тенденции в исследованиях обнаружения аномалий временных рядов. - Dive into Time-Series Anomaly Detection: A Decade Review

Tuesday, February 17, 2026

Без времени

Системы глубокого обучения, обрабатывающие временные и последовательные данные, все чаще используются в критически важных для безопасности приложениях, включая мониторинг состояния здоровья, автономную навигацию и алгоритмическую торговлю. Однако эти системы обладают серьезной уязвимостью к атакам со стороны злоумышленников — тщательно разработанным возмущениям, которые вызывают систематическую неправильную классификацию, оставаясь при этом незаметными. В данной статье представлен всесторонний систематический обзор атак со стороны злоумышленников на системы классификации временных рядов, распознавания активности человека (HAR) и обучения с подкреплением (RL), основанный на анализе 127 статей, опубликованных в период с 2019 по 2025 год, в соответствии с рекомендациями PRISMA с документированной межэкспертной надежностью (κ = 0,83). Мы устанавливаем единую четырехмерную таксономию, различающую характеристики атак в зависимости от целевых модальностей (носимые датчики IMU, датчики WiFi/радара, распознавание на основе скелета, медицинские/финансовые временные ряды и агенты RL), стратегий возмущения, временного диапазона и уровней физической реализуемости. Наш количественный анализ выявляет серьезные базовые уязвимости — атаки FGSM снижают точность HAR с 95,1% до 3,4% в условиях «белого ящика», — при этом демонстрируя, что переносимость между датчиками значительно варьируется от 0% до 80% в зависимости от расположения на теле и модальности. Критически важно, что мы выявляем существенный разрыв между показателями успешности цифровых атак (85–98%) и физически подтвержденных атак, при этом подтверждение с помощью аппаратного моделирования демонстрирует 70–97% успеха только для Wi-Fi и радаров, в то время как физические атаки с использованием носимых IMU остаются полностью неподтвержденными. Мы проводим систематический анализ механизмов защиты, включая обучение с использованием состязательных методов, подходы, основанные на обнаружении, сертифицированные средства защиты, и ансамблевые методы, предлагая структуру Temporal AutoAttack (T-AutoAttack) для стандартизированной оценки адаптивных атак. Наш анализ показывает, что существующие средства защиты демонстрируют снижение производительности на 6–23% при адаптивных атаках, при этом сертифицированные методы показывают наименьший разрыв, но приводят к снижению точности на 15–30%. Мы также выявляем новые уязвимости в архитектурах HAR на основе трансформеров и в системах прогнозирования временных рядов на основе LLM, которые требуют срочного внимания. Обзор завершается составлением приоритетной дорожной карты исследований, в которой определены восемь критических пробелов с указанием конкретных наборов данных, оценочных конвейеров и сроков внедрения. Мы предлагаем практические рекомендации по внедрению для специалистов в области носимых HAR, Wi-Fi/радарного зондирования, систем обучения с подкреплением и новых временных приложений на основе LLM. Эта работа предлагает первое унифицированное решение, объединяющее исследования временных рядов и состязательных систем обучения с подкреплением, закладывая основы для разработки надежных временных систем ИИ, пригодных для реального применения в критически важных областях безопасности. - Temporal Adversarial Attacks on Time Series and Reinforcement Learning Systems: A Systematic Survey, Taxonomy, and Benchmarking Roadmap

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Sunday, June 22, 2025

LLM и анализ временных рядов

Прогнозирование временных рядов в основном опирается на точное моделирование сложных взаимозависимостей и общих закономерностей в данных временных рядов. Недавние достижения, такие как пространственно-временные графовые нейронные сети (STGNN) и модели фундамента временных рядов (TSFM), продемонстрировали многообещающие результаты, эффективно фиксируя сложные пространственные и временные зависимости в различных реальных наборах данных. Однако эти модели обычно требуют больших объемов обучающих данных и часто испытывают трудности в сценариях с дефицитом данных. Чтобы устранить это ограничение, мы предлагаем фреймворк под названием «Пространственно-временные большие языковые модели с небольшим количеством снимков» (FSTLLM), направленный на повышение надежности модели и прогностической эффективности в условиях малого количества снимков. FSTLLM использует контекстные знания, встроенные в большие языковые модели (LLM), для обеспечения разумных и точных прогнозов. Кроме того, он поддерживает бесшовную интеграцию существующих моделей прогнозирования для дальнейшего повышения их предиктивных возможностей. Экспериментальные результаты на реальных наборах данных демонстрируют адаптивность и неизменно превосходящую производительность FSTLLM по сравнению с основными базовыми моделями со значительным отрывом. Наш код доступен по адресу: https://github.com/JIANGYUE61610306/FSTLLM - FSTLLM: Spatio-Temporal LLM for Few Shot Time Series Forecasting

См. также другие публикации, посвященные LLM

Saturday, October 17, 2026

Графовые сети и аномалии во временных рядах

Как выявлять аномальные события (например, системные сбои или атаки) в многомерных временных рядах (таких как данные с датчиков)? Еще более сложная задача — сделать это так, чтобы учитывать сложные взаимосвязи между датчиками, а также обнаруживать и объяснять аномалии, нарушающие эти закономерности. В последнее время методы глубокого обучения позволили улучшить результаты обнаружения аномалий в многомерных данных; однако существующие подходы не обучаются явным образом структуре взаимосвязей между переменными и не используют их для прогнозирования ожидаемого поведения временных рядов. Предлагаемый нами подход сочетает в себе методы обучения структуре и графовые нейронные сети, а также использует веса механизма внимания для обеспечения интерпретируемости обнаруженных аномалий. Эксперименты, проведенные на двух реальных наборах данных с датчиков (содержащих размеченные аномалии), показали, что наш метод выявляет аномалии точнее базовых решений, корректно учитывает взаимосвязи между датчиками и позволяет определить первопричину обнаруженной аномалии. - Graph Neural Network-Based Anomaly Detection in Multivariate Time Series

Sunday, June 25, 2017

Ошибки при анализе временных рядов

Хороший практический материал по анализу типичных ошибок при обработке временных рядов.

И интересная дискуссия по этому поводу на YC.

P.S. Другие публикации по обработке временных рядов

Wednesday, November 15, 2017

Базы данных временных рядов

И снова о базах данных для временных рядов:

1. Catena - реализация на Go. Довольно подробное описание архитектуры. И дискуссия на YC

2. Требования к базам данных временных рядов. И интересная дискуссия с массой ссылок на YC.

См. также другие публикации по теме time series

Monday, September 08, 2025

Аномалии временных рядов

Обнаружение аномалий в кибербезопасности промышленных систем критически важно для обеспечения автоматизированного принятия решений. Существующие подходы часто не справляются с обработкой сложных, неизвестных топологических временных рядов, что требует повышения точности обнаружения аномалий. В данной статье представлена новая двухуровневая структура обнаружения аномалий, сочетающая обобщенный лапласиан графа (GGL), вейвлет-разложение (WAVE) и усовершенствованную сверточную нейронную сеть (CNN). На первом уровне предлагаемый метод использует GGL для эффективного выявления аномальных окон в промышленных временных рядах. На втором уровне разрабатывается точный метод обнаружения аномалий для анализа аномальных окон, выявленных GGL, с использованием вейвлет-разложения для извлечения признаков и усовершенствованной CNN для классификации. Эффективность предлагаемого подхода GGL-WAVE-CNN подтверждена на основе реального набора данных, содержащих сетевой трафик SCADA-системы на предприятии в Китае. Экспериментальные результаты демонстрируют истинно положительный процент (TPR) 97,54%, что подтверждает надежность и точность предлагаемого метода при решении сложных задач промышленной кибербезопасности. - An Anomaly Detection Method for Industrial System Cybersecurity Based on GGL-WAVE-CNN

Sunday, November 04, 2012

Обработка временных рядов

Интересная статья по извлечению знаний из больших временных рядов. Используется модифицированный алгоритм Dynamic Time Wrapping для поиска шаблонов во временных рядах.

Tuesday, September 19, 2017

Больше рядов

Пара ссылок по временным рядам.

1. Riak TS - интересная модель для хранения временных рядов, построенная на архитектуре key-value

2. Хранение временных рядов с нерегулярно поступающими данными.

P.S. другие публикации по теме временных рядов

Friday, April 12, 2013

О временных рядах

Интересные заметки об обработке больших временных рядов. Есть список баз данных, используемых в подобных задачах.

Friday, March 03, 2023

Мозг и LLM

Интересная работа - параллели между большими языковыми моделями и работой мозга "В последнее время достигнут значительный прогресс в обработке естественного языка: алгоритмы глубокого обучения все чаще способны генерировать, обобщать, переводить и классифицировать тексты. Тем не менее, эти языковые модели по-прежнему не соответствуют языковым способностям людей. Теория предиктивного кодирования предлагает предварительное объяснение этого несоответствия: в то время как языковые модели оптимизированы для предсказания близлежащих слов, человеческий мозг будет постоянно предсказывать иерархию представлений, охватывающую несколько временных масштабов. Чтобы проверить эту гипотезу, мы проанализировали сигналы мозга с помощью функциональной магнитно-резонансной томографии 304 участников, слушающих короткие рассказы. Во-первых, мы подтвердили, что активация современных языковых моделей линейно сопоставляется с реакцией мозга на речь. Во-вторых, мы показали, что расширение этих алгоритмов прогнозами, охватывающими несколько временных масштабов, улучшает картирование мозга. Наконец, мы показали, что эти прогнозы организованы иерархически: лобно-теменная кора предсказывает репрезентации более высокого уровня, дальнего действия и более контекстуальные, чем височная кора. В целом, эти результаты усиливают роль иерархического предиктивного кодирования в обработке речи и иллюстрируют, как синергия между нейронаукой и искусственным интеллектом может раскрыть вычислительные основы человеческого познания."