Open Source ИИ стек

Ключевые компоненты возможного стека ИИ с открытым исходным кодом следующие:

Фронтенд
Для создания красивых пользовательских интерфейсов ИИ чрезвычайно полезны такие фреймворки, как NextJS и Streamlit. Кроме того, Vercel может помочь с развертыванием.

Встраивание и библиотеки RAG
Встраивание моделей и библиотек RAG, таких как Nomic, JinaAI, Cognito и LLMAware, помогает разработчикам создавать точные функции поиска и RAG.

Бэкенд и доступ к моделям
Для разработки бэкенда разработчики могут полагаться на такие фреймворки, как FastAPI, Langchain и Netflix Metaflow. Для доступа к моделям доступны такие продукты, как Ollama и Huggingface.

Данные и извлечение
Для хранения и извлечения данных доступны несколько опций, таких как Postgres, Milvus, Weaviate, PGVector и FAISS.

LLM
Основанные на тестах производительности, модели с открытым исходным кодом, такие как Llama, Mistral, Qwen, Phi и Gemma, являются отличными альтернативами проприетарным моделям LLM, таким как GPT и Claude.

/via bytebytego.com

Advanced Natural Language Processing

Курс по обработке естественного языка от CMU. 2025 год, презентации, код

См. также другие публикации, посвященные NLP

Все хуже, чем мы думали

Нейронные сети восприимчивы к небольшим возмущениям в виде двумерных вращений и сдвигов, обрезки изображений и даже изменениям цветов объектов. Прошлые работы связывают эти ошибки со смещением набора данных, утверждая, что модели терпят неудачу на этих возмущенных образцах, поскольку они не принадлежат распределению обучающих данных. Здесь мы оспариваем это утверждение и представляем доказательства широко распространенного существования возмущенных изображений в распределении обучающих данных, которые сети не могут классифицировать. Мы обучаем модели на данных, выбранных из параметрических распределений, а затем ищем внутри этого распределения данных, чтобы найти такие состязательные примеры внутри распределения. Это делается с помощью нашего подхода, основанного на стратегиях эволюции без градиента (ES), который мы называем CMA-Search. Несмотря на обучение с использованием крупномасштабного (⇠ 0,5 миллиона изображений), несмещенного набора данных с изменениями камеры и освещения, CMA-Search может обнаружить сбой внутри распределения данных в более чем 71% случаев, возмущением положения камеры. При изменении освещения CMASearch обнаруживает неправильную классификацию в 42% случаев. Эти результаты также распространяются на естественные изображения из наборов данных ImageNet и Co3D. Этот феномен изображений в распределении представляет собой крайне тревожную проблему для искусственного интеллекта — они обходят необходимость для вредоносного агента добавлять искусственный шум, чтобы вызвать состязательную атаку. Весь код, наборы данных и демонстрации доступны по адресу https://github.com/in-dist-adversarials/in_distribution_adversarial_examples - In-distribution adversarial attacks on object recognition models using gradient-free search

То есть, для состязательных примеров не нужно двигать распределение данных. Примеры существуют на данных с тем же самым распределением, что и тренировочный набор

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Косинусная близость

Возможности, проблемы, подводные камни - Don't use cosine similarity carelessly

Новый подход к очистке данных

Технология глубокого обучения (DL) показала выдающуюся производительность в различных областях, таких как распознавание и классификация объектов, распознавание речи и обработка естественного языка. Однако хорошо известно, что модели DL уязвимы для атак с отравлением данных, когда злоумышленники изменяют или злонамеренно вводят образцы данных на этапе обучения, что приводит к снижению точности классификации или неправильной классификации. Поскольку атаки с отравлением данных продолжают развиваться, чтобы избежать существующих методов защиты, исследователи безопасности тщательно изучают модели атак с отравлением данных и соответственно разрабатывают более надежные и эффективные методы обнаружения. В частности, атаки с отравлением данных могут быть реалистичными в состязательной ситуации, когда мы переобучаем модель DL с новым набором данных, полученным из внешнего источника во время трансферного обучения. Исходя из этой мотивации, мы предлагаем новый метод защиты, который разделяет и проверяет новый набор данных, а затем удаляет вредоносные поднаборы данных. В частности, наш предлагаемый метод сначала делит новый набор данных на n поднаборов данных либо равномерно, либо случайным образом, проверяет их, используя чистую модель DL в качестве детектора отравленных наборов данных, и, наконец, удаляет вредоносные поднаборы данных, классифицированные детектором. Для разделения и проверки мы разрабатываем два динамических защитных алгоритма: алгоритм последовательного разделения и проверки (SPIA) и алгоритм рандомизированного разделения и проверки (RPIA). При таком подходе полученный очищенный набор данных можно надежно использовать для повторного обучения модели DL. Кроме того, мы провели два эксперимента в среде Python и DL, чтобы показать, что наши предлагаемые методы эффективно защищают от двух моделей атак отравления данных (концентрированные атаки отравления и случайные атаки отравления) с точки зрения различных метрик оценки, таких как скорость удаленного отравления (RPR), скорость успешной атаки (ASR) и точность классификации (ACC). В частности, SPIA полностью удалил все отравленные данные при концентрированных атаках отравления как в среде Python, так и в среде DL. Кроме того, RPIA удалил до 91,1% и 99,1% зараженных данных при случайных атаках отравления в средах Python и DL соответственно. - A Novel Data Sanitization Method Based on Dynamic Dataset Partition and Inspection Against Data Poisoning Attacks

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

ИИ-агенты

Учебный курс от HuggingFace по LLM-агентам

ЦОД 2024

Обзор рынка ЦОД в России

Безопасность цифровых двойников

"В Промышленности 4.0 цифровой двойник является одной из новых технологий, предлагая возможности моделирования для прогнозирования, уточнения и интерпретации условий и операций, где крайне важно подчеркнуть повышенную концентрацию на связанных с ними рисках безопасности и конфиденциальности. Если говорить точнее, то внедрение цифровых двойников в обрабатывающей промышленности опирается на интеграцию таких технологий, как киберфизические системы, промышленный Интернет вещей, виртуализация и передовое производство. Взаимодействие этих технологий приводит к многочисленным уязвимостям безопасности и конфиденциальности, которые остаются недостаточно изученными. С этой целью в данной статье анализируются угрозы кибербезопасности цифровых двойников для передового производства в контексте сбора данных, обмена данными, машинного обучения и глубокого обучения, а также безопасности и конфиденциальности на уровне системы. Мы также предлагаем несколько решений для угроз в этих четырех категориях, которые могут помочь повысить доверие к цифровым двойникам." - Security and Privacy of Digital Twins for Advanced Manufacturing: A Survey

См. также другие публикации, посвященные digital twins

Новый подход к физическим атакам

Изучение физических состязательных патчей имеет решающее значение для выявления уязвимостей в системах распознавания на основе ИИ и разработки более надежных моделей глубокого обучения. Хотя недавние исследования были сосредоточены на улучшении скрытности патчей для большей практической применимости, достижение эффективного баланса между скрытностью и эффективностью атаки остается значительной проблемой. Для решения этой проблемы мы предлагаем новый метод физической состязательной атаки, который использует дистилляцию знаний. В частности, мы сначала определяем скрытое цветовое пространство, адаптированное к целевой среде, чтобы обеспечить плавное смешивание. Затем мы оптимизируем состязательный патч в неограниченном цветовом пространстве, которое служит патчем «учителя». Наконец, мы используем модуль дистилляции состязательных знаний для передачи знаний патча учителя патчу «ученика», направляя оптимизацию скрытого патча. Экспериментальные результаты показывают, что наш подход улучшает эффективность атаки на 20%, сохраняя при этом скрытность, подчеркивая его практическую ценность - Distillation-Enhanced Physical Adversarial Attacks

См. также другие публикации по теме физические атаки

Еще об оценке LLM

Обзор подходов к тестированию LLM. См. также здесь и здесь

См. также другие публикации, посвященные тестированию LLM

Практика построения ИИ-агентов

Building Autonomous Multi-Tool Agents with Gemini 2.0 and LangGraph. Детальный разбор с примерами кода

Агенты: белая книга

Это сочетание рассуждений, логики и доступа к внешней информации, которые все связаны с моделью генеративного ИИ, вызывает концепцию агента. - Google об ИИ-агентах P.S. см. также нашу статью об архитектуре LLM-агентов

LLM в анализе сетевого трафика

Интеграция технологии Интернета вещей (IoT) в различные области привела к эксплуатационным усовершенствованиям, но также создала новые уязвимости для угроз кибербезопасности, о чем свидетельствуют недавние широко распространенные кибератаки на устройства IoT. Системы обнаружения вторжений часто являются реактивными, запускаемыми определенными шаблонами или аномалиями, наблюдаемыми в сети. Для решения этой проблемы в этой работе предлагается проактивный подход к предвидению и упреждающему смягчению вредоносных действий, направленный на предотвращение потенциального ущерба до его возникновения. В этой статье предлагается инновационная структура прогнозирования вторжений, усиленная предварительно обученными большими языковыми моделями (LLM). Структура включает две LLM: тонко настроенную модель двунаправленных и авторегрессивных преобразователей (BART) для прогнозирования сетевого трафика и тонко настроенную модель двунаправленных представлений кодировщика из преобразователей (BERT) для оценки прогнозируемого трафика. Используя двунаправленные возможности BART, фреймворк затем идентифицирует вредоносные пакеты среди этих прогнозов. Оцененный с использованием набора данных атак IoT CICIoT2023, наш фреймворк демонстрирует заметное улучшение в производительности прогнозирования, достигая впечатляющей общей точности 98%, предоставляя мощный ответ на проблемы кибербезопасности, с которыми сталкиваются сети IoT. - BARTPredict: Empowering IoT Security with LLM-Driven Cyber Threat Prediction

См. также другие публикации, посвященные LLM

Атаки черного ящика

Хотя состязательная устойчивость широко изучалась в условиях белого ящика, последние достижения в атаках черного ящика (включая подходы на основе передачи и запросов) в первую очередь сопоставляются со слабыми защитами, оставляя значительный разрыв в оценке их эффективности по сравнению с более новыми и умеренно надежными моделями (например, представленными в таблице лидеров Robustbench). В этой статье мы ставим под сомнение это отсутствие внимания со стороны атак черного ящика к надежным моделям. Мы устанавливаем структуру для оценки эффективности последних атак черного ящика как против самых эффективных, так и против стандартных механизмов защиты на наборе данных ImageNet. Наша эмпирическая оценка показывает следующие основные выводы:

(1) наиболее продвинутые атаки черного ящика с трудом достигают успеха даже против простых обученных состязательным образом моделей;
(2) надежные модели, оптимизированные для противостояния сильным атакам белого ящика, таким как AutoAttack, также демонстрируют повышенную устойчивость к атакам черного ящика;
(3) надежность соответствия между суррогатными моделями и целевой моделью играет ключевую роль в успехе атак на основе передачи.

Отсюда

Атаки черного ящика, конечно, являются самым реалистичным случаем. Интересная работа, которая исследует - насколько же они эффективны

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Бортовые компьютеры

За последние три десятилетия принятие более высоких порогов риска в космической отрасли способствовало широкой интеграции коммерческих готовых (COTS) компонентов в авионику и полезную нагрузку, что привело к заметной трансформации в проектировании космических миссий. Эта трансформация привела к появлению Новой космической экономики и широкому принятию экономичных или малых спутников в целом, особенно CubeSats. CubeSats в настоящее время широко используются в коммерческих, научных и исследовательских приложениях благодаря своей универсальности, доступности, простоте разработки и ускоренным срокам разработки. Бортовые вычисления играют решающую роль в проектировании миссий CubeSat, поскольку для решения задач будущих миссий требуются все более высокопроизводительные вычислительные требования. В этой статье систематически рассматривается современное состояние подсистемы управления и обработки данных CubeSat (C&DH), охватывающее как аппаратные компоненты, так и фреймворки разработки полетного программного обеспечения (FSW). В нем представлен анализ основных характеристик и последних разработок бортовых компьютеров (OBC) в коммерческих и академических институциональных проектах, финансируемых правительствами, агентствами и государственными учреждениями. В нем далее рассматривается влияние космической радиации на компоненты авионики и обсуждаются основные методы отказоустойчивости, используемые в платформах CubeSat. Наконец, в этой статье освещаются тенденции и опасности для будущей авионики CubeSat, а также определяются потенциальные направления будущих разработок в области высокопроизводительных бортовых вычислений. Объединяя современные исследования и отраслевые идеи, эта статья направлена ​​на то, чтобы пролить свет на конструкцию OBC CubeSat, предоставив обзор существующего технологического ландшафта и проблем, которые необходимо решить для потребностей миссий следующего поколения. - фундаментальный обзор On-Board Computer for CubeSats: State-of-the-Art and Future Trends

Poisson vs Binomial

Хорошее объяснение: Распределение Пуассона и биномиальное распределение

Чтобы определить, какое распределение использовать: пуассоновское или биномиальное, спросите себя:

Присутствует ли фиксированное количество испытаний?

Да → биномиальное.
Нет → пуассоновское.

Вероятность успеха мала при большом количестве испытаний?

Да → рассмотрите пуассоновское как приближение.

Распознавание дорожных знаков

Состязательные атаки на модели классификации дорожных знаков были одними из первых, успешно опробованных в реальном мире. С тех пор исследования в этой области в основном ограничивались повторением базовых моделей, таких как LISA-CNN или GTSRB-CNN, и аналогичными экспериментальными настройками, включая белые и черные пятна на дорожных знаках. В этой работе мы отделяем архитектуры моделей от наборов данных и оцениваем на дополнительных общих моделях, чтобы сделать справедливое сравнение. Кроме того, мы сравниваем две настройки атаки, незаметную и видимую, которые обычно рассматриваются без прямого сравнения. Наши результаты показывают, что стандартные базовые модели, такие как LISA-CNN или GTSRB-CNN, значительно более уязвимы, чем общие. Поэтому мы предлагаем оценивать новые атаки на более широком спектре базовых моделей в будущем. Наш код доступен по адресу https://github. com/KASTEL-MobilityLab/attacks-on-traffic-sign-recognition/ - Evaluating Adversarial Attacks on Traffic Sign Classifiers beyond Standard Baselines

См. также другие публикации по теме физические атаки

Аномалии временных рядов

Недавние достижения в технологии сбора данных, сопровождаемые постоянно растущим объемом и скоростью потоковой передачи данных, подчеркивают насущную необходимость в аналитике временных рядов. В этой связи обнаружение аномалий временных рядов стало важной деятельностью, влекущей за собой различные приложения в таких областях, как кибербезопасность, финансовые рынки, правоохранительные органы и здравоохранение. В то время как традиционная литература по обнаружению аномалий сосредоточена на статистических мерах, растущее число алгоритмов машинного обучения в последние годы требует структурированной общей характеристики методов исследования для обнаружения аномалий временных рядов. Этот обзор группирует и суммирует существующие решения по обнаружению аномалий в рамках таксономии, ориентированной на процесс, в контексте временных рядов. Помимо предоставления оригинальной категоризации методов обнаружения аномалий, мы также проводим метаанализ литературы и излагаем общие тенденции в исследованиях обнаружения аномалий временных рядов. - Dive into Time-Series Anomaly Detection: A Decade Review