Как скажете

Обучение с подкреплением на основе обратной связи с человеком (RLHF) стало важным техническим и повествовательным инструментом для развертывания новейших систем машинного обучения. В этой книге мы надеемся дать мягкое введение в основные методы для людей с некоторым уровнем количественного бэкграунда. Книга начинается с истоков RLHF — как в недавней литературе, так и в конвергенции разрозненных областей науки в экономике, философии и оптимальном управлении. Затем мы задаем основу с определениями, формулировкой задач, сбором данных и другой общей математикой, используемой в литературе. В основе книги подробно описан каждый этап оптимизации при использовании RLHF, начиная с настройки инструкций до обучения модели вознаграждения и, наконец, всех алгоритмов выборки отклонения, обучения с подкреплением и прямого выравнивания. Книга завершается продвинутыми темами — недостаточно изученными вопросами исследований в области синтетических данных и оценки — и открытыми вопросами для этой области. - Книга в открытом доступе: Reinforcement Learning from Human Feedback

От трех до пяти

Интересная идея - калькулятор неопределенности

Поясни за модель

В наши дни существует несколько инструментов и фреймворков, которые помогают нам понимать и интерпретировать прогнозы, сделанные моделями ИИ. Используя эти инструменты, мы можем отладить производительность модели и лучше понять принятые решения. К различным популярным инструментам относятся следующие:

(1) LIME (Local Interpretable Model-Agnostic Explanations): IME (Local Interpretable Model-Agnostic Explanations): Это изменяет ввод выборок данных, чтобы увидеть, как меняются прогнозы. LIME позволяет интерпретировать модель локально. После изменения значений признаков наблюдаются выходные данные.

(2) SHAP (аддитивные объяснения Шепли): Это еще один метод объяснения выходных данных ML-модели. Он сопоставим с LIME в том, что интерпретации используются для отображения влияния определенного значения признака на прогноз. SHAP повышает прозрачность модели.

(3) ELI5 или Explain Like I'm 5: Это популярный инструмент Python, который позволяет визуализировать прогнозы моделей машинного обучения и помогает в отладке классификаторов. ELI5 можно использовать для оценки производительности модели машинного обучения двумя способами. Global ELI5 демонстрирует, как параметры ведут себя по отношению ко всей модели. Локальный ELI5 проверяет один экземпляр прогноза.

(4) XAI 5: Это набор инструментов машинного обучения, специально созданный для анализа данных и оценки моделей. Он помогает пользователю сбалансировать класс путем увеличения или уменьшения выборки набора данных перед обучением и тестированием. Корреляционная матрица используется для оценки поведения модели.

(5) Инструментарий Partial Reliance Plot (PDPbox) используется для вычисления и визуализации влияния признаков на прогнозирование целевых переменных. Библиотека похожа на random forest в том, что указывает, как характеристика влияет на прогнозирование. Модуль Python обнаруживает связи между данными или признаками, используемыми в качестве входных данных для модели, и окончательным прогнозом. Он используется для демонстрации глобальных и локальных интерпретаций моделей черного ящика.

(6) GradCAM Он позволяет визуализировать тепловые карты и градиенты для настройки гиперпараметров или разработки матриц неточностей, а также объяснять и визуализировать прогноз.

(7) InterpretML: набор инструментов Microsoft Python с открытым исходным кодом для обучения понятных моделей и объяснения технологий черного ящика. Это помогает в отладке, позволяя понимать прогнозы, сделанные моделью. Он основан на индивидуальной оценке глобальных и локальных аспектов.

(8) АЛИБИ. Alibi — это библиотека Python с открытым исходным кодом, которая состоит из широкого спектра алгоритмов для выполнения интерпретации прогноза в конкретном случае.

См. также другие публикации, посвященные SHAP и ответу на вопрос "почему" для моделей машинного обучения

6G - примеры использования

В настоящее время технология 6G находится на решающем этапе исследований и стандартизации, а следующие три-пять лет будут иметь решающее значение для достижения технологических прорывов и содействия промышленному развитию. Ожидается, что 6G будет поддерживать более широкий спектр сценариев применения, приведет нас к более интеллектуальному и взаимосвязанному будущему. Приложения и варианты использования 6G служат жизненно важным связующим звеном между технологическими инновациями и требованиями пользователей, закладывая основу для ключевых показателей производительности сети, функционального проектирования и планирования возможностей обслуживания, а также прокладывая путь для его будущей коммерциализации. Перспективное исследование и выявление потенциальных вариантов использования 6G, особенно тех, которые имеют высокие перспективы развития, могут предложить стратегическое руководство для технологических исследований и разработок. В этом исследовании представлена ​​инновационная матрица потенциала вариантов использования 6G, разработанная с двойной точки зрения инноваций и жизнеспособности бизнеса. Она оценивает инновации приложений с помощью объема и тенденций патентов на изобретения и оценивает потенциал бизнеса с помощью анализа перспектив рынка. На основе этих идей типичные варианты использования 6G подразделяются на четыре группы: ведущие варианты использования, варианты использования, которые необходимо прорвать, варианты использования, которые необходимо раскопать, и варианты использования, которые необходимо культивировать. Мы выбираем 23 типичных варианта использования 6G с консенсусом для эмпирического анализа, и даем рекомендации по разработке и компоновке вариантов использования 6G. Результаты этого исследования направлены на то, чтобы предложить новые перспективы для систематического планирования путей разработки приложений 6G и поддержать принятие решений по согласованию направлений технологических исследований с определениями сетевых требований. - Envisioning the Potential of 6G Use Cases—A Dual Perspective of Innovation and Business

Книги предсказаний

Этот учебник призван предоставить всестороннее введение в методы прогнозирования и предоставить достаточно информации о каждом методе, чтобы читатели могли использовать их разумно. Мы не пытаемся дать подробное обсуждение теоретических деталей, лежащих в основе каждого метода, хотя ссылки в конце каждой главы, как мы надеемся, заполнят многие из этих деталей: Python и R

Формальные методы

Формальные методы и инструменты успешно применяются для разработки критически важных для безопасности систем уже на протяжении десятилетий, в частности, в транспортной сфере, без единого метода или инструмента, которые стали бы доминирующим решением для проектирования систем. Формальные методы настоятельно рекомендуются существующими стандартами безопасности в железнодорожной отрасли, но инженерам-железнодорожникам обычно не хватает знаний для преобразования своих полуформальных моделей в формальную модель с точной семантикой, которая может служить входными данными для инструментов формальных методов. Мы делимся результатами проведения эмпирических исследований в этой области, включая анализ удобства использования инструментов формальных методов с участием специалистов-железнодорожников. Мы обсуждаем, в частности, в отношении железнодорожных систем и их моделирования, наш опыт применения формальных методов и инструментов к различным тематическим исследованиям, для чего мы взаимодействовали с рядом компаний из железнодорожной сферы. Мы сообщаем об уроках, извлеченных из этого опыта, и даем указания, как направить будущие исследования в сторону содействия дальнейшей синергии между исследователями и разработчиками формальных методов и инструментов, с одной стороны, и специалистами-железнодорожниками, с другой. - Models for formal methods and tools: the case of railway systems

Агенты на практике

Руководство от Open AI: A practical guide to building agents

Состязательные атаки и защиты в машинном зрении

Недавние исследования показали, что модели глубокого обучения уязвимы для состязательных примеров, демонстрируя, что применение определенного незаметного возмущения к чистым примерам может эффективно обмануть хорошо обученные и высокоточные модели глубокого обучения. Более того, состязательные примеры могут достичь значительного уровня уверенности с атакованной меткой. Напротив, человек едва мог различить разницу между чистыми и состязательными примерами, что вызвало огромную обеспокоенность по поводу надежных и заслуживающих доверия методов глубокого обучения. В этом обзоре мы рассмотрели существование, генерацию и контрмеры состязательных примеров в Computer Vision, чтобы обеспечить всестороннее освещение области с интуитивным пониманием механизмов и суммировали сильные и слабые стороны и основные проблемы. Мы надеемся, что эти усилия вызовут дополнительный интерес в сообществе к решению текущих проблем и исследованию этой фундаментальной области. Generation and Countermeasures of adversarial examples on vision: a survey

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Предсказания с секретом

MDP и прогнозирование временных рядов

Как оценить ИИ, который умнее нас?

Изучение трех стратегий: функциональная корректность, ИИ-судья и сравнительная оценка. Отсюда

Адаптивный камуфляж

Глубокие нейронные сети (DNN) достигли выдающихся успехов в широко распространенных приложениях. Между тем, их уязвимость к тщательно продуманным состязательным атакам привлекает особое внимание. Не только состязательные возмущения в цифровом пространстве обманут целевые детекторы на основе DNN, приняв неверное решение, но и фактически напечатанные заплатки могут быть замаскированы для обхода детекторов в физическом пространстве. В частности, многовидовые физические состязательные атаки представляют более серьезную угрозу для практических сценариев. Существующие атаки по-прежнему оспариваются в трех аспектах, а именно: дорогостоящее дополнение данных, разрыв в производительности атак между цифровым и физическим пространством и низкая переносимость атак между DNN. Чтобы преодолеть эти проблемы, мы представляем PhyCamo, надежную структуру физического камуфляжа, основанную на контрастном обучении, которая отличается от предыдущих исследований различными критическими способами: (1) дополнение данных — она использует модель диффузии для дополнения данных, чтобы эффективно имитировать сложную физическую динамику в реальном мире; (2) надежность — он использует контрастное обучение для оптимизации физической маскировки против кодировщиков с производительностью атаки самого современного уровня (SOTA); (3) переносимость — он смягчает шум, специфичный для модели, при оптимизации, принимая разнообразные методы ввода, тем самым усиливая переносимость между моделями. Проводятся обширные эксперименты на наборе данных автомобиля, наборе данных танка и наборе данных пешехода, сравнивая их с 6 классическими многовидовыми физическими состязательными атаками как в цифровом, так и в физическом пространстве. Результаты демонстрируют превосходную производительность PhyCamo. Например, он генерирует более эффективную физическую маскировку (с более высоким показателем успешности атаки ~×1,26 и снижением средней точности модели на 55%). PhyCamo также может помочь повысить надежность детекторов с помощью состязательного обучения, что способствует применению глубоких нейронных сетей в области чувствительности безопасности. - PhyCamo: A Robust Physical Camoufage via Contrastive Learning for Multi-View Physical Adversarial Attack

См. также другие публикации по теме физические атаки

MS AI Red Team

Microsoft выпустила большой технический документ о Red Teaming 100 генеративных продуктах ИИ. Созданная в 2018 году, команда фокусируется на выявлении рисков безопасности ИИ, сочетая традиционную безопасность с ответственными методами ИИ. Основные идеи включают использование онтологии ИИ red team для моделирования кибератак, 8 извлеченных уроков и 5 тематических исследований уязвимостей, таких как быстрые инъекции и психосоциальный вред. Основные выводы подчеркивают:

1) Генеративный ИИ усиливает как новые, так и существующие риски;

2) Понимание того, что может делать система и где она применяется;

3) Автоматизация может помочь охватить большую часть ландшафта рисков

3 takeaways from red teaming 100 generative AI products

См. также другие публикации по теме Red team

20 терминов из статистики

Крэш-курс по статистике с примерами Python - 20 Important Statistical Approaches Every Data Scientist Knows

ИБП для промышленности

Промышленный источник бесперебойного питания (ИБП) – это мощный источник бесперебойного питания, который предназначен для обеспечения качественной электроэнергией промышленных объектов. Основное назначение ИБП для промышленности – это защита дорогостоящего оборудования от полной потери электроэнергии, скачков напряжения, стабильность производственных процессов. Отсюда: Промышленные и индустриальные ИБП. Системы гарантированного электроснабжения.

Аномалии в киберфизических системах

Интегрируя физические и киберпространства, киберфизические системы (CPS) расширяют потенциальную поверхность атаки для злоумышленников. Учитывая их развертывание в критических инфраструктурах, таких как промышленные системы управления (ICS), обеспечение надежной безопасности является обязательным условием. Текущие исследования разработали различные методы обнаружения вторжений для выявления и противодействия вредоносным действиям. Однако традиционные методы часто сталкиваются с трудностями при обнаружении нескольких типов атак из-за зависимости от одного источника данных, такого как данные временных рядов от датчиков и исполнительных механизмов. В этом исследовании мы тщательно разрабатываем передовые методы глубокого обучения (DL), основанные на аномалиях, обученные либо на данных датчиков/исполнительных механизмов, либо на статистике сетевого трафика в неконтролируемой обстановке. Мы оцениваем эти методы на сетевых и физических данных, собираемых одновременно из реальной CPS. Благодаря тщательной настройке гиперпараметров мы определяем оптимальные параметры для каждой модели и сравниваем их эффективность и результативность при обнаружении различных типов атак. Помимо демонстрации превосходной производительности по сравнению с различными базовыми показателями, мы демонстрируем лучшую модель для каждого источника данных. В конечном итоге мы покажем, как использование разнообразных источников данных может улучшить обнаружение киберугроз, распознавая различные виды атак. An anomaly-based approach for cyber–physical threat detection using network and sensor data

См. также другие публикации, посвященные CPS

ML & Causal

Модели машинного обучения могут предсказывать что будет по историческим данным. Например, будушие продажи по историческим данным. А если мы хотим предсказать, какие будут продажи при условии установки скидки? Как соединить машинное обучение и каузальность? - Double ML: Bridging the Gap Between Machine Learning and Causal Inference

см. также другие публикации, посвященные каузальности

Нечеловеческий анализ смарт-контрактов

Смарт-контракты являются фундаментальными столпами блокчейна, играя важную роль в содействии различным бизнес-транзакциям. Однако эти смарт-контракты уязвимы для эксплуатируемых ошибок, которые могут привести к значительным денежным потерям. Недавнее исследование показывает, что более 80% этих эксплуатируемых ошибок, которые в основном являются функциональными ошибками, могут ускользнуть от обнаружения текущими инструментами. Автоматическое выявление функциональных ошибок в смарт-контрактах представляет собой сложности с нескольких точек зрения. Основная проблема заключается в значительном разрыве между пониманием высокоуровневой логики бизнес-модели и проверкой низкоуровневых реализаций в смарт-контрактах. Кроме того, выявление глубоко укоренившихся функциональных ошибок в смарт-контрактах требует автоматизированной генерации эффективных оракулов обнаружения на основе различных функций ошибок. Для решения этих проблем мы проектируем и внедряем PromFuzz, автоматизированную и масштабируемую систему для обнаружения функциональных ошибок в смарт-контрактах. В PromFuzz мы сначала предлагаем новую структуру анализа на основе Large Language Model (LLM), которая использует стратегию двухагентной оперативной инженерии для выявления потенциально уязвимых функций для дальнейшего изучения. Затем мы реализуем двухэтапный подход связывания, который фокусируется на создании инвариантных контролеров, которые используют логическую информацию, извлеченную из потенциально уязвимых функций. Наконец, мы разрабатываем ориентированный на ошибки механизм фаззинга, который сопоставляет логическую информацию из высокоуровневой бизнес-модели с низкоуровневыми реализациями смарт-контрактов и выполняет ориентированный на ошибки фаззинг на целевых функциях. Мы оцениваем PromFuzz с 4 точек зрения на 6 наборах данных наземной истины и сравниваем его с несколькими современными методами. Результаты показывают, что PromFuzz достигает 86,96% отзыва и 93,02% F1-оценки при обнаружении функциональных ошибок, что означает улучшение как минимум на 50% по обеим показателям по сравнению с передовыми методами. Более того, мы проводим углубленный анализ 6 реальных проектов DeFi и обнаруживаем 30 ошибок нулевого дня. Наши дальнейшие исследования случаев, рискованной ошибки первого депозита и ошибки манипуляции ценовым оракулом AMM в реальных проектах DeFi, демонстрируют серьезные риски эксплуатируемых функциональных ошибок в смарт-контрактах. На сегодняшний день 24 ошибкам нулевого дня были присвоены идентификаторы CVE. Наши открытия защитили активы на общую сумму 18,2 млрд долларов от потенциальных денежных потерь. - Detecting Functional Bugs in Smart Contracts through LLM-Powered and Bug-Oriented Composite Analysis

Промышленные ИБП

Промышленные источники бесперебойного питания (ИБП) – это мощные источники бесперебойного питания, которые предназначены для обеспечения качественной электроэнергией промышленных объектов. Промышленные ИБП используются на производственных предприятиях, комплексах нефтедобычи и переработки, нефтехимии, на электростанциях и других объектах энергетики, на военных базах, на транспортных узлах и пр. При этом они обеспечивают электропитание не только систем контроля и автоматики, но и различных исполнительных механизмов Промышленные бесперебойники разрабатываются с учетом специфики стандартов конкретных отраслей. Отсюда: Промышленные и индустриальные ИБП. Системы гарантированного электроснабжения.

Всемирная история ядов

Глубокое обучение стало краеугольным камнем современного искусственного интеллекта, позволяя применять преобразующие приложения в широком спектре областей. Как основной элемент глубокого обучения, качество и безопасность обучающих данных критически влияют на производительность и надежность модели. Однако в процессе обучения модели глубокого обучения сталкиваются со значительной угрозой отравления данных, когда злоумышленники вводят злонамеренно манипулированные обучающие данные, чтобы ухудшить точность модели или привести к аномальному поведению. Хотя существующие опросы предоставляют ценную информацию об отравлении данных, они, как правило, принимают широкую перспективу, охватывающую как атаки, так и защиты, но не имеют специального, глубокого анализа атак отравления, особенно в глубоком обучении. В этом опросе мы устраняем этот пробел, представляя всеобъемлющий и целевой обзор отравления данных в глубоком обучении. Во-первых, этот опрос классифицирует атаки отравления данных по нескольким точкам зрения, предоставляя углубленный анализ их характеристик и основных принципов проектирования. Во-вторых, обсуждение распространяется на новую область отравления данных в больших языковых моделях (LLM). Наконец, мы исследуем критические открытые проблемы в этой области и предлагаем потенциальные направления исследований для дальнейшего продвижения этой области. Для поддержки дальнейшего исследования актуальный репозиторий ресурсов по отравлению данных в глубоком обучении доступен по адресу https://github.com/Pinlong-Zhao/Data-Poisoning - Data Poisoning in Deep Learning: A Survey

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Как отрулить?

Обновленный стандарт BSI Flex 1888 v2.0 - События минимального риска (MRX) для автоматизированных транспортных средств. Структура, позволяющая автоматизированной системе вождения (ADS) определять и выполнять маневры с минимальным риском, когда система выходит из строя или деградирует.

Федеративное зло

Федеративное обучение (FL) позволяет проводить совместное обучение модели на большом корпусе децентрализованных данных, находящихся на распределенной популяции периферийных клиентов. Все клиенты могут хранить свои конфиденциальные данные в тайне и делиться обновлениями локальной модели только с федеративным сервером. С точки зрения кибербезопасности, это, конечно, большая проблема. Что если один (или несколько) участников будут отравлять общую модель? Обзор Data Poisoning and Leakage Analysis in Federated Learning

См. другие публикации по федеративному обучению

Обзор систем накопления энергии (СНЭ)

Системы накопления энергии (СНЭ), также известные как системы хранения энергии, — это технологии, предназначенные для сохранения избыточной энергии в одном виде и её последующего использования в другом виде. Эти системы играют важную роль в энергетике, особенно в контексте возобновляемых источников энергии, таких как солнечная и ветровая энергия, где производство энергии зависит от погодных условий.

Основные типы СНЭ

Существует несколько типов систем накопления энергии, каждый из которых имеет свои особенности, преимущества и недостатки:

1.Химические аккумуляторы
Это один из наиболее распространённых видов накопителей энергии. Примеры включают литий-ионные батареи, свинцово-кислотные аккумуляторы и натрий-серные батареи. Принцип работы заключается в преобразовании электрической энергии в химическую энергию через электрохимические реакции, которые происходят внутри аккумулятора. Когда аккумулятор заряжается, энергия сохраняется в виде химической энергии, а когда разряжается — эта энергия превращается обратно в электрическую.

Преимущества:
- Высокая плотность энергии.
- Относительно компактный размер.
- Возможность многократной перезарядки.

Недостатки:
- Ограниченный срок службы (обычно до нескольких тысяч циклов зарядки-разрядки).
- Потери эффективности при низких температурах.
- Риск возгорания (особенно у литий-ионных батарей).

2.Гидроаккумуляция (ГАЭС)
Гидроаккумуляционные электростанции (ГАЭС) работают по принципу перекачки воды между двумя резервуарами на разных высотах. Во время избытка электроэнергии вода перекачивается вверх, а при необходимости выработки электричества она спускается вниз, вращая турбины.

Преимущества:
- Длительный срок службы (десятилетия).
- Быстрая реакция на изменение нагрузки.
- Большая ёмкость хранения.

Недостатки:
- Требуется значительная площадь земли и высокие капитальные затраты.
- Необходимость наличия географически подходящих мест (горы, холмы).

3.Компрессорные воздушные системы (CAES)
В компрессорных воздушных системах воздух сжимают под высоким давлением и хранят в подземных полостях или баллонах. При необходимости этот сжатый воздух расширяется, приводя в движение турбину для генерации электричества.

Преимущества:
- Простота конструкции.
- Высокие возможности масштабирования.

Недостатки:
- Снижение КПД из-за тепловых потерь.
- Потребность в больших объемах хранилищ.

4.Тепловые накопители
Тепло накапливается в различных материалах (например, воде, камнях, солях) и используется позже для отопления или производства пара, который приводит в движение турбины. Например, солнечные тепловые станции часто используют теплоаккумуляторы для обеспечения круглосуточной выработки энергии.

Преимущества:
- Дешевизна материалов.
- Эффективная передача тепла.

Недостатки:
- Ограниченная возможность хранения большого количества энергии.
- Трудности с использованием для крупномасштабных проектов.

5.Кинетическая энергия (маховики)
Маховик — это массивный ротор, который аккумулирует кинетическую энергию благодаря высокой скорости вращения. Энергия высвобождается путём замедления маховика, который передаёт крутящий момент генератору.

Преимущества:
- Очень высокая скорость отклика.
- Низкий износ.

Недостатки:
- Большой вес и габариты.
- Возможные проблемы с вибрациями.

6.Электромагнитные накопители (суперконденсаторы)
Суперконденсаторы накапливают электроэнергию в форме электрического поля между электродами. Они отличаются высокой плотностью мощности и длительным сроком службы, однако имеют меньшую плотность энергии по сравнению с батареями.

Преимущества:
- Огромное количество циклов заряда/разряда.
- Быстрое время зарядки.

Недостатки:
- Меньшая удельная энергоёмкость.

Состязательные атаки в IoT

Состязательные атаки представляют серьезную угрозу производительности модели ИИ в различных приложениях, включая Интернет вещей (IoT). Для противодействия этим атакам были предложены различные механизмы защиты. Однако их основное ограничение заключается в их неспособности эффективно обрабатывать более широкие наборы данных, полученные из различных приложений. В этом исследовании мы используем несколько моделей ИИ с адаптивными весами, применяемыми на разных уровнях нейронной сети для достижения повышенной производительности и более надежных результатов. В этом исследовании представлена новая модель глубокого обучения на основе ИИ для обнаружения угроз соперничества в системах IoT, оптимизирующая предварительную обработку данных, извлечение признаков и классификацию посредством целостного подхода. Для повышения эффективности предварительной обработки данных была применена трехступенчатая технология фильтрации с использованием адаптивных весов. Для максимизации производительности обучения признакам использовалась двухуровневая стратегия адаптивного извлечения признаков. Это уточняется с помощью адаптивных расширенных обогащенных операций свертки, тогда как статистические атрибуты оптимизируются с помощью квантового алгоритма оптимизации Коати (Q-COA). Двойная система, основанная на внутреннем внимании, объединяет ограниченную машину Больцмана (RBM) с рекуррентной сверточной нейронной сетью (RCNN). Эта конфигурация эффективно идентифицирует состязательные атаки, связывая классификаторы с помощью механизма распределения веса, управляемого внутренним вниманием. Предлагаемый двухуровневый подход распределения веса превосходит обычные классификаторы и достигает превосходной точности классификации. Эта комплексная модель искусственного интеллекта (ИИ) значительно повышает эффективность предварительной обработки, производительность обучения признакам и точность классификации, предлагая инновационное и надежное решение для обнаружения состязательных атак в системах Интернета вещей. Метрика производительности, площадь под кривой (AUC), достигает значений 0,95 и 0,97 для двух наборов данных с использованием предложенной модели, что подчеркивает ее эффективность по сравнению с моделями в сравнении. - Addressing Adversarial Attacks in IoT Using Deep Learning AI Models

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению