Как скажете

Обучение с подкреплением на основе обратной связи с человеком (RLHF) стало важным техническим и повествовательным инструментом для развертывания новейших систем машинного обучения. В этой книге мы надеемся дать мягкое введение в основные методы для людей с некоторым уровнем количественного бэкграунда. Книга начинается с истоков RLHF — как в недавней литературе, так и в конвергенции разрозненных областей науки в экономике, философии и оптимальном управлении. Затем мы задаем основу с определениями, формулировкой задач, сбором данных и другой общей математикой, используемой в литературе. В основе книги подробно описан каждый этап оптимизации при использовании RLHF, начиная с настройки инструкций до обучения модели вознаграждения и, наконец, всех алгоритмов выборки отклонения, обучения с подкреплением и прямого выравнивания. Книга завершается продвинутыми темами — недостаточно изученными вопросами исследований в области синтетических данных и оценки — и открытыми вопросами для этой области. - Книга в открытом доступе: Reinforcement Learning from Human Feedback

От трех до пяти

Интересная идея - калькулятор неопределенности

Поясни за модель

В наши дни существует несколько инструментов и фреймворков, которые помогают нам понимать и интерпретировать прогнозы, сделанные моделями ИИ. Используя эти инструменты, мы можем отладить производительность модели и лучше понять принятые решения. К различным популярным инструментам относятся следующие:

(1) LIME (Local Interpretable Model-Agnostic Explanations): IME (Local Interpretable Model-Agnostic Explanations): Это изменяет ввод выборок данных, чтобы увидеть, как меняются прогнозы. LIME позволяет интерпретировать модель локально. После изменения значений признаков наблюдаются выходные данные.

(2) SHAP (аддитивные объяснения Шепли): Это еще один метод объяснения выходных данных ML-модели. Он сопоставим с LIME в том, что интерпретации используются для отображения влияния определенного значения признака на прогноз. SHAP повышает прозрачность модели.

(3) ELI5 или Explain Like I'm 5: Это популярный инструмент Python, который позволяет визуализировать прогнозы моделей машинного обучения и помогает в отладке классификаторов. ELI5 можно использовать для оценки производительности модели машинного обучения двумя способами. Global ELI5 демонстрирует, как параметры ведут себя по отношению ко всей модели. Локальный ELI5 проверяет один экземпляр прогноза.

(4) XAI 5: Это набор инструментов машинного обучения, специально созданный для анализа данных и оценки моделей. Он помогает пользователю сбалансировать класс путем увеличения или уменьшения выборки набора данных перед обучением и тестированием. Корреляционная матрица используется для оценки поведения модели.

(5) Инструментарий Partial Reliance Plot (PDPbox) используется для вычисления и визуализации влияния признаков на прогнозирование целевых переменных. Библиотека похожа на random forest в том, что указывает, как характеристика влияет на прогнозирование. Модуль Python обнаруживает связи между данными или признаками, используемыми в качестве входных данных для модели, и окончательным прогнозом. Он используется для демонстрации глобальных и локальных интерпретаций моделей черного ящика.

(6) GradCAM Он позволяет визуализировать тепловые карты и градиенты для настройки гиперпараметров или разработки матриц неточностей, а также объяснять и визуализировать прогноз.

(7) InterpretML: набор инструментов Microsoft Python с открытым исходным кодом для обучения понятных моделей и объяснения технологий черного ящика. Это помогает в отладке, позволяя понимать прогнозы, сделанные моделью. Он основан на индивидуальной оценке глобальных и локальных аспектов.

(8) АЛИБИ. Alibi — это библиотека Python с открытым исходным кодом, которая состоит из широкого спектра алгоритмов для выполнения интерпретации прогноза в конкретном случае.

См. также другие публикации, посвященные SHAP и ответу на вопрос "почему" для моделей машинного обучения

6G - примеры использования

В настоящее время технология 6G находится на решающем этапе исследований и стандартизации, а следующие три-пять лет будут иметь решающее значение для достижения технологических прорывов и содействия промышленному развитию. Ожидается, что 6G будет поддерживать более широкий спектр сценариев применения, приведет нас к более интеллектуальному и взаимосвязанному будущему. Приложения и варианты использования 6G служат жизненно важным связующим звеном между технологическими инновациями и требованиями пользователей, закладывая основу для ключевых показателей производительности сети, функционального проектирования и планирования возможностей обслуживания, а также прокладывая путь для его будущей коммерциализации. Перспективное исследование и выявление потенциальных вариантов использования 6G, особенно тех, которые имеют высокие перспективы развития, могут предложить стратегическое руководство для технологических исследований и разработок. В этом исследовании представлена ​​инновационная матрица потенциала вариантов использования 6G, разработанная с двойной точки зрения инноваций и жизнеспособности бизнеса. Она оценивает инновации приложений с помощью объема и тенденций патентов на изобретения и оценивает потенциал бизнеса с помощью анализа перспектив рынка. На основе этих идей типичные варианты использования 6G подразделяются на четыре группы: ведущие варианты использования, варианты использования, которые необходимо прорвать, варианты использования, которые необходимо раскопать, и варианты использования, которые необходимо культивировать. Мы выбираем 23 типичных варианта использования 6G с консенсусом для эмпирического анализа, и даем рекомендации по разработке и компоновке вариантов использования 6G. Результаты этого исследования направлены на то, чтобы предложить новые перспективы для систематического планирования путей разработки приложений 6G и поддержать принятие решений по согласованию направлений технологических исследований с определениями сетевых требований. - Envisioning the Potential of 6G Use Cases—A Dual Perspective of Innovation and Business

Книги предсказаний

Этот учебник призван предоставить всестороннее введение в методы прогнозирования и предоставить достаточно информации о каждом методе, чтобы читатели могли использовать их разумно. Мы не пытаемся дать подробное обсуждение теоретических деталей, лежащих в основе каждого метода, хотя ссылки в конце каждой главы, как мы надеемся, заполнят многие из этих деталей: Python и R

Формальные методы

Формальные методы и инструменты успешно применяются для разработки критически важных для безопасности систем уже на протяжении десятилетий, в частности, в транспортной сфере, без единого метода или инструмента, которые стали бы доминирующим решением для проектирования систем. Формальные методы настоятельно рекомендуются существующими стандартами безопасности в железнодорожной отрасли, но инженерам-железнодорожникам обычно не хватает знаний для преобразования своих полуформальных моделей в формальную модель с точной семантикой, которая может служить входными данными для инструментов формальных методов. Мы делимся результатами проведения эмпирических исследований в этой области, включая анализ удобства использования инструментов формальных методов с участием специалистов-железнодорожников. Мы обсуждаем, в частности, в отношении железнодорожных систем и их моделирования, наш опыт применения формальных методов и инструментов к различным тематическим исследованиям, для чего мы взаимодействовали с рядом компаний из железнодорожной сферы. Мы сообщаем об уроках, извлеченных из этого опыта, и даем указания, как направить будущие исследования в сторону содействия дальнейшей синергии между исследователями и разработчиками формальных методов и инструментов, с одной стороны, и специалистами-железнодорожниками, с другой. - Models for formal methods and tools: the case of railway systems

Агенты на практике

Руководство от Open AI: A practical guide to building agents

Состязательные атаки и защиты в машинном зрении

Недавние исследования показали, что модели глубокого обучения уязвимы для состязательных примеров, демонстрируя, что применение определенного незаметного возмущения к чистым примерам может эффективно обмануть хорошо обученные и высокоточные модели глубокого обучения. Более того, состязательные примеры могут достичь значительного уровня уверенности с атакованной меткой. Напротив, человек едва мог различить разницу между чистыми и состязательными примерами, что вызвало огромную обеспокоенность по поводу надежных и заслуживающих доверия методов глубокого обучения. В этом обзоре мы рассмотрели существование, генерацию и контрмеры состязательных примеров в Computer Vision, чтобы обеспечить всестороннее освещение области с интуитивным пониманием механизмов и суммировали сильные и слабые стороны и основные проблемы. Мы надеемся, что эти усилия вызовут дополнительный интерес в сообществе к решению текущих проблем и исследованию этой фундаментальной области. Generation and Countermeasures of adversarial examples on vision: a survey

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Предсказания с секретом

MDP и прогнозирование временных рядов

Как оценить ИИ, который умнее нас?

Изучение трех стратегий: функциональная корректность, ИИ-судья и сравнительная оценка. Отсюда

Адаптивный камуфляж

Глубокие нейронные сети (DNN) достигли выдающихся успехов в широко распространенных приложениях. Между тем, их уязвимость к тщательно продуманным состязательным атакам привлекает особое внимание. Не только состязательные возмущения в цифровом пространстве обманут целевые детекторы на основе DNN, приняв неверное решение, но и фактически напечатанные заплатки могут быть замаскированы для обхода детекторов в физическом пространстве. В частности, многовидовые физические состязательные атаки представляют более серьезную угрозу для практических сценариев. Существующие атаки по-прежнему оспариваются в трех аспектах, а именно: дорогостоящее дополнение данных, разрыв в производительности атак между цифровым и физическим пространством и низкая переносимость атак между DNN. Чтобы преодолеть эти проблемы, мы представляем PhyCamo, надежную структуру физического камуфляжа, основанную на контрастном обучении, которая отличается от предыдущих исследований различными критическими способами: (1) дополнение данных — она использует модель диффузии для дополнения данных, чтобы эффективно имитировать сложную физическую динамику в реальном мире; (2) надежность — он использует контрастное обучение для оптимизации физической маскировки против кодировщиков с производительностью атаки самого современного уровня (SOTA); (3) переносимость — он смягчает шум, специфичный для модели, при оптимизации, принимая разнообразные методы ввода, тем самым усиливая переносимость между моделями. Проводятся обширные эксперименты на наборе данных автомобиля, наборе данных танка и наборе данных пешехода, сравнивая их с 6 классическими многовидовыми физическими состязательными атаками как в цифровом, так и в физическом пространстве. Результаты демонстрируют превосходную производительность PhyCamo. Например, он генерирует более эффективную физическую маскировку (с более высоким показателем успешности атаки ~×1,26 и снижением средней точности модели на 55%). PhyCamo также может помочь повысить надежность детекторов с помощью состязательного обучения, что способствует применению глубоких нейронных сетей в области чувствительности безопасности. - PhyCamo: A Robust Physical Camoufage via Contrastive Learning for Multi-View Physical Adversarial Attack

См. также другие публикации по теме физические атаки

MS AI Red Team

Microsoft выпустила большой технический документ о Red Teaming 100 генеративных продуктах ИИ. Созданная в 2018 году, команда фокусируется на выявлении рисков безопасности ИИ, сочетая традиционную безопасность с ответственными методами ИИ. Основные идеи включают использование онтологии ИИ red team для моделирования кибератак, 8 извлеченных уроков и 5 тематических исследований уязвимостей, таких как быстрые инъекции и психосоциальный вред. Основные выводы подчеркивают:

1) Генеративный ИИ усиливает как новые, так и существующие риски;

2) Понимание того, что может делать система и где она применяется;

3) Автоматизация может помочь охватить большую часть ландшафта рисков

3 takeaways from red teaming 100 generative AI products

См. также другие публикации по теме Red team

20 терминов из статистики

Крэш-курс по статистике с примерами Python - 20 Important Statistical Approaches Every Data Scientist Knows

ИБП для промышленности

Промышленный источник бесперебойного питания (ИБП) – это мощный источник бесперебойного питания, который предназначен для обеспечения качественной электроэнергией промышленных объектов. Основное назначение ИБП для промышленности – это защита дорогостоящего оборудования от полной потери электроэнергии, скачков напряжения, стабильность производственных процессов. Отсюда: Промышленные и индустриальные ИБП. Системы гарантированного электроснабжения.

Аномалии в киберфизических системах

Интегрируя физические и киберпространства, киберфизические системы (CPS) расширяют потенциальную поверхность атаки для злоумышленников. Учитывая их развертывание в критических инфраструктурах, таких как промышленные системы управления (ICS), обеспечение надежной безопасности является обязательным условием. Текущие исследования разработали различные методы обнаружения вторжений для выявления и противодействия вредоносным действиям. Однако традиционные методы часто сталкиваются с трудностями при обнаружении нескольких типов атак из-за зависимости от одного источника данных, такого как данные временных рядов от датчиков и исполнительных механизмов. В этом исследовании мы тщательно разрабатываем передовые методы глубокого обучения (DL), основанные на аномалиях, обученные либо на данных датчиков/исполнительных механизмов, либо на статистике сетевого трафика в неконтролируемой обстановке. Мы оцениваем эти методы на сетевых и физических данных, собираемых одновременно из реальной CPS. Благодаря тщательной настройке гиперпараметров мы определяем оптимальные параметры для каждой модели и сравниваем их эффективность и результативность при обнаружении различных типов атак. Помимо демонстрации превосходной производительности по сравнению с различными базовыми показателями, мы демонстрируем лучшую модель для каждого источника данных. В конечном итоге мы покажем, как использование разнообразных источников данных может улучшить обнаружение киберугроз, распознавая различные виды атак. An anomaly-based approach for cyber–physical threat detection using network and sensor data

См. также другие публикации, посвященные CPS

ML & Causal

Модели машинного обучения могут предсказывать что будет по историческим данным. Например, будушие продажи по историческим данным. А если мы хотим предсказать, какие будут продажи при условии установки скидки? Как соединить машинное обучение и каузальность? - Double ML: Bridging the Gap Between Machine Learning and Causal Inference

см. также другие публикации, посвященные каузальности

Нечеловеческий анализ смарт-контрактов

Смарт-контракты являются фундаментальными столпами блокчейна, играя важную роль в содействии различным бизнес-транзакциям. Однако эти смарт-контракты уязвимы для эксплуатируемых ошибок, которые могут привести к значительным денежным потерям. Недавнее исследование показывает, что более 80% этих эксплуатируемых ошибок, которые в основном являются функциональными ошибками, могут ускользнуть от обнаружения текущими инструментами. Автоматическое выявление функциональных ошибок в смарт-контрактах представляет собой сложности с нескольких точек зрения. Основная проблема заключается в значительном разрыве между пониманием высокоуровневой логики бизнес-модели и проверкой низкоуровневых реализаций в смарт-контрактах. Кроме того, выявление глубоко укоренившихся функциональных ошибок в смарт-контрактах требует автоматизированной генерации эффективных оракулов обнаружения на основе различных функций ошибок. Для решения этих проблем мы проектируем и внедряем PromFuzz, автоматизированную и масштабируемую систему для обнаружения функциональных ошибок в смарт-контрактах. В PromFuzz мы сначала предлагаем новую структуру анализа на основе Large Language Model (LLM), которая использует стратегию двухагентной оперативной инженерии для выявления потенциально уязвимых функций для дальнейшего изучения. Затем мы реализуем двухэтапный подход связывания, который фокусируется на создании инвариантных контролеров, которые используют логическую информацию, извлеченную из потенциально уязвимых функций. Наконец, мы разрабатываем ориентированный на ошибки механизм фаззинга, который сопоставляет логическую информацию из высокоуровневой бизнес-модели с низкоуровневыми реализациями смарт-контрактов и выполняет ориентированный на ошибки фаззинг на целевых функциях. Мы оцениваем PromFuzz с 4 точек зрения на 6 наборах данных наземной истины и сравниваем его с несколькими современными методами. Результаты показывают, что PromFuzz достигает 86,96% отзыва и 93,02% F1-оценки при обнаружении функциональных ошибок, что означает улучшение как минимум на 50% по обеим показателям по сравнению с передовыми методами. Более того, мы проводим углубленный анализ 6 реальных проектов DeFi и обнаруживаем 30 ошибок нулевого дня. Наши дальнейшие исследования случаев, рискованной ошибки первого депозита и ошибки манипуляции ценовым оракулом AMM в реальных проектах DeFi, демонстрируют серьезные риски эксплуатируемых функциональных ошибок в смарт-контрактах. На сегодняшний день 24 ошибкам нулевого дня были присвоены идентификаторы CVE. Наши открытия защитили активы на общую сумму 18,2 млрд долларов от потенциальных денежных потерь. - Detecting Functional Bugs in Smart Contracts through LLM-Powered and Bug-Oriented Composite Analysis