Машина Больцмана

Помните такую? Интересный эмулятор

LLM синтетика

Генерация синтетических данных, которые точно отражают статистическую структуру распределений реального мира, является фундаментальной проблемой в моделировании данных. Классические подходы часто зависят от сильных параметрических предположений или ручного структурного проектирования и трудностей в многомерных или неоднородных областях. Недавний прогресс в области больших языковых моделей (LLM) раскрывает их потенциал как гибких, многомерных априорных значений по сравнению с реальными распределениями. Однако при применении к синтезу данных стандартная выборка на основе LLM неэффективна, ограничена фиксированными контекстными пределами и не обеспечивает статистического выравнивания. Учитывая это, мы представляем LLMSYNTHOR, общую структуру для синтеза данных, которая преобразует LLM в симуляторы, учитывающие структуру, управляемые распределительной обратной связью. LLMSYNTHOR рассматривает LLM как непараметрический симулятор копулы для моделирования зависимостей высокого порядка и вводит выборку предложений LLM для генерации обоснованных распределений предложений, которые повышают эффективность выборки, не требуя отклонения. Минимизируя расхождения в пространстве сводной статистики, цикл итерационного синтеза выравнивает реальные и синтетические данные, постепенно раскрывая и уточняя скрытую генеративную структуру. Мы оцениваем LLMSYNTHOR как в контролируемых, так и в реальных условиях, используя гетерогенные наборы данных в доменах, чувствительных к конфиденциальности (например, электронная коммерция, население и мобильность), которые охватывают как структурированные, так и неструктурированные форматы. Синтетические данные, полученные LLMSYNTHOR, показывают высокую статистическую точность, практическую полезность и кросс-данную адаптивность, позиционируя их как ценный инструмент в экономике, социальных науках, городских исследованиях и за их пределами. - Large Language Models for Data Synthesis

См. также другие публикации, посвященные LLM

LLM агенты под атакой

Сильные возможности планирования и рассуждения Больших языковых моделей (LLM) способствовали разработке систем на основе агентов, способных использовать внешние инструменты и взаимодействовать с все более сложными средами. Однако эти мощные функции также представляют собой критический риск безопасности: непрямое внедрение подсказок, сложный вектор атаки, который компрометирует ядро этих агентов, LLM, манипулируя контекстной информацией, а не прямыми подсказками пользователя. В этой работе мы предлагаем общую структуру фаззинга черного ящика, AGENTFUZZER, разработанную для автоматического обнаружения и эксплуатации уязвимостей непрямого внедрения подсказок в различных агентах LLM. Наш подход начинается с построения высококачественного начального корпуса исходных данных, затем использует алгоритм выбора исходных данных на основе поиска по дереву Монте-Карло (MCTS) для итеративного уточнения входных данных, тем самым максимизируя вероятность обнаружения слабых сторон агента. Мы оцениваем AGENTFUZZER по двум публичным тестам, AgentDojo и VWAadv, где он достигает 71% и 70% успеха против агентов на основе o3-mini и GPT-4o соответственно, почти вдвое увеличивая производительность базовых атак. Более того, AGENTFUZZER демонстрирует сильную переносимость между невидимыми задачами и внутренними LLM, а также многообещающие результаты против защит. Помимо тестов, мы применяем наши атаки в реальных средах, успешно вводя агентов в заблуждение, чтобы они переходили на произвольные URL-адреса, включая вредоносные сайты. AI Red Team для агентов - AGENTFUZZER: Generic Black-Box Fuzzing for Indirect Prompt Injection against LLM Agents

См. также другие публикации, посвященные LLM

Атаки на предсказание траекторий

Прогнозирование траектории является ключевым элементом автономных транспортных систем, позволяя им предвидеть и реагировать на движения других участников дорожного движения. Оценка надежности моделей прогнозирования против враждебных атак имеет важное значение для обеспечения их надежности в реальном дорожном движении. Однако современные подходы, как правило, сосредоточены на возмущении прошлых положений окружающих агентов, что может генерировать нереалистичные сценарии и упускать из виду критические уязвимости. Это ограничение может привести к чрезмерно оптимистичным оценкам производительности модели в реальных условиях. В этой работе мы демонстрируем, что возмущение не только прошлых, но и будущих состояний враждебных агентов может выявить ранее необнаруженные слабые стороны и тем самым обеспечить более строгую оценку надежности модели. Наш новый подход включает динамические ограничения и сохраняет тактическое поведение, обеспечивая более эффективные и реалистичные враждебные атаки. Мы вводим новые показатели производительности для оценки реалистичности и воздействия этих враждебных траекторий. Тестирование нашего метода на современной модели прогнозирования выявило значительное увеличение ошибок прогнозирования и частоты столкновений в условиях состязательности. Качественный анализ далее показал, что наши атаки могут выявить критические слабости, такие как неспособность модели обнаруживать потенциальные столкновения в том, что кажется безопасными прогнозами. Эти результаты подчеркивают необходимость более комплексного состязательного тестирования для лучшей оценки и повышения надежности моделей прогнозирования траектории для автономных транспортных средств. - Realistic Adversarial Attacks for Robustness Evaluation of Trajectory Prediction Models via Future State Perturbation

См. также другие публикации по теме физические атаки

Открытая наука, том 13, номер 5

Очередной номер журнала INJOIT появился на сайте Киберленинка.

Это том 13, номер 5 за 2025 год.

/via Лаборатория ОИТ

Вероятностные прогнозы для временных рядов

Прогнозирование является важнейшим компонентом бизнес-планирования в различных отраслях — от управления розничными запасами до анализа финансового рынка, от прогнозирования спроса на энергию до распределения маркетингового бюджета. Традиционно компании полагались на точечные прогнозы, которые дают единую оценку будущих значений. Хотя эти подходы могут работать достаточно хорошо в стабильных условиях, они часто не отражают присущую реальным системам неопределенность и могут приводить к неоптимальным решениям при столкновении с нестабильными или сложными средами.
Вероятностное прогнозирование устраняет эти ограничения, генерируя полные распределения вероятностей по возможным будущим результатам, а не одноточечные прогнозы. Этот сдвиг парадигмы предоставляет лицам, принимающим решения, более полное представление о потенциальных сценариях, что позволяет осуществлять надежное планирование, учитывающее риск и неопределенность. Благодаря недавним достижениям в области вычислительных методов и байесовской статистики эти сложные подходы становятся все более доступными для практиков. - Probabilistic Time Series Analysis: Opportunities and Applications

Text to SQL

Google выступил с решениями трансляции текста в SQL. Полная цепочка тогда должна выглядеть так: ASR (автоматическое распознавание речи) -> Text-to-SQL -> запрос к базе данных -> TTS (Text-to-Speech) - голосовые интерфейсы в информационных системах

Про биометрию

Макет головы для обмана биометрии. Физическая атака

См. также другие публикации по теме физические атаки

MCP и Docker

Docker предлагает решение для MCP

отсюда

Фальшивая кибербезопасность

Учитывая растущее количество и серьезность кибератак, наблюдается всплеск информации о кибербезопасности в различных средствах массовой информации, таких как сообщения, новостные статьи, отчеты и другие ресурсы. Cyber Threat Intelligence (CTI) включает обработку данных из этих источников кибербезопасности, что позволяет профессионалам и организациям получать ценную информацию. Однако с быстрым распространением информации о кибербезопасности включение поддельной CTI может привести к серьезным последствиям, включая атаки с отравлением данных. Чтобы решить эту проблему, мы реализовали трехэтапную стратегию: создание синтетической CTI, оценка качества сгенерированной CTI и обнаружение поддельной CTI. В отличие от других поддоменов, таких как обнаружение поддельных новостей о COVID, в настоящее время нет общедоступного набора данных, специально предназначенного для исследования обнаружения поддельной CTI. Чтобы устранить этот пробел, мы сначала создаем надежный набор данных Groundtruth, используя данные о кибербезопасности, специфичные для домена, для точной настройки Large Language Model (LLM) для генерации синтетической CTI. Затем мы используем методы краудсорсинга и передовые методы проверки синтетических данных для оценки качества сгенерированного набора данных, представляя новую методологию оценки, которая объединяет количественные и качественные подходы. Наша комплексная оценка показывает, что сгенерированный CTI не может быть отличим от подлинного CTI людьми-аннотаторами, независимо от их опыта в области компьютерных наук, что демонстрирует эффективность нашего подхода к генерации. Мы сравниваем различные методы обнаружения дезинформации с нашим набором данных groundtruth, чтобы установить базовые показатели производительности для выявления поддельного CTI. Используя существующие методы и адаптируя их к контексту обнаружения поддельного CTI, мы обеспечиваем основу для будущих исследований в этой критической области. Для содействия дальнейшим исследованиям мы делаем наш код, набор данных и экспериментальные результаты общедоступными на GitHub - Can LLM-generated misinformation be detected: A study on Cyber Threat Intelligence

Лев пьяных не любил, но уважал подхалимаж

Обратная связь от человека обычно используется для тонкой настройки помощников ИИ. Но обратная связь от человека может также поощрять ответы модели, которые соответствуют убеждениям пользователя, а не правдивым, поведение, известное как подхалимство. Мы исследуем распространенность подхалимства в моделях, процедура тонкой настройки которых использовала обратную связь от человека, и потенциальную роль суждений о человеческих предпочтениях в таком поведении. Сначала мы демонстрируем, что пять современных помощников ИИ постоянно демонстрируют подхалимство в четырех различных задачах по генерации текста в свободной форме. Чтобы понять, являются ли человеческие предпочтения движущей силой этого широко наблюдаемого поведения, мы анализируем существующие данные о человеческих предпочтениях. Мы обнаруживаем, что когда ответ соответствует взглядам пользователя, он с большей вероятностью будет предпочтен. Более того, как люди, так и модели предпочтений (МП) предпочитают убедительно написанные подхалимские ответы правильным в значительной части времени. Оптимизация выходных данных модели по МП также иногда жертвует правдивостью в пользу подхалимства. В целом наши результаты показывают, что подхалимство — это общее поведение современных помощников на базе искусственного интеллекта, вероятно, отчасти обусловленное человеческими предпочтениями, благоприятствующими подхалимским ответам. - Towards Understanding Sycophancy in Language Models

См. также другие публикации, посвященные LLM

Объясни модель

Простые объяснения для моделей ML

BLE и IoT

Интернет вещей (IoT) в последние годы значительно вырос, и Bluetooth Low Energy (BLE) стал ключевым фактором маломощной и недорогой беспроводной связи. В этой обзорной статье представлен обзор эволюции технологии Bluetooth с упором на роль BLE в экосистеме IoT. В ней рассматривается текущее состояние BLE, включая его приложения, проблемы, ограничения и последние достижения в таких областях, как безопасность, управление питанием и ячеистые сети. Недавний выпуск Bluetooth Low Energy версии 6.0 группой Bluetooth Special Interest Group (SIG) подчеркивает продолжающуюся эволюцию технологии и ее растущую значимость в IoT. Однако это быстрое развитие подчеркивает пробел в текущей литературе, отсутствие всесторонних, актуальных обзоров, которые полностью охватывают современный ландшафт BLE в приложениях IoT. В этой статье анализируются новые тенденции и будущие направления для BLE, включая интеграцию искусственного интеллекта, машинного обучения и аудиовозможностей. Анализ также рассматривает соответствие функций BLE целям устойчивого развития (ЦУР) ООН, в частности энергоэффективности, устойчивым городам и действиям по борьбе с изменением климата. Рассматривая разработку и развертывание технологии BLE, эта статья направлена ​​на то, чтобы дать представление о возможностях и проблемах, связанных с ее внедрением в различные приложения IoT, от умных домов и городов до промышленной автоматизации и здравоохранения. В этом обзоре подчеркивается значение эволюции BLE в формировании будущего беспроводной связи и IoT, а также закладывается основа для дальнейших исследований и инноваций в этой области. - Evolution of Bluetooth Technology: BLE in the IoT Ecosystem

ML и ВПО

Машинное (глубокое) обучение в поиске вредоносного ПО:

Вредоносное ПО стало серьезной угрозой для конечных пользователей, предприятий и правительств, что привело к финансовым потерям в миллиарды долларов. Киберпреступники обнаружили, что вредоносное ПО является прибыльным бизнесом из-за его развивающихся возможностей и способности нацеливаться на различные платформы, такие как ПК, мобильные устройства, IoT и облачные платформы. В то время как предыдущие исследования изучали обнаружение вредоносного ПО на основе одной платформы, ни одно из существующих исследований не рассматривало обнаружение вредоносного ПО на различных платформах с использованием методов машинного обучения (МО). С ростом вредоносного ПО на ПК или ноутбуках мобильные устройства и системы IoT теперь подвергаются атакам, что представляет значительную угрозу для облачных сред. Поэтому для противодействия этой развивающейся угрозе необходимо понимание механизмов обнаружения вредоносного ПО и защиты на основе платформы. Чтобы заполнить этот пробел и мотивировать дальнейшие исследования, мы представляем обширный обзор обнаружения вредоносного ПО с использованием методов МО в отношении ПК, мобильных устройств, IoT и облачных платформ. Эта статья начинается с обзора вредоносного ПО, включая его определение, основные типы, анализ и функции. В нем представлен всесторонний обзор обнаружения вредоносных программ на основе машинного обучения из недавней литературы, включая журнальные статьи, материалы конференций и онлайн-ресурсы, опубликованные с 2017 года. Это исследование также дает представление о текущих проблемах и намечает будущие направления для разработки адаптивных кросс-платформенных методов обнаружения вредоносных программ. Это исследование имеет решающее значение для понимания меняющегося ландшафта угроз и разработки надежных стратегий обнаружения. - A Survey on ML Techniques for Multi-Platform Malware Detection: Securing PC, Mobile Devices, IoT, and Cloud Environments

ИБП для ЦОД

Системы бесперебойного питания (ИБП) обеспечивают бесперебойную работу крупных центров обработки данных (ЦОД) и защиту чувствительного электронного оборудования на всем объекте. Важным звеном для защиты ЦОД от отключения электроэнергии и скачков напряжения является установка источника бесперебойного питания. В основном, применяют модульные и моноблочные ИБП, иногда целесообразно использовать их параллельное подключение. - ИБП для ЦОД

Промышленные или индустриальные источники бесперебойного питания (ИБП) предназначены для защиты критических процессов на производственных предприятиях, комплексах нефтедобычи и переработки, нефтехимии, на электростанциях и других объектах энергетики, на военных базах, на транспортных узлах и пр. При этом они обеспечивают электропитание не только систем контроля и автоматики, но и различных исполнительных механизмов. - Промышленные ИБП

База для агентов

Открытый код агента для сбора веб-контента. Можно использовать как базу для своих проектов

Можешь дописать?

Сегодня важным вопросом является то, использовался ли данный текст для обучения большой языковой модели (LLM). Часто используется тест на завершение: проверяет, завершает ли LLM достаточно сложный текст. Однако для этого требуется истинное определение членства; чаще всего оно определяется как член на основе перекрытия n-грамм между целевым текстом и любым текстом в наборе данных. В этой работе мы демонстрируем, что это определение членства на основе n-грамм можно эффективно обыграть. Мы изучаем сценарии, в которых последовательности не являются членами для заданного n, и обнаруживаем, что тесты на завершение все еще успешны. Мы находим много естественных случаев этого явления, переобучая LLM с нуля после удаления всех обучающих выборок, которые были завершены; эти случаи включают точные дубликаты, почти дубликаты и даже короткие перекрытия. Они показывают, что трудно найти единственный приемлемый выбор n для определений членства. Используя эти идеи, мы разрабатываем состязательные наборы данных, которые могут привести к завершению заданной целевой последовательности, не содержа ее, для любого разумного выбора n. Наши результаты подчеркивают неадекватность членства n-грамм, предполагая, что определения членства не учитывают вспомогательную информацию, доступную алгоритму обучения. - Language Models May Verbatim Complete Text They Were Not Explicitly Trained On

Показано, что LLM могут дословно воспроизводить текст, на котором они не обучались

См. также другие публикации, посвященные LLM

OOP паттерны

О диффузионных моделях

Хорошее объяснение - Diffusion Models, Explained Simply

RL песочница

Интерактивная демонстрация в браузере алгоритмов обучения с подкреплением

Flowise AI

Red Node и Yahoo Pipes для LLM - low code решение для построения систем на базе LLM

См. также другие публикации, посвященные LLM

REST API

INJOIT vol. 13, no. 5

Вышел пятый номер журнала INJOIT в 2025 году. И тринадцатый год издания журнала.

Темы статей:

• Предвзятость популярности в рекомендательных системах
• Опыт использования методов машинного обучения для анализа мгновенных электронных морских карт
• Идентификация неизвестных параметров неэлементарных регрессионных моделей с целочисленными функциями и с бинарными логическими операциями
• Разработка программного обеспечения на основе сверточной нейронной сети для исследования влияния цвета на психоэмоциональное состояние человека
• Новая архитектура программного обеспечения визуализации, трансформации и анализа снимков оборудования
• Разработка и исследование алгоритма для раздельной записи речи нескольких спикеров
• Модель оценки производительности оракулов в самоисполняющихся смарт-контрактах
• Метрики оценки зависимости двух временных рядов
• Development of Cross-Language Embeddings for Extracting Chemical Structures from Texts in Russian and English
• A Comparative Study: Evaluating ChatGPT and DeepSeek AI Tools in Practice
• Моделирование протоколов семейства AXI в симуляторах производительности вычислительных систем
• Использование агентного подхода с моделями глубокого обучения для обработки текстовых и табличных данных при диагностике заболеваний щитовидной железы
• Социальный скоринг как инновационный инструмент управления организационными системами в условиях цифровизации
• Выбор маршрутов для людей с ограниченной мобильностью: метод ранжирования на основе условий городской среды
• Исследование социальной результативности городских цифровых сервисов в контексте ценностно-ориентированного управления городом
• Динамическая обработка 2D-карт, используемых алгоритмами поиска для планирования траектории

Архив журнала находится здесь.

/via Лаборатория ОИТ

Дьявольский джейлбрейк

Недавно атака джейлбрейка, которая генерирует состязательные подсказки для обхода мер безопасности и введения в заблуждение больших языковых моделей (LLM) для вывода вредоносных ответов, привлекла широкий интерес из-за ее потенциала для выявления уязвимостей LLM. Однако, игнорируя эксплуатацию характеристик в понимании намерения, существующие исследования могли генерировать только подсказки со слабой атакующей способностью, не способные обойти защиту (например, чувствительное обнаружение слов) и вызывающие злой умысел (например, вредоносные результаты). Мотивированные механизмом в психологии человеческого неверного суждения, мы предлагаем структуру атаки джейлбрейка с двойным намерением (DIE) для генерации более скрытных и токсичных подсказок для обмана LLM для вывода вредоносного контента. Для скрытности, вдохновленные эффектом привязки, мы разработали модуль Intention-anchored Malicious Concealment (IMC), который скрывает вредоносное намерение за сгенерированным намерением привязки с помощью блока рекурсивной декомпозиции и блока вложенности противоположного намерения. Поскольку якорное намерение будет получено первым, LLM могут уделять меньше внимания вредоносному намерению и войти в статус ответа. Для токсичности мы предлагаем модуль Intention-reinforced Malicious Inducement (IMI), основанный на механизме смещения доступности в прогрессивном вредоносном подходе подсказок. Из-за продолжающегося появления утверждений, коррелирующих с вредоносными намерениями, выходное содержимое LLM будет ближе к этим более доступным намерениям, т. е. более токсичным. Мы провели обширные эксперименты в условиях черного ящика, подтвердив, что DIE может достичь 100% ASR-R и 92,9% ASR-G против GPT3.5-turbo. - Dual Intention Escape: Penetrating and Toxic Jailbreak Attack against Large Language Models

См. также другие публикации, посвященные LLM

Да или Нет?

Большие языковые модели (LLM) привлекли значительное внимание своей исключительной производительностью в различных областях. Несмотря на их достижения, сохраняются опасения относительно их неявной предвзятости, которая часто приводит к негативным социальным воздействиям. Поэтому важно выявить неявную предвзятость в LLM и исследовать потенциальную угрозу, которую она представляет. Наше исследование было сосредоточено на определенном типе неявной предвзятости, называемом неявной предвзятостью «Да-Нет», которая относится к присущей LLM тенденции отдавать предпочтение ответам «Да» или «Нет» на одну инструкцию. Сравнивая вероятность того, что LLM сгенерируют серию ответов «Да» и «Нет», мы наблюдали различные присущие тенденции реагирования, демонстрируемые LLM при столкновении с различными инструкциями. Для дальнейшего изучения влияния такой предвзятости мы разработали метод атаки, называемый Неявная предвзятость в контексте манипуляции, пытаясь манипулировать поведением LLM. В частности, мы исследовали, может ли неявное смещение «Да» манипулировать ответами «Нет» в «Да» в ответах LLM на вредоносные инструкции, приводя к вредоносным результатам. Наши результаты показали, что неявное смещение «Да» несет значительную угрозу безопасности, сопоставимую с тщательно разработанными методами атаки. Более того, мы предложили комплексный анализ с нескольких точек зрения, чтобы углубить понимание этой угрозы безопасности, подчеркивая необходимость постоянного улучшения безопасности LLM. - Investigating the Security Threat Arising from “Yes-No” Implicit Bias in Large Language Models

См. также другие публикации, посвященные LLM

Открытая наука том 13, номер 4

Очередной номер журнала INJOIT появился на сайте Киберленинка.

Это том 13, номер 4 за 2025 год.

/via Лаборатория ОИТ

О чем говорят пользователи

Интересная идея - пользовательские отзывы давно обрабатываются средствами машинного (глубокого) обучения для настройки рекомендательных систем. Здесь же авторы предлагают пропускать их через LLM для выделения пользовательских предпочтений.

"Последовательные рекомендательные системы нацелены на предоставление персонализированных рекомендаций для пользователей на основе истории их взаимодействия. Для достижения этого они часто включают вспомогательную информацию, такую, как текстовые описания элементов и вспомогательные задачи, такие как прогнозирование предпочтений и намерений пользователя. Несмотря на многочисленные усилия по улучшению этих моделей, они по-прежнему страдают от ограниченной персонализации. Чтобы решить эту проблему, мы предлагаем новую парадигму, которую мы называем распознаванием предпочтений. В распознавании предпочтений мы явно обуславливаем генеративную последовательную рекомендательную систему предпочтениями пользователя в ее контексте. С этой целью мы генерируем предпочтения пользователя с помощью больших языковых моделей (LLM) на основе отзывов пользователей и данных, специфичных для элемента. Чтобы оценить возможности распознавания предпочтений последовательных рекомендательных систем, мы вводим новый бенчмарк, который обеспечивает целостную оценку в различных сценариях, включая управление предпочтениями и следование настроениям. Мы оцениваем текущие современные методы с помощью нашего бенчмарка и показываем, что они с трудом точно распознают предпочтения пользователя. Поэтому мы предлагаем новый метод под названием Mender (ultimodal Preferce iscern), который улучшает существующие методы и достигает самых современных показателей в нашем бенчмарке. Наши результаты показывают, что Mender может эффективно руководствоваться человеческими предпочтениями, даже если они не наблюдались во время обучения, что прокладывает путь к более персонализированным системам последовательных рекомендаций. Мы откроем исходный код и бенчмарки после публикации." - Preference Discerning with LLM-Enhanced Generative Retrieval

Об алгоритмах на графах

Интересная статья об эволюции графовых алгоритмов: The evolution of graph learning

Трюки в Python

Интересная подборка малоизвестных возможностей Python

См. также другие публикации, посвященные Python

Кибербезопасность 2025

Ужесточение законодательства и новые угрозы: как бизнесу адаптироваться к вызовам кибербезопасности в 2025 году