Лев пьяных не любил, но уважал подхалимаж

Обратная связь от человека обычно используется для тонкой настройки помощников ИИ. Но обратная связь от человека может также поощрять ответы модели, которые соответствуют убеждениям пользователя, а не правдивым, поведение, известное как подхалимство. Мы исследуем распространенность подхалимства в моделях, процедура тонкой настройки которых использовала обратную связь от человека, и потенциальную роль суждений о человеческих предпочтениях в таком поведении. Сначала мы демонстрируем, что пять современных помощников ИИ постоянно демонстрируют подхалимство в четырех различных задачах по генерации текста в свободной форме. Чтобы понять, являются ли человеческие предпочтения движущей силой этого широко наблюдаемого поведения, мы анализируем существующие данные о человеческих предпочтениях. Мы обнаруживаем, что когда ответ соответствует взглядам пользователя, он с большей вероятностью будет предпочтен. Более того, как люди, так и модели предпочтений (МП) предпочитают убедительно написанные подхалимские ответы правильным в значительной части времени. Оптимизация выходных данных модели по МП также иногда жертвует правдивостью в пользу подхалимства. В целом наши результаты показывают, что подхалимство — это общее поведение современных помощников на базе искусственного интеллекта, вероятно, отчасти обусловленное человеческими предпочтениями, благоприятствующими подхалимским ответам. - Towards Understanding Sycophancy in Language Models

См. также другие публикации, посвященные LLM

Объясни модель

Простые объяснения для моделей ML

BLE и IoT

Интернет вещей (IoT) в последние годы значительно вырос, и Bluetooth Low Energy (BLE) стал ключевым фактором маломощной и недорогой беспроводной связи. В этой обзорной статье представлен обзор эволюции технологии Bluetooth с упором на роль BLE в экосистеме IoT. В ней рассматривается текущее состояние BLE, включая его приложения, проблемы, ограничения и последние достижения в таких областях, как безопасность, управление питанием и ячеистые сети. Недавний выпуск Bluetooth Low Energy версии 6.0 группой Bluetooth Special Interest Group (SIG) подчеркивает продолжающуюся эволюцию технологии и ее растущую значимость в IoT. Однако это быстрое развитие подчеркивает пробел в текущей литературе, отсутствие всесторонних, актуальных обзоров, которые полностью охватывают современный ландшафт BLE в приложениях IoT. В этой статье анализируются новые тенденции и будущие направления для BLE, включая интеграцию искусственного интеллекта, машинного обучения и аудиовозможностей. Анализ также рассматривает соответствие функций BLE целям устойчивого развития (ЦУР) ООН, в частности энергоэффективности, устойчивым городам и действиям по борьбе с изменением климата. Рассматривая разработку и развертывание технологии BLE, эта статья направлена ​​на то, чтобы дать представление о возможностях и проблемах, связанных с ее внедрением в различные приложения IoT, от умных домов и городов до промышленной автоматизации и здравоохранения. В этом обзоре подчеркивается значение эволюции BLE в формировании будущего беспроводной связи и IoT, а также закладывается основа для дальнейших исследований и инноваций в этой области. - Evolution of Bluetooth Technology: BLE in the IoT Ecosystem

ML и ВПО

Машинное (глубокое) обучение в поиске вредоносного ПО:

Вредоносное ПО стало серьезной угрозой для конечных пользователей, предприятий и правительств, что привело к финансовым потерям в миллиарды долларов. Киберпреступники обнаружили, что вредоносное ПО является прибыльным бизнесом из-за его развивающихся возможностей и способности нацеливаться на различные платформы, такие как ПК, мобильные устройства, IoT и облачные платформы. В то время как предыдущие исследования изучали обнаружение вредоносного ПО на основе одной платформы, ни одно из существующих исследований не рассматривало обнаружение вредоносного ПО на различных платформах с использованием методов машинного обучения (МО). С ростом вредоносного ПО на ПК или ноутбуках мобильные устройства и системы IoT теперь подвергаются атакам, что представляет значительную угрозу для облачных сред. Поэтому для противодействия этой развивающейся угрозе необходимо понимание механизмов обнаружения вредоносного ПО и защиты на основе платформы. Чтобы заполнить этот пробел и мотивировать дальнейшие исследования, мы представляем обширный обзор обнаружения вредоносного ПО с использованием методов МО в отношении ПК, мобильных устройств, IoT и облачных платформ. Эта статья начинается с обзора вредоносного ПО, включая его определение, основные типы, анализ и функции. В нем представлен всесторонний обзор обнаружения вредоносных программ на основе машинного обучения из недавней литературы, включая журнальные статьи, материалы конференций и онлайн-ресурсы, опубликованные с 2017 года. Это исследование также дает представление о текущих проблемах и намечает будущие направления для разработки адаптивных кросс-платформенных методов обнаружения вредоносных программ. Это исследование имеет решающее значение для понимания меняющегося ландшафта угроз и разработки надежных стратегий обнаружения. - A Survey on ML Techniques for Multi-Platform Malware Detection: Securing PC, Mobile Devices, IoT, and Cloud Environments

ИБП для ЦОД

Системы бесперебойного питания (ИБП) обеспечивают бесперебойную работу крупных центров обработки данных (ЦОД) и защиту чувствительного электронного оборудования на всем объекте. Важным звеном для защиты ЦОД от отключения электроэнергии и скачков напряжения является установка источника бесперебойного питания. В основном, применяют модульные и моноблочные ИБП, иногда целесообразно использовать их параллельное подключение. - ИБП для ЦОД

Промышленные или индустриальные источники бесперебойного питания (ИБП) предназначены для защиты критических процессов на производственных предприятиях, комплексах нефтедобычи и переработки, нефтехимии, на электростанциях и других объектах энергетики, на военных базах, на транспортных узлах и пр. При этом они обеспечивают электропитание не только систем контроля и автоматики, но и различных исполнительных механизмов. - Промышленные ИБП

База для агентов

Открытый код агента для сбора веб-контента. Можно использовать как базу для своих проектов

Можешь дописать?

Сегодня важным вопросом является то, использовался ли данный текст для обучения большой языковой модели (LLM). Часто используется тест на завершение: проверяет, завершает ли LLM достаточно сложный текст. Однако для этого требуется истинное определение членства; чаще всего оно определяется как член на основе перекрытия n-грамм между целевым текстом и любым текстом в наборе данных. В этой работе мы демонстрируем, что это определение членства на основе n-грамм можно эффективно обыграть. Мы изучаем сценарии, в которых последовательности не являются членами для заданного n, и обнаруживаем, что тесты на завершение все еще успешны. Мы находим много естественных случаев этого явления, переобучая LLM с нуля после удаления всех обучающих выборок, которые были завершены; эти случаи включают точные дубликаты, почти дубликаты и даже короткие перекрытия. Они показывают, что трудно найти единственный приемлемый выбор n для определений членства. Используя эти идеи, мы разрабатываем состязательные наборы данных, которые могут привести к завершению заданной целевой последовательности, не содержа ее, для любого разумного выбора n. Наши результаты подчеркивают неадекватность членства n-грамм, предполагая, что определения членства не учитывают вспомогательную информацию, доступную алгоритму обучения. - Language Models May Verbatim Complete Text They Were Not Explicitly Trained On

Показано, что LLM могут дословно воспроизводить текст, на котором они не обучались

См. также другие публикации, посвященные LLM

OOP паттерны

О диффузионных моделях

Хорошее объяснение - Diffusion Models, Explained Simply

RL песочница

Интерактивная демонстрация в браузере алгоритмов обучения с подкреплением

Flowise AI

Red Node и Yahoo Pipes для LLM - low code решение для построения систем на базе LLM

См. также другие публикации, посвященные LLM

REST API

INJOIT vol. 13, no. 5

Вышел пятый номер журнала INJOIT в 2025 году. И тринадцатый год издания журнала.

Темы статей:

• Предвзятость популярности в рекомендательных системах
• Опыт использования методов машинного обучения для анализа мгновенных электронных морских карт
• Идентификация неизвестных параметров неэлементарных регрессионных моделей с целочисленными функциями и с бинарными логическими операциями
• Разработка программного обеспечения на основе сверточной нейронной сети для исследования влияния цвета на психоэмоциональное состояние человека
• Новая архитектура программного обеспечения визуализации, трансформации и анализа снимков оборудования
• Разработка и исследование алгоритма для раздельной записи речи нескольких спикеров
• Модель оценки производительности оракулов в самоисполняющихся смарт-контрактах
• Метрики оценки зависимости двух временных рядов
• Development of Cross-Language Embeddings for Extracting Chemical Structures from Texts in Russian and English
• A Comparative Study: Evaluating ChatGPT and DeepSeek AI Tools in Practice
• Моделирование протоколов семейства AXI в симуляторах производительности вычислительных систем
• Использование агентного подхода с моделями глубокого обучения для обработки текстовых и табличных данных при диагностике заболеваний щитовидной железы
• Социальный скоринг как инновационный инструмент управления организационными системами в условиях цифровизации
• Выбор маршрутов для людей с ограниченной мобильностью: метод ранжирования на основе условий городской среды
• Исследование социальной результативности городских цифровых сервисов в контексте ценностно-ориентированного управления городом
• Динамическая обработка 2D-карт, используемых алгоритмами поиска для планирования траектории

Архив журнала находится здесь.

/via Лаборатория ОИТ

Дьявольский джейлбрейк

Недавно атака джейлбрейка, которая генерирует состязательные подсказки для обхода мер безопасности и введения в заблуждение больших языковых моделей (LLM) для вывода вредоносных ответов, привлекла широкий интерес из-за ее потенциала для выявления уязвимостей LLM. Однако, игнорируя эксплуатацию характеристик в понимании намерения, существующие исследования могли генерировать только подсказки со слабой атакующей способностью, не способные обойти защиту (например, чувствительное обнаружение слов) и вызывающие злой умысел (например, вредоносные результаты). Мотивированные механизмом в психологии человеческого неверного суждения, мы предлагаем структуру атаки джейлбрейка с двойным намерением (DIE) для генерации более скрытных и токсичных подсказок для обмана LLM для вывода вредоносного контента. Для скрытности, вдохновленные эффектом привязки, мы разработали модуль Intention-anchored Malicious Concealment (IMC), который скрывает вредоносное намерение за сгенерированным намерением привязки с помощью блока рекурсивной декомпозиции и блока вложенности противоположного намерения. Поскольку якорное намерение будет получено первым, LLM могут уделять меньше внимания вредоносному намерению и войти в статус ответа. Для токсичности мы предлагаем модуль Intention-reinforced Malicious Inducement (IMI), основанный на механизме смещения доступности в прогрессивном вредоносном подходе подсказок. Из-за продолжающегося появления утверждений, коррелирующих с вредоносными намерениями, выходное содержимое LLM будет ближе к этим более доступным намерениям, т. е. более токсичным. Мы провели обширные эксперименты в условиях черного ящика, подтвердив, что DIE может достичь 100% ASR-R и 92,9% ASR-G против GPT3.5-turbo. - Dual Intention Escape: Penetrating and Toxic Jailbreak Attack against Large Language Models

См. также другие публикации, посвященные LLM

Да или Нет?

Большие языковые модели (LLM) привлекли значительное внимание своей исключительной производительностью в различных областях. Несмотря на их достижения, сохраняются опасения относительно их неявной предвзятости, которая часто приводит к негативным социальным воздействиям. Поэтому важно выявить неявную предвзятость в LLM и исследовать потенциальную угрозу, которую она представляет. Наше исследование было сосредоточено на определенном типе неявной предвзятости, называемом неявной предвзятостью «Да-Нет», которая относится к присущей LLM тенденции отдавать предпочтение ответам «Да» или «Нет» на одну инструкцию. Сравнивая вероятность того, что LLM сгенерируют серию ответов «Да» и «Нет», мы наблюдали различные присущие тенденции реагирования, демонстрируемые LLM при столкновении с различными инструкциями. Для дальнейшего изучения влияния такой предвзятости мы разработали метод атаки, называемый Неявная предвзятость в контексте манипуляции, пытаясь манипулировать поведением LLM. В частности, мы исследовали, может ли неявное смещение «Да» манипулировать ответами «Нет» в «Да» в ответах LLM на вредоносные инструкции, приводя к вредоносным результатам. Наши результаты показали, что неявное смещение «Да» несет значительную угрозу безопасности, сопоставимую с тщательно разработанными методами атаки. Более того, мы предложили комплексный анализ с нескольких точек зрения, чтобы углубить понимание этой угрозы безопасности, подчеркивая необходимость постоянного улучшения безопасности LLM. - Investigating the Security Threat Arising from “Yes-No” Implicit Bias in Large Language Models

См. также другие публикации, посвященные LLM

Открытая наука том 13, номер 4

Очередной номер журнала INJOIT появился на сайте Киберленинка.

Это том 13, номер 4 за 2025 год.

/via Лаборатория ОИТ

О чем говорят пользователи

Интересная идея - пользовательские отзывы давно обрабатываются средствами машинного (глубокого) обучения для настройки рекомендательных систем. Здесь же авторы предлагают пропускать их через LLM для выделения пользовательских предпочтений.

"Последовательные рекомендательные системы нацелены на предоставление персонализированных рекомендаций для пользователей на основе истории их взаимодействия. Для достижения этого они часто включают вспомогательную информацию, такую, как текстовые описания элементов и вспомогательные задачи, такие как прогнозирование предпочтений и намерений пользователя. Несмотря на многочисленные усилия по улучшению этих моделей, они по-прежнему страдают от ограниченной персонализации. Чтобы решить эту проблему, мы предлагаем новую парадигму, которую мы называем распознаванием предпочтений. В распознавании предпочтений мы явно обуславливаем генеративную последовательную рекомендательную систему предпочтениями пользователя в ее контексте. С этой целью мы генерируем предпочтения пользователя с помощью больших языковых моделей (LLM) на основе отзывов пользователей и данных, специфичных для элемента. Чтобы оценить возможности распознавания предпочтений последовательных рекомендательных систем, мы вводим новый бенчмарк, который обеспечивает целостную оценку в различных сценариях, включая управление предпочтениями и следование настроениям. Мы оцениваем текущие современные методы с помощью нашего бенчмарка и показываем, что они с трудом точно распознают предпочтения пользователя. Поэтому мы предлагаем новый метод под названием Mender (ultimodal Preferce iscern), который улучшает существующие методы и достигает самых современных показателей в нашем бенчмарке. Наши результаты показывают, что Mender может эффективно руководствоваться человеческими предпочтениями, даже если они не наблюдались во время обучения, что прокладывает путь к более персонализированным системам последовательных рекомендаций. Мы откроем исходный код и бенчмарки после публикации." - Preference Discerning with LLM-Enhanced Generative Retrieval

Об алгоритмах на графах

Интересная статья об эволюции графовых алгоритмов: The evolution of graph learning

Трюки в Python

Интересная подборка малоизвестных возможностей Python

См. также другие публикации, посвященные Python

Кибербезопасность 2025

Ужесточение законодательства и новые угрозы: как бизнесу адаптироваться к вызовам кибербезопасности в 2025 году