Диффузионные модели в порождении текста

"Несмотря на свою новаторскую производительность для многих задач генеративного моделирования, модели диффузии не справляются с дискретными областями данных, такими как естественный язык. Что особенно важно, стандартные модели диффузии опираются на устоявшуюся теорию сопоставления оценок, но попытки обобщить ее на дискретные структуры не дали тех же эмпирических результатов. В этой работе мы устраняем этот разрыв, предлагая энтропию оценок, новую потерю, которая естественным образом расширяет сопоставление оценок до дискретных пространств, легко интегрируется для построения дискретных моделей диффузии и значительно повышает производительность." Одна из немногих статей на эту тему Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution

Идея в том, что диффузионные модели могут генерить тексты быстрее, чем авторегрессия в LLM. Вот эта компания показывает генерацию кода в 10 раз быстрее, чем это делают LLM.

Источники бесперебойного питания (ИБП) для ЦОД

Выбор источника бесперебойного питания (ИБП) для центра обработки данных (ЦОД) — это важный этап в обеспечении надежности и непрерывности работы IT-инфраструктуры. Основные критерии выбора ИБП для ЦОД включают:

1. Тип ИБП
Для ЦОД чаще всего используют ИБП типа *on-line* (двойное преобразование), которые обеспечивают постоянное питание нагрузки стабилизированным напряжением без задержки переключения. Это гарантирует максимальную защиту оборудования от любых аномалий сети.

2. Мощность
Мощность ИБП определяется исходя из суммарной мощности всех подключённых устройств плюс запас на случай расширения инфраструктуры. Рекомендуется выбирать ИБП с мощностью минимум на 20% больше, чем пиковая нагрузка серверов и другого оборудования.

Как рассчитать мощность ИБП, зная коэффициент мощности нагрузки? Чтобы вычислить мощность необходимо перемножить номинальную мощность ИБП на коэффициент мощности. В результате операции получается число, которое показывает максимальную активную мощность, которую сможет обслуживать источник бесперебойного питания. Например, мощность ИБП составляет 100 кВА, а коэффициент мощности нагрузки равен 0,9. В таком случае активная мощность нагрузки составит 90 кВт. Суммарная мощность нагрузки должна быть меньше 90 кВт.

3. Время автономной работы
Время автономной работы зависит от емкости батарей ИБП. Для ЦОД важно иметь достаточное количество времени для безопасного завершения работы критически важных приложений или перевода нагрузки на резервные источники энергии (например, генераторы). Оптимальное время автономной работы варьируется от 10 минут до нескольких часов, в зависимости от требований конкретной инфраструктуры.

4. Масштабируемость
Важно учитывать возможность увеличения мощности ИБП путем добавления модулей или замены батарей. Масштабируемые ИБП особенно полезны для крупных центров обработки данных, где инфраструктура постоянно расширяется.

5. Эффективность
Высокий КПД (коэффициент полезного действия) важен для снижения эксплуатационных расходов. Современные ИБП могут достигать КПД до 95%, что снижает потери электроэнергии и тепловыделение.

6. Интеллектуальная система управления
Наличие встроенной системы мониторинга и управления позволяет удалённо контролировать состояние ИБП, получать уведомления о сбоях и автоматически управлять нагрузкой. Поддержка интеграции с системами мониторинга и управления инфраструктурой (DCIM) также важна.

7. Поддержка параллельной работы
Возможность подключения нескольких ИБП параллельно увеличивает общую мощность и повышает надежность системы. В случае выхода из строя одного устройства остальные продолжают обеспечивать электропитание.

8. Уровень защиты
Необходимо убедиться, что ИБП защищает оборудование не только от скачков напряжения, но и от импульсных перенапряжений, электромагнитных помех и гармоник. Для этого важны фильтры и дополнительные защитные схемы.

9. Условия эксплуатации
Учитываются требования к окружающей среде: температура, влажность, пыле- и влагозащита. ИБП для ЦОД должны выдерживать высокие температуры и работать в условиях повышенной нагрузки.

10. Цена и гарантия
Выбор ИБП также зависит от стоимости и гарантийных обязательств производителя. Лучше выбирать проверенные бренды с хорошей репутацией и длительным сроком гарантии.

При выборе ИБП для ЦОД нужно ориентироваться на конкретные потребности инфраструктуры, учитывая как технические параметры, так и возможные сценарии развития предприятия.

Подбор источника бесперебойного питания (ИБП) для ЦОД

LLM и дроны

Низковысотная мобильность, примером которой являются беспилотные летательные аппараты (БПЛА), внесла преобразующие достижения в различные области, такие как транспорт, логистика и сельское хозяйство. Используя гибкие перспективы и быструю маневренность, БПЛА расширяют возможности восприятия и действия традиционных систем, привлекая широкое внимание со стороны академических кругов и промышленности. Однако текущие операции БПЛА в первую очередь зависят от человеческого контроля, с ограниченной автономностью только в простых сценариях и не имеют интеллекта и адаптивности, необходимых для более сложных сред и задач. Появление больших языковых моделей (LLM) демонстрирует замечательные возможности решения проблем и обобщения, предлагая многообещающий путь для развития интеллекта БПЛА. В этой статье рассматривается интеграция LLM и БПЛА, начиная с обзора основных компонентов и функций систем БПЛА, за которым следует обзор новейших технологий LLM. Затем систематически освещаются мультимодальные ресурсы данных, доступные для БПЛА, которые обеспечивают критически важную поддержку для обучения и оценки. Кроме того, он классифицирует и анализирует ключевые задачи и сценарии применения, в которых сходятся БПЛА и LLM. Наконец, предлагается справочная дорожная карта к агентным БПЛА, направленная на то, чтобы позволить БПЛА достичь агентного интеллекта посредством автономного восприятия, памяти, рассуждения и использования инструментов. Сопутствующие ресурсы доступны по адресу https://github.com/Hub-Tian/UAVs - UAVs Meet LLMs: Overviews and Perspectives Toward Agentic Low-Altitude Mobility

Интересная работа по использованию мультимодальных моделей в БПЛА. Например, использование Vision Foundation Models для сегментации изображений.

NVIDIA AI Red Team

Состязательное тестирование LLM по версии NVIDIA

См. также другие публикации по теме AI Red Team

Доверенные системы Искусственного Интеллекта

Вопросы доверия к системам Искусственного интеллекта (ИИ) включают в себя много аспектов. Доверие к системам ИИ – это доверие к их результатам. Результаты работы используемых моделей принципиально носят недетерминированный характер. Доверие (гарантирование) результатов – это устойчивость модели, способность к обобщению, отсутствие бэкдоров и множество других показателей. Отсюда появляются риски систем ИИ. К сожалению, подходы к оценкам для большинства из них (практически всех) не имеют объемлющих (окончательных) решений. Одним из возможных решений в такой ситуации является оценка самого факта использования (принятия во внимание) разработчиками системы ИИ решений по парированию определенных рисков. Мы не можем оценить результаты этих решений, но, по крайней мере, мы можем зафиксировать попытки решения. Что это дает? Во-первых, мы можем оценить наличие этих попыток в баллах, что даст возможность сравнивать между собой разные реализации. Во-вторых, парирование таких рисков и есть лучшие практики по разработке систем ИИ, соответственно, отсутствие конкретных решений указывает разработчикам пути для улучшения свои продуктов. Это и есть аудит для систем ИИ. В работе рассматривается европейский проект опросного листа для оценки доверия к системам ИИ, для которого был создан адаптированный локализованный вариант, предлагаемый авторами как основа для систем аудита моделей ИИ. - Об оценке доверия к системам Искусственного интеллекта

См. также другие публикации по теме аудит

INJOIT том 13, номер 3

Вышел третий номер журнала INJOIT в 2025 году. И тринадцатый год издания журнала.

Темы статей:

• Исследование асимптотик решений дифференциальных уравнений 2-го порядка с мероморфными коэффициентами
• Опыт прогнозирования интенсивности морского трафика на основе компьютерного анализа online-морских карт Панамского канала
• Improvement the Accuracy of Attitude Estimation of UAV using the Extended Kalman Filter based on Particle Swarm Optimization
• Разработка и исследование программного обеспечения для моделирования певческого голоса на основе применения технологии SoftVC VITS
• Exact solution of the three-state generalized double-chain Potts model
• Метод кратковременного использования простаивающих компьютеров корпоративной сети для решения ресурсоемкой задачи
• Система аннотирования биомедицинских изображений на основе интернет-технологий в онкогематологии
• Виртуальный Музей Киберинцидентов: Реальность Цифровых Артефактов
• Методическое и программно-аппартное обеспечение выявления индивидуального киберукачивания в виртуальной реальности
• Об оценке доверия к системам Искусственного интеллекта

/via Лаборатория ОИТ

Архив журнала находится здесь.

Безопасность электрозарядок

Зарядки для электротранспорта - новые поверхности атак. NIST: Cybersecurity Framework Profile for Electric Vehicle Extreme Fast Charging Infrastructure

Ответственный ИИ

"Anthropic получила сертификат ISO 42001 для ответственного ИИ

Мы рады сообщить, что Anthropic получила аккредитованную сертификацию в соответствии с новым стандартом ISO/IEC 42001:2023 для нашей системы управления ИИ. ISO 42001 — первый международный стандарт, определяющий требования к управлению ИИ, и помогает гарантировать, что системы ИИ разрабатываются и используются ответственно.

Получение этой сертификации подчеркивает нашу приверженность безопасности ИИ и ответственному развитию. Она обеспечивает независимую проверку того, что мы внедрили комплексную структуру для выявления, оценки и снижения потенциальных рисков, связанных с нашими системами ИИ. Ключевые элементы включают:

Политики и процессы, гарантирующие, что системы ИИ проектируются, разрабатываются и развертываются этичным, безопасным и ответственным образом; Строгое тестирование и мониторинг для проверки того, что системы ведут себя так, как задумано, а потенциальные негативные воздействия устраняются проактивно; Меры прозрачности для предоставления соответствующей информации пользователям и заинтересованным сторонам; Установленные роли, обязанности и надзор для поддержания ответственных практик." - отсюда

/via Radar Trends