Thursday, February 15, 2024

Космоснимки

Машинное обучение в анализе космических снимков. Обзор.

Энциклопедия LLM

В этой статье мы рассматриваем некоторые из наиболее известных LLM, в том числе три популярных семейства LLM (GPT, LLaMA, PaLM), и обсуждаем их характеристики, вклад и ограничения. Мы также даем обзор методов, разработанных для создания и расширения LLM. Затем мы изучаем популярные наборы данных, подготовленные для обучения, тонкой настройки и оценки LLM, рассматриваем широко используемые показатели оценки LLM и сравниваем эффективность нескольких популярных LLM по набору репрезентативных критериев. Наконец, мы завершаем статью обсуждением открытых проблем и будущих направлений исследований.

См. также другие публикации, посвященные LLM

Thursday, February 08, 2024

Monday, February 05, 2024

Поясни за вывод

Survey on Explainable Ai: Techniques, Challenges and Open Issues

P.S. см. также другие публикации по теме explainable, а также другие публикации, посвященные ответу на вопрос почему?

Sunday, February 04, 2024

INJOIT том 12, номер 2

Вышел второй номер журнала INJOIT в 2024 году. И двенадцатый год издания журнала.

Темы статей:

  • Восемь вариантов конечных автоматов для проверки выполнения отношения покрытия итераций двух конечных языков. Часть II
  • Обзор и сравнительный анализ алгоритмов атак и защиты на графовые архитектуры ИНС
  • Comparative analysis of Jacobi and Gauss-Seidel iterative methods
  • Development and Analysis of a Fuzzy Controller for Mobile Robots in Heterogeneous Soils
  • Информационная система подачи заявок на гранты
  • Analysis of NFC technology evolution
  • Разработка программного комплекса для решения задачи планирования траектории при управлении движением манипуляционного механизма
  • An Investigation into Router Firmware Security and the Embedded Device Challenge
  • Цифра и тенденции развития военных технологий и соответствующей регуляторики: взгляд на зарубежный опыт
  • Архитектурные модели Web3

/via Лаборатория ОИТ

Архив журнала находится здесь.

Фейк или нет?

Интересная статья по определению deep fake, созданных диффузионными моделями

Saturday, February 03, 2024

На чем учили?

Атаки на LLM - извлечение тренировочных данных. Вот здесь есть описание этой атаки.

Вот здесь описана другая модель подобной атаки

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению и LLM

Friday, February 02, 2024

Собственные данные или настройка?

Что лучше для LLM - добавлять собственные данные к запросу (RAG - Retrieval-Augmented Generation) или проводить тонкую настройку (добавлять знания)? Сравнительный анализ.

Общая идея RAG:

1. Пользователь вводит вопрос.

2. Система ищет подходящие документы, которые могут содержать ответ на этот вопрос. Эти документы часто включают в себя собственные данные компании, которая разработала систему, а хранятся они обычно в некоем каталоге документов.

3. Система создаёт промпт для LLM, в котором скомбинированы данные, введённые пользователем, подходящие документы и инструкции для LLM. Модель должна ответить на вопрос пользователя, применив предоставленные ей документы.

4. Система отправляет промпт LLM.

5. LLM возвращает ответ на вопрос пользователя, основанный на предоставленных контекстных сведениях. Это — выходные данные системы.

См., например, здесь

См. также другие публикации, посвященные LLM