Собственные данные или настройка?

Что лучше для LLM - добавлять собственные данные к запросу (RAG - Retrieval-Augmented Generation) или проводить тонкую настройку (добавлять знания)? Сравнительный анализ.

Общая идея RAG:

1. Пользователь вводит вопрос.

2. Система ищет подходящие документы, которые могут содержать ответ на этот вопрос. Эти документы часто включают в себя собственные данные компании, которая разработала систему, а хранятся они обычно в некоем каталоге документов.

3. Система создаёт промпт для LLM, в котором скомбинированы данные, введённые пользователем, подходящие документы и инструкции для LLM. Модель должна ответить на вопрос пользователя, применив предоставленные ей документы.

4. Система отправляет промпт LLM.

5. LLM возвращает ответ на вопрос пользователя, основанный на предоставленных контекстных сведениях. Это — выходные данные системы.

См., например, здесь

См. также другие публикации, посвященные LLM