Фиксированный размер (Fixed-Size): текст разбивается на фрагменты через заданное количество токенов с небольшим перекрытием.
Рекурсивный (Recursive): сначала текст делится на абзацы; если фрагмент остается слишком большим, применяется разбиение по строкам, затем по словам и, наконец, по отдельным символам.
На основе структуры документа (Document-Based): разбиение происходит в местах, где в документе уже предусмотрены логические разрывы — например, заголовки, главы или HTML-теги (в случае с Markdown-файлами каждый раздел становится отдельным фрагментом).
Семантический (Semantic): каждое предложение преобразуется в вектор (эмбеддинг); алгоритм оценивает его сходство с предыдущим предложением и создает новый фрагмент, когда уровень сходства падает. Это позволяет выявлять реальные смысловые переходы, а не просто полагаться на длину текста.
На основе LLM (LLM-Based): языковая модель (LLM) переписывает текст, превращая его в набор самостоятельных утверждений (по одному на строку), каждое из которых становится отдельным фрагментом. Метод обеспечивает высокое качество, но требует значительных затрат при обработке больших объемов данных.
Агентный (Agentic): ИИ-агент анализирует каждый документ, определяет его тип (например, программный код, договор или таблица) и подбирает наиболее подходящий метод разбиения — вместо использования единого правила для всех файлов.
Отложенное разбиение (Late Chunking): весь документ целиком пропускается через модель для создания эмбеддингов, после чего применяются стандартные границы разбиения, а внутри каждой границы вычисляется среднее значение векторов (mean-pooling) для формирования итоговых эмбеддингов фрагментов.
Иерархический (Hierarchical): документ последовательно разделяется на уровни: разделы, абзацы, а затем — отдельные предложения.
См. также другие публикации по теме RAG

No comments:
Post a Comment