Как скажете

Обучение с подкреплением на основе обратной связи с человеком (RLHF) стало важным техническим и повествовательным инструментом для развертывания новейших систем машинного обучения. В этой книге мы надеемся дать мягкое введение в основные методы для людей с некоторым уровнем количественного бэкграунда. Книга начинается с истоков RLHF — как в недавней литературе, так и в конвергенции разрозненных областей науки в экономике, философии и оптимальном управлении. Затем мы задаем основу с определениями, формулировкой задач, сбором данных и другой общей математикой, используемой в литературе. В основе книги подробно описан каждый этап оптимизации при использовании RLHF, начиная с настройки инструкций до обучения модели вознаграждения и, наконец, всех алгоритмов выборки отклонения, обучения с подкреплением и прямого выравнивания. Книга завершается продвинутыми темами — недостаточно изученными вопросами исследований в области синтетических данных и оценки — и открытыми вопросами для этой области. - Книга в открытом доступе: Reinforcement Learning from Human Feedback