Интересное замечание: "Хотя проверка фактов с помощью систем естественного языка стали популярными в последние годы, языковые модели обычно обучаются на статических снимках данных без постоянных обновлений с течением времени, и им не хватает контекста реального мира, который люди, проверяющие факты, могут легко получить и использовать для проверки достоверности утверждений. Исследователи Технического университета Дармштадта и IBM проанализировали существующие наборы данных для проверки фактов выявлены недостатки систем проверки фактов, построенных на основе этих наборов данных. Например, автоматизированные системы проверки фактов часто предполагают наличие противоречивых контрдоказательств для новых ложных утверждений, но для проверки новых утверждений, как истинных так и ложных, часто нет доказательства наличия или отсутствия противоречия."
Иными словами, факт отвергается, если в датасете есть противоречивое утверждение. А если такого нет? Пример из отчета - утверждение "Чтобы создать вакцину от COVID-19, можно убить миллион акул". Это не будет опровергнуто, посокльку нет обратного утверждения. Тогда как человек модет проверить информацию о вакцине.
No comments:
Post a Comment