Мозг и LLM

Интересная работа - параллели между большими языковыми моделями и работой мозга "В последнее время достигнут значительный прогресс в обработке естественного языка: алгоритмы глубокого обучения все чаще способны генерировать, обобщать, переводить и классифицировать тексты. Тем не менее, эти языковые модели по-прежнему не соответствуют языковым способностям людей. Теория предиктивного кодирования предлагает предварительное объяснение этого несоответствия: в то время как языковые модели оптимизированы для предсказания близлежащих слов, человеческий мозг будет постоянно предсказывать иерархию представлений, охватывающую несколько временных масштабов. Чтобы проверить эту гипотезу, мы проанализировали сигналы мозга с помощью функциональной магнитно-резонансной томографии 304 участников, слушающих короткие рассказы. Во-первых, мы подтвердили, что активация современных языковых моделей линейно сопоставляется с реакцией мозга на речь. Во-вторых, мы показали, что расширение этих алгоритмов прогнозами, охватывающими несколько временных масштабов, улучшает картирование мозга. Наконец, мы показали, что эти прогнозы организованы иерархически: лобно-теменная кора предсказывает репрезентации более высокого уровня, дальнего действия и более контекстуальные, чем височная кора. В целом, эти результаты усиливают роль иерархического предиктивного кодирования в обработке речи и иллюстрируют, как синергия между нейронаукой и искусственным интеллектом может раскрыть вычислительные основы человеческого познания."