Куда дальше?

Yoshua Bengio, Geoffrey Hinton и Yann LeCun - проблемы глубинного обучения и куда двинаться дальше. Одно из направлений - System 2 deep learning.

Современные системы машинного обучения основаны на гипотезе независимо и одинаково распределенных (IID - independently and identically distributed) данных. По сути, алгоритмы машинного обучения работают лучше всего, когда их обучающие и тестовые данные относятся к одному и тому же распределению. Это предположение может хорошо работать в простых средах, таких как подбрасывание монет и бросание игральных костей. Но реальный мир запутан, и распределения почти никогда не бывают однородными.

«Когда мы это делаем, мы уничтожаем важную информацию об изменениях в распределении, которые присущи собираемым нами данным», - сказал Yoshua Bengio. «Вместо того, чтобы уничтожать эту информацию, мы должны использовать ее, чтобы узнать, как меняется мир».

Интеллектуальные системы должны иметь возможность делать выводы для различных распределений данных, точно так же, как человеческие дети учатся приспосабливаться к изменениям своего тела и окружающей среды. «Нам нужны системы, которые могут справиться с этими изменениями и осуществлять непрерывное обучение, обучение на протяжении всей жизни и так далее», - сказал Yoshua Bengio в своем выступлении на NeurIPS. «Это давняя цель машинного обучения, но мы еще не нашли решения этой проблемы».