Уменьшение размера нейронных сетей

"В последние годы нейронные сети (NN) достигли большой зрелости и эффективности, и их приложения распространились на различные области, включая некоторые модули систем, критически важных для безопасности. С другой стороны, недавние исследования продемонстрировали, что NN уязвимы для состязательных атак, поэтому модель нейронной сети должна быть проверена и сертифицирована перед ее развертыванием. Несмотря на количество существующих формальных методов проверки нейронных сетей, проверка большой сети остается серьезной проблемой для этих методов. Это в основном связано с ограничениями масштабируемости этих подходов и нелинейностью, вносимой функциями активации в NN. Чтобы помочь решить эту проблему, мы предлагаем новый метод абстракции, который позволяет уменьшить размер NN, сохраняя ее поведенческие особенности. Основная идея подхода заключается в уменьшении размера исходной нейронной сети путем объединения нейронов, принадлежащих одному слою, и определения новых весов как интервалов и сумм абсолютных значений весов объединенных нейронов. Подход позволяет создать абстрактную (т. е. сокращенную) модель, которая меньше и проще для проверки, гарантируя при этом, что эта абстрактная модель является более точным приближением исходной. Наши ранние эксперименты показывают, что подход повышает масштабируемость при выполнении операций проверки, таких как вычисление выходного диапазона, на абстрактной модели." - Interval Weight-Based Abstraction for Neural Network Verification.

Интересная идея для верификации нейронных сетей