# Сравнительный анализ методов сжатия нейронных сетей

Статья посвящена сравнительному анализу методов сжатия нейронных сетей и их роли в развёртывании моделей глубокого обучения на устройствах с ограниченными вычислительными ресурсами. Рассматриваются причины, по которым классические подходы к обучению моделей перестают удовлетворять требованиям практики: рост размера архитектур, необходимость инференса на мобильных и встраиваемых платформах, ограничения по энергопотреблению и стоимости вычислений в облаке. На основе практических экспериментов с моделью компьютерного зрения ResNet-50 и языковой моделью BERT-base проведено сравнение четырёх групп методов, квантования, структурного прунинга, дистилляции знаний и низкоранговой аппроксимации весовых матриц. Выявлены ключевые ограничения каждого подхода: зависимость реального ускорения от прунинга от поддержки разреженных вычислений на конкретном оборудовании, высокая стоимость подготовки студенческой модели при дистилляции знаний и низкий потолок сжатия у низкоранговой аппроксимации для слоёв внимания трансформера. Предложены практические рекомендации по выбору метода в зависимости от целевой платформы и требований к точности. Сделан вывод, что универсального метода сжатия не существует, а наилучший результат достигается за счёт комбинации методов, подобранной под конкретную архитектуру и целевое оборудование.

| Поле | Значение |
|---|---|
| Автор | Поветьев Герман Юрьевич |
| Организация | Северо-Кавказский федеральный университет, г. Ставрополь, Россия |
| Раздел | Обзоры и другие науки |
| Опубликовано | 06.09.2026 |
| Идентификатор | AX-135955 |
| Лицензия | CC BY 4.0 |
| Ключевые слова | сжатие нейронных сетей, квантование, прунинг, дистилляция знаний, низкоранговая аппроксимация, инференс, edge-устройства. |

Полный текст (PDF): https://arxivorg.ru/upload/iblock/a90/6l4v6w9xiltw4h9s2rni4lhl0b0rtm63/%D0%9F%D0%BE%D0%B2%D0%B5%D1%82%D1%8C%D0%B5%D0%B2_%D0%A1%D1%80%D0%B0%D0%B2%D0%BD%D0%B5%D0%BD%D0%B8%D0%B5_%D0%BC%D0%B5%D1%82%D0%BE%D0%B4%D0%BE%D0%B2_%D1%81%D0%B6%D0%B0%D1%82%D0%B8%D1%8F_%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D1%81%D0%B5%D1%82%D0%B5%D0%B9.pdf
Источник (HTML): https://arxivorg.ru/reviews/sravnitelnyy-analiz-metodov-szhatiya-neyronnykh-setey/
Архив: арХиворг.ру — открытый архив научных препринтов на русском языке.

## Полный текст

СРАВНИТЕЛЬНЫЙ АНАЛИЗ МЕТОДОВ СЖАТИЯ НЕЙРОННЫХ СЕТЕЙ Поветьев Герман Юрьевич Северо - Кавказский федеральный университет, г. Ставрополь, Россия Аннотация. Статья посвящена сравнительному анализу методов сжатия нейронных сетей, применяемых для сокращения объёма моделей и ускорения инференса без критической потери качества. Рассмотрены четыре группы методов: квантование, прунинг, дистилляция знаний и низкоранг овая аппроксимация весовых матриц. На основе экспериментов с моделью компьютерного зрения ResNet - 50 и языковой моделью BERT - base проведено сопоставление методов по коэффициенту сжатия, изменению точности и приросту скорости работы. Показано, что квантовани е даёт наиболее выгодное соотношение между простотой внедрения и сохранением качества, прунинг требует поддержки со стороны аппаратной части, а дистилляция знаний позволяет получить компактную модель с собственной архитектурой ценой отдельного цикла обучен ия. Сформулированы рекомендации по выбору метода в зависимости от условий развёртывания модели. Ключевые слова: сжатие нейронных сетей, квантование, прунинг, дистилляция знаний, низкоранговая аппроксимация, инференс, edge - устройства. Введение Размер нейросетевых моделей за последние годы вырос в десятки раз. Модели компьютерного зрения, которые в 2018 году занимали десятки мегабайт, сегодня измеряются сотнями мегабайт, а языковые модели давно перешагнули границу в несколько миллиардов параметро в. Рост качества почти всегда идёт рядом с ростом размера, и это создаёт проблему на этапе развёртывания. Не у каждого сервиса есть мощный сервер с GPU, а мобильные устройства, встроенные системы и пограничные вычисления (edge computing) вообще не рассчита ны на такие объёмы. Актуальность темы связана с несколькими причинами. Во - первых, инференс модели на проде стоит денег, и чем тяжелее модель, тем выше счёт за вычислительные ресурсы. Во - вторых, часть задач требует ответа за миллисекунды, а большая модель с этим просто не спра вляется на слабом железе. В - третьих, конфиденциальность данных всё чаще требует запуска модели прямо на устройстве пользователя, без отправки данных на сервер, а значит модель должна помещаться в память телефона или встраиваемого модуля. Наконец, растущее внимание к энергопотреблению вычислений заставляет искать способы уменьшить нагрузку на оборудование не только ради скорости, но и ради экономии электроэнергии. Ответом на эти проблемы стали методы сжатия нейросетей. За последние годы сложилось четыре основных направления: снижение разрядности весов (квантование), удаление избыточных параметров (прунинг), обучение компактной модели на основе большой (дистилляция з наний) и замена полноразмерных весовых матриц их приближением меньшего ранга (низкоранговая аппроксимация). У каждого метода свои сильные стороны, ограничения и требования к инфраструктуре, и на практике инженеру нужно выбирать не «лучший» метод вообще, а метод, подходящий под конкретную задачу.

Цель работы, сравнить перечисленные методы сжатия на практике и сформулировать рекомендации по их выбору. Для этого решены следующие задачи: рассмотрены принципы работы каждого метода, проведён эксперимент по применению всех четырёх методов к модели компью терного зрения и языковой модели, измерены коэффициент сжатия, изменение точности и скорость инференса, а также сформулированы практические рекомендации по выбору метода под разные сценарии развёртывания. Методы Для эксперимента были выбраны две модели, представляющие разные классы задач. Первая, ResNet - 50, свёрточная сеть для классификации изображений, обученная на ImageNet, с базовым размером около 98 МБ и точностью top - 1 76,1%. Вторая, BERT - base, применённая к задаче классификации тональности текста (SST - 2), с базовым размером 440 МБ и точностью 92,7%. Такой выбор позволяет проверить, работают ли методы сжатия одинаково хорошо на свёрточных сетях и на трансформерах, у которых архитектура и распределение параметр ов существенно отличаются. К каждой модели применялись четыре метода независимо друг от друга, без комбинирования, чтобы результаты можно было сравнивать напрямую. Квантование выполнялось в постобучающем режиме (post - training quantization) с переводом весов и активаций в 8 - битное це лочисленное представление INT8. Прунинг использовался структурный, с удалением целых каналов или голов внимания по критерию величины весов, а не отдельных случайных связей, поскольку только структурный прунинг даёт реальный прирост скорости на стандартном железе без специальных библиотек разреженных вычислений. Дистилляция знаний реализовывалась через обучение уменьшенной студенческой модели (ResNet - 18 для образа и BERT с шестью слоями вместо двенадцати для текста) на выходах учителя с использованием комбин ации функции потерь по мягким меткам и обычной кросс - энтропии. Низкоранговая аппроксимация применялась к полносвязным и проекционным слоям через сингулярное разложение матриц весов с последующим дообучением на нескольких эпохах для восстановления точности. Для каждой конфигурации измерялись три группы метрик. Коэффициент сжатия, это отношение размера исходной модели к размеру сжатой в мегабайтах. Изменение точности, это разница между точностью базовой модели и точностью после сжатия, в процентных пунктах на валидационной выборке. Прирост скорости, это отношение времени инференса базовой модели ко времени инференса сжатой модели при одинаковой партии данных на одном и том же процессоре, без использования GPU, поскольку именно CPU - инференс типичен для мобильных и встраиваемых сценариев. Каждое измерение времени повторялось десять раз, использовалось медианное значение, чтобы снизить влияние случайных задержек системы. Результаты

Рисунок 1. Основные группы методов сжатия нейросетей Квантование INT8 показало наиболее предсказуемый результат на обеих моделях. Размер ResNet - 50 сократился с 98 МБ до 25 МБ, точность снизилась всего на 0,5 процентного пункта, а инференс на CPU ускорился в 2,1 раза. Для BERT - base эффект был похожим: размер упал до 110 МБ, точность снизилась до 92,1%, скорость выросла в 2,3 раза. Разрядность весов почти не влияет на то, какую информацию несёт модель, а современные процессоры выполняют целочисленные операции заметно быстрее операций с плавающей точкой, поэтому квантование одновременно уменьшает файл модели и ускоряет вычисления. Структурный прунинг дал более скромный прирост. Для ResNet - 50 удаление 40% каналов уменьшило размер модели до 52 МБ (сокращение в 1,9 раза), но точность упала на 1,8 пункта, а скорость выросла лишь в 1,7 раза. Для BERT - base после удаления части голов внима ния и промежуточных нейронов размер снизился до 260 МБ, точность упала до 89,8%, ускорение составило 1,6 раза. Разница между теоретическим сокращением параметров и реальным ускорением объясняется тем, что стандартные библиотеки линейной алгебры плохо испол ьзуют разреженность матриц. Без специализированных ядер вычислений часть выигрыша в размере не превращается в выигрыш по скорости. Дистилляция знаний оказалась самым затратным по времени подготовки методом, но дала лучшее соотношение размера и точности среди всех вариантов на ResNet. Студенческая модель ResNet - 18 весит 45 МБ (сокращение в 2,2 раза от исходной), точность держится на ур овне 73,9% (падение на 2,2 пункта), а скорость выросла в 2,4 раза за счёт меньшей глубины сети. Для текстовой модели шестислойный студент показал размер 265 МБ и точность 90,9%, что соответствует известным результатам по компактным версиям BERT, сохраняющи м порядка 97% качества исходной модели при уменьшении размера почти вдвое [1]. Минус метода в том, что нужен полноценный цикл обучения студенческой модели, а не просто преобразование готовых весов, как при квантовании или прунинге. Низкоранговая аппроксимация показала самый скромный коэффициент сжатия, 1,6 раза для ResNet - 50 и 1,4 раза для BERT - base, при этом падение точности оказалось меньше, чем у прунинга (1,3 и 1,9 пункта соответственно). Метод хорошо работает там, где весовая ма трица действительно избыточна по рангу, например в полносвязных слоях

классификатора, но плохо подходит для свёрточных ядер и слоёв внимания трансформера, где полезная информация распределена по всем компонентам матрицы почти равномерно. Рисунок 2. Сравнение коэффициента сжатия по методам Общая картина по обеим моделям одна и та же: квантование лидирует по коэффициенту сжатия и почти не трогает точность, дистилляция даёт лучший баланс там, где можно позволить себе отдельное обучение, а прунинг и низкоранговая аппроксимация занимают промежут очное положение и сильно зависят от того, насколько конкретный слой сети избыточен. Обсуждение Результаты эксперимента подтверждают, что универсального метода сжатия не существует, выбор зависит от условий задачи. Квантование стоит применять почти всегда как базовый шаг: оно быстро внедряется, не требует переобучения модели с нуля и даёт стабильный выигрыш и в размере, и в скорости. Единственное ограничение в том, что не все аппаратные платформы одинаково хорошо поддерживают целочисленные вычисления низкой разрядности, особенно INT4, который в 2026 году активно используется для больших языковых модел ей, но требует новых библиотек вроде GPTQ или AWQ. Прунинг оправдан, если целевое железо умеет работать с разреженными матрицами напрямую, например через тензорные ядра с поддержкой структурной разреженности. Без такой поддержки прунинг уменьшает файл модели, но почти не ускоряет вычисления, а это часто гл авная цель сжатия. Дистилляция знаний подходит, когда есть время и данные для обучения отдельной студенческой модели и когда важна не просто компрессия существующей архитектуры, а получение принципиально более лёгкой и быстрой модели. Низкоранговая аппрокс имация редко используется как самостоятельный метод, но полезна как дополнение к другим подходам для конкретных типов слоёв. Стоит отметить, что в реальных проектах методы часто комбинируют. Квантование почти всегда сочетается с прунингом или дистилляцией, поскольку эти методы работают на разных уровнях и не конфликтуют между собой. Например, сначала обучается компактная студенч еская модель, а затем она квантуется до INT8. Такая комбинация в предварительных проверках давала дополнительное сокращение размера ещё в 3 с лишним

раза поверх выигрыша от одной дистилляции, хотя настройка подобных цепочек требует больше инженерного времени и тщательного контроля точности на каждом шаге. Ограничение проведённого исследования в том, что эксперимент выполнен на двух моделях и двух задачах. Для других архитектур, например для генеративных языковых моделей или сетей для сегментации изображений, соотношение методов может отличаться, особенно в части прунинга, эффективность которого сильно зависит от избыточности конкретной архитектуры. Выводы Сравнение четырёх методов сжатия нейросетей показывает, что выбор метода должен отталкиваться от цели проекта, а не от моды на конкретный инструмент. Если нужен быстрый и надёжный результат с минимальными затратами на внедрение, стоит начинать с квантовани я. Если критична итоговая скорость на железе с поддержкой разреженных вычислений, имеет смысл добавить структурный прунинг. Если требуется компактная модель с собственной архитектурой и есть ресурсы на обучение, лучший выбор это дистилляция знаний. Низкора нговую аппроксимацию разумно рассматривать как точечное дополнение для конкретных слоёв, а не как основной метод. В большинстве практических случаев наилучший результат даёт не один метод, а их комбинация, подобранная под конкретную модель и конкретное оборудование. Разработчику стоит проверять эффект каждого метода экспериментально на своей задаче, а не полагаться на общие цифры из статей, поскольку итоговый выигрыш сильно зависит от архитектуры модели, целевого железа и используемых библиотек инференса. Список литературы 1. Sanh V., Debut L., Chaumond J., Wolf T. DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter. arXiv:1910.01108, 2019. 2. Hinton G., Vinyals O., Dean J. Distilling the Knowledge in a Neural Network. arXiv:1503.02531, 2015. 3. Han S., Mao H., Dally W. Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding. arXiv:1510.00149, 2016. 4. Jacob B. et al. Quantization and Training of Neural Networks for Efficient Integer - Arithmetic - Only Inference. CVPR, 2018. 5. Frantar E., Ashkboos S., Hoefler T., Alistarh D. GPTQ: Accurate Post - Training Quantization for Generative Pre - trained Transformers. arXiv:2210.17323, 2023. 6. Molchanov P., Mishra A., Chen J. et al. Structural Pruning via Latency - Saliency Knapsack. NeurIPS, 2022. 7. NVIDIA. Structured Sparsity in the NVIDIA Ampere Architecture. URL: https://developer.nvidia.com/blog/structured - sparsity - in - the - nvidia - ampere - architecture - and - applications - in - search - engines/ ( дата обращения : 01.09.2026). 8. PyTorch Documentation. Quantization. URL: https://pytorch.org/docs/stable/quantization.html ( дата обращения : 01.09.2026). 9. Hugging Face. Optimum: Model Optimization Toolkit. URL: https://huggingface.co/docs/optimum (дата обращения: 01.09.2026).

10. ГОСТ 7.0.5 - 2008. Библиографическая ссылка. Общие требования и правила составления. М.: Стандартинформ, 2008.