Variable length coding of quantized deep learning models /
طول متغير للترميز نماذج التعلم العميق الكمي /
By Reem Omar Mohamed El-Sayed Abdel-Salam ; Under the Supervision of Prof. Dr. Amr G. Wassal, Dr. Ahmed H. Abdel-Gawad
- 67 pages : illustrations ; 30 cm. + CD.
Thesis (M.Sc.) -Cairo University, 2023.
Bibliography: pages 65-67.
Quantization plays a crucial role in efficiently deploying deep learning models on resource-constraint devices. Most of the existing quantization approaches require access either to the full dataset or a small amount of it, in order to re-train the model, which might be hard due to resources limitation for training or data access issues. Current methods achieve high performance on INT8 (or above) fixed-point integers. However, performance degrades with lower bit-width. Therefore, we propose variable length coding of quantized deep learning models (VLCQ), a data-free quantization method, which pushes the boundaries of quantization to have a higher accuracy performance with lower bit-width. VLCQ leverages from weight distribution of the model in quantization to improve accuracy, as well as to further compress weights, thus achieving lower bit-width. VLCQ achieves nearly the same FP32 accuracy with sub-6 bit-width for MobileNetV2 and ResNet18 models. In addition to that, compared to the state of the art, VLCQ achieves similar accuracy while having 20% bit-width saving. Finally, for ResNet18 and Resnet50 models, VLCQ successfully quantizes them with 2 sub-bit-width with 2-3% accuracy loss, making it the first data-free post-training quantization method to achieve good performance with very low bit-width. يلعب التكميم دورًا مهمًا في نشر نماذج التعلم العميق بكفاءة على أجهزة قيود الموارد. معظم نهج التكميم الحالية تتطلب الوصول إلى مجموعة البيانات الكاملة أو كمية صغيرة منها بالترتيب لإعادة تدريب النموذج، والذي قد يكون صعبًا بسبب محدودية الموارد الخاصة به التدريب أو مشكلات الوصول إلى البيانات. الأساليب الحالية تحقق أداءً عاليًا في INT8 (أو أعلى) الأعداد الصحيحة ذات النقطة الثابتة. ومع ذلك، يتدهور الأداء مع عرض بت أقل. لذلك، نقترح ترميز متغير الطول للكمي نماذج التعلم العميق (VLCQ)، طريقة تكمية خالية من البيانات، تدفع حدود التكميم للحصول على أداء أعلى دقة مع عرض بت أقل. تستفيد VLCQ من توزيع الوزن للنموذج في التكميم لتحسين الدقة، وكذلك لزيادة ضغط الأوزان، وبالتالي تحقيق عرض بت أقل.
Text in English and abstract in Arabic & English.
Computer Engineering
Quantization Post-training Quantization Deep learning Variable length encoding deep neural networks