000			04264namaa22004211i 4500
003			OSt
005			20250223033238.0
008			240507s2023 |||a|||fr|m|| 000 0 eng d
040			_aEG-GICUC _beng _cEG-GICUC _dEG-GICUC _erda
041	0		_aeng _beng _dara
049			_aDeposit
082	0	4	_a621.39
092			_a621.39 _221
097			_aM.Sc
099			_aCai01 13 06 M.Sc 2023 Re.V
100	0		_aReem Omar Mohamed El-Sayed Abdel-Salam, _epreparation.
245	1	0	_aVariable length coding of quantized deep learning models / _cBy Reem Omar Mohamed El-Sayed Abdel-Salam ; Under the Supervision of Prof. Dr. Amr G. Wassal, Dr. Ahmed H. Abdel-Gawad
246	1	5	_aطول متغير للترميز نماذج التعلم العميق الكمي /
264		0	_c2023.
300			_a67 pages : _billustrations ; _c30 cm. + _eCD.
336			_atext _2rda content
337			_aUnmediated _2rdamedia
338			_avolume _2rdacarrier
502			_aThesis (M.Sc.) -Cairo University, 2023.
504			_aBibliography: pages 65-67.
520			_aQuantization plays a crucial role in efficiently deploying deep learning models on resource-constraint devices. Most of the existing quantization approaches require access either to the full dataset or a small amount of it, in order to re-train the model, which might be hard due to resources limitation for training or data access issues. Current methods achieve high performance on INT8 (or above) fixed-point integers. However, performance degrades with lower bit-width. Therefore, we propose variable length coding of quantized deep learning models (VLCQ), a data-free quantization method, which pushes the boundaries of quantization to have a higher accuracy performance with lower bit-width. VLCQ leverages from weight distribution of the model in quantization to improve accuracy, as well as to further compress weights, thus achieving lower bit-width. VLCQ achieves nearly the same FP32 accuracy with sub-6 bit-width for MobileNetV2 and ResNet18 models. In addition to that, compared to the state of the art, VLCQ achieves similar accuracy while having 20% bit-width saving. Finally, for ResNet18 and Resnet50 models, VLCQ successfully quantizes them with 2 sub-bit-width with 2-3% accuracy loss, making it the first data-free post-training quantization method to achieve good performance with very low bit-width.
520			_aيلعب التكميم دورًا مهمًا في نشر نماذج التعلم العميق بكفاءة على أجهزة قيود الموارد. معظم نهج التكميم الحالية تتطلب الوصول إلى مجموعة البيانات الكاملة أو كمية صغيرة منها بالترتيب لإعادة تدريب النموذج، والذي قد يكون صعبًا بسبب محدودية الموارد الخاصة به التدريب أو مشكلات الوصول إلى البيانات. الأساليب الحالية تحقق أداءً عاليًا في INT8 (أو أعلى) الأعداد الصحيحة ذات النقطة الثابتة. ومع ذلك، يتدهور الأداء مع عرض بت أقل. لذلك، نقترح ترميز متغير الطول للكمي نماذج التعلم العميق (VLCQ)، طريقة تكمية خالية من البيانات، تدفع حدود التكميم للحصول على أداء أعلى دقة مع عرض بت أقل. تستفيد VLCQ من توزيع الوزن للنموذج في التكميم لتحسين الدقة، وكذلك لزيادة ضغط الأوزان، وبالتالي تحقيق عرض بت أقل.
530			_aIssued also as CD
546			_aText in English and abstract in Arabic & English.
650		7	_aComputer Engineering _2qrmark
653		0	_aQuantization _aPost-training Quantization _aDeep learning _aVariable length encoding _adeep neural networks
700	0		_aAmr G. Wassal _ethesis advisor.
700	0		_aAhmed H. Abdel-Gawad _ethesis advisor.
900			_b01-01-2023 _cAmr G. Wassal _cAhmed H. Abdel-Gawad _dHoda Baraka _dAhmed F. Seddik _UCairo University _FFaculty of Engineering _DDepartment of Computer Engineering
905			_aEman _eHuda
942			_2ddc _cTH _e21 _n0
999			_c166860