header
Local cover image
Local cover image
Image from OpenLibrary

Variable length coding of quantized deep learning models / By Reem Omar Mohamed El-Sayed Abdel-Salam ; Under the Supervision of Prof. Dr. Amr G. Wassal, Dr. Ahmed H. Abdel-Gawad

By: Contributor(s): Material type: TextTextLanguage: English Summary language: English Spoken language: Arabic Producer: 2023Description: 67 pages : illustrations ; 30 cm. + CDContent type:
  • text
Media type:
  • Unmediated
Carrier type:
  • volume
Other title:
  • طول متغير للترميز نماذج التعلم العميق الكمي [Added title page title]
Subject(s): DDC classification:
  • 621.39
Available additional physical forms:
  • Issued also as CD
Dissertation note: Thesis (M.Sc.) -Cairo University, 2023. Summary: Quantization plays a crucial role in efficiently deploying deep learning models on resource-constraint devices. Most of the existing quantization approaches require access either to the full dataset or a small amount of it, in order to re-train the model, which might be hard due to resources limitation for training or data access issues. Current methods achieve high performance on INT8 (or above) fixed-point integers. However, performance degrades with lower bit-width. Therefore, we propose variable length coding of quantized deep learning models (VLCQ), a data-free quantization method, which pushes the boundaries of quantization to have a higher accuracy performance with lower bit-width. VLCQ leverages from weight distribution of the model in quantization to improve accuracy, as well as to further compress weights, thus achieving lower bit-width. VLCQ achieves nearly the same FP32 accuracy with sub-6 bit-width for MobileNetV2 and ResNet18 models. In addition to that, compared to the state of the art, VLCQ achieves similar accuracy while having 20% bit-width saving. Finally, for ResNet18 and Resnet50 models, VLCQ successfully quantizes them with 2 sub-bit-width with 2-3% accuracy loss, making it the first data-free post-training quantization method to achieve good performance with very low bit-width.Summary: يلعب التكميم دورًا مهمًا في نشر نماذج التعلم العميق بكفاءة على أجهزة قيود الموارد. معظم نهج التكميم الحالية تتطلب الوصول إلى مجموعة البيانات الكاملة أو كمية صغيرة منها بالترتيب لإعادة تدريب النموذج، والذي قد يكون صعبًا بسبب محدودية الموارد الخاصة به التدريب أو مشكلات الوصول إلى البيانات. الأساليب الحالية تحقق أداءً عاليًا في INT8 (أو أعلى) الأعداد الصحيحة ذات النقطة الثابتة. ومع ذلك، يتدهور الأداء مع عرض بت أقل. لذلك، نقترح ترميز متغير الطول للكمي نماذج التعلم العميق (VLCQ)، طريقة تكمية خالية من البيانات، تدفع حدود التكميم للحصول على أداء أعلى دقة مع عرض بت أقل. تستفيد VLCQ من توزيع الوزن للنموذج في التكميم لتحسين الدقة، وكذلك لزيادة ضغط الأوزان، وبالتالي تحقيق عرض بت أقل.
Tags from this library: No tags from this library for this title. Log in to add tags.
Star ratings
    Average rating: 0.0 (0 votes)
Holdings
Item type Current library Home library Call number Status Barcode
Thesis Thesis قاعة الرسائل الجامعية - الدور الاول المكتبة المركزبة الجديدة - جامعة القاهرة Cai01 13 06 M.Sc 2023 Re.V (Browse shelf(Opens below)) Not for loan 01010110088286000

Thesis (M.Sc.) -Cairo University, 2023.

Bibliography: pages 65-67.

Quantization plays a crucial role in efficiently deploying deep learning models on
resource-constraint devices. Most of the existing quantization approaches require
access either to the full dataset or a small amount of it, in order to re-train the
model, which might be hard due to resources limitation for training or data access
issues. Current methods achieve high performance on INT8 (or above) fixed-point
integers. However, performance degrades with lower bit-width. Therefore, we
propose variable length coding of quantized deep learning models (VLCQ), a
data-free quantization method, which pushes the boundaries of quantization to
have a higher accuracy performance with lower bit-width. VLCQ leverages from
weight distribution of the model in quantization to improve accuracy, as well as to
further compress weights, thus achieving lower bit-width. VLCQ achieves nearly
the same FP32 accuracy with sub-6 bit-width for MobileNetV2 and ResNet18
models. In addition to that, compared to the state of the art, VLCQ achieves
similar accuracy while having 20% bit-width saving. Finally, for ResNet18 and
Resnet50 models, VLCQ successfully quantizes them with 2 sub-bit-width with
2-3% accuracy loss, making it the first data-free post-training quantization method
to achieve good performance with very low bit-width.

يلعب التكميم دورًا مهمًا في نشر نماذج التعلم العميق بكفاءة على أجهزة قيود الموارد. معظم نهج التكميم الحالية تتطلب الوصول إلى مجموعة البيانات الكاملة أو كمية صغيرة منها بالترتيب لإعادة تدريب النموذج، والذي قد يكون صعبًا بسبب محدودية الموارد الخاصة به التدريب أو مشكلات الوصول إلى البيانات. الأساليب الحالية تحقق أداءً عاليًا في INT8 (أو أعلى) الأعداد الصحيحة ذات النقطة الثابتة. ومع ذلك، يتدهور الأداء مع عرض بت أقل. لذلك، نقترح ترميز متغير الطول للكمي نماذج التعلم العميق (VLCQ)، طريقة تكمية خالية من البيانات، تدفع حدود التكميم للحصول على أداء أعلى دقة مع عرض بت أقل. تستفيد VLCQ من توزيع الوزن للنموذج في التكميم لتحسين الدقة، وكذلك لزيادة ضغط الأوزان، وبالتالي تحقيق عرض بت أقل.

Issued also as CD

Text in English and abstract in Arabic & English.

There are no comments on this title.

to post a comment.

Click on an image to view it in the image viewer

Local cover image