Bayesian Neural Networks in Estimating the Uncertainty in Deep Learning Models /
Mariam Osama Abdelwahab Ahmed,
Bayesian Neural Networks in Estimating the Uncertainty in Deep Learning Models / الشبكات العصبية الب ييزية في تقدير عدم اليقين في نماذج التعلم العميق / by Mariam Osama Abdelwahab Ahmed ; Under Supervision of Prof. Hiba Zeyada Muhammed, Dr. Amal Mohamed Abd-Elfatah. - 113 pages : illustrations ; 30 cm. + CD.
Thesis (M.Sc.)-Cairo University, 2023.
Bibliography: pages 110-113.
This thesis emphasizes the effectiveness of Bayesian statistics in analyz-
ing the parameters of Deep Learning Models (DLM). DLM are one of the
most powerful approaches that achieved huge successes in the modern era.
However, DLM have been considered as ”black box” models due to the repre-
sentational deficiencies of their parameters. Moreover, one of its main weak
points is that they are considered as an overconfident models, i.e., they tend
to overfit or underfit. Additionally, DLM do not provide any measurement
that can till if the provided prediction of a given sample can be trusted,
which is known as the uncertainty measurement. These drawbacks have lim-
ited there application in high risk fields, such as medicine, healthcare and
finance.
To address these challenges, a combination of Bayesian statistics and DLM
was employed, giving rise to a novel field known as Bayesian neural networks
(BNNs). The purpose of developing BNNs was to enhance the reliability and
trustability of DLM estimates by incorporating measures of uncertainty. By
incorporating Bayesian principles into DLM, BNNs was able to provide more
robust and trustworthy estimates accompanied by quantifiable uncertainty.
In this thesis the theoretical statistical aspects of Bayesian Neural Network
(BNN) and how they emerged from the combination of Bayesian statistics
and deep learning (DL) field was studied. Additionally, a Bayesian statistics
was combined with Convolution Neural Network (CNN), a special type of
DLM that is used in image processing, to provide uncertainty estimate for
the predictions of image classification tasks. The combined model is called
Bayesian Convolution Neural Network (BCNN). The BCNN model was then
applied on metastatic cancer image classification task to provide uncertainty
estimates of its predictions. Moreover, different structures of BCNN models
were compared in order to evaluate the best structure of BCNN model. Fi-
nally, the uncertainty of the best structure model was applied to detect the
uncertain images. It then exclude those images from the classification pro-
cess as ”I-do-not-know” images in order to increase the final accuracy of the
model. The excluded images can then be sent to physicians to be be manu-
ally classified while depending on the model only in its certain predictions.
ix
The results indicated that the BCNN model which applied the Bayesian
statistics on the the first and last layers only while using the normal infor-
mative prior of an optimized CNN model had the best results between the
compared models. By utilizing the uncertainty estimate of the predictions,
the accuracy increased from 97.09% to 99.73% by removing the uncertain
images, which were about 37% of the total number of images. التشكك أو انعدام الثقة ((uncertainty يعرف بأنه مقياس لمصداقية النموذج في تقدير مقدار الثقة في نتائجه . يعد التشكك أحد المشاكل الرئيسية التي تحد من قدرة الباحثين في مجال التعلم العميق من التقدم في المجالات التي يكون القرار الخاطئ فيها شديد الخطورة و التي تعتمد بشكل أساسي على رأي الخبراء ا لذي يكون في كثير من الأحيان مكلفا و نادرا مثل المجالات الطبية و المالية. على الرغم من النتائج اللافتة التي حققتها نماذج التعلم العميق في كثير من المجالات منها مثل التسويق الالكتروني و تشخيص الإعلانات في مواقع التواصل الإجتماعي مثل Facebook و Twitter لما يناسب أذواق و رغبات المستخدمين و القادة الذاتية للسيارات و إدارة محركات البحث الضخمة مثل google و Bing و أتمتة الكثير من المعاملات الالكترونية و غيرها الكثير إلا أن التجاهل الكبير للنظريات و الفروض الإحصائية و الرياضية في تأسيس نماذج التعلم العميق قد أدى إلى نتائج كارثية في كثير من الأحيان يكون ثمنها أرواح العديد من الأبرياء و التصنيف العنصري الذي يؤجج الفتنة و الظلم البين في المحاكمات الجنائية و غيرها الكثير.
إن مقاييس التشكك لم يكن شائعا في الأدبيات الإحصائية و لا يزال حتى اليوم من الموضوعات غير ذات الأهمية بالنسبة للباحثين للإحصائيين. يعزى ذلك بشكل كبير إلى أن علوم الإحصاء قائمة في الأساس على بناء نماذج رياضية تأخذ بعين الإعتبار قياس درجة الثقة بشكل أساسي في تقديراتها سواء في الإحصاء العادي أو البييزي. الشواهد على ذلك كثيرة جدا و منها ت قدير معلمات النموذج أخذا بعين الاعتبار التوزيعات الإحتمالية للبيانات و ليس بالاعتماد على البيانات الملاحظة فقط، تقدير إحتمالات الخطأ في النماذج الإحصائية و فترات الثقة لتقدير المعلمات و التي تتوسع كلما زادت درجة الثقة و غيرها الكثير. لكن عند النظر في المقابل إلى مقاييس التشكك في أدبيات التعلم العميق نجد أنها تعد أحد الموضوعات الشائكة و المثيرة للجدل و أحد أكبر المشاكل الرئيسية التي دائما ما تثير فضول الباحثين لإبتكار و تحسين المزيد من الحلول التي يعتمد الكثير منها على النظريات و الفروض اللإحصائية التي تفترضها هذه النماذج .
أحد أهم الأساليب الرئيسية لقياس التشكك في نماذج التعلم العميق هو النهج البييزي )Bayesian( والذي تم استخدامه في الشبكات العصبية(NN) وهي النموذج الأساسي الذي يعتمد عليه التعلم العميق، و أنتج نوعًا جديدًا من الشبكات العصبية يسمى الشبكات العصبية البييزية(BNN) . تتمثل الميزة الرئيسية لـBNN في أنها توفر تفسيرًا نظريًا و رياضياً لنتائجها، اعتمادًا على نظريات الإحصاء البييزي(Bayesian statistics) ، مما يجعلها أكثر مصداقية و قابلية للشرح و التفسير لصناع القرار بعكس العديد من الأساليب الأخرى التي تعتمد على الأساليب العشوائية لتحسين معلمات النموذج.
بالإضافة إلى ذلك، حققتBNN نتائج واعدة في تقدير مقاييس التشكك والذي يؤدي في كثير من الأحيان إلى تحسين الثقة في النتائج. مع ذلك، يأتي هذا على تكلفة فقدان بعض دقة النموذج والزيادة الهائلة لمعلمات النموذج مما يزيد أيضًا من استهلاك الوقت والذاكرة اللازمين لتحسين هذه المعلمات. بالإضافة إلى ذلك فإن مجا ل التعلم العميق يتميز أصلا بعدد المعلمات الهائل ،مما يجعل مشكلة "تحسين المعلمات" غير قابلة للحل رياضيا ً. لهذا السبب، استخدم الباحثون العديد من طرق التقريب لتقريب معلمات الBNN ، تعد أشهر الأساليب المستخدمة في هذا التقريب أسلوب ال variational inference (VI) وMarkov Chain Monto Carlo (MCMC).
في مراجعة الأدبيات السابقة التي تمت في هذه الدراسة ، لوحظ أن ال BNN يواجه العديد من الانتقادات في بع ض الأبحاث المقارنة التي تقارن بينه و بين الأساليب الأخرى التي لا تعتمد على النظريات الإحصائية و الرياضية مثل أسلوب ال ensemble و التي تعتمد على الحاسوب في تطوير و تحسين معلمات النموذج و أيضا في حساب عدم اليقين. ولكن عند مراجعة و تدقيق هذه الأبحاث لوحظ أن معظم القائمين بهذه الأبحاث لا يمتلكون خلفية رياضية أو إحصائية حتى أن ذلك يكون ظاهراً جدا في طريقة عرض و تقييم النتائج و حتى في شرح الأسس الرياضية التي بنيت على أساسها الدراسة. على النقيض، نجد أن الأبحاث التي تشيد بنتائج ال BNN غالبا ما تكون من باحثين في مجال الإحصاء و تكون الأسس الرياضية هي الطابع الغالب على الدراسة.
في هذا البحث تمت مراجعة كيفية تم تطوير و تحسين ال BNN لتناسب طبيعة نماذج التعلم العميق التي تشتهر بكثرة المعلمات، تم عرض الاقتراحات التي قدمها الباحثين للتمكن من إضافة الإحصاء البييزي و التغلب على مشكلة التكامل غير القابل للحل في حساب التوزيع اللاحق (posterior distribution) للمعلمات و أشهر الطرق المستخدمة لتقريب ال distribution posterior و أيضاً تم شرح مفهوم و أنواع التشكك التي يمكن أن تواجهها نماذج التعلم العميق .
من جهة أخرى تم عرض بعض الأبحاث التي نجحت في تطبيق ال BNN في بعض التطبيقات الحساسة التي لم تكن تسمح عادة بالتشكك الذي لا يمكن تقديره في نماذج التعلم العميق، من هذه الأمثلة تطبيقات تصنيف صور أشعة مرضى السرطان و التنبؤ بالعمر الافتراضي لبطاريات الطاقة الشمسية و معالجة مشكلة التصدع في الحواجز الملاحية في الموانئ و غيرها.
أولى هذا البحث اهتماما خاصاً بال (VI) variational inference كوسيلة لتقريب ال posterior inference للمعلمات في نماذج التعلم العميق الخاصة بتحليل الصور الفوتوغرافية و التي تعرف بال convolution neural (CNN) network. الجدير بالذكر هنا أن دمج المجال البييزي في ال CNN أدى لتوليد مجال ال CNN البييزي أو ال BCNN . كان هدف البحث هو إدخال المؤشر البييزي على معلمات ال CNN للتمكن من قياس التشكك في تنبؤات النموذج. تم تطبيق هذا النموذج على بيانات عبارة عن 000,200 صورة من أشعة لمرضى سرطان في مراحل متأخرة مقرونة بصور أخرى لأشخاص أصحاء، و كان هدف الدراسة ليس فقط تصنيف صور الأشخاص الأصحاء عن غيرهم المرضى و لكن أيضاً تقدير مؤشر لمدى ثقة النموذج في هذا التصنيف. في خلال ذلك تمت مقارنة طرق و توزيعات احتمالية مختلفة لمعرفة العوامل التي توذي إلى تحسين كفاءة النموذج في قياس التشكك.
تم تقسيم فصول هذا الطرح على النحو التالي:
الفصل الأول: مقدمة للمفاهيم الرئيسية المستخدمة في الرسال ة
قدم هذا الفصل مقدمة ل لرسالة تم عرضها على النحو التالي:
أولاً، يتناول القسم الأول الخلفية التي تناقش الأساسيات النظرية لنماذج التعلم العميق، النهج البييزي، الشبكات العصبية البييزية، الاستدلال با ل convolution neural networks ،variational inference. ثانياً، تم طرح نظرة عامة على الأقسام التالية ومحتوياتها . ثالثاً، تم مناقشة دوافع البحث، مع التركيز على أهمية تقدير عدم اليقين في نماذج التعلم العميق. رابع اً، تم صياغة المشكلة بشكل رياضي، حيث تم تحديد المشكلة البحثية التي تعُالج في الدراسة. خامساً، تم مناقشة كيفية مساهمة هذا البحث في مجال الرعاية الصحية وفائدته. سادساً، تمت مناقشة المنهجية البحثية، مع تقديم نظرة عامة على الأساليب والتقنيات المستخدمة في الدراسة. وأخيراً، تم عرض تنظيم الرسال ة مع توضيح نظرة عامة على الفصول التالية ومحتوياتها .
الفصل الثاني: شرح مفصل لكل المفاهيم و النظريات الإحصائية التي تتعلق بالرسالة
يقدم هذا الفصل شرحًا للمفاهيم والأساليب والنظريات التي تم الإستناد عليها في بناء النماذج المستخدمة للمقارنة في الرسال ة. يبدأ الفصل بنظرة عامة للإحصاء البييزي وقاعدة بايز. ثم بعد ذلك، يناقش كيفية اعتبار نماذج التعلم العميق نماذج إحصائية معقدة يمكنها التعامل بكفاءة مع البيانات غير الخطية. بعد ذلك، يقدم الفصل شرحاً مفصلا ً لمفاهيم التعلم العميق من وجهة نظر إحصائية. أخيرا ً، يعرض الفصل كيفية استخدام النهج البييزي في نماذج التعلم العميق لبناء الشبكات العصبية البييزية التي يمكنها قياس عدم اليقين في تقديراتها لجعلها أكثر موثوقية.
الفصل الثالث: مراجعة الأدبيات السابقة التي تتعلق بموضوع الرسال ة
يقدم هذا الفصل مراجعة للأبحاث و الدراسات السابقة التي تمت في مجال الشبكات العصبية و البييزية. و نظراً للأهمية البالغة عند مراجعة أدبيات الشبكات العصبية البييزية الأخذ بعين الاعتبار شقيها النظري و التطبيقي، فقد تم تقسيم هذا الفصل إلى قسمين: القسم الأول يناقش الأبحاث النظرية المتعلقة بـنماذج الشبكات العصبية البييزية و ما يلحقها من الأبحاث الرياضية و الإحصائية التي تشرح الأساس الرياضي و الإحصائي و التي ساهمت في تطوير هذه النماذج. أما القسم الثاني فيناقش تطبيقات الشبكات العصبية البييزية في المجالات المختلفة مع التركيز على التطبيقات ذات الخطورة العالية خصوصاً الأبحاث التي تم تطبيقها على نماذج الكشف المبكر ع ن السرطان.
الفصل الرابع: عرض و شرح النموذج المستخدم و طريقة تمهيد البيانات
يقدم هذا الفصل شرحاً وافياً للنماذج المستخدمة و يعرض أهم الفروقات بين هذه النماذج و بعضها. يبدأ الفصل بعرض مفصل لخطوات معالجة البيانات التي تم اتخاذها. ثم بعد ذلك يعرض الفصل شرحاً للبيانات المستخدمة مصدرها، و وصفها والهدف النهائي من النموذج. بعد ذلك، يوفر شرحًا لهيكل نموذج CNN الذي تم استخدامه. ثم يناقش كيف تم تطبيق الاستدلال البييزي لتحويل نموذج CNN إلى مجموعة نماذج BCNN ذات هياكل بايزية مختلفة و التي بدورها يمكنها الت عامل مع مشاكل عدم اليقين في تنبؤاتها. وأخيرًا، يوضح الفصل بنية نموذج BCNN الذي تم اختياره و الخصائص التي جعلته يتفوق على غيره من النماذج.
الفصل الخامس: عرض مصدر البيانات و نتائج مقارنة للنماذج المستخدمة
يقدم هذا الفصل نتائج التجارب التجريبية لنماذج BCNN المقترحة. ترتكز هذه المقارنة إلى محورين رئيسيين هما:
أولا ً، مقاييس الدق ة للمقارنة بين نماذج ا ل BCNN و CNN من جهة و للمقارنة بين نماذج ال BCNN من ناحية أخرى. ثاني اً، مقياس عدم اليقين و مدى قدرته على اكتشاف أخطاء النموذج للمقارنة بين نماذج ال BCNN المختلقة. تم تطبيق هذه المؤشرات على مشكلة تصنيف الصور السرطانية و تم أخذ النموذج الأفضل و تحليل نتائجه و قياس مدى جودته في رفع كفاءة النموذج للحصول على نتائج أدق مما يعزز من إمكانية تطبيقه في المستقبل في مجال الرعاية الصحية.
الفصل السادس: عرض الأبحاث المستقبلية المقترحة و القصور قي هذا البحث و النتائج المستخلصة
يلُخص هذا الفصل مساهمات البحث في كل م ن: مجال التعلم العميق و مجال الرعاية الصحية. بالإضافة إلى ذلك يناقش هذا الفصل القيود والاتجاهات المستقبلية لنماذجBNN . أخيراً يعرض الفصل أهمية البحث وتأثيره المحتمل على تحليل الصور الطبية لتشخيص السرطان، مع التركيز على القيود و العقبات التي يواجهها النموذج الحالي.
وفي الختام نذكر بعض الأبحاث المقترحة التي تمكن الباحثين في مجال الإحصاء تحديداً من إكمال هذا الطرح :
1) استخدام ال BNN في مجالات أخرى من المجالات التي يكون مقياس التشكك فيها أمراً ضرورياً للتأكد من سلامة التنبؤات يشمل ذلك تطبيقات السرطان الواسعة و المجال الطبي عموم اً و القيادية الذاتية للسيارات.
2)المقارنة بين الطرق الحديثة من ال MCMC و بين ال VI في قياس مؤشر التشكك من حيث قدرة المقياس على تصنيف التنبؤات الخاطئة للنموذج
3)تطبيق الإحصاء البييزي في شبكات أخرى مثل شبكات ال RNN و التي تتعامل بشكل أساسي مع النصوص و المتغيرات المتسلسلة.
4)اختبار اختيارات أخرى للتوزيعات الاحتمالية في نماذج ال BCNN
Text in English and abstract in Arabic & English.
Mathimatical Statistics
Deep Learning Bayesian Neural Network Convolution Neural Networks Variational Inference Stochastic Variational Inference Bayesian statistics
519.5
Bayesian Neural Networks in Estimating the Uncertainty in Deep Learning Models / الشبكات العصبية الب ييزية في تقدير عدم اليقين في نماذج التعلم العميق / by Mariam Osama Abdelwahab Ahmed ; Under Supervision of Prof. Hiba Zeyada Muhammed, Dr. Amal Mohamed Abd-Elfatah. - 113 pages : illustrations ; 30 cm. + CD.
Thesis (M.Sc.)-Cairo University, 2023.
Bibliography: pages 110-113.
This thesis emphasizes the effectiveness of Bayesian statistics in analyz-
ing the parameters of Deep Learning Models (DLM). DLM are one of the
most powerful approaches that achieved huge successes in the modern era.
However, DLM have been considered as ”black box” models due to the repre-
sentational deficiencies of their parameters. Moreover, one of its main weak
points is that they are considered as an overconfident models, i.e., they tend
to overfit or underfit. Additionally, DLM do not provide any measurement
that can till if the provided prediction of a given sample can be trusted,
which is known as the uncertainty measurement. These drawbacks have lim-
ited there application in high risk fields, such as medicine, healthcare and
finance.
To address these challenges, a combination of Bayesian statistics and DLM
was employed, giving rise to a novel field known as Bayesian neural networks
(BNNs). The purpose of developing BNNs was to enhance the reliability and
trustability of DLM estimates by incorporating measures of uncertainty. By
incorporating Bayesian principles into DLM, BNNs was able to provide more
robust and trustworthy estimates accompanied by quantifiable uncertainty.
In this thesis the theoretical statistical aspects of Bayesian Neural Network
(BNN) and how they emerged from the combination of Bayesian statistics
and deep learning (DL) field was studied. Additionally, a Bayesian statistics
was combined with Convolution Neural Network (CNN), a special type of
DLM that is used in image processing, to provide uncertainty estimate for
the predictions of image classification tasks. The combined model is called
Bayesian Convolution Neural Network (BCNN). The BCNN model was then
applied on metastatic cancer image classification task to provide uncertainty
estimates of its predictions. Moreover, different structures of BCNN models
were compared in order to evaluate the best structure of BCNN model. Fi-
nally, the uncertainty of the best structure model was applied to detect the
uncertain images. It then exclude those images from the classification pro-
cess as ”I-do-not-know” images in order to increase the final accuracy of the
model. The excluded images can then be sent to physicians to be be manu-
ally classified while depending on the model only in its certain predictions.
ix
The results indicated that the BCNN model which applied the Bayesian
statistics on the the first and last layers only while using the normal infor-
mative prior of an optimized CNN model had the best results between the
compared models. By utilizing the uncertainty estimate of the predictions,
the accuracy increased from 97.09% to 99.73% by removing the uncertain
images, which were about 37% of the total number of images. التشكك أو انعدام الثقة ((uncertainty يعرف بأنه مقياس لمصداقية النموذج في تقدير مقدار الثقة في نتائجه . يعد التشكك أحد المشاكل الرئيسية التي تحد من قدرة الباحثين في مجال التعلم العميق من التقدم في المجالات التي يكون القرار الخاطئ فيها شديد الخطورة و التي تعتمد بشكل أساسي على رأي الخبراء ا لذي يكون في كثير من الأحيان مكلفا و نادرا مثل المجالات الطبية و المالية. على الرغم من النتائج اللافتة التي حققتها نماذج التعلم العميق في كثير من المجالات منها مثل التسويق الالكتروني و تشخيص الإعلانات في مواقع التواصل الإجتماعي مثل Facebook و Twitter لما يناسب أذواق و رغبات المستخدمين و القادة الذاتية للسيارات و إدارة محركات البحث الضخمة مثل google و Bing و أتمتة الكثير من المعاملات الالكترونية و غيرها الكثير إلا أن التجاهل الكبير للنظريات و الفروض الإحصائية و الرياضية في تأسيس نماذج التعلم العميق قد أدى إلى نتائج كارثية في كثير من الأحيان يكون ثمنها أرواح العديد من الأبرياء و التصنيف العنصري الذي يؤجج الفتنة و الظلم البين في المحاكمات الجنائية و غيرها الكثير.
إن مقاييس التشكك لم يكن شائعا في الأدبيات الإحصائية و لا يزال حتى اليوم من الموضوعات غير ذات الأهمية بالنسبة للباحثين للإحصائيين. يعزى ذلك بشكل كبير إلى أن علوم الإحصاء قائمة في الأساس على بناء نماذج رياضية تأخذ بعين الإعتبار قياس درجة الثقة بشكل أساسي في تقديراتها سواء في الإحصاء العادي أو البييزي. الشواهد على ذلك كثيرة جدا و منها ت قدير معلمات النموذج أخذا بعين الاعتبار التوزيعات الإحتمالية للبيانات و ليس بالاعتماد على البيانات الملاحظة فقط، تقدير إحتمالات الخطأ في النماذج الإحصائية و فترات الثقة لتقدير المعلمات و التي تتوسع كلما زادت درجة الثقة و غيرها الكثير. لكن عند النظر في المقابل إلى مقاييس التشكك في أدبيات التعلم العميق نجد أنها تعد أحد الموضوعات الشائكة و المثيرة للجدل و أحد أكبر المشاكل الرئيسية التي دائما ما تثير فضول الباحثين لإبتكار و تحسين المزيد من الحلول التي يعتمد الكثير منها على النظريات و الفروض اللإحصائية التي تفترضها هذه النماذج .
أحد أهم الأساليب الرئيسية لقياس التشكك في نماذج التعلم العميق هو النهج البييزي )Bayesian( والذي تم استخدامه في الشبكات العصبية(NN) وهي النموذج الأساسي الذي يعتمد عليه التعلم العميق، و أنتج نوعًا جديدًا من الشبكات العصبية يسمى الشبكات العصبية البييزية(BNN) . تتمثل الميزة الرئيسية لـBNN في أنها توفر تفسيرًا نظريًا و رياضياً لنتائجها، اعتمادًا على نظريات الإحصاء البييزي(Bayesian statistics) ، مما يجعلها أكثر مصداقية و قابلية للشرح و التفسير لصناع القرار بعكس العديد من الأساليب الأخرى التي تعتمد على الأساليب العشوائية لتحسين معلمات النموذج.
بالإضافة إلى ذلك، حققتBNN نتائج واعدة في تقدير مقاييس التشكك والذي يؤدي في كثير من الأحيان إلى تحسين الثقة في النتائج. مع ذلك، يأتي هذا على تكلفة فقدان بعض دقة النموذج والزيادة الهائلة لمعلمات النموذج مما يزيد أيضًا من استهلاك الوقت والذاكرة اللازمين لتحسين هذه المعلمات. بالإضافة إلى ذلك فإن مجا ل التعلم العميق يتميز أصلا بعدد المعلمات الهائل ،مما يجعل مشكلة "تحسين المعلمات" غير قابلة للحل رياضيا ً. لهذا السبب، استخدم الباحثون العديد من طرق التقريب لتقريب معلمات الBNN ، تعد أشهر الأساليب المستخدمة في هذا التقريب أسلوب ال variational inference (VI) وMarkov Chain Monto Carlo (MCMC).
في مراجعة الأدبيات السابقة التي تمت في هذه الدراسة ، لوحظ أن ال BNN يواجه العديد من الانتقادات في بع ض الأبحاث المقارنة التي تقارن بينه و بين الأساليب الأخرى التي لا تعتمد على النظريات الإحصائية و الرياضية مثل أسلوب ال ensemble و التي تعتمد على الحاسوب في تطوير و تحسين معلمات النموذج و أيضا في حساب عدم اليقين. ولكن عند مراجعة و تدقيق هذه الأبحاث لوحظ أن معظم القائمين بهذه الأبحاث لا يمتلكون خلفية رياضية أو إحصائية حتى أن ذلك يكون ظاهراً جدا في طريقة عرض و تقييم النتائج و حتى في شرح الأسس الرياضية التي بنيت على أساسها الدراسة. على النقيض، نجد أن الأبحاث التي تشيد بنتائج ال BNN غالبا ما تكون من باحثين في مجال الإحصاء و تكون الأسس الرياضية هي الطابع الغالب على الدراسة.
في هذا البحث تمت مراجعة كيفية تم تطوير و تحسين ال BNN لتناسب طبيعة نماذج التعلم العميق التي تشتهر بكثرة المعلمات، تم عرض الاقتراحات التي قدمها الباحثين للتمكن من إضافة الإحصاء البييزي و التغلب على مشكلة التكامل غير القابل للحل في حساب التوزيع اللاحق (posterior distribution) للمعلمات و أشهر الطرق المستخدمة لتقريب ال distribution posterior و أيضاً تم شرح مفهوم و أنواع التشكك التي يمكن أن تواجهها نماذج التعلم العميق .
من جهة أخرى تم عرض بعض الأبحاث التي نجحت في تطبيق ال BNN في بعض التطبيقات الحساسة التي لم تكن تسمح عادة بالتشكك الذي لا يمكن تقديره في نماذج التعلم العميق، من هذه الأمثلة تطبيقات تصنيف صور أشعة مرضى السرطان و التنبؤ بالعمر الافتراضي لبطاريات الطاقة الشمسية و معالجة مشكلة التصدع في الحواجز الملاحية في الموانئ و غيرها.
أولى هذا البحث اهتماما خاصاً بال (VI) variational inference كوسيلة لتقريب ال posterior inference للمعلمات في نماذج التعلم العميق الخاصة بتحليل الصور الفوتوغرافية و التي تعرف بال convolution neural (CNN) network. الجدير بالذكر هنا أن دمج المجال البييزي في ال CNN أدى لتوليد مجال ال CNN البييزي أو ال BCNN . كان هدف البحث هو إدخال المؤشر البييزي على معلمات ال CNN للتمكن من قياس التشكك في تنبؤات النموذج. تم تطبيق هذا النموذج على بيانات عبارة عن 000,200 صورة من أشعة لمرضى سرطان في مراحل متأخرة مقرونة بصور أخرى لأشخاص أصحاء، و كان هدف الدراسة ليس فقط تصنيف صور الأشخاص الأصحاء عن غيرهم المرضى و لكن أيضاً تقدير مؤشر لمدى ثقة النموذج في هذا التصنيف. في خلال ذلك تمت مقارنة طرق و توزيعات احتمالية مختلفة لمعرفة العوامل التي توذي إلى تحسين كفاءة النموذج في قياس التشكك.
تم تقسيم فصول هذا الطرح على النحو التالي:
الفصل الأول: مقدمة للمفاهيم الرئيسية المستخدمة في الرسال ة
قدم هذا الفصل مقدمة ل لرسالة تم عرضها على النحو التالي:
أولاً، يتناول القسم الأول الخلفية التي تناقش الأساسيات النظرية لنماذج التعلم العميق، النهج البييزي، الشبكات العصبية البييزية، الاستدلال با ل convolution neural networks ،variational inference. ثانياً، تم طرح نظرة عامة على الأقسام التالية ومحتوياتها . ثالثاً، تم مناقشة دوافع البحث، مع التركيز على أهمية تقدير عدم اليقين في نماذج التعلم العميق. رابع اً، تم صياغة المشكلة بشكل رياضي، حيث تم تحديد المشكلة البحثية التي تعُالج في الدراسة. خامساً، تم مناقشة كيفية مساهمة هذا البحث في مجال الرعاية الصحية وفائدته. سادساً، تمت مناقشة المنهجية البحثية، مع تقديم نظرة عامة على الأساليب والتقنيات المستخدمة في الدراسة. وأخيراً، تم عرض تنظيم الرسال ة مع توضيح نظرة عامة على الفصول التالية ومحتوياتها .
الفصل الثاني: شرح مفصل لكل المفاهيم و النظريات الإحصائية التي تتعلق بالرسالة
يقدم هذا الفصل شرحًا للمفاهيم والأساليب والنظريات التي تم الإستناد عليها في بناء النماذج المستخدمة للمقارنة في الرسال ة. يبدأ الفصل بنظرة عامة للإحصاء البييزي وقاعدة بايز. ثم بعد ذلك، يناقش كيفية اعتبار نماذج التعلم العميق نماذج إحصائية معقدة يمكنها التعامل بكفاءة مع البيانات غير الخطية. بعد ذلك، يقدم الفصل شرحاً مفصلا ً لمفاهيم التعلم العميق من وجهة نظر إحصائية. أخيرا ً، يعرض الفصل كيفية استخدام النهج البييزي في نماذج التعلم العميق لبناء الشبكات العصبية البييزية التي يمكنها قياس عدم اليقين في تقديراتها لجعلها أكثر موثوقية.
الفصل الثالث: مراجعة الأدبيات السابقة التي تتعلق بموضوع الرسال ة
يقدم هذا الفصل مراجعة للأبحاث و الدراسات السابقة التي تمت في مجال الشبكات العصبية و البييزية. و نظراً للأهمية البالغة عند مراجعة أدبيات الشبكات العصبية البييزية الأخذ بعين الاعتبار شقيها النظري و التطبيقي، فقد تم تقسيم هذا الفصل إلى قسمين: القسم الأول يناقش الأبحاث النظرية المتعلقة بـنماذج الشبكات العصبية البييزية و ما يلحقها من الأبحاث الرياضية و الإحصائية التي تشرح الأساس الرياضي و الإحصائي و التي ساهمت في تطوير هذه النماذج. أما القسم الثاني فيناقش تطبيقات الشبكات العصبية البييزية في المجالات المختلفة مع التركيز على التطبيقات ذات الخطورة العالية خصوصاً الأبحاث التي تم تطبيقها على نماذج الكشف المبكر ع ن السرطان.
الفصل الرابع: عرض و شرح النموذج المستخدم و طريقة تمهيد البيانات
يقدم هذا الفصل شرحاً وافياً للنماذج المستخدمة و يعرض أهم الفروقات بين هذه النماذج و بعضها. يبدأ الفصل بعرض مفصل لخطوات معالجة البيانات التي تم اتخاذها. ثم بعد ذلك يعرض الفصل شرحاً للبيانات المستخدمة مصدرها، و وصفها والهدف النهائي من النموذج. بعد ذلك، يوفر شرحًا لهيكل نموذج CNN الذي تم استخدامه. ثم يناقش كيف تم تطبيق الاستدلال البييزي لتحويل نموذج CNN إلى مجموعة نماذج BCNN ذات هياكل بايزية مختلفة و التي بدورها يمكنها الت عامل مع مشاكل عدم اليقين في تنبؤاتها. وأخيرًا، يوضح الفصل بنية نموذج BCNN الذي تم اختياره و الخصائص التي جعلته يتفوق على غيره من النماذج.
الفصل الخامس: عرض مصدر البيانات و نتائج مقارنة للنماذج المستخدمة
يقدم هذا الفصل نتائج التجارب التجريبية لنماذج BCNN المقترحة. ترتكز هذه المقارنة إلى محورين رئيسيين هما:
أولا ً، مقاييس الدق ة للمقارنة بين نماذج ا ل BCNN و CNN من جهة و للمقارنة بين نماذج ال BCNN من ناحية أخرى. ثاني اً، مقياس عدم اليقين و مدى قدرته على اكتشاف أخطاء النموذج للمقارنة بين نماذج ال BCNN المختلقة. تم تطبيق هذه المؤشرات على مشكلة تصنيف الصور السرطانية و تم أخذ النموذج الأفضل و تحليل نتائجه و قياس مدى جودته في رفع كفاءة النموذج للحصول على نتائج أدق مما يعزز من إمكانية تطبيقه في المستقبل في مجال الرعاية الصحية.
الفصل السادس: عرض الأبحاث المستقبلية المقترحة و القصور قي هذا البحث و النتائج المستخلصة
يلُخص هذا الفصل مساهمات البحث في كل م ن: مجال التعلم العميق و مجال الرعاية الصحية. بالإضافة إلى ذلك يناقش هذا الفصل القيود والاتجاهات المستقبلية لنماذجBNN . أخيراً يعرض الفصل أهمية البحث وتأثيره المحتمل على تحليل الصور الطبية لتشخيص السرطان، مع التركيز على القيود و العقبات التي يواجهها النموذج الحالي.
وفي الختام نذكر بعض الأبحاث المقترحة التي تمكن الباحثين في مجال الإحصاء تحديداً من إكمال هذا الطرح :
1) استخدام ال BNN في مجالات أخرى من المجالات التي يكون مقياس التشكك فيها أمراً ضرورياً للتأكد من سلامة التنبؤات يشمل ذلك تطبيقات السرطان الواسعة و المجال الطبي عموم اً و القيادية الذاتية للسيارات.
2)المقارنة بين الطرق الحديثة من ال MCMC و بين ال VI في قياس مؤشر التشكك من حيث قدرة المقياس على تصنيف التنبؤات الخاطئة للنموذج
3)تطبيق الإحصاء البييزي في شبكات أخرى مثل شبكات ال RNN و التي تتعامل بشكل أساسي مع النصوص و المتغيرات المتسلسلة.
4)اختبار اختيارات أخرى للتوزيعات الاحتمالية في نماذج ال BCNN
Text in English and abstract in Arabic & English.
Mathimatical Statistics
Deep Learning Bayesian Neural Network Convolution Neural Networks Variational Inference Stochastic Variational Inference Bayesian statistics
519.5