Thesis (M.Sc)-Cairo University, 2023.

Bibliography: pages 70-71.

Usability testing is one of the non-functional testing types. Usability is a quality attribute that determines how easily and simply user interfaces can be used. Usability is assessed based on six dimensions, which include learnability, memorability, efficiency, effectiveness, error rate, and user satisfaction. Usability testing uses the black box testing technique at the system and acceptance levels. Nowadays, both Web and mobile applications are considered the most popular two types of applications. If an interface is difficult to use and the users get lost, they would leave the application. Therefore, usability is a very vital element for any application.
The gaps in the field that we focused on were evaluating application interface usability problems, developers focusing on application functionality rather than the interface usability, insufficient usability guidelines for experts, and most of the usability attributes are qualitative. Our objectives are creating the required guidelines for each usability attribute to achieve better usability, identifying a clear relationship between usability attributes and application types, and suggesting weights for each attribute. According to the literature, three areas were determined for usability evaluation which are 5 inquiry techniques, 9 inspection online techniques, and 10 testing offline techniques. Usability inspection that our research focuses on is a process of inspecting an interface. Components of Nielson's usability framework are usability Dimensions, Contextual Factors, and Threshold values for dimensions. Usability ISO classification standards are ISO 9241-11 (Effectiveness, Efficiency, and User Satisfaction) and ISO 9126-1 (Understandability, Learnability, and Memorability).
According to ISO definition of usability attributes, the proposed guidelines are created in four main steps which are data collection from the previous papers and experts, analysis for data extraction and organization, guidelines identification for the usability attributes, and methodology evaluation to evaluate the proposed metrics.
Based on the proposed framework, we tested three applications from two different application types: e-commerce and e-learning. Among these applications, Amazon and Google Classroom are high-rate applications, while Waradly is a low-rate application. To test the effectiveness of the framework, six main tasks of these applications are conducted. For e-commerce applications, searching, seeking product data, and purchasing tasks are selected, while for e-learning applications, viewing materials and tasks, uploading assignments, and connecting with the teacher tasks are preferred. The framework testing of these applications is evaluated in three different scenarios: without using attribute weights, using attribute weights, and with specified attributes and weights. The results showed that testing without weights resulted in a 95.2% success rate for the searching task in Amazon, while Waradly only achieved 47.6%. Furthermore, the testing proved that Amazon achieved a 100% success rate in the seeking product data task, while only 59.5% was achieved by Waradly. Finally, a high rate (Google Classroom) resulted in 78.60 % in viewing tasks and materials task, 100% in uploading assignments task, and 64.30 % in connecting with the teacher task. Then, our metrics prove in testing using weights that a high rate (Amazon) resulted in 94.8 % in the searching task while a low rate (Waradly) resulted in 47.4 %. Also, it proves that a high rate (Amazon) resulted in 100% in the seeking product data task while a low rate (Waradly) resulted in 59.04 %. Also, it proves that a high rate (Amazon) resulted in 96.9 % in the purchasing task while a low rate (Waradly) resulted in 62.4 %. Finally, a high rate (Google Classroom) resulted in 78.90 % in viewing tasks and materials task, 82.20% in uploading assignments task, and 73.70 % in connecting with the teacher tasks. Finally, our metrics prove in testing using specified attributes and weights that a high rate (Amazon) resulted in 97.8 % in the searching task while a low rate (Waradly) resulted in 50.0 %. Also, it proves that a high rate (Amazon) resulted in 100% in the seeking product data task while a low rate (Waradly) resulted in 66.70 %. Also, it proves that a high rate (Amazon) resulted in 97.20 % in the purchasing task while a low rate (Waradly) resulted in 61.10 %. Finally, a high rate (Google Classroom) resulted in 83.30% in viewing tasks and materials task, 87.50% in uploading assignments task, and 75.00% in connecting with the teacher tasks.
Our Usability Tool can measure the usability of any type of application, justify the reasons for evaluation, and recommend guidelines for enhancement. For future improvement, differentiating between fundamental attributes and advanced attributes, differentiating between the general attributes that could be applied to all applications and the specific application types, identifying more accurate weights for each attribute according to the type of application, and developing a tool to automate the testing step.

يعد اختبار قابلية الاستخدام أحد أنواع الاختبارات غير الوظيفية. تعد قابلية الاستخدام من سمات الجودة التب تحدد مدى سهولة وبساطة استخدام واجهات المستخدم. يتم تقييم قابلية الاستخدام على أساس ستة أبعاد، والتي تشمل قابلية التعلم، والتذكر، والكفاءة، والفعالية، ومعدل الخطأ، ورضا المستخدم. يستخدم اختبار قابلية الاستخدام تقنية اختبار الصندوق الأسود على مستويات النظام والقبول. في الوقت الحاضر، يعتبر كل من تطبيقات الويب والهاتف المحمول من أكثر أنواع التطبيقات شيوعًا وسهولة الاستخدام شرط ضروري للواجهة. لأنه إذا كان من الصعب استخدام الواجهة وضل المستخدمون وسيغادرون. لن يتطلع اي مستخدم الي قراءة الدليل أولاً قبل استخدام واجهة أو موقع ويب، وبالتالي، تعد قابلية الاستخدام عنصرًا حيويًا للغاية لأي تطبيق.
لقد قمنا بالتركيز على الثغرات في المجال مثل تقييم مشاكل قابلية استخدام واجهة التطبيقات، وتركيز المطورون على وظائف التطبيق بدلاً من قابلية استخدام الواجهة، وان إرشادات قابلية الاستخدام غير الكافية للخبراء وان معظم سمات قابلية الاستخدام نوعية.
تتمثل أهداف الرسالة في إنشاء الإرشادات المطلوبة لكل سمة من سمات قابلية الاستخدام لتحقيق قابلية استخدام أفضل وتحديد الأوزان لكل سمة قابلية للاستخدام.
وفقًا للأبحاث المرجعية، تم تحديد 3 مجالات لتقييم قابلية الاستخدام وهي 5 تقنيات استعلام و9 تقنيات فحص عبر الإنترنت و10 تقنيات اختبار غير متصلة بالإنترنت. فحص قابلية الاستخدام هو عملية فحص واجهة بهدف العثور على مشاكل قابلية الاستخدام في تصميم الواجهة باستخدام الأساليب. مكونات إطار عمل نيلسون لقابلية الاستخدام هي أبعاد قابلية الاستخدام والعوامل السياقية وقيم العتبة للأبعاد. أبعاد قابلية الاستخدام وهي قابلية التعلم والتذكر ومعدل الخطأ والفعالية والكفاءة ورضا المستخدم. العوامل السياقية وهي المستخدمين والتكنولوجيا ومعدل الخطأ والنشاط والبيئة. قيم الحد للأبعاد وهي الوقت وعدد التطبيقات وعدد المستخدمين. معايير تصنيف ايزو (ISO) لقابلية الاستخدام هي الفعالية والكفاءة ورضا المستخدم وقابلية الفهم وقابلية التعلم وقابلية الحفظ.
لتحديد سمات قابلية الاستخدام في الايزو (ISO) وإنشاء خطوات توجيهية للتطوير، تم عمل 4 خطوات رئيسية وهي جمع البيانات والتحليل وتحديد المبادئ التوجيهية وتقييم المنهجية.
في جمع البيانات، تم جمع سمات قابلية الاستخدام من الأوراق السابقة من عام 2012 حتى عام 2020 ونتج عنه تحديد 42 سمة قابلية الاستخدام. ثم تم إجراء الاستبانة المكون من سؤالين تم طرحهما على 20 مطورًا ومختبِرًا.
السؤال الأول هو سؤال مغلق يطلب اختيار أهم سمات قابلية الاستخدام للمساعدة في تحديد الأوزان والسؤال الثاني هو سؤال مفتوح يسأل عن مشكلات قابلية الاستخدام المتكررة التي تواجهها للمساعدة في اقتراح الإرشادات.
بعد جمع البيانات المطلوبة، لقد كانت الخطوة الثانية هي التحليل. نتج عن التحليل دمج سمتين من سمات المهام المكتملة والأهداف المحققة لتكون سمة واحدة وإضافة سمة واحدة وهي سهولة القراءة. إذن، الناتج هو 42 سمة تحت 9 فئات. بعد ذلك، تم تحليل السؤال المفتوح للاستبيان الذي نتج عنه 4 مشاكل شائعة تحدث بشكل متكرر لخبراء قابلية الاستخدام.
الخطوة الثالثة هي تحديد الإرشادات حيث تم إنشاء خطوات مفصلة لكل سمة للمساعدة في الحصول على نتائج أفضل للاستخدام. بعد ذلك وتم تحديد الأوزان باستخدام استطلاع الخبراء.
الخطوة الرابعة هي تقييم المنهجية حيث تم تعيين سؤال أو سؤالين لكل سمة يتم طرحها من قبل المختبِر للتقييم واختبارها على التطبيق لقياس قابلية الاستخدام. بعد ذلك، تم تطوير أداة باستخدام إطار العمل الخاص بنا لقياس نسبة قابلية استخدام التطبيق من خلال قائمة مراجعة وتقديم مخطط لمساعدة المطور على تحقيق أفضل النتائج في قابلية الاستخدام ((http://abuem.com/ .
أخيرًا، قم بإعداد تجربة تقييم عن طريق اختبار مقاييسنا على ثلاث تطبيقات للتجارة الإلكترونية في نوعين هما التجارة الإلكترونية والتعلم الإلكتروني، أحدهما يستخدم الأوزان، والآخر بدون استخدام الوزن، والآخر باستخدام سمات وأوزان محددة. تم تطبيق تجربة التقييم على تطبيقين. الأول هو تطبيق عالي السعر (أمازون) وله تطبيق ويب عالمي وأيضًا تطبيق جوال بمعدل 4.3 من 5. والثاني هو تطبيق منخفض السعر (وردلي) وهو موقع تجارة إلكترونية مصري مع معدل متوسط، لكن ليس لديهم تطبيق جوال. الثالث هو تطبيق التعليم الإلكتروني (جوجل كلاسروم) الذي يحتوي على تطبيق ويب عالمي وأيضًا تطبيق للهاتف المحمول بمعدل 4.1 من 5. وقد تم تطبيق التجربة ثلاث مرات باستخدام الأوزان والأخرى بدون استخدام الأوزان، وبسمات وأوزان محددة على ثلاث وظائف رئيسية يؤديها أي تطبيق للتجارة الإلكترونية، وهي البحث والبحث عن بيانات المنتج والشراء وثلاث وظائف رئيسية تؤديها أي تطبيقات للتعلم الإلكتروني وهي عرض المواد والمهام وتحميل الواجبات والتواصل مع المعلم.
بعد اختبار الإطار على نوعين من تطبيقات التجارة الإلكترونية وهما التجارة الإلكترونية والتعلم الإلكتروني، أحدهما به تطبيقات ذات معدل مرتفع والآخر بمعدل منخفض في 6 مهام رئيسية، وهي البحث والبحث عن بيانات المنتج وشراء وعرض المواد والمهام وتحميل المهام والتواصل مع المعلم باستخدام الأوزان، وبدون استخدام الأوزان والسمات والأوزان المحددة، تثبت مقاييسنا في الاختبار بدون أوزان أن المعدل المرتفع (امازون) أدى إلى 95.2٪ في مهمة البحث في حين أن معدل منخفض (وردلي) نتج عنه 47.6٪. كما أنه يثبت أن المعدل المرتفع (أمازون) أدى إلى 100٪ في مهمة البحث عن بيانات المنتج بينما أدى المعدل المنخفض (وردلي) إلى 59.5٪. أخيرًا، أثبت أيضًا أن النسبة المرتفعة (أمازون) نتج عنها 95.2٪ في مهمة الشراء بينما نتج عن المعدل المنخفض (وردلي) 59.5٪. أخيرًا، أدى المعدل المرتفع (جوجل كلاسروم) إلى 78.60٪ في مهام العرض ومهام المواد، و100٪ في مهام تحميل المهام، و64.30٪ في الاتصال بمهام المعلم. بعد ذلك، أثبتت مقاييسنا في الاختبار باستخدام الأوزان أن المعدل المرتفع (امازون) أدى إلى 94.8٪ في مهمة البحث بينما أدى المعدل المنخفض (وردلي) إلى 47.4٪. كما أنه يثبت أن المعدل المرتفع (امازون) أدى إلى 100٪ في مهمة البحث عن بيانات المنتج بينما أدى المعدل المنخفض (وردلي) إلى 59.04٪. أخيرًا، ثبت أن النسبة المرتفعة (أمازون) نتج عنها 96.9٪ في مهمة الشراء بينما نتج عن المعدل المنخفض (وردلي) 62.4٪. أخيرًا، أدى المعدل المرتفع (جوجل كلاسروم) إلى 78.90٪ في مهام العرض ومهام المواد، و82.20٪ في مهام تحميل المهام، و73.70٪ في الاتصال بمهام المعلم. أخيرًا، أثبتت مقاييسنا في الاختبار باستخدام سمات وأوزان محددة أن المعدل المرتفع (امازون) أدى إلى 97.8٪ في مهمة البحث بينما أدى المعدل المنخفض (وردلي) إلى 50.0٪. كما أنه يثبت أن المعدل المرتفع (أمازون) أدى إلى 100٪ في مهمة البحث عن بيانات المنتج بينما أدى المعدل المنخفض (وردلي) إلى 66.70٪. كما أنه يثبت أن المعدل المرتفع (أمازون) نتج عنه 97.20٪ في مهمة الشراء بينما أدى المعدل المنخفض (وردلي) إلى 61.10٪. أخيرًا، أدى المعدل المرتفع (جوجل كلاسروم) إلى 83.30٪ في مهام العرض ومهام المواد، و87.50٪ في مهام تحميل المهام، و75.00٪ في الاتصال بمهام المعلم.
هذا يعني أن مقاييسنا أثبتت أن امازون وجوجل كلاسروم لهما معدل مرتفع وأن وردلي له معدل منخفض، مما يعني أنه يمكنه قياس نسبة قابلية الاستخدام وفئات قابلية استخدام التطبيق. كما أنه يثبت أن غناء سمات وأوزان محددة أثناء الاختبار يعطي نتائج استخدام أفضل.
استخلصت الرسالة انه يمكن لأداة قابلية الاستخدام الخاصة بنا قياس نسبة قابلية استخدام الواجهة لأي نوع من التطبيقات، وتبرير أسباب النسبة المئوية للاستخدام النهائي والتوصية بمجموعة من الإرشادات الممكنة لتحسين التطبيق الأساسي. يمكن للمختبرين استخدام المقاييس في اختبار تطبيقاتهم من أي نوع باستخدام سمات محددة لنوع التطبيق أو باستخدام جميع السمات
للتحسين المستقبلي، يحتوي هذا البحث على بعض القيود مثل التمييز بين السمات العامة التي يمكن تطبيقها على جميع التطبيقات، أنواع التطبيقات المحددة، تحديد أوزان أكثر دقة لكل سمة حسب نوع التطبيق وتطوير أداة لأتمتة خطوة الاختبار.

Issues also as CD.

Text in English and abstract in Arabic & English.