Thesis (M.Sc.)-Cairo University, 2023.

Bibliography: pages 84-111.

Human action recognition (HAR) is the process of interpreting human action using computer and machine vision technology. Research in this area has advanced significantly recently in different application domains. However, the absence of suitable, sizeable, trained datasets still limits HAR in several areas of domains. Many factors impact the availability of suitable HAR data in specific domains. One of those interesting industrial domains is garment sewing. Many world reports were published to illustrate the progress of the worldwide garment sewing industry. To our knowledge, HAR data for the garment sewing industry is limited. Thus, in this Thesis, we review recent works in HAR approaches and propose a new HAR dataset, called VARSew, specifically designed for recognizing human sewing actions during production time to overcome this limitation. VARSew is designed to capture multiple research challenges in HAR. We provide two types of video classification tasks: binary and multi-class. The Data contains 3, 121 video segments of 49, 936 frames. We conduct extensive benchmark experiments with 32 state-of-the-art (SOTA) HAR models and compare their performance. The results on both binary and multi-class reveal that the best accuracy scores are 80% and 95% for binary and multi-class classification, respectively. As a result, deep learning vision transformer (Vit) models outperformed deep learning convolutional and ResNet models on both the VARSew multi-class and VARSew binary-class datasets.

التعرف علي الإجراءات البشريه هو عملية تفسير للعمل البشري باستخدام تكنولوجيا الحاسوب والرؤية الآلية. وقد أحرزت البحوث في هذا المجال تقدما كبيرا مؤخرا في مجالات تطبيق مختلفة. ومع ذلك، فإن عدم وجود مجموعات بيانات مناسبة وكبيرة مدربة لا يزال يحد من تقييم التعرف علي الإجراءات البشريه في عدة مجالات. وتؤثر عوامل كثيرة على توافر بيانات مناسبة للتعرف علي الإجراءات البشريه في بعض المجالات. وأحد هذه المجالات الصناعية المثيرة للاهتمام هو خياطة الملابس.
وقد نُشرت العديد من التقارير العالمية لتوضيح التقدم المحرز في صناعة خياطة الملابس على نطاق العالم. وعلى حد علمنا، فإن البيانات المتعلقة بصناعة خياطة الملابس محدودة. وبالتالي، في هذه الرساله، نستعرض الأعمال الحديثه في نُ التعرف علي الإجراءات البشريه ونقترح مجموعة بيانات جديدة من هذا النوع، ُهج البحث والتطوير في مجال ، مصممة خصيصا للتعرف علي الإجراءات البشريه في مجال صناعة خياطة الملابس أثناء فترة ً تسمى VARSew الإنتاج للتغلب على هذا التقييد.
وقد ُصِّممت مجموعه بيانات VARSew لتتيح العديد من التحديات البحثية المتعلقه بمجال التعرف علي الإجراءات البشريه. حيث أنها توفر نوعين من مهام تصنيف الفيديو: ثنائي ومتعدد التصنيف. تتضمن البيانات أجزاء فيديو تبلغ عددها ١٢١ ٣, فيديو من أطرات عمل تبلغ ,٩٣٦ ٤٩ أطار. وتم أجراء تجارب قياسية واسعة النطاق مع نماذج أحدث طرازات التعرف علي الإجراءات البشريه التي تبلغ ٣٢ طراز، ونقارن أدائها. وتكشف النتائج المتعلقة بكل من الأجرأت الثنائية والمتعددة وحصلنا علي أن أفضل درجات الدقة هي ٨٠ بالمائة و٩٥ بالمائةللتصنيف الثنائي والتصنيف المتعدد الإجراءات ، على التوالي
ونتيجة لذلك، تفوقت نماذج محِّول رؤية التعلم العميق (Vit)(علي التعلم العميق المتطور للشبكات العصبية التلافيفية في كل من نموذجي المتعدد التصنيف والثنائي التصنيفين لمجوعه بيانات. VARSew

Issued also as CD

Text in English and abstract in Arabic & English.