Digital image system for forensic investigation /
نظام للصورالرقمية للتحقيق فى الأدله الجنائية
by Ibrahim Ali Zedan Swelam ; Supervision Prof. Dr. Hoda Mohamed Onsi, Prof. Dr. Khaled Mostafa El-Sayed, Prof. Mona Mohamed Mohamed Soliman.
- 92 Leaves : illustrations ; 30 cm. + CD.
Thesis (Ph.D)-Cairo University, 2025.
Bibliography: pages 76 -87.
Digital Image Forensics is a growing field of image processing that attempts to gain objective proof of the origin and veracity of a visual image. Copy-move forgery detection (CMFD) has currently become an active research topic in the passive/blind image forensics field. There has no doubt that keypoint-based and deep learning based techniques have pushed the CMFD forward in the previous two decades. This thesis presents an integrated system for handling Copy-Move Forgery (CMF) that combines keypoint-based techniques with deep learning techniques. The proposed system consists of three sub-systems: CMF detection sub-system, CMF localization sub-system, and source-forged discrimination sub-system. The CMF detection sub-system is based on keypoint-based techniques and is responsible for detecting CMF at the image level. The CMF localization sub-system, and source-forged discrimination sub-system are based on deep learning techniques and are responsible for identifying cloned regions within the forged image at the pixel level, and separating the cloned regions into source and forged regions, respectively.
In the CMF detection sub-system, a new matching strategy that is resistant to false matches is proposed. Each keypoint is modeled as a whole region rather than a single point and the intersection over union measure is employed to deal with image continuity. To reduce false matches caused by image self-similarity, the cross-matching test is combined with a modified distance ratio test. In addition, a support vector machine is utilized to learn the matching threshold(s) needed to decide if CMF has occurred or not. Last but not least, the CMF detection sub-system takes into account handling images of different resolutions.
The CMF localization sub-system first generates a similarity map that visuals in a coarse manner any candidate similar regions in the image. Then, the similarity map is introduced to an Inception U-Net model. The goal of the Inception U-Net model is to learn the segmentation threshold and apply the needed filtering that would improve the CMF localization at the pixel level. Finally, the source-forged discrimination sub-system extracts the cloned regions identified by the CMF localization sub-system and then sends them to Siamese network to distinguish the source region from the forged one.
The proposed system is evaluated over three challenging datasets: MICC-F600, Coverage, and MICC-F220. On MICC-F600 dataset, the proposed system outperforms other state-of-art techniques and achieves high precision of 99.38%, recall of 97.5%, and 98.42% of F1 score. Additionally, the comparative evaluation using Coverage, and MICC-F220 datasets proved the effectiveness of the proposed system to handle a variety of attacks. يُعدّ علم الأدلة الجنائية الرقمية مجالًا متناميًا في معالجة الصور، ويسعى إلى الحصول على دليل موضوعي على أصل الصورة المرئية وصحتها. وقد أصبح الكشف عن تزوير النسخ واللصق (CMFD) موضوعًا بحثيًا نشطًا في مجال الأدلة الجنائية الرقمية السلبية/غير المُعتمدة على تقنيات أخرى. ولا شكّ في أن التقنيات القائمة على النقاط الرئيسية والتعلم العميق قد ساهمت في تطوير الكشف عن تزوير النسخ واللصق (CMFD) خلال العقدين الماضيين. تُقدّم هذه الأطروحة نظامًا متكاملًا للتعامل مع تزوير النسخ واللصق (CMF) يجمع بين التقنيات القائمة على النقاط الرئيسية وتقنيات التعلم العميق. ويتكوّن النظام المقترح من ثلاثة أنظمة فرعية: نظام فرعي للكشف عن تزوير النسخ واللصق، ونظام فرعي لتحديد موقع تزوير النسخ واللصق، ونظام فرعي للتمييز بين المصدر والتزوير. ويعتمد النظام الفرعي للكشف عن تزوير النسخ واللصق على التقنيات القائمة على النقاط الرئيسية، وهو مسؤول عن الكشف عن تزوير النسخ واللصق على مستوى الصورة. يعتمد النظام الفرعي لتحديد موقع CMF، والنظام الفرعي للتمييز بين الصور الأصلية والمزيفة، على تقنيات التعلم العميق، وهما مسؤولان عن تحديد المناطق المستنسخة داخل الصورة المزيفة على مستوى البكسل، وفصل المناطق المستنسخة إلى مناطق أصلية ومزيفة على التوالي.
في النظام الفرعي للكشف عن CMF، تم اقتراح استراتيجية مطابقة جديدة مقاومة للمطابقات الخاطئة.
يتم نمذجة كل نقطة رئيسية كمنطقة كاملة بدلاً من نقطة واحدة، ويتم استخدام مقياس التقاطع على الاتحاد للتعامل مع استمرارية الصورة.
لتقليل المطابقات الخاطئة الناتجة عن التشابه الذاتي للصورة، يتم دمج اختبار المطابقة المتقاطعة مع اختبار نسبة المسافة المعدل.
بالإضافة إلى ذلك، يتم استخدام آلة المتجهات الداعمة لتعلم عتبة (عتبات) المطابقة اللازمة لتحديد ما إذا كان قد حدث CMF أم لا.
وأخيرًا وليس آخرًا، يأخذ النظام الفرعي للكشف عن CMF في الاعتبار معالجة الصور ذات الدقة المختلفة.
يقوم النظام الفرعي لتحديد موقع CMF أولاً بإنشاء خريطة تشابه تُظهر بشكل تقريبي أي مناطق متشابهة محتملة في الصورة. ثم تُدخل خريطة التشابه إلى نموذج Inception U-Net. يهدف نموذج Inception U-Net إلى تعلم عتبة التجزئة وتطبيق الترشيح اللازم لتحسين تحديد موقع CMF على مستوى البكسل. وأخيرًا، يستخرج النظام الفرعي للتمييز بين المصدر والمزيف المناطق المستنسخة التي حددها النظام الفرعي لتحديد موقع CMF، ثم يرسلها إلى شبكة سيامية لتمييز منطقة المصدر عن المنطقة المزيفة. تم تقييم النظام المقترح على ثلاث مجموعات بيانات صعبة: MICC-F600 وCoverage وMICC-F220. على مجموعة بيانات MICC-F600، يتفوق النظام المقترح على أحدث التقنيات الأخرى، ويحقق دقة عالية تبلغ 99.38%، واستدعاءً بنسبة 97.5%، ودرجة F1 بنسبة 98.42%. بالإضافة إلى ذلك، أثبت التقييم المقارن باستخدام مجموعتي بيانات Coverage و MICC-F220 فعالية النظام المقترح في التعامل مع مجموعة متنوعة من الهجمات.
Text in English and abstract in Arabic & English.
Multimedia information systems نظم المعلومات متعددة الوسائط