Thesis (Ph.D)-Cairo University, 2023.

Bibliography: pages 95-111.

Text summarization is essential in natural language processing as the data volume
increases quickly. Daily textual data's increasing volume and complexity, including
social media posts, news articles, emails, and text messages, make consuming and
processing all the information difficult. This also means manually sifting through large
volumes of text to find relevant information, which can be time-consuming and difficult.
Therefore, the user needs to summarize that data into meaningful text quickly. Text
summarizing addresses this challenge by automatically condensing text into a more
concise format so that users can quickly and easily access the most critical information.
In today's data-driven environment, it has become an essential tool used in multiple
contexts, including text analysis, content-based recommendations, and information
retrieval.
There are three standard methods of text summarization: extractive, abstractive, and
hybrid. There are many efforts to summarize Latin texts. However, summarizing Arabic
texts is challenging for many reasons, including the language's complexity, structure,
and morphology. Also, there is a need for benchmark data sources and a gold-standard
Arabic evaluation metrics summary.
Thus, the contribution of this thesis is multifold. First, it proposes a hybrid approach
consisting of a modified sequence-to-sequence (MSTS) algorithm and a transformer-
based model. Adding multi-layer encoders and a one-layer decoder to the structure of
the sequence-to-sequence-based model changes it. The output of the MSTS model is an
extractive summarization. To generate the abstractive summarization, a transformer-
based model manipulated the extractive summarization. Second, it introduces a dataset
with long text: a new Arabic benchmark dataset called the Hybrid Arabic text
summarization dataset (HASD), which includes 43k articles with their extractive and
abstractive summaries. Third, this work modifies the well-known extractive Essex
Arabic summaries corpus (EASC) benchmarks by adding to each text its abstractive
summarization. Fourth, an evaluation measure called eval-summ determines the
accurate summary from multiple summarizations. This measure aids in identifying the
most precise summary of the various summarizations produced by the model. Fifth, this
thesis proposes a new measure called the Arabic-rouge measure for the abstractive
summary, depending on structure and similarity between words. Finally, an
investigation of the impact of using abstractive Arabic text summarization on different
transformer models with other datasets.
The model is tested using the proposed HASD and modified EASC benchmarks and
evaluated using Rouge, Bleu, and Arabic Rouge.
The experimental results on the EASC extractive dataset reveal that the Rouge-1,
Rouge-2, Rouge-L, and Bleu scores are 65, 56, 63, and 42, respectively. For the
proposed HASD extractive dataset, the rouge-1, rouge-2, Rouge-L, and bleu scores are
82.54, 79.03, 81.51, and 44, respectively. For the benchmark EASC abstractive dataset,
Rouge1, Rouge2, Rouge-L, Bleu, and Arabic-Rouge were 64, 49, 61, 42, and 68, while
for the HASD dataset, they were 76, 62, 75, 44, and 82, which gives satisfactory results
compared to the known literature results.

يعد تلخيص النصوص أمرًا ضروريًا في معالجة اللغة الطبيعية حيث يزداد حجم البيانات بسرعة. إن الحجم والتعقيد المتزايد للبيانات النصية اليومية، بما في ذلك منشورات وسائل التواصل الاجتماعي والمقالات الإخبارية ورسائل البريد الإلكتروني والرسائل النصية، يجعل استهلاك جميع المعلومات ومعالجتها أمرًا صعبًا. وهذا يعني أيضًا البحث اليدوي في حجوم كبيرة من النص للعثور على المعلومات ذات الصلة، مما يمكن أن يكون مستهلكًا للوقت وصعبًا.. ولذلك، يحتاج المستخدم إلى تلخيص تلك البيانات في نص ذي معنى مفهوم في وقت قليل.
يعالج تلخيص النص علي مواجهه هذا التحدي عن طريق تكثيف النص تلقائيًا في تنسيق أكثر إيجازًا حتى يتمكن المستخدمون من الوصول بسرعة وسهولة إلى المعلومات الأكثر أهمية. في بيئة البيانات الحديثة التي تعتمد على البيانات، أصبحت أداة أساسية تُستخدم في سياقات متعددة، بما في ذلك تحليل النصوص وتوصيات قائمة على المحتوى واسترجاع المعلومات.
هناك طريقتان قياسيتان لتلخيص النص: الاستخراجية والتجريدية. هناك العديد من الجهود لتلخيص النصوص اللاتينية. ومع ذلك، فإن تلخيص النصوص العربية يمثل تحديًا لأسباب عديدة ، يرجع ذلك الي قله الموارد (ادوات البرمجه اللغويه العصبيه ) والمرادفات واللغويات اللغه العربيه بما في ذلك تعقيد اللغة وهياكلها وصرفها وهناك أيضًا حاجة إلى مصادر بيانات مرجعية وملخص لمقاييس التقييم العربية المعيارية. وبالتالي، فإن مساهمة هذه الدراسه متعددة الجوانب. أولاً، يقترح نهجًا هجينًا يتكون من خوارزمية تسلسل إلى تسلسل معدلة (MSTS) ونموذج قائم على المحولات. تؤدي إضافة أجهزة تشفير متعددة الطبقات ووحدة فك ترميز أحادية الطبقة إلى بنية النموذج القائم على تسلسل إلى تسلسل إلى تغييره. إن مخرجات نموذج MSTS عبارة عن تلخيص استخراجي. لتوليد التلخيص التجريدي، نموذج قائم على المحول يعالج التلخيص الاستخلاصي. ثانيًا، يُقدم مجموعة بيانات جديدة تحتوي على نصوص طويلة: مجموعة بيانات قياسية عربية جديدة تسمى HASD، تتضمن 43,000 مقالة مع تلخيصاتها الاستخلاصية والتجريدية.
ثالثًا، يعدل هذا العمل معايير EASC الاستخراجية المعروفة عن طريق إضافة تلخيص تجريدي لكل نص. رابعًا، يحدد مقياس التقييم المسمى eval_summary التلخيص الدقيق من بين التلخيصات المتعددة. يساعد هذا المقياس في تحديد التلخيص الأكثر دقة من بين التلخيصات المتعددة التي تنتجها النماذج.
خامسًا، تُقترح في هذه الدراسه مقياسًا جديدًا يُسمى مقياس الروج العربي للتلخيص التجريدي، وذلك استنادًا إلى الهيكل والتشابه بين الكلمات. أخيرًا، دراسة تأثير استخدام تلخيص النص العربي التجريدي على نماذج محولات مختلفة مع مجموعات بيانات أخرى. تم اختبار النموذج باستخدام معايير HASD المقترحة ومعايير EASC المعدلة وتقييمها باستخدام Rouge وBleu وArabic Rouge. تظهر النتائج التجريبية نتائج مرضية مقارنة بأحدث الأساليب.

Issues also as CD.

Text in English and abstract in Arabic & English.