Rethinking bert sentence embedding for Text classification with central and federated learning / (Record no. 169413)
[ view plain ]
| 000 -LEADER | |
|---|---|
| fixed length control field | 08572namaa22004211i 4500 |
| 003 - CONTROL NUMBER IDENTIFIER | |
| control field | OSt |
| 005 - أخر تعامل مع التسجيلة | |
| control field | 20250223033344.0 |
| 008 - FIXED-LENGTH DATA ELEMENTS--GENERAL INFORMATION | |
| fixed length control field | 241211s2023 |||a|||fr|m|| 000 0 eng d |
| 040 ## - CATALOGING SOURCE | |
| Original cataloguing agency | EG-GICUC |
| Language of cataloging | eng |
| Transcribing agency | EG-GICUC |
| Modifying agency | EG-GICUC |
| Description conventions | rda |
| 041 0# - LANGUAGE CODE | |
| Language code of text/sound track or separate title | eng |
| Language code of summary or abstract | eng |
| -- | ara |
| 049 ## - Acquisition Source | |
| Acquisition Source | Deposit |
| 082 04 - DEWEY DECIMAL CLASSIFICATION NUMBER | |
| Classification number | 621.39 |
| 092 ## - LOCALLY ASSIGNED DEWEY CALL NUMBER (OCLC) | |
| Classification number | 621.39 |
| Edition number | 21 |
| 097 ## - Degree | |
| Degree | M.Sc |
| 099 ## - LOCAL FREE-TEXT CALL NUMBER (OCLC) | |
| Local Call Number | Cai01.13.06.M.Sc.2023.Om.P |
| 100 0# - MAIN ENTRY--PERSONAL NAME | |
| Authority record control number or standard number | Omar Samir Galal Mohamed, |
| Preparation | preparation. |
| 245 10 - TITLE STATEMENT | |
| Title | Rethinking bert sentence embedding for Text classification with central and federated learning / |
| Statement of responsibility, etc. | by Omar Samir Galal Mohamed ; Under the Supervision of Dr. Mona Farouk, Dr. Ahmed H. Abdel-Gawad. |
| 246 15 - VARYING FORM OF TITLE | |
| Title proper/short title | إعادة النظر في تضمین جملةBERT لتصنیف النص بالتعلم المركزيوالاتحادي / |
| 264 #0 - PRODUCTION, PUBLICATION, DISTRIBUTION, MANUFACTURE, AND COPYRIGHT NOTICE | |
| Date of production, publication, distribution, manufacture, or copyright notice | 2023. |
| 300 ## - PHYSICAL DESCRIPTION | |
| Extent | 59 pages : |
| Other physical details | illustrations ; |
| Dimensions | 30 cm. + |
| Accompanying material | CD. |
| 336 ## - CONTENT TYPE | |
| Content type term | text |
| Source | rda content |
| 337 ## - MEDIA TYPE | |
| Media type term | Unmediated |
| Source | rdamedia |
| 338 ## - CARRIER TYPE | |
| Carrier type term | volume |
| Source | rdacarrier |
| 502 ## - DISSERTATION NOTE | |
| Dissertation note | Thesis (M.Sc.)-Cairo University, 2023. |
| 504 ## - BIBLIOGRAPHY, ETC. NOTE | |
| Bibliography, etc. note | Bibliography: pages 55-59. |
| 520 ## - SUMMARY, ETC. | |
| Summary, etc. | Text classification is a fundamental task in NLP that is used in several real-life tasks<br/>and applications. Large pre-trained language models such as BERT achieve state-of-the-<br/>art performance in several NLP tasks including text classification tasks. Although BERT<br/>boosts text classification performance, the common way of using it for classification lacks<br/>many aspects of its advantages. This thesis rethinks the way of using BERT final layer<br/>and hidden layers embeddings by proposing different aggregation architectures for text<br/>classification tasks such as sentiment analysis and sarcasm detection. This research also<br/>proposes different approaches for using BERT as a feature extractor without fine-tuning whose<br/>performance surpasses its fine-tuning counterpart. It also proposes promising multi-task<br/>learning aggregation architectures to improve the performance of the related classification<br/>problems. The experiments of the different architectures show that freezing BERT can<br/>outperform fine-tuning it for sentiment analysis. The experiments also show that multi-task<br/>learning while freezing BERT boosts the performance of hard tasks such as sarcasm detection.<br/>The best-performing models achieved new state-of-the-art performance on the ArSarcasm-v2<br/>dataset for Arabic sarcasm detection and sentiment analysis. For multi-task learning and<br/>freezing BERT, a new SOTA F1-score of 64.41 was achieved for the sarcasm detection<br/>with a 3.47% improvement and near SOTA FPN<br/>1 of 75.78 for the sentiment classification.<br/>For single-task learning, a new SOTA FPN<br/>1 of 75.26 was achieved for the sentiment with a<br/>1.81% improvement. Although gaining these results with the training data being resident<br/>in one place, certain problem domains necessitate data distribution without data sharing.<br/>Federated Learning (FL) allows multiple clients to collectively train a global model by<br/>sharing learned models rather than raw data. However, the adoption of BERT, a large<br/>model, within a Federated Learning framework incurs substantial communication costs. To<br/>address this challenge, we propose a novel framework, FedFreezeBERT, for BERT-based<br/>text classification. FedFreezeBERT works by adding an aggregation architecture on top of<br/>BERT to obtain better sentence embedding for classification while freezing BERT parameters.<br/>Keeping the model parameters frozen, FedFreezeBERT reduces the communication costs by a<br/>large factor compared to other state-of-the-art methods. FedFreezeBERT is implemented in a<br/>distributed version where the aggregation architecture only is being transferred and aggregated<br/>by FL algorithms such as FedAvg or FedProx. FedFreezeBERT is also implemented in a<br/>centralized version where the data embeddings extracted by BERT are sent to the central<br/>server to train the aggregation architecture. The experiments show that FedFreezeBERT<br/>achieves new state-of-the-art performance on Arabic sentiment analysis on the ArSarcasm-v2<br/>dataset with a 12.9% and 1.2% improvement over FedAvg/FedProx and the previous SOTA<br/>respectively. FedFreezeBERT also reduces the communication cost by 5× compared to the<br/>previous SOTA. |
| 520 ## - SUMMARY, ETC. | |
| Summary, etc. | یعد تصنیف النص مھمة أساسیة في البرمجة اللغویة العصبیة والتي یتم استخدامھا في العدید من المھاموالتطبیقات الواقعیة. تحقق النماذج اللغویة الكبیرة المدربة مسبقًا مثلBERT أداءً متطورًا في العدید منمھام البرمجة اللغویة العصبیة بما في ذلك مھام تصنیف النص. على الرغم من أنBERT یعزز أداءتصنیف النص، إلا أن الطریقة الشائعة لاستخدامھ في التصنیف تفتقر إلى العدید من جوانب مزایاه. تعیدھذه الرسالة التفكیر في طریقة استخدام طبقةBERT النھائیة وطبقات التضمین المخفیة من خلال اقتراحبنیات تجمیعیة مختلفة لمھام تصنیف النص مثل تحلیل المشاعر واكتشاف السخریة. یقترح ھذا البحثأیضًا طرقًا مختلفة لاستخدامBERT كمستخرج للمیزات بدون ضبط دقیق. تُظھر تجارب البنى المختلفة أنتجمیدBERT یمكن أن یتفوق في ضبطھ لتحلیل المشاعر. تظھر التجارب أیضًا أن التعلم متعدد المھام أثناءتجمیدBERT یعزز أداء المھام الصعبة مثل اكتشاف السخریة. حققت النماذج الأفضل أداءً أداءً جدیدًامتطورًا في مجموعة بیاناتArSarcasm-v2 للكشف عن السخریة العربیة وتحلیل المشاعر. بالنسبةللتعلم متعدد المھام وتجمیدBERT ، تم تحقیق درجة جدیدة تبلغ 64.41F1-score لاكتشاف السخریة مع<br/>تحسن بنسبة 3.47% و 75.78F1PN لتصنیف المشاعر. بالنسبة للتعلم بمھمة واحدة، تم تحقیق معدل جدید<br/>قدره 75.26F1PN للمیول مع تحسن بنسبة 1.81%. على الرغم من الحصول على ھذه النتائج مع وجود<br/>بیانات التدریب في مكان واحد، فإن بعض مجالات المشكلات تتطلب توزیع البیانات دون مشاركةالبیانات. یتیح التعلم الموحد (FL) للعدید من العملاء تدریب نموذج عالمي بشكل جماعي من خلال مشاركةالنماذج المدربة بدلاً من البیانات الأولیة. ومع ذلك، فإن اعتمادBERT ، وھو نموذج كبیر، ضمن إطارالتعلم الموحد یؤدي إلى تكالیف اتصالات كبیرة. ولمواجھة ھذا التحدي، نقترح إطارًا جدیدًا،FedFreezeBERT، لتصنیف النصوص استنادًا إلىBERT . یعملFedFreezeBERT عن طریق إضافةبنیة تجمیعیة أعلىBERT للحصول على تضمین أفضل للجمل للتصنیف أثناء تجمید متغیراتBERT . منخلال الحفاظ على تجمید متغیرات النموذج، یعملFedFreezeBERT على تقلیل تكالیف الاتصال بعاملكبیر مقارنة بالطرق الحدیثة الأخرى. تظھر التجارب أنFedFreezeBERT حقق أداءً جدیدًا متطورًا فيتحلیل المشاعر العربیة في مجموعة بیاناتArSarcasm-v2 مع تحسن بنسبة 12.9% و1.2% علىFedAvg/FedProx و الطریقة الأفضل سابقاً على التوالي. یعملFedFreezeBERT أیضًا على تقلیلتكلفة الاتصال بمقدار 5 مرات مقارنة بـأفضل طریقة سابقاُ.<br/> |
| 530 ## - ADDITIONAL PHYSICAL FORM AVAILABLE NOTE | |
| Issues CD | Issued also as CD |
| 546 ## - LANGUAGE NOTE | |
| Text Language | Text in English and abstract in Arabic & English. |
| 650 #7 - SUBJECT ADDED ENTRY--TOPICAL TERM | |
| Topical term or geographic name entry element | Computer Engineering |
| Source of heading or term | qrmak |
| 653 #0 - INDEX TERM--UNCONTROLLED | |
| Uncontrolled term | Text Classification |
| -- | BERT |
| -- | Federated Learning |
| -- | Natural Language Processing |
| -- | Pre-trained Language Models |
| 700 0# - ADDED ENTRY--PERSONAL NAME | |
| Personal name | Mona Farouk |
| Relator term | thesis advisor. |
| 700 0# - ADDED ENTRY--PERSONAL NAME | |
| Personal name | Ahmed H. Abdel-Gawad |
| Relator term | thesis advisor. |
| 900 ## - Thesis Information | |
| Grant date | 01-01-2023 |
| Supervisory body | Mona Farouk |
| -- | Ahmed H. Abdel-Gawad |
| Discussion body | Hoda A. Baraka |
| -- | Ahmed A. Rafea |
| Universities | Cairo University |
| Faculties | Faculty of Engineering |
| Department | Department of Computer Engineering |
| 905 ## - Cataloger and Reviser Names | |
| Cataloger Name | Eman Ghareeb |
| Reviser Names | Huda |
| 942 ## - ADDED ENTRY ELEMENTS (KOHA) | |
| Source of classification or shelving scheme | Dewey Decimal Classification |
| Koha item type | Thesis |
| Edition | 21 |
| Suppress in OPAC | No |
| Source of classification or shelving scheme | Home library | Current library | Date acquired | Inventory number | Full call number | Barcode | Date last seen | Effective from | Koha item type |
|---|---|---|---|---|---|---|---|---|---|
| Dewey Decimal Classification | المكتبة المركزبة الجديدة - جامعة القاهرة | قاعة الرسائل الجامعية - الدور الاول | 11.12.2024 | 89706 | Cai01.13.06.M.Sc.2023.Om.P | 01010110089706000 | 11.12.2024 | 11.12.2024 | Thesis |