Thesis (M.Sc)-Cairo University, 2024.

Bibliography: pages 108-124.

Code generation is the task of automatically generating and constructing code from a natural language description, and it has gained significant attention in recent years due to the increasing popularity of large language models (LLMs).
In this thesis, new models are proposed to solve the code generation problem, including MarianCG which is fine-tuned on a machine translation model, hybrid models with pre-trained language models as encoders and Marian Neural Machine Translation Decoder, and a LLM for code generation using Llama-2 model with PEFT and QLoRA techniques. The results of these experiments were also analyzed to display error/warning messages and refine the generated codes.

إن إنشاء الكود في البرمجة المساعدة بواسطة الذكاء الصناعي يبسط مسار التطوير ويعزز جودة الكود، مما ينتج في النهاية عنه زيادة في كفاءة البرمجة وموثوقيتها. يتيح ذلك من خلال أدوات تلقائية تحليل مجموعات الكود، وفهم أنماط البرمجة، وتقديم اقتراحات أو استكمالات للكود. تقدم هذه الرسالة نماذج معتمدة على المحولات Transformer-Based Processing لاستخدام نماذج اللغة المدربة مسبقًا Pre-trained Models على شكل المحولات Transformers في بناء نماذج التعلم الآلي لإنشاء الكود البرمجي تلقائياً. تظهر اعتماد نماذج اللغة المدربة مسبقًا كاستراتيجية ذكية للتغلب على تحديات إنشاء الكود البرمجي، مما يؤدي إلى إنشاء نموذج ترجمة آلية قادرة على تحويل الوصف البشري إلى كود برمجي قابل للتنفيذ. وأيضاً تم تحليل النتائج لهذه التجارب لعرض رسائل الخطأ وإعادة هيكلة الأكواد المولدة.

Issues also as CD.

Text in English and abstract in Arabic & English.