A Deep Learning Framework for Time-Series Forecasting / Remainder of title /
Amal Mahmoud Mohammed,
A Deep Learning Framework for Time-Series Forecasting / Remainder of title / إطﺎر ﺘﻌﻠﻢ عميق ﻟﻠﺘﻨﺒﺆ ﺑﺎﻟﺴﻼﺳﻞ اﻟﺰﻣﻨﯿﺔ / By Amal Mahmoud Mohammed; Supervised by Prof. Ammar Mohammed Ammar, Assoc. Prof. Mervat Gheith. - 178 leaves : illustrations ; 30 cm. + CD.
Thesis (Ph.D)-Cairo University, 2024.
Bibliography: pages 157-178.
Time series are sequences of data points recorded at successive time intervals, playing a crucial role in various domains like finance, healthcare, and meteorology where accurate forecasting is essential for decision-making. Time series can be univariate, involving a single variable, or multivariate, encompassing multiple interrelated variables. Despite their significance, time series forecasting presents challenges, including managing non-stationarity, capturing temporal dependencies, and handling high-dimensional data in multivariate series.
Historically, time series forecasting relied on classical statistical methods like Auto-Regressive Integrated Moving Average (ARIMA) and exponential smoothing, known for their interpretability and effectiveness in univariate series. Recently, machine learning algorithms like Support Vector Machines (SVMs) and Random Forests (RFs) have gained popularity due to their ability to capture non-linear relationships and handle more complex forecasting tasks. The advent of deep learning introduced powerful models like Recurrent Neural Networks (RNNs), especially Long Short-Term Memory (LSTM) networks, and Convolutional Neural Networks (CNNs), which have shown significant potential in capturing temporal dependencies and spatial patterns.
However, existing methods often struggle with the complexities of multivariate and multi-step time series forecasting, especially with spatio-temporal data. Challenges arise from the need to forecast multiple interrelated variables, capture long-term dependencies, account for both spatial and temporal patterns, manage high-dimensional datasets, and deal with non-linear dynamics in real-world time series. These complexities often exceed the capabilities of traditional methods, leading to the need for more advanced methodologies.
This thesis proposes several novel approaches integrating advanced deep learning models to address these challenges. Key contributions include integrating RNNs with CNNs to capture temporal and spatial features, and combining Temporal Convolutional Networks (TCNs) with other models to enhance accuracy. An approach integrating the Attention mechanism with LSTM (AttLSTM) is introduced, along with a Hierarchical Multi-head Attention mechanism combined with TCNs (HMATCN) for improved handling of complex dependencies in multivariate time series.
The proposed models are validated using datasets including traffic volume, air quality, and wheat productivity in Egypt. Comparative analyses against traditional and state-of-the-art deep learning models demonstrate superior forecasting accuracy. For instance, in the Traffic flow dataset, the LSTM model achieved an R2 of 0.92 for the 7-step forecasting horizon, while the HMATCN model outperformed others with an R2 of 0.981. In the Air Quality dataset, the TCN model achieved an R2 of 0.93, with the HMATCN model performing best at 0.962. In the Crop Productivity dataset, the HMATCN model consistently achieved the highest R2 values, ranging from 0.94 to 0.955 across different governates for both 7-step and 24-step forecasting horizons.
The integrated deep learning frameworks significantly enhance forecasting capabilities, providing robust solutions for multivariate, spatial-temporal time series forecasting challenges. This research advances the field by offering scalable, effective solutions, particularly in complex scenarios, and underscores the potential of integrated deep learning models to address the intricacies of time series forecasting across diverse domains.
السلاسل الزمنية هي تسلسلات من النقاط البيانات التي يتم جمعها أو تسجيلها في نقاط زمنية متتالية، غالبًا على فترات زمنية منتظمة. تلعب السلاسل الزمنية دورًا حاسمًا في مجالات متعددة مثل التمويل والرعاية الصحية والأرصاد الجوية وغيرها، حيث يُعد التنبؤ الدقيق أمرًا أساسيًا لاتخاذ القرارات والتخطيط الاستراتيجي. يمكن تصنيف السلاسل الزمنية إلى سلسلة أحادية المتغير، التي تتضمن متغيرًا واحدًا، وسلاسل متعددة المتغيرات التي تشمل عدة متغيرات مترابطة.
على الرغم من انتشار استخدام السلاسل الزمنية، فإن التنبؤ بها يواجه العديد من التحديات، بما في ذلك التعامل مع اللااستقرارية، والتقاط الاعتماديات الزمنية، وإدارة البيانات عالية الأبعاد في السلاسل الزمنية متعددة المتغيرات.
لقد اعتمد التنبؤ بالسلاسل الزمنية تاريخيًا على مجموعة متنوعة من الأساليب، بدءًا من الأساليب الإحصائية التقليدية وصولًا إلى تقنيات تعلم الآلة والتعلم العميق الحديثة. تشمل الأساليب الإحصائية التقليدية نموذج الانحدار الذاتي المتكامل والمتوسط المتحرك (ARIMA) والتنعيم الأسي، التي استخدمت على نطاق واسع نظرًا لقابليتها للتفسير وفعاليتها في التعامل مع السلاسل الزمنية أحادية المتغير.
في السنوات الأخيرة، اكتسبت خوارزميات تعلم الآلة مثل آلات المتجهات الداعمة (SVMs) والغابات العشوائية (RFs) شعبية بسبب قدرتها على التقاط العلاقات غير الخطية في البيانات. وقد أظهرت هذه الأساليب إمكانيات واعدة في التعامل مع مهام التنبؤ الأكثر تعقيدًا، بما في ذلك بعض السيناريوهات متعددة المتغيرات.
قدم ظهور التعلم العميق نماذج قوية مثل الشبكات العصبية المتكررة (RNNs)، ولا سيما شبكات الذاكرة طويلة المدى (LSTM)، والشبكات العصبية الالتفافية (CNNs). وقد أظهرت هذه الهياكل قدرة كبيرة على التقاط الاعتماديات الزمنية والأنماط المكانية على التوالي.
على الرغم من هذه التطورات، غالبًا ما تكافح الأساليب الحالية مع التعقيدات المتأصلة في التنبؤ بالسلاسل الزمنية متعددة المتغيرات ومتعددة الخطوات، خاصة عند التعامل مع البيانات الزمكانية. تنبع هذه التحديات من عدة عوامل: الحاجة إلى التنبؤ بشكل متزامن بعدة متغيرات مترابطة، وأهمية التقاط الاعتماديات طويلة الأمد للتنبؤات متعددة الخطوات الدقيقة، وضرورة مراعاة الأنماط المكانية والزمنية في البيانات الزمكانية، والصعوبات الحسابية والنمذجة التي تفرضها مجموعات البيانات عالية الأبعاد، ووجود ديناميكيات غير خطية في السلاسل الزمنية في العالم الحقيقي.غالبًا ما تتجاوز هذه العوامل قدرات الأساليب التقليدية في نمذجة التفاعلات المعقدة بين المتغيرات، والحفاظ على دقة التنبؤ على مدى آفاق زمنية ممتدة، ومراعاة العلاقات المكانية المعقدة الموجودة في البيانات. يبرز هذا القيد الحاجة إلى منهجيات أكثر تقدمًا قادرة على التعامل مع مثل هذه الهياكل والعلاقات المعقدة للبيانات، مما يدفع بتطوير أساليب جديدة في مجال التنبؤ بالسلاسل الزمنية.
في هذه الرسالة، تم اقتراح عدة أساليب جديدة تدمج نماذج التعلم العميق المتقدمة للتغلب على هذه التحديات. ومن بين المساهمات الرئيسية دمج الشبكات العصبية المتكررة مع الشبكات العصبية الالتفافية، للاستفادة من نقاط القوة في كلتا الهيكليتين لالتقاط الميزات الزمنية والمكانية بشكل فعال. بالإضافة إلى ذلك، تم استكشاف دمج الشبكات الالتفافية الزمنية (TCNs) مع نماذج أخرى لتحسين دقة التنبؤ.باعتبار نجاح آلية الانتباه في معالجة اللغة الطبيعية، تم تقديم نهج يدمج آلية الانتباه مع شبكات الذاكرة طويلة المدى (AttLSTM). بالإضافة إلى ذلك، تم اقتراح آلية انتباه متعددة الرؤوس هرمية مدمجة مع الشبكات الالتفافية الزمنية (HMATCN) لتحسين التعامل مع الاعتماديات المعقدة في السلاسل الزمنية متعددة المتغيرات.
تم التحقق من صحة النماذج باستخدام مجموعات بيانات متنوعة تشمل حجم حركة المرور، وجودة الهواء، وإنتاجية القمح في مصر. وأظهرت التحليلات المقارنة مع الأساليب التقليدية ونماذج التعلم العميق الحديثة تفوقًا في دقة التنبؤ. على سبيل المثال، في مجموعة بيانات تدفق حركة المرور، حقق نموذج LSTM معامل تحديد (R2) بنسبة 0.92 لأفق التنبؤ بسبع خطوات، بينما تفوق نموذج HMATCN على جميع النماذج الأخرى محققًا R2 بنسبة 0.981. وبالمثل، في مجموعة بيانات جودة الهواء، حقق نموذج TCN معامل تحديد (R2) بنسبة 0.93 لأفق التنبؤ بسبع خطوات، وأظهر نموذج HMATCN أداءً متفوقًا مع R2 بنسبة 0.962.في مجموعة بيانات إنتاجية المحاصيل، حقق نموذج HMATCN باستمرار أعلى قيم R2، حيث تراوحت من 0.94 إلى 0.955 عبر المحافظات المختلفة لأفق التنبؤ بسبع خطوات وأربع وعشرين خطوة.
Text in English and abstract in Arabic & English.
Deep Learning
Time Series Forecasting Recurrent Neural Networks (RNNs)
005.31
A Deep Learning Framework for Time-Series Forecasting / Remainder of title / إطﺎر ﺘﻌﻠﻢ عميق ﻟﻠﺘﻨﺒﺆ ﺑﺎﻟﺴﻼﺳﻞ اﻟﺰﻣﻨﯿﺔ / By Amal Mahmoud Mohammed; Supervised by Prof. Ammar Mohammed Ammar, Assoc. Prof. Mervat Gheith. - 178 leaves : illustrations ; 30 cm. + CD.
Thesis (Ph.D)-Cairo University, 2024.
Bibliography: pages 157-178.
Time series are sequences of data points recorded at successive time intervals, playing a crucial role in various domains like finance, healthcare, and meteorology where accurate forecasting is essential for decision-making. Time series can be univariate, involving a single variable, or multivariate, encompassing multiple interrelated variables. Despite their significance, time series forecasting presents challenges, including managing non-stationarity, capturing temporal dependencies, and handling high-dimensional data in multivariate series.
Historically, time series forecasting relied on classical statistical methods like Auto-Regressive Integrated Moving Average (ARIMA) and exponential smoothing, known for their interpretability and effectiveness in univariate series. Recently, machine learning algorithms like Support Vector Machines (SVMs) and Random Forests (RFs) have gained popularity due to their ability to capture non-linear relationships and handle more complex forecasting tasks. The advent of deep learning introduced powerful models like Recurrent Neural Networks (RNNs), especially Long Short-Term Memory (LSTM) networks, and Convolutional Neural Networks (CNNs), which have shown significant potential in capturing temporal dependencies and spatial patterns.
However, existing methods often struggle with the complexities of multivariate and multi-step time series forecasting, especially with spatio-temporal data. Challenges arise from the need to forecast multiple interrelated variables, capture long-term dependencies, account for both spatial and temporal patterns, manage high-dimensional datasets, and deal with non-linear dynamics in real-world time series. These complexities often exceed the capabilities of traditional methods, leading to the need for more advanced methodologies.
This thesis proposes several novel approaches integrating advanced deep learning models to address these challenges. Key contributions include integrating RNNs with CNNs to capture temporal and spatial features, and combining Temporal Convolutional Networks (TCNs) with other models to enhance accuracy. An approach integrating the Attention mechanism with LSTM (AttLSTM) is introduced, along with a Hierarchical Multi-head Attention mechanism combined with TCNs (HMATCN) for improved handling of complex dependencies in multivariate time series.
The proposed models are validated using datasets including traffic volume, air quality, and wheat productivity in Egypt. Comparative analyses against traditional and state-of-the-art deep learning models demonstrate superior forecasting accuracy. For instance, in the Traffic flow dataset, the LSTM model achieved an R2 of 0.92 for the 7-step forecasting horizon, while the HMATCN model outperformed others with an R2 of 0.981. In the Air Quality dataset, the TCN model achieved an R2 of 0.93, with the HMATCN model performing best at 0.962. In the Crop Productivity dataset, the HMATCN model consistently achieved the highest R2 values, ranging from 0.94 to 0.955 across different governates for both 7-step and 24-step forecasting horizons.
The integrated deep learning frameworks significantly enhance forecasting capabilities, providing robust solutions for multivariate, spatial-temporal time series forecasting challenges. This research advances the field by offering scalable, effective solutions, particularly in complex scenarios, and underscores the potential of integrated deep learning models to address the intricacies of time series forecasting across diverse domains.
السلاسل الزمنية هي تسلسلات من النقاط البيانات التي يتم جمعها أو تسجيلها في نقاط زمنية متتالية، غالبًا على فترات زمنية منتظمة. تلعب السلاسل الزمنية دورًا حاسمًا في مجالات متعددة مثل التمويل والرعاية الصحية والأرصاد الجوية وغيرها، حيث يُعد التنبؤ الدقيق أمرًا أساسيًا لاتخاذ القرارات والتخطيط الاستراتيجي. يمكن تصنيف السلاسل الزمنية إلى سلسلة أحادية المتغير، التي تتضمن متغيرًا واحدًا، وسلاسل متعددة المتغيرات التي تشمل عدة متغيرات مترابطة.
على الرغم من انتشار استخدام السلاسل الزمنية، فإن التنبؤ بها يواجه العديد من التحديات، بما في ذلك التعامل مع اللااستقرارية، والتقاط الاعتماديات الزمنية، وإدارة البيانات عالية الأبعاد في السلاسل الزمنية متعددة المتغيرات.
لقد اعتمد التنبؤ بالسلاسل الزمنية تاريخيًا على مجموعة متنوعة من الأساليب، بدءًا من الأساليب الإحصائية التقليدية وصولًا إلى تقنيات تعلم الآلة والتعلم العميق الحديثة. تشمل الأساليب الإحصائية التقليدية نموذج الانحدار الذاتي المتكامل والمتوسط المتحرك (ARIMA) والتنعيم الأسي، التي استخدمت على نطاق واسع نظرًا لقابليتها للتفسير وفعاليتها في التعامل مع السلاسل الزمنية أحادية المتغير.
في السنوات الأخيرة، اكتسبت خوارزميات تعلم الآلة مثل آلات المتجهات الداعمة (SVMs) والغابات العشوائية (RFs) شعبية بسبب قدرتها على التقاط العلاقات غير الخطية في البيانات. وقد أظهرت هذه الأساليب إمكانيات واعدة في التعامل مع مهام التنبؤ الأكثر تعقيدًا، بما في ذلك بعض السيناريوهات متعددة المتغيرات.
قدم ظهور التعلم العميق نماذج قوية مثل الشبكات العصبية المتكررة (RNNs)، ولا سيما شبكات الذاكرة طويلة المدى (LSTM)، والشبكات العصبية الالتفافية (CNNs). وقد أظهرت هذه الهياكل قدرة كبيرة على التقاط الاعتماديات الزمنية والأنماط المكانية على التوالي.
على الرغم من هذه التطورات، غالبًا ما تكافح الأساليب الحالية مع التعقيدات المتأصلة في التنبؤ بالسلاسل الزمنية متعددة المتغيرات ومتعددة الخطوات، خاصة عند التعامل مع البيانات الزمكانية. تنبع هذه التحديات من عدة عوامل: الحاجة إلى التنبؤ بشكل متزامن بعدة متغيرات مترابطة، وأهمية التقاط الاعتماديات طويلة الأمد للتنبؤات متعددة الخطوات الدقيقة، وضرورة مراعاة الأنماط المكانية والزمنية في البيانات الزمكانية، والصعوبات الحسابية والنمذجة التي تفرضها مجموعات البيانات عالية الأبعاد، ووجود ديناميكيات غير خطية في السلاسل الزمنية في العالم الحقيقي.غالبًا ما تتجاوز هذه العوامل قدرات الأساليب التقليدية في نمذجة التفاعلات المعقدة بين المتغيرات، والحفاظ على دقة التنبؤ على مدى آفاق زمنية ممتدة، ومراعاة العلاقات المكانية المعقدة الموجودة في البيانات. يبرز هذا القيد الحاجة إلى منهجيات أكثر تقدمًا قادرة على التعامل مع مثل هذه الهياكل والعلاقات المعقدة للبيانات، مما يدفع بتطوير أساليب جديدة في مجال التنبؤ بالسلاسل الزمنية.
في هذه الرسالة، تم اقتراح عدة أساليب جديدة تدمج نماذج التعلم العميق المتقدمة للتغلب على هذه التحديات. ومن بين المساهمات الرئيسية دمج الشبكات العصبية المتكررة مع الشبكات العصبية الالتفافية، للاستفادة من نقاط القوة في كلتا الهيكليتين لالتقاط الميزات الزمنية والمكانية بشكل فعال. بالإضافة إلى ذلك، تم استكشاف دمج الشبكات الالتفافية الزمنية (TCNs) مع نماذج أخرى لتحسين دقة التنبؤ.باعتبار نجاح آلية الانتباه في معالجة اللغة الطبيعية، تم تقديم نهج يدمج آلية الانتباه مع شبكات الذاكرة طويلة المدى (AttLSTM). بالإضافة إلى ذلك، تم اقتراح آلية انتباه متعددة الرؤوس هرمية مدمجة مع الشبكات الالتفافية الزمنية (HMATCN) لتحسين التعامل مع الاعتماديات المعقدة في السلاسل الزمنية متعددة المتغيرات.
تم التحقق من صحة النماذج باستخدام مجموعات بيانات متنوعة تشمل حجم حركة المرور، وجودة الهواء، وإنتاجية القمح في مصر. وأظهرت التحليلات المقارنة مع الأساليب التقليدية ونماذج التعلم العميق الحديثة تفوقًا في دقة التنبؤ. على سبيل المثال، في مجموعة بيانات تدفق حركة المرور، حقق نموذج LSTM معامل تحديد (R2) بنسبة 0.92 لأفق التنبؤ بسبع خطوات، بينما تفوق نموذج HMATCN على جميع النماذج الأخرى محققًا R2 بنسبة 0.981. وبالمثل، في مجموعة بيانات جودة الهواء، حقق نموذج TCN معامل تحديد (R2) بنسبة 0.93 لأفق التنبؤ بسبع خطوات، وأظهر نموذج HMATCN أداءً متفوقًا مع R2 بنسبة 0.962.في مجموعة بيانات إنتاجية المحاصيل، حقق نموذج HMATCN باستمرار أعلى قيم R2، حيث تراوحت من 0.94 إلى 0.955 عبر المحافظات المختلفة لأفق التنبؤ بسبع خطوات وأربع وعشرين خطوة.
Text in English and abstract in Arabic & English.
Deep Learning
Time Series Forecasting Recurrent Neural Networks (RNNs)
005.31