The impact of multicollinearity diagnostics on regression models /
Asmaa Abbas Ali Al-Hasawi,
The impact of multicollinearity diagnostics on regression models / تأثير تشخيص الازدواج الخطي على نماذج الانحدار by Asmaa Abbas Ali Al-Hasawi ; Supervised Prof. Ahmed Amin El-Sheikh, Prof. Shereen Hamdy Abdel-Latif. - 116 Leaves : illustrations ; 30 cm. + CD.
Thesis (M.Sc)-Cairo University, 2025.
Bibliography: pages 77-83.
Multicollinearity is a significant challenge in regression estimation techniques. Thisthesis addresses four key aspects related to this issue. First, the effects of multicollinearity are discussed. When perfect multicollinearity occurs, the assumption of a fully rank-ordered X matrix is violated, making Ordinary Least Squares (OLS) estimation inapplicable. This happens because the full rank condition is not satisfied. Moreover, multicollinearity leads to inflated variances of regression coefficients, making it difficult to assess the impact of one independent variable on another. Although the OLS estimator remains unbiased, its variance increases significantly, resulting in a loss of precision and the degradation of its BLUE (Best Linear Unbiased Estimator) property.
Next, diagnostic tools such as the Variance Inflation Factor (VIF), condition index, condition number, and Variance Decomposition Proportion (VDP) are discussed as methods for detecting multicollinearity. Approaches for addressing this issue include leaving the model unchanged, merging collinear variables, removing redundant variables, performing principal component analysis, increasing the sample size, or using biased estimators, such as the Ridge estimator.
Further, several diagnostic techniques are examined, including the Eigenvalue Condition Index and Variance Proportions, the Eigenvalue Determinant of (X′X), the Determinant of the Correlation Matrix, inspection of the Correlation Matrix, and the Variance Inflation Factor(VIF).
Lastly, several solutions to resolve multicollinearity are presented, such as eliminating redundant variables, combining collinear variables, performing principal component analysis, increasing the sample size, and using biased estimators like the Ridge estimator.
The key finding of this research is that omitting a variable in the presence of multicollinearity significantly affects the slope coefficient, either in terms of its value or direction. الهدف من هذه الرسالة هو دراسة كيفية التعامل مع نموذج الإنحدار الخطي المتعدد عند وجود مشكلة الإزدواج
الخطي المتعدد وهي الظاهرة التي يرتبط فيها متغيران أو أكثر من المتغيرات التفسيرية المحدد استخدامها في نموذج الإنحدار المتعدد ارتباطا وثيقا ومحاولة لحد من تأثير لك المشكلة.
فيعد انحدار ريدج أحد أشكال انحدار المربعات الصغري وغالبا ما يتم استخدامه عند تحديد حالات الإزدواج الخطي المتعدد. ينتج انحدار المربعات الصغري العادية تقديرات غير متحيزة لمعاملات الانحدار ، ومع ذلك ، إذا قمت بتقديم المشكلة المتمثلة في المتغيرات التفسيرية شديدة الإرتباط ، فإن تقديرات المعلمات الناتجة تنتهي بتباين كبير. كما تؤدي مشكلة الإزدواج الخطي إلى تضخم تباينات تقديرات المعلمات، وبالتالي استنتاجات غير صحيحة حول العلاقة بين المتغيرات التفسرية والمتغير
التابع. لذا تمت مناقشة المفهوم والتشخيص والطرق الشائعة لاكتشاف مشكلة الإزدواج الخطي المتعدد في نموذج الانحدار الخطي.
كما تم تقديم منهجية إحصائية للتعامل مع المتغيرات المحذوفة في إطار نموذج متعدد المتغيرات. ففي العديد من الدراسات قد لا يتمكن الباحث من الوصول إلى كل المتغيرات المطلوبة، وقد يؤدي هذا بالنتائج إلي تقديرات متحيزة لمعلمات النموذج. وعليه فإن المنهجية تسمح للباحث باختبار التأثيرات التي تم حذفها علي كافة المستويات سواء علي المستوي الفردي أوالمتعدد.
جاء تنظيم هذه الرسالة على النحو التالي: يستعرض الفصل الأول بعض المفاهيم والمصطلحات الخاصة بالدراسة كما يعرض النقاط الرئيسية للدراسة مثل: نموذج إنحدار ريدج، ومشكلة الإزدواج الخطي المتعدد وطرق الكشف عنه والعواقب المترتبة عليه وكيفية حلها ، وأساليب التقدير المتحيزه التي يفضل استخدامها في هذه الحالة.
ويقدم الفصل الثاني عرض للدارسات السابقة التي تم نشرها حول موضوع الرسالة محل البحث سواء من الناحية
التطبيقية أو الجانب النظري.
Text in English and abstract in Arabic & English.
Regression analysis
تحليل الانحدار
Linear Regression OLS Multicollinearity Omission Bias الانحدار الخطي طريقة المربعات الصغرى
519.536
The impact of multicollinearity diagnostics on regression models / تأثير تشخيص الازدواج الخطي على نماذج الانحدار by Asmaa Abbas Ali Al-Hasawi ; Supervised Prof. Ahmed Amin El-Sheikh, Prof. Shereen Hamdy Abdel-Latif. - 116 Leaves : illustrations ; 30 cm. + CD.
Thesis (M.Sc)-Cairo University, 2025.
Bibliography: pages 77-83.
Multicollinearity is a significant challenge in regression estimation techniques. Thisthesis addresses four key aspects related to this issue. First, the effects of multicollinearity are discussed. When perfect multicollinearity occurs, the assumption of a fully rank-ordered X matrix is violated, making Ordinary Least Squares (OLS) estimation inapplicable. This happens because the full rank condition is not satisfied. Moreover, multicollinearity leads to inflated variances of regression coefficients, making it difficult to assess the impact of one independent variable on another. Although the OLS estimator remains unbiased, its variance increases significantly, resulting in a loss of precision and the degradation of its BLUE (Best Linear Unbiased Estimator) property.
Next, diagnostic tools such as the Variance Inflation Factor (VIF), condition index, condition number, and Variance Decomposition Proportion (VDP) are discussed as methods for detecting multicollinearity. Approaches for addressing this issue include leaving the model unchanged, merging collinear variables, removing redundant variables, performing principal component analysis, increasing the sample size, or using biased estimators, such as the Ridge estimator.
Further, several diagnostic techniques are examined, including the Eigenvalue Condition Index and Variance Proportions, the Eigenvalue Determinant of (X′X), the Determinant of the Correlation Matrix, inspection of the Correlation Matrix, and the Variance Inflation Factor(VIF).
Lastly, several solutions to resolve multicollinearity are presented, such as eliminating redundant variables, combining collinear variables, performing principal component analysis, increasing the sample size, and using biased estimators like the Ridge estimator.
The key finding of this research is that omitting a variable in the presence of multicollinearity significantly affects the slope coefficient, either in terms of its value or direction. الهدف من هذه الرسالة هو دراسة كيفية التعامل مع نموذج الإنحدار الخطي المتعدد عند وجود مشكلة الإزدواج
الخطي المتعدد وهي الظاهرة التي يرتبط فيها متغيران أو أكثر من المتغيرات التفسيرية المحدد استخدامها في نموذج الإنحدار المتعدد ارتباطا وثيقا ومحاولة لحد من تأثير لك المشكلة.
فيعد انحدار ريدج أحد أشكال انحدار المربعات الصغري وغالبا ما يتم استخدامه عند تحديد حالات الإزدواج الخطي المتعدد. ينتج انحدار المربعات الصغري العادية تقديرات غير متحيزة لمعاملات الانحدار ، ومع ذلك ، إذا قمت بتقديم المشكلة المتمثلة في المتغيرات التفسيرية شديدة الإرتباط ، فإن تقديرات المعلمات الناتجة تنتهي بتباين كبير. كما تؤدي مشكلة الإزدواج الخطي إلى تضخم تباينات تقديرات المعلمات، وبالتالي استنتاجات غير صحيحة حول العلاقة بين المتغيرات التفسرية والمتغير
التابع. لذا تمت مناقشة المفهوم والتشخيص والطرق الشائعة لاكتشاف مشكلة الإزدواج الخطي المتعدد في نموذج الانحدار الخطي.
كما تم تقديم منهجية إحصائية للتعامل مع المتغيرات المحذوفة في إطار نموذج متعدد المتغيرات. ففي العديد من الدراسات قد لا يتمكن الباحث من الوصول إلى كل المتغيرات المطلوبة، وقد يؤدي هذا بالنتائج إلي تقديرات متحيزة لمعلمات النموذج. وعليه فإن المنهجية تسمح للباحث باختبار التأثيرات التي تم حذفها علي كافة المستويات سواء علي المستوي الفردي أوالمتعدد.
جاء تنظيم هذه الرسالة على النحو التالي: يستعرض الفصل الأول بعض المفاهيم والمصطلحات الخاصة بالدراسة كما يعرض النقاط الرئيسية للدراسة مثل: نموذج إنحدار ريدج، ومشكلة الإزدواج الخطي المتعدد وطرق الكشف عنه والعواقب المترتبة عليه وكيفية حلها ، وأساليب التقدير المتحيزه التي يفضل استخدامها في هذه الحالة.
ويقدم الفصل الثاني عرض للدارسات السابقة التي تم نشرها حول موضوع الرسالة محل البحث سواء من الناحية
التطبيقية أو الجانب النظري.
Text in English and abstract in Arabic & English.
Regression analysis
تحليل الانحدار
Linear Regression OLS Multicollinearity Omission Bias الانحدار الخطي طريقة المربعات الصغرى
519.536