Estimation of Linear Regression Models and Model selection /
Shaimaa Labib Ibrahim Mohamed Barakat,
Estimation of Linear Regression Models and Model selection / تقدير نماذج الانحدار الخطي واختيار النموذج Shaimaa Labib Ibrahim Mohamed Barakat ; Supervised Prof.Dr. Ahmed Amin El-Sheikh, Prof.Dr.Salah Mahdy Mohamed. - 139 p. : illustrations ; 25cm+ CD
Thesis (Ph.D)-Cairo University,2022.
Bibliography: p. 84-81.
There are regression analysis problems that we are interested to find important predictor variables to predict the dependent variable, where each predictor is represented by a group of derived input variables. Several methods are proposed and studied to produce precise prediction to select a group of important variables. Variable selection used to less the biased and mean square error, some variable selection estimators is consistency and sufficient. It is often used to remedy of multicollinraity.
Multicollinearity is considered one of the most important problems that poses the linear regression model and which results in many risks in the assumptions of the model and these risks are:
1) The difficulty of parameters estimation of population in the linear multiple regression model.
2) Increased the value of variance of an estimator of population in the model of multiple linear regression.
3) Reducing the quality of estimating of ordinary least squares of parameter of population in the multiple linear regression models.
4) Effects to determine the quality of true linear model.
This multicollinearity may be total, linked with two variables or more from explanatory variables in the model and may be partial linked with only one variable of the explanatory variables.
i
There are different methods to solve multicollinearity in the model of the linear multiple regression:-
1) There are difficult of the signs of the society parameter which express the relation of explanatory variables to the dependent variable in the model of the linear multiple regression of its true value in the economic theory.
2) Increased of the value of coefficient of determination when most of variables of the explanatory variables.
3) Increases of the value of variance inflation factor
4) The difference of the model in the F test from the model in the T test.
5) The increases of the conditional number from 10.
The first chapter presented all the basic concepts of linear regression with multicollinearity, selecting the best model and presenting all the methods used in estimating the linear regression model such as:
1) Ordinary Least Square.
2) Maximum Likelihood Method.
3) Weighted Least Square Method.
4) Generalized Least Square Method.
5) Feasible Generalized Least Square.
The assumptions that have used for each method, the properties of the estimators, the advantages (disadvantages) and the steps of each method will be introduced.
j
All methods used for selecting the best model were presented, which are:
1) Forward selection.
2) Back Ward Elimination.
3) Least Angle Regression selection.
The methods for handling multicollinearity are obtained as:
1) k Class Estimator.
2) d Class Estimator.
3) Principal Component Two Parameter .
4) Liu estimator.
5) Liu Estimator Two Type.
The methods for handling multicollinearity and variables selection :
1) LASSO method.
2) Adaptive LASSO.
3) Adaptive group LASSO.
4) Modified Grouped LASSO.
The second chapter presents a review of some previous studies on treatment methods.In the third chapter, we suggested a new methods to handle
multicollinearity problem and variables selection in linear regression models ,
which are-:
1) New aspect of modified group LASSO.
2) Modified group LASSO with LARS algorithm.
3) New aspect of adaptive group LASSO.
4) Adaptive group LASSO with LARS algorithm.
And the steps used to obtain each method (theories related to each proposed
method were presented and the proof was presented. Fourth chapter, a simulation
study and application had been performed to compare between different methods
of handling multicollinearity for different sample sizes, different values of tuning
parameter ( ) and also different number of explanatory variables by using MSE as
a criteria, VIF and adjusted determination coefficient for comparing between the
methods using python program. The results reached that the mean square error of
proposed methods are less than ordinary least square, the variance inflation factor
of proposed methods are less than the variance inflation factor of ordinary least
square and the adjusted determination coefficient of proposed methods are bigger
than adjusted determination coefficient of ordinary least square, when the
correlation between explanatory variables is weak , adaptive group lasso with
LARS has least mean square error, least variance inflation factor and largest
adjusted determination coefficient on the other hand when the correlation between
explanatory variables is large , modified group lasso with LARS has least mean square error, least variance inflation factor and largest adjusted determination coefficient. ملخص الرسالة في كثير من مشاكل الانحدار ، نحن مهتمون بالحصول على متغيرات مستقلة مهمة في التنبؤ بالمتغير التابع ، حيث يمكن تمثيل كل متغير مستقل بمجموعة من عوامل المدخلات المشتقة. تم اقتراح ودراسة عدة طرق تنتج تنبؤًا دقيقًا أثناء اختيار مجموعة من العوامل المهمة. يستخدم الاختيار المتغير لتقليل الخطأ المنحاز والمتوسط ، وبعض مقدرات الاختيار المتغيرة تكون متسقة وكافية. غالبًا ما يستخدم لعلاج الازدواج الخطي. يعتبر الازدواج الخطي من اهم المشاكل التي يتعرض لهما نموذج الانحدار الخطي والتي تتسبب في وجود مخاطر كثيرة في فروض النموذج وتتمثل هذه المخاطر في الاتي :- 1) صعوبة تقدير معالم المجتمع في نموذج الانحدار المتعدد. 2) ارتفاع قيمه التباين لمعالم المجتمع في نموذج الانحدار المتعدد. 3) يقلل من جوده تقدير المربعات الصغرى لمعالم المجتمع في نموذج الانحدار المتعدد 4) يؤثر علي معرفه جوده النموذج الخطي الحقيقية. والازدواج الخطي قد يكون كلي مرتبط بمتغيرين او اكثر من المتغيرات التفسيرية في النموذج وقد يكون جزئي مرتبط بمتغير واحد فقط من المتغيرات التفسيرية وهناك عدة طرق لاكتشاف الازدواج الخطي في نموذج الانحدار المتعدد وهي :- 1) تعارض اشارات معالم المجتمع التي تعبر عن علاقه المتغيرات التفسيرية بالمتغير التابع في نموذج الانحدار عن قيمتها الحقيقية في النظريةالاقتصادية 2) ارتفاع قيمه معامل التحديد عندما يكون معظم متغيرات النموذجالتفسيرية غير معنويه. 3) زياده قيمه عامل تضخم التباين VIF عن (3) 4) اختلاف معنويه النموذج في اختبار F)) عن معنويه النموذج في اختبار T)) 5( عدم تساوي قيمه معلمة النموذج لمتغير تفسيري معين في نموذج الانحدار الخطي المتعدد عن قيمتها لنفس المتغير في نموذج الانحدار الخطي البسيط 6) زياده قيمه الرقم الشرطي عن 10 وتنقسم الرسالة الي اربعه فصول:- الفصل الاول تم فيه عرض جميع المفاهيم الأساسية الخاصة بالازدواج الخطي,واختيار النموذج الافضل وعرض جميع الطرق المستخدمة في تقدير نموذج الانحدار الخطي. مع تقديم الفروض المستخدمة لكل طريقه وخصائص كل طريقه و تم تقديم جميع الطرق المستخدمة في اختيار والطرق المستخدمة في علاج الازدواج الخطي. والطرق المشتركة المستخدمة في علاج الازدواج الخطي واختيار النموذج الافضل للمتغيرات التفسيرية. الفصل الثاني تم فيه عرض ملخص جميع الدراسات السابقة الخاصة بطرق المعالجة. الفصل الثالث تماقتراح طرق جديده تستخدم في معالجه مشاكل الانحدار الخطي وهي:- 1) New aspect of modified group lasso. 2) Combined between modified group lasso and LARS algorithm. 3) New aspect of adaptive group lasso. 2) Combined between adaptive group lasso and LARS algorithm. والخطوات المستخدمة للحصول علي كل طريقه وتم عرض النظريات المتعلقة بكل طريقه مقترحه وتم تقديم البرهان . الفصل الرابع تم فيه دراسة محاكاه,ودراسة تطبيقيه وذلك للمقارنة بين طريقه المربعات الصغري الانحدار الخطي والطرق المقترحة في حاله احجام عينات مختلفة وكذلك عدد مختلف من المتغيرات التفسيريةوقد تم حساب متوسط مربع الاخطاء ومعامل تضخم التباين ومعامل التحديد المعدل كمعايير مستخدمه للمقارنة بين الطرق الكلاسيكية المستخدمة والطرق المقترحة وذلك باستخدام برنامج بايثونهذا بالإضافة إلي قائمة المراجع والملاحق.
Text in English and abstract in Arabic & English.
Regression
mean square error
519.536
Estimation of Linear Regression Models and Model selection / تقدير نماذج الانحدار الخطي واختيار النموذج Shaimaa Labib Ibrahim Mohamed Barakat ; Supervised Prof.Dr. Ahmed Amin El-Sheikh, Prof.Dr.Salah Mahdy Mohamed. - 139 p. : illustrations ; 25cm+ CD
Thesis (Ph.D)-Cairo University,2022.
Bibliography: p. 84-81.
There are regression analysis problems that we are interested to find important predictor variables to predict the dependent variable, where each predictor is represented by a group of derived input variables. Several methods are proposed and studied to produce precise prediction to select a group of important variables. Variable selection used to less the biased and mean square error, some variable selection estimators is consistency and sufficient. It is often used to remedy of multicollinraity.
Multicollinearity is considered one of the most important problems that poses the linear regression model and which results in many risks in the assumptions of the model and these risks are:
1) The difficulty of parameters estimation of population in the linear multiple regression model.
2) Increased the value of variance of an estimator of population in the model of multiple linear regression.
3) Reducing the quality of estimating of ordinary least squares of parameter of population in the multiple linear regression models.
4) Effects to determine the quality of true linear model.
This multicollinearity may be total, linked with two variables or more from explanatory variables in the model and may be partial linked with only one variable of the explanatory variables.
i
There are different methods to solve multicollinearity in the model of the linear multiple regression:-
1) There are difficult of the signs of the society parameter which express the relation of explanatory variables to the dependent variable in the model of the linear multiple regression of its true value in the economic theory.
2) Increased of the value of coefficient of determination when most of variables of the explanatory variables.
3) Increases of the value of variance inflation factor
4) The difference of the model in the F test from the model in the T test.
5) The increases of the conditional number from 10.
The first chapter presented all the basic concepts of linear regression with multicollinearity, selecting the best model and presenting all the methods used in estimating the linear regression model such as:
1) Ordinary Least Square.
2) Maximum Likelihood Method.
3) Weighted Least Square Method.
4) Generalized Least Square Method.
5) Feasible Generalized Least Square.
The assumptions that have used for each method, the properties of the estimators, the advantages (disadvantages) and the steps of each method will be introduced.
j
All methods used for selecting the best model were presented, which are:
1) Forward selection.
2) Back Ward Elimination.
3) Least Angle Regression selection.
The methods for handling multicollinearity are obtained as:
1) k Class Estimator.
2) d Class Estimator.
3) Principal Component Two Parameter .
4) Liu estimator.
5) Liu Estimator Two Type.
The methods for handling multicollinearity and variables selection :
1) LASSO method.
2) Adaptive LASSO.
3) Adaptive group LASSO.
4) Modified Grouped LASSO.
The second chapter presents a review of some previous studies on treatment methods.In the third chapter, we suggested a new methods to handle
multicollinearity problem and variables selection in linear regression models ,
which are-:
1) New aspect of modified group LASSO.
2) Modified group LASSO with LARS algorithm.
3) New aspect of adaptive group LASSO.
4) Adaptive group LASSO with LARS algorithm.
And the steps used to obtain each method (theories related to each proposed
method were presented and the proof was presented. Fourth chapter, a simulation
study and application had been performed to compare between different methods
of handling multicollinearity for different sample sizes, different values of tuning
parameter ( ) and also different number of explanatory variables by using MSE as
a criteria, VIF and adjusted determination coefficient for comparing between the
methods using python program. The results reached that the mean square error of
proposed methods are less than ordinary least square, the variance inflation factor
of proposed methods are less than the variance inflation factor of ordinary least
square and the adjusted determination coefficient of proposed methods are bigger
than adjusted determination coefficient of ordinary least square, when the
correlation between explanatory variables is weak , adaptive group lasso with
LARS has least mean square error, least variance inflation factor and largest
adjusted determination coefficient on the other hand when the correlation between
explanatory variables is large , modified group lasso with LARS has least mean square error, least variance inflation factor and largest adjusted determination coefficient. ملخص الرسالة في كثير من مشاكل الانحدار ، نحن مهتمون بالحصول على متغيرات مستقلة مهمة في التنبؤ بالمتغير التابع ، حيث يمكن تمثيل كل متغير مستقل بمجموعة من عوامل المدخلات المشتقة. تم اقتراح ودراسة عدة طرق تنتج تنبؤًا دقيقًا أثناء اختيار مجموعة من العوامل المهمة. يستخدم الاختيار المتغير لتقليل الخطأ المنحاز والمتوسط ، وبعض مقدرات الاختيار المتغيرة تكون متسقة وكافية. غالبًا ما يستخدم لعلاج الازدواج الخطي. يعتبر الازدواج الخطي من اهم المشاكل التي يتعرض لهما نموذج الانحدار الخطي والتي تتسبب في وجود مخاطر كثيرة في فروض النموذج وتتمثل هذه المخاطر في الاتي :- 1) صعوبة تقدير معالم المجتمع في نموذج الانحدار المتعدد. 2) ارتفاع قيمه التباين لمعالم المجتمع في نموذج الانحدار المتعدد. 3) يقلل من جوده تقدير المربعات الصغرى لمعالم المجتمع في نموذج الانحدار المتعدد 4) يؤثر علي معرفه جوده النموذج الخطي الحقيقية. والازدواج الخطي قد يكون كلي مرتبط بمتغيرين او اكثر من المتغيرات التفسيرية في النموذج وقد يكون جزئي مرتبط بمتغير واحد فقط من المتغيرات التفسيرية وهناك عدة طرق لاكتشاف الازدواج الخطي في نموذج الانحدار المتعدد وهي :- 1) تعارض اشارات معالم المجتمع التي تعبر عن علاقه المتغيرات التفسيرية بالمتغير التابع في نموذج الانحدار عن قيمتها الحقيقية في النظريةالاقتصادية 2) ارتفاع قيمه معامل التحديد عندما يكون معظم متغيرات النموذجالتفسيرية غير معنويه. 3) زياده قيمه عامل تضخم التباين VIF عن (3) 4) اختلاف معنويه النموذج في اختبار F)) عن معنويه النموذج في اختبار T)) 5( عدم تساوي قيمه معلمة النموذج لمتغير تفسيري معين في نموذج الانحدار الخطي المتعدد عن قيمتها لنفس المتغير في نموذج الانحدار الخطي البسيط 6) زياده قيمه الرقم الشرطي عن 10 وتنقسم الرسالة الي اربعه فصول:- الفصل الاول تم فيه عرض جميع المفاهيم الأساسية الخاصة بالازدواج الخطي,واختيار النموذج الافضل وعرض جميع الطرق المستخدمة في تقدير نموذج الانحدار الخطي. مع تقديم الفروض المستخدمة لكل طريقه وخصائص كل طريقه و تم تقديم جميع الطرق المستخدمة في اختيار والطرق المستخدمة في علاج الازدواج الخطي. والطرق المشتركة المستخدمة في علاج الازدواج الخطي واختيار النموذج الافضل للمتغيرات التفسيرية. الفصل الثاني تم فيه عرض ملخص جميع الدراسات السابقة الخاصة بطرق المعالجة. الفصل الثالث تماقتراح طرق جديده تستخدم في معالجه مشاكل الانحدار الخطي وهي:- 1) New aspect of modified group lasso. 2) Combined between modified group lasso and LARS algorithm. 3) New aspect of adaptive group lasso. 2) Combined between adaptive group lasso and LARS algorithm. والخطوات المستخدمة للحصول علي كل طريقه وتم عرض النظريات المتعلقة بكل طريقه مقترحه وتم تقديم البرهان . الفصل الرابع تم فيه دراسة محاكاه,ودراسة تطبيقيه وذلك للمقارنة بين طريقه المربعات الصغري الانحدار الخطي والطرق المقترحة في حاله احجام عينات مختلفة وكذلك عدد مختلف من المتغيرات التفسيريةوقد تم حساب متوسط مربع الاخطاء ومعامل تضخم التباين ومعامل التحديد المعدل كمعايير مستخدمه للمقارنة بين الطرق الكلاسيكية المستخدمة والطرق المقترحة وذلك باستخدام برنامج بايثونهذا بالإضافة إلي قائمة المراجع والملاحق.
Text in English and abstract in Arabic & English.
Regression
mean square error
519.536