Kombinasi Regresi Tak Bias Ridge dengan Regresi Komponen Utama untuk Mengatasi Masalah Multikolinieritas

Fitriana Novitasari, Suliadi Suliadi, Anneke Iswani A

Abstract


Multicollinearity linear relations among independent variables (X) which will result in a standard error becomes large, causing the confidence interval for the parameter also tend to be wider. one of the methods used to overcome multicollinearity is ridge regression was introduced Hoerl and Kennard, 1970, but the ridge regression method has the disadvantage that ridge regression estimator is biased. Crouse, et al., (1995) improve the performance of ridge regression named Unbiased Ridge Regression (URR), the resulting estimator URR is an unbiased estimator for . Marquardt, 1970 proposing Principal components regression as a tool to handle multicollinearity, Baye and Parker (1984) modify Principal components regression by combining a main component regression with  ridge regression called  class estimator. to minimize the mean square error of Principal components regression, Batah, et al. (2009) improved methods of  class estimator which is proposed by Baye and Parker (1984) is to combine  class estimator with unbiased estimator regression Unbiased ridge regression (URR) where the new estimator is called MCRR. the results of the analysis showed that in the data rate of crude palm oil production (CPO) there is a problem multicollinearity on variable number of oil palm fruit, number of employees, hours of work machinery and water use. values obtained in the analysis of the mean square error generated by regression MCRR and PCR is still at the same time standardize the data. whereas when the data has been transformed into an early form of the mean square error produced MCRR smaller than PCR, but the difference MSE of both just a little, and the coefficients generated by PCR and MCRR also almost the same. These results conclude that the regression MCRR has better performance than Principal components regression in addressing the problem multicollinearity.  

 

Multikolinieritas merupakan hubungan linier antara sesama variabel bebas  yang akan berakibat pada galat baku menjadi besar sehingga menyebabkan selang kepercayaan untuk parameter juga cenderung akan lebih lebar. Salah satu metode yang digunakan untuk mengatasi multikolinieritas adalah regresi ridge yang dikenalkan Hoerl dan Kennard, 1970. Namun metode regresi ridge memiliki kekurangan yaitu sifat penaksir regresi ridge adalah bias. Crouse, et al., (1995) meningkatkan kinerja regresi ridge yang diberi nama unbiased ridge regression (URR), penaksir yang dihasilkan URR merupakan penaksir yang tidak bias bagi . Marquardt, 1970 mengusulkan regresi komponen utama sebagai alat untuk menangani multikolinieritas, Baye dan Parker (1984) memodifikasi regresi komponen utama dengan menggabungkan regresi komponen utama dengan regresi ridge yang dinamakan penaksir untuk meminimumkan nilai mean square error dari regresi komponen utama. Batah, et al. (2009) meningkatkan metode penaksir   yang di usulkan oleh Baye dan Parker (1984) yaitu dengan menggabungkan penaksir  dengan penaksir tak bias regresi unbiased ridge regression (URR) dimana penaksir baru ini dinamakan MCRR. Dari hasil analisis yang telah dilakukan.ternyata dalam data tingkat produksi crude palm oil terdapat masalah multikoinieitas pada variabel jumlah buah kelapa sawit, jumlah tenaga kerja, jam kerja mesin dan penggunaan air. Dalam analisis diperoleh nilai mean square error yang dihasilkan oleh regresi MCRR dan PCR adalah sama saat data masih di standarkan. Sedangkan ketika data telah di transformasi kedalam bentuk awal nilai mean square error yang dihasilkan MCRR lebih kecil dari PCR namun perbedaan MSE dari keduanya hanya sedikit, dan koefisien yang dihasilkan oleh MCRR dan PCR juga hampir sama. Dari hasil tersebut dapat disimpulkan bahwa regresi MCRR memiliki kinerja yang lebih baik dibandingkan regresi komponen utama dalam menangani masalah multikolinieritas.

 


Keywords


least squares method, Unbiased ridge regression, principal component regression, estimator class (r, k), modified (r, k) class ridge regression (MCRR), multicollinearity.

References


Achmad, A.I., (2008). Analisis Regresi. Program Studi Statistika Universitas Islam Bandung.

Batah, F., Ozkale, M. R., Gore, S.D., (2009) Combining Unbiased Ridge and Principal Component Regression Estimators. Journal of Communications in statististic- Theory and Methods

Baye, M and Parker,D. (2007). Combinng Ridge and Principal Component Regression : a Money Demand Illustration. Journal of Communications in statististic- Theory and Methods

Crouse, r., Jin, C., Hanumara, R.C., (2007). Unbiased Ridge Estimation ith Prior Infoermation and Ridge Trace. Journal of Communications in statististic- Theory and Methods

Hajarisman, N., (2011). Analisis Regresi Lanjut. Program Studi Statistika Universitas Islam Bandung.

Hoerl, A. E. dan R. W. Kennard., (1970). Ridge Regression: Aplikation s to Nonorthogonal Problems. Technometrics.

Jhonson, R and Wichern, W. (2007). Applied Multivariate Statistical Analysis. New York: Prentice Hall, Inc.

Jollife, I.T. (2002). Principl Component Anaysis. Springer.

Kutner, M. H., Nachtsheim, C.J., Netter, J., and Li, W., (2005), Applied Linear Statistical Models, 5rd ed., McGRraw-Hill : Irwin.

Myers, R.H. (1990). Classical and Modern Regression with Applications. Boston, MA: Duxburry.

Netter, J. Wasserman, W. And Kutner, M.H. (1990). Applied Linier Statistical Models. Tokyo: Richard D. Irwin, Inc.




DOI: http://dx.doi.org/10.29313/.v0i0.6408

Flag Counter