통계 이야기

그동안 지난번에 살펴보았던 라쏘 회귀식을 좌표하강알고리즘으로 구현해보는 시간을 가졌다. 라쏘 회귀와 좌표하강알고리즘(Coordinate descent algorithm, CDA) 관련된 내용은 다음글들을 참고하면 좋을 듯하다. https://mn0317.tistory.com/6 Lasso 회귀분석 이번에 통계학과에 학부연구생으로 참여하게 되었다. 우선 교수님이 주신 ‘Statistical Learning with Sparsity. The Lasso and Geralization’글을 보면서 라쏘 회귀 분석을 처음 알게 되었다. 관련 글을 읽고 mn0317.tistory.com https://mn0317.tistory.com/10 좌표하강알고리즘(Coordinate Descent Algorithm, CDA..

지난 글에서 LASSO회귀와 Ridge회귀, Elastic net 기법의 기본적인 이론에 대해서 소개했다. 이번 한 주동안은 R프로그램을 통해 관련 회귀분석들을 할 수 있는 glmnet 코드를 익히는데 시간을 보냈다. 기본적인 참고서로 An introduction to glmnet이라는 스탠포드 대학교에서 발행한 글을 참고하였다. (밑의 링크에 해당된다.) https://glmnet.stanford.edu/articles/glmnet.html An Introduction to `glmnet` glmnet glmnet.stanford.edu 위 글은 glmnet함수의 이론적인 배경부터 아주 세세한 테크닉까지 모두 다루고 있는 아주 좋은 참고서라고 생각한다. 내용을 살펴보면, 포아송분포, 로지스틱 회귀, 다..

이번에 통계학과에 학부연구생으로 참여하게 되었다. 우선 교수님이 주신 ‘Statistical Learning with Sparsity. The Lasso and Geralization’글을 보면서 라쏘 회귀 분석을 처음 알게 되었다. 관련 글을 읽고 리서치해보면서 배운 내용들을 간략하게 정리하고자 한다. 0. 회귀 분석 우선 라쏘 회귀분석은 선형 회귀분석의 한 종류이다. 선형 회귀분석은 입력 변수(독립 변수)와 출력 변수(종속 변수) 간의 선형적인 관계를 모델링하는 방식이며, 회귀 분석에서 가장 기본적인 방법 중 하나이다. 선형 회귀식은 또한 독립변수의 개수에 따라 단순회귀분석(독립변수 1개)와 다중회귀분석(독립변수 2개이상)으로 나눌 수 있다. 이 중 다중회귀분석에서 과적합(overfitting)문제가..