[Statistics] Generalized Linear Model)

GLM(Generalized Linear Model

💡

일반화 선형 모형

• 일반 선형 회귀의 경우 몇 가지의 가정이 필요하다. 이는 오차항의 선형성, 독립성, 등분산성, 정규성이다.
• 하지만 종속변수(Response) $y$가 연속형이 아닐 경우 정규성 가정이 성립되지 않는다.→ 데이터의 분포와 특성에 맞게 모델을 유연하게 조정할 수 있어 다양한 유형과 상황에서 사용된다.
• → 종속 변수가 이산형인 경우 등, 정규성이 성립하지 않는 경우에 일반화선형모형 GLM을 사용한다.

GLM이란?

GLM은 일반화된 선형 모델 이라는 뜻으로, 단순 선형 회귀모델의 개념을 확장하여 다양한 분포와 관계를 모델링할 수 있는 프레임워크이다.

기본 선형 회귀는 독립 변수와 종속 변수의 관계를 선형적으로 설명하지만, GLM은 종속변수가 지수족(Exponential Family) 분포에 속한다고 가정하고, 적절한 수학적 변환(Link Function)을 통해 다양한 패턴을 모델링한다.

GLM의 구성요소

1. 선형 예측기(Linear Predictor) $\eta$
   • 독립변수 $X$와 회귀 계수 $\beta$의 선형 결합으로 이루어지며, 다음과 같이 표현된다.
   • $\eta = X\beta$
   • 이 선형 결합은 예측에 필요한 기본 구조를 제공한다.
2. 연결함수(Link Function) $g$
   • 연결함수는 선형 예측기 $\eta$와 종속변수의 기댓값 $\mathbb{E}[Y]$ 사이의 관계를 정의한다.
   • 단순 선형 회귀에서는 연결 함수가 항등함수(Identity Function)이지만, GLM에서는 데이터의 분포를 반영하여 다양한 함수를 사용한다.
   • 항등함수 : 선형회귀
   • 로짓함수 : 로지스틱회귀
   • 로그함수 : 포아송 회귀
   • 예를 들어, 로지스틱 회귀에서는 다음과 같은 연결 함수가 사용됩니다.
   • $$
     \eta=g(\mu) = \log{\bigg(\dfrac{\mu}{1-\mu}\bigg)}
     $$
   • 이 Logit함수는 종속변수가 0과 1 사이의 값인 경우에 적합하다.
     • 특정 경계를 설정해 이진 분류시에 쓰기도 한다.
3. 분포가정
   • GLM은 종속변수가 지수족에 속한다고 가정한다.
   • 정규분포, 이항분포, 포아송 분포, 감마분포 등 여러 분포가 이에 속한다.

GLM의 장점

• GLM은 단순 선형 회귀 모델보다
  • 유연하다 : 종속변수가 특정 분포를 따르는 경우, 적합한 Link Function을 통해 모델링 할 수 있다.
  • 다양한 데이터 유형을 처리 할 수 있다 : 연속형, Binary, Count 등 여러 데이터 유형에 유동적으로 적용가능하다.
  • 확률적 해석이 가능하다 : GLM은 통계적 기법을 기반으로 하여, 모델의 신뢰도와 유의성을 정량화 할 수 있다.

GLM의 단점

• 분포 가정과 연결함수가 잘못설정되면 성능이 크게 저하될 수 있다.
• 선형 회귀에 비해 복잡성 증가

최적화 방법

• IRLS
• MLE