[Algorithm] IRLS(Iteratively Reweighted Least Squares)

IRLS(Iteratively Reweighted Least Squares)IRLS는 최소제곱법(Least Squares)를 일반화하여, 반복적으로 가중치를 조정하면서 최적의 회귀 계수를 추정하는 알고리즘입니다. 여러 회귀 문제에서 사용되며 GLM에서 모델 적합과정에 주요하게 사용됩니다.1. Objective of IRLS회귀 계수 추정 문제GLM에서 $\beta$를 추정하려면, 가능도함수(Likelihood)를 최대화해야한다.일반적으로 로그가능도 함수를 직접 최적화하는 것은 어렵다.💡IRLS는 이 복잡한 문제를 반복적인 WLS(Weighted Least Squares) 문제로 변환하여 효율적으로 해결합니다.2. Basic Idea of IRLS최소제곱법의 일반화.최소제곱법(OLS):선형회귀에서 우리는..

• format_list_bulleted study/Algorithm
• · 2025. 4. 5.

[Algorithm] Kalman Filter(칼만 필터)

칼만 필터(Kalman Filter)는 시계열 데이터에서 상태 추정을 위한 알고리즘으로, 관찰 데이터(Observed Data)의 노이즈와 시스템 모델(System Model)의 불확실성이 있는 상황에서 시스템의 상태를 예측값과 노이즈가 포함된 관찰 데이터를 바탕으로 재귀적으로 예측하고 보정합니다.출처 : https://www.kalmanfilter.net/kalman1d.html역사칼만 필터는 1960년 미국의 수학자이자 제어 이론가인 루돌프 칼만(Rudolf E. Kalman)에 의해 제안되었습니다. 이 논문은 노이즈가 포함된 데이터에서 선형 동적 시스템(Linear Dynamic System)의 State를 최적 추정할 수 있는 새로운 알고리즘을 제시하였습니다.초기에는 당시 컴퓨터 성능으로는 알고리..

• format_list_bulleted study/Algorithm
• · 2024. 11. 22.