[Statistics] Moment Generating Function (MGF)

📘 Moment Generating Function (MGF)1. Definition확률변수 $X$에 대해 Moment Generating Function (MGF)은 다음과 같이 정의 됩니다.$$ M_X(t) = \mathbb{E}\left[ e^{tX} \right], \quad \text{for all } t \in \mathcal{T} \subset \mathbb{R} $$여기서 $t$는 실수이며, $M_X(t)$가 존재하는 구간 $\mathcal{T}$는 $M_X(t)$가 유한한 모든 실수의 집합입니다.$X$가 이산형인 경우: $M_X(t) = \sum_x e^{tx} \mathbb{P}(X = x)$$X$가 연속형인 경우: $M_X(t) = \int_{-\infty}^{\infty} e^{t..

• format_list_bulleted study/Statistics
• · 2025. 4. 22.

[Statistics] Exponential Families(지수족)

Exponential Families1. DefinitionExponential Families은 지수함수와 연관되어 있는 확률분포들을 말합니다.Exponential Families은 자주 사용되는 많은 확률 모델들을 포함하고 통계이론, 통계적 모델링에 중요한 확률분포입니다.Exponential Families의 확률 모델들은 같은 General한 형태로 쓰일 수 있고, 점추정, 가설 검정, 통계적 모델링에서 매우 유용하고 중요한 성질을 가지고 있습니다.만약 각각의 원소가 다음과 같이 표현될떄, 확률 모델 ${f_\theta : \theta \in \Theta}$ 를 Exponential Family라고 부릅니다.$$f_{\theta} = h(x)c(\theta)\exp\bigg(\sum_{j=1}^kw..

• format_list_bulleted study/Statistics
• · 2025. 4. 21.

[Algorithm] IRLS(Iteratively Reweighted Least Squares)

IRLS(Iteratively Reweighted Least Squares)IRLS는 최소제곱법(Least Squares)를 일반화하여, 반복적으로 가중치를 조정하면서 최적의 회귀 계수를 추정하는 알고리즘입니다. 여러 회귀 문제에서 사용되며 GLM에서 모델 적합과정에 주요하게 사용됩니다.1. Objective of IRLS회귀 계수 추정 문제GLM에서 $\beta$를 추정하려면, 가능도함수(Likelihood)를 최대화해야한다.일반적으로 로그가능도 함수를 직접 최적화하는 것은 어렵다.💡IRLS는 이 복잡한 문제를 반복적인 WLS(Weighted Least Squares) 문제로 변환하여 효율적으로 해결합니다.2. Basic Idea of IRLS최소제곱법의 일반화.최소제곱법(OLS):선형회귀에서 우리는..

• format_list_bulleted study/Algorithm
• · 2025. 4. 5.

[Statistics / Bayesian] Bayesian Kernel Machine Regression(BKMR)

BKMRBayesian kernel machine regression for estimating the health effects of multi-pollutant mixtures1. BKMR이란?BKMR은 여러 개의 노출 변수(Exposure)가 비선형적으로, 그리고 상호작용하면서 어떤 결과 변수(Outcome)에 영향을 줄 때 사용되는 회귀 모델입니다.💡등장배경환경 역학이나 독성학에서는 여러 화학물질이 복잡적으로 건강에 미치는 영향을 알아보고자 합니다.하지만.변수 들 간의 상호작용이 존재. → 선형 회귀는 어려움.모든 조합을 일일이 고려할 수 없음.불확실성까지 보고싶음.👉 이런 문제를 해결하고자 BKMR이 등장하였습니다.2. 수학적 모델 구조BKMR의 기본 모델은 다음과 같습니다.$$y_i = h..

• format_list_bulleted study/Statistics
• · 2025. 4. 3.

[Statistics / Paper]Sequential Kalman Filter for fast Online Changepoint Detection

보호되어 있는 글입니다.

• format_list_bulleted study/Statistics
• · 2024. 11. 23.

[Algorithm] Kalman Filter(칼만 필터)

칼만 필터(Kalman Filter)는 시계열 데이터에서 상태 추정을 위한 알고리즘으로, 관찰 데이터(Observed Data)의 노이즈와 시스템 모델(System Model)의 불확실성이 있는 상황에서 시스템의 상태를 예측값과 노이즈가 포함된 관찰 데이터를 바탕으로 재귀적으로 예측하고 보정합니다.출처 : https://www.kalmanfilter.net/kalman1d.html역사칼만 필터는 1960년 미국의 수학자이자 제어 이론가인 루돌프 칼만(Rudolf E. Kalman)에 의해 제안되었습니다. 이 논문은 노이즈가 포함된 데이터에서 선형 동적 시스템(Linear Dynamic System)의 State를 최적 추정할 수 있는 새로운 알고리즘을 제시하였습니다.초기에는 당시 컴퓨터 성능으로는 알고리..

• format_list_bulleted study/Algorithm
• · 2024. 11. 22.