논문 읽기 전 알아두면 좋을 개념 정리(조건수와 Norm, 공분산 행렬)

 

조건수(Condition Number) : 민감도 측정 지표

c(A) = ||A|| ||A⁻¹|| = (max ||Ax|| / ||x||)(min ||Ax|| / ||x||)⁻¹ = σₘₐₓ(AᵀA) / σₘᵢₙ(AᵀA)

 

(||A|| <- 이게 뭐냐 궁금하다면 아래의 Norm 설명을 참고하길 바란다.)

A가 symmetric일 때  Euclidean Norm 조건에서, 조건수가 λₘₐₓ / λₘᵢₙ이 된다는 것만 알아두자

 

 

Norm : 거리 재는 함수

조건수의 정의에 Euclidean Matrix Norm 개념이 쓰인다.

Matrix Norm - Euclidean Norm 개념 설명을 차근차근 읽어보시라~!

---

공분산 : 두 확률 변수 X, Y에 대해 두 변수 사이에 어떤 상관 관계가 있는지 확인할 때 사용
Cov(X, Y) = E[(X-E(X)(Y-E(Y)] = E(XY) - E(X)E(Y)
_ Cov(X, Y) > 0 : 양의 상관 관계 (비슷한 경향을 나타냄)
_ Cov(X, Y) > 0 : 음의 상관 관계 (반대의 경향을 나타냄)
_ Cov(X, Y) = 0 : 상관 관계 없음

공분산 값은 계산 결과값의 부호를 통해 상관관계의 방향만을 알려줄 뿐, 공분산 값의 크기 자체는 특별한 의미를 지니지 않는다.

상관 계수 : 공분산을 각 확률 변수의 표준편차의 곱으로 나눠줌으로써 공분산이 가지는 확률 변수의 단위에 따른 영향을 제거, -1~1 사이의 값을 가짐
Corr(X, Y) = Cov(X, Y) / σxσy
_ Corr(X, Y)이 1에 가까울수록 양의 상관 관계가 강함
_ Corr(X, Y)이 -1에 가까울수록 음의 상관 관계가 강함
_ Corr(X, Y)이 0이면 상관 관계 없음

공분산 행렬(Convariance Matrix) : 확률 벡터 Xᵢ의 원소들이 서로에 대해 어떤 상관성을 갖는지 확인하기 위해, 원소 간에 짝지을 수 있는 모든 조합에 대해 공분산을 계산하여 행렬로 표현한 것

다음은 확률 변수 행렬 X = [ X₁, X₂, ..., Xₙ ]에 대한 공분산 행렬이다.

→ 공분산의 성질에 따라 Symmetric Matrix가 됨. ( ∵ Cov(X, Y) = Cov(Y, X) )