[ML/FeatureExtraction] 특이값 분해(Singular Value Decomposition)

특이값 분해는 임의의 $m \times n$ 차원 행렬 $A$ 에 대해 다음과 같이 행렬을 분해할 수 있다는 행렬 분해 방법 중 하나다. 이 방법은 $(m \times n)$ 행렬의 고유값과 고유벡터를 이용한 고유분해(eigen decomposition)의 일반화 된 방식이다.

[ML/FeatureExtraction] LDA(Linear Discriminant Anaylsis)

LDA는 선형 판별 분석법으로 불리며 Classification과 Dimension Reduction을 사용하는 알고리즘이다.
지도학습의 분류에서 사용하기 쉽도록 개별 클래스를 분별할 수 있는 기준을 최대한 유지 하면서 차원을 축소한다.
PCA는 데이터의 변동성이 가장 큰 축을 찾았지만, LDA는 입력 데이터의 결정값 클래스를 최대한을 분리할 수 있는 축을 찾는다.

[ML/FeatureExtraction] PCA(Principal Component Analysis)

PCA가장 대표적인 차원축소 기법이다.
여러변수 간에 존재하는 상관관계를 이용해 이를 대표하는 주성분을 추출해 차원을 축소하는 기법이다.
PCA로 차원을 축소할 때는 기존 데이터의 정보유실이 최소화 되는 것이 당연하다. 이를 위해 가장 높은 분산을 가지는 데이터 축을 찾아 이 축으로 차원을 축소하는데 이것이 PCA의 주성분이 된다.

[ML] Dimension Reduction

[Python/Greedy] BOJ-1744 수묶기

[Python/Greedy] BOJ-16953 A->B

파이썬을 활용해 이미지 사이즈 조절하기

굉장히 편하다. 일괄적으로 모든 이미지의 사이즈를 조절할 수 있다.
PIL library를 활용하자

[ML/Regression] Regression Tree : CART

회귀트리는 회귀를 위한 트리를 생성하고 이를 기반으로 회귀 예측을 한다.
classifier과 크게 다르지 않다.
다만 리프노드에서 예측 결정값을 만드는 과정에 차이가 있는데, 이는 분류트리가 특정 클래스 레이블을 결정하는 것과는 달리 회귀트리는 리프노드속에 속한 데이터 값의 평균값을 구해 회귀 예측값을 계산한다.

[ML/Regression] Regularized Linear Regression : Ridge / Lasso / Elasticnet

회귀모델은 적절히 데이터에 적합하면서도 회귀계수가 기하급수적으로 커지는것을 제어할 수 있어야한다.
RSS최소화만 고려하게 된다면 학습데이터에 맞춰져 지나치게 회귀계수가 커지게된다.
그럴경우 변동성이 심해져 테스트 데이터세트에서 예측성능이 저하되기쉽다.

[ML/Regression] Logistic Regression

로지스틱 회귀는 선형회귀 방식을 분류에 적용한 알고리즘이다.
다만 다른 회귀와 다른점은 학습을 통해 선형함수의 회귀 최적선을 찾는 것이 아니라 시그모이드(sigmoid) 함수의 최적선을 찾고 이 시그모이드 함수의 반환값을 확률로 간주해 확률에 따라 분류를 결정한다.