[핸즈온 머신러닝] 머신러닝의 종류

[핸즈온 머신러닝] 머신러닝의 종류

머신러닝 종류는 굉장히 많다.

 

1. 지도 학습과 비지도 학습

• 지도학습
  • 종류: classification, regression
  • 중요 알고리즘
    • k-nearest neighbors
    • linear regression
    • logistic regression
    • SVM(Support Vector Machine)
    • Decision Tree 와 Random Forest
    • neural networks
• 비지도학습
  • clustering
    • k-means
    • DBSCAN
    • HCA(Hierarchical cluster analysis, 계층 군집 분석)
    • outlier detection 과 novelty detection(특이치 탐지)
    • one-class SVM
    • isolation forest
  • 시각화와 차원축소
    • PCA(Principal Component analysis, 주성분분석)
    • kernel PCA
    • LLE(Locally-linear embedding, 지역적 선형 임베딩)
    • t-SNE(t-distributed stochastic neighbor embedding)
  • 연관 규칙 학습(association rule learning)
    • Apriori
    • Eclat
• 준지도 학습
  • 지도 학습과 비지도 학습의 조합
  • DBN(Deep Belief Network, 심층 신뢰 신경망)
  • RBM(restricted Boltzmann Machine) 
• 강화 학습
  • 다른 알고리즘과 매우 다름
  • agent라고 불리는 학습 시스템이 environment를 관찰해서 action을 실행하고 그 결과에 따라 reward 또는 penalty을 받으며 최상의 policy를 스스로 학습

 

2. 배치학습과 온라인 학습

• 배치 학습
  • 점진적 학습 불가능. 가용 데이터를 모두 사용해 훈련함
  • 시간, 자원을 많이 소모하여 보통 오프라인에서 수행
  • 먼저 훈련 후 결과를 제품 시스템에 적용.
• 온라인 학습
  • 데이터를 순차적으로 작은 묶음 단위로 주입하여 시스템 훈련
  • 학습 단계가 빠르고 비용이 적게듬
  • 시스템은 데이터가 도착하는 대로 즉시 학습 가능
  • 연속적으로 데이터를 받고 빠른 변화에 스스로 적응해야 하는 시스템에 적합
  • 외부 메모리 학습
  • 학습률(learning rate)이 높으면 시스템이 데이터에 빠르게 적응하지만 이전 데이터를 쉽게 잊음
  • 학습률(learning rate)이 낮으면 느리게 학습. 새 데이터의 잡음이나 대표성없는 데이터포인트에 둔감해짐

 

3. 사례 기반 학습과 모델 기반 학습 for 일반화

• 사례 기반 학습
  • 유사도 측정: 시스템이 훈련 샘플 기억하여 학습하고 유사도 측정을 사용해 새 데이터와 비교하는 식으로 일반화
• 모델 기반 학습
  • 샘플들의 모델을 만들어 예측에 사용