categorical cross entropy vs sparse cross entropy
둘 모두 분류문제에서 사용되는 loss function이다. 어떤 차이가 있을까?
categorical cross entropy
- 레이블이 원-핫 인코딩(one-hot encoding)으로 표현된 경우에 주로 사용
- 다중 클래스 분류에 사용
- 예측값은 확률 분포로 표현되며, 모델이 예측한 클래스의 확률이 정답 레이블에 가까울수록 손실이 작아짐
sparse cross entropy
- 레이블이 정수 형태로 표현되는 경우에 주로 사용
- 클래스가 많은 경우, 원-핫 인코딩을 사용하면 메모리를 많이 소모하게 되기 때문에 정수 형태로 레이블을 표현하게 되고 이 때 sparse cross entropy를 손실함수로 사용
'AI Theory > key concept of AI' 카테고리의 다른 글
| 케창딥 | 모델 배포 (0) | 2023.08.01 |
|---|---|
| [케라스 창시자에게 배우는 딥러닝] ch5 딥러닝 모델의 일반화, 성능 평가 방법 (0) | 2023.08.01 |
| 가중치 초기화와 배치 정규화 (0) | 2023.07.25 |
| 모델 크기 조절과 규제 (0) | 2023.07.25 |
| 딥러닝 구조와 모델 (0) | 2023.07.24 |
