deep-learning
an archive of posts with this tag
-
왜 하필 Cross Entropy인가: BCE에서 KL Divergence까지
분류 문제에 MSE 대신 Cross Entropy를 쓰는 이유를 정보량과 엔트로피에서 출발해 BCE, MLE, KL Divergence까지 하나의 흐름으로 정리.
-
Softmax와 Cross Entropy
softmax의 Jacobian 행렬과 Cross Entropy의 기울기를 유도하고, 둘을 합치면 왜 예측값 빼기 정답으로 무너지는지.