딥러닝에 대한 기본적인 개념을 설명한다.
Hyperparameter는 모델을 학습하기 전에 사람이 직접 설정하는 parameter다.
Epoch는 전체 학습 데이터셋을 한 번 모두 사용하여 학습한 것을 의미한다.
Batch Size는 한 번의 학습에 사용하는 데이터의 개수이다.
Mini-batch는 한 번의 학습에 사용하는 데이터의 집합이다.
Iteration은 하나의 Batch를 사용하여 한 번 학습하는 과정이다.
Learning Rate는 학습 과정에서 얼마나 크게 갈지 결정하는 보폭의 크기이다.
이 이미지는 내가 만든거 아님. 나중에 수정 필요.
Regularization(규제)은 모델의 Overfitting 문제를 완화하고 일반화 성능을 높이기 위해 모델의 복잡도를 제한하는 방법이다.
L1 Regularization(L1 규제)은 가중치의 절댓값에 비례하는 Penalty를 부여하는 방법이다. 가중치를 0으로 만드는 경향이 있어 불필요한 Feature를 제거하는 효과를 가질 수 있다.