Deep Learning

Deep Learning(딥러닝)은 여러 개의 Hidden Layer를 가진 신경망을 이용하여 입력 $X$와 출력 $Y$ 사이의 복잡한 함수를 학습하는 방법이다.

* 아래 과정을 반복하면서 모델을 학습

Forward Propagation으로 예측
 -> 
Loss Function으로 오차 계산
 -> 
Backpropagation으로 Gradient를 계산
 -> 
Optimizer로 Parameter를 업데이트

Basic

• Hyperparameter
• Regularization
• etc

Artificial Neural Network

• Activation Function
• Loss Function
• Optimizer

ANN Models

• Multi-Layer Perceptron(MLP)
• Recurrent Neural Network(RNN)
• Long Short-Term Memory(LSTM)
• Convolutional Neural Network(CNN)
• [Option] Radial Basis Function Network(RBFN)

Attention

• Attention
• Transformer