개요 Deep Learning의 training 과정을 효율적으로 만들고, 성능을 향상시켜주는 여러 Feature Scaling 기법이 있다. 입력값의 범위를 축소하여 계산량을 줄이고, 분포를 표준화해서 Gradient 계산량을 줄여 학습 속도를 빠르게 하는 효과가 있다. 이를 Normaiization과 Standardization 으로 구분할수 있지만, 포괄적으로 Normalization 이라 부른다. 비슷하면서도 조금씩 다른 4가지 Normalization 방법이 있다. 1. Batch Normalization 2. Layer Normalization 3. Instance Normalization 4. Group Normalization Normalization, Standardization Nora..

개요 Image Classification Task를 예로 들때, train 과정에서 사용되는 dataset과 operation 에서 사용되는 dataset의 domaim의 분포가 달라지면서 domain shift 가 발생한다 (DSLR 이미지로 학습후, 만화 그림으로 예측) 이 경우 성능이 저하될수 있다 여러 도메인의 dataset을 수집하여 학습하기는 실제로 어렵기에 이를 해결하는 방법론이 등장하게 되었다 기존의 general 한 모델에서 특정 domain에 맞추어 transfer learning이 한가지 방법이 될수 있다 주요 분류 1. Source-domain, Target-domain 2. Transfer Leaning의 분류 task 같음 task 다름 domain 같음 Usual Learni..