| 초록 |
기계 훈련(machine learning)에서는 항상 더 많은 양의 데이터를 필요로 한다. 하지만 데이터의 양을 늘리는 데 있어 레이블링이 보틀넥이 된다. 때문에 최근 들어 레이블링이 없는 데이터세트를 훈련에 이용하는 자기 지도 훈련(self-supervised learning)이 소개되었고 다양한 방법이 개발되었다. 자기 지도 훈련 방법은 레이블이 없는 데이터세트를 훈련에 이용한다는 점에서 비지도 훈련(unsupervised learning)의 하나로 여겨지지만 레이블을 임의로 만들고 지도 훈련과 같은 방법으로 모델을 훈련한다는 특징이 있다. 자기 지도 훈련 방법은 어떻게 레이블을 만들어내느냐에 따라 구실 작업(pretext task)을 이용하는 방법과 누락된 contents 찾기 작업을 이용하는 방법으로 나눌 수 있다. 우리는 보고서에서 각 카테고리를 대표하는 방법들을 소개하였다. 그리고 자기 지도 훈련 방법을 평가하는 방법으로는 훈련된 모델을 업데이트하지 않고 마지막 레이어만을 영상 분류 작업에 맞게 훈련시킨 후 평가하는 선형 프로빙 방법과 하위 작업으로 사전훈련-미세조정 과정(pretrain-finetune process)을 통해 모델을 이전(transfer)하여 평가하는 방법이 있다. 우리는 소개된 방법들을 이 두 가지 평가 방법으로 비교하였다. |
