Learn And Earn

TL;DR이미지와의 5개의 CLIP과 같은 다른 모달리티 사이의 대조학습을 통해 학습이 이루어지지 않은 두 모달리티 사이에도 Fully Connected한 방식으로 정보의 전달이 이루어짐을 실증화해 보인다.특히, Cross-modal Retrieval 및 Zero(Few) Shot Downstream task (분류 및 인식) 에서도 좋은 성능을 보이고 있다기존 소위 cross-modal embedding 방법론은 데이터 라벨링 제약이 있음즉, 의도하는 두 모달리티에 따른 pair-wise한 데이터셋이 있어야 함기존 방법CLIP을 선두로 하여 두 순서쌍의 모달리티로 구성된 데이터셋 + Supervised Contrastive Learning을 바탕으로 이미지 인코더와 텍스트 인코더를 학습한다.방법론 : ..