Learn And Earn

Overfitting(과적합)은 모델이 학습 데이터에 지나치게 잘 맞도록 학습되어, 새로운 데이터(테스트 데이터나 실세계 데이터)에 일반화하지 못하는 상태를 말합니다. Precision(정밀도)과 Recall(재현율)은 모델 성능을 평가하는 데 사용되는 지표이며, 특히 분류 문제에서 자주 사용됩니다. 이들 지표는 Overfitting과 다음과 같은 관계를 가집니다.Precision과 Recall의 개념Precision: 모델이 Positive로 예측한 샘플 중 실제로 Positive인 샘플의 비율입니다.즉,   Precision = TP / (TP + FP)높은 Precision은 False Positives, 즉 음성 샘플을 양성으로 분류하는 오류가 적음을 의미합니다.Recall: 실제 Positive..

0. Forward 연산 분석, 꼭 필요한가요?연산 분석은 단순히 모델 내부를 들여다보는 것을 넘어, 다음을 가능하게 합니다:문제를 발견하고 수정하는 디버깅.성능 최적화 및 효율성 증대.전체 연산을 구성하는 기초연산/보다 작은 복합 연산을 분석 가능.결국, 연산 분석은 단순히 모델을 "돌아가게" 만드는 것을 넘어, "잘 돌아가게" 만드는 데 핵심적인 역할을 합니다. 이번 포스팅에서는 가장 기초적인 연산인 nn.Conv2d 연산을 추적해보겠습니다. python-debugger 과 pytorch 내장된 hook 기능을 활용하여 분석해보겠습니다. 정말 쉬우니 5분만 투자하세요!1. 디버거 활용디버거는 코드 실행 중 step-by-step으로 모델의 연산을 살펴볼 수 있게 합니다.활용 방법:디버거를 통해 모델의..

TL;DR이미지와의 5개의 CLIP과 같은 다른 모달리티 사이의 대조학습을 통해 학습이 이루어지지 않은 두 모달리티 사이에도 Fully Connected한 방식으로 정보의 전달이 이루어짐을 실증화해 보인다.특히, Cross-modal Retrieval 및 Zero(Few) Shot Downstream task (분류 및 인식) 에서도 좋은 성능을 보이고 있다기존 소위 cross-modal embedding 방법론은 데이터 라벨링 제약이 있음즉, 의도하는 두 모달리티에 따른 pair-wise한 데이터셋이 있어야 함기존 방법CLIP을 선두로 하여 두 순서쌍의 모달리티로 구성된 데이터셋 + Supervised Contrastive Learning을 바탕으로 이미지 인코더와 텍스트 인코더를 학습한다.방법론 : ..

TL;DR문제 의식 : 기존의 "일반적인" 목적의 텍스트 임베딩 모델은 사실 일반적이지 않다! (특정 태스크만을 고려한 훈련과정 등)2단계의 빅데이터를 활용한 "양방향의" Constrastive Learning을 통해 훈련한 모델은 "작은 모델 사이즈"에도 불구하고 "좋다"어떤 측면에서 "좋다"? 모든 NLU 태스크에 대해서?다양한 태스크 별로 (인간 기준 make-sense 한) positive/negative labeling scheme 정의 및 적용다양한 태스크 벤치마크 데이터셋 MTEB에 평가 결과, GTE_large는 새로운 SOTA로 자리매김하여 다양한 태스크에도 사용 가능한 임베딩 모델을 제시함.Multi Stage Contrastive LearningContrastive Learning :..

TL;DR기존 AI OCR 한계점 : 이미지 이해(CNN), 문자 단위 자연어 생성(RNN), 추가 후처리 (언어모델)트랜스포머 구조 TrOCR은 end-to-end로 하나의 모델로 OCR을 위한 이미지 이해, 토큰 단위 자연어 생성의 과정을 수행이미지 인코더(ViT), 자연어 디코더초기화를 각각 ViT 스타일 인코더, 자연어 디코더에서 하는 게 좋다고 추천함뿐만 아니라 TrOCR은 합성 데이터에 사전 훈련 후, 커스텀 데이터셋에 미세 조정을 진행하면 되기 때문에 용도에 맞게 활용이 매우 용이하다는 측면에서 기여하는 바가 크다.성능 측면에서도 (CER) 인쇄본, 손글씨, scene-text 등 다양한 시나리오의 데이터셋에 대해서도 잘함.TrOCR 구조이미지 이해를 위한 ViT 스타일의 인코더와 (BeIT..

TL;DRText Detection 모델을 훈련 할 때 char 단위 bounding box label 활용 일렬로 배열된 문자열이 아니면 오작동한계점을 "방법론"을 적용해서 "극복"방법론의 개괄 설명워드 단위 인식 : 텍스트의 각 문자를 감지하여 워드 또는 텍스트 인스턴스를 bottom-up으로 결합함Affinity Score 도입 : "문자간 연결 가능성" 표현한 수치. 이를 기준으로 텍스트 형상을 정확히 표현Weakly-Supervised Learning 활용 : 문자 수준 어노테이션 부족 문제를 해결하기 위해 합성 이미지에서의 문자 어노테이션을 활용하고"극복"의 해석정량적 평가 : 다양한 시나리오의 데이터셋에서 Recall, Precision, F1 score 측면에서 우수한 성능을 보임 (표1..