Learn And Earn

TL;DR기존 AI OCR 한계점 : 이미지 이해(CNN), 문자 단위 자연어 생성(RNN), 추가 후처리 (언어모델)트랜스포머 구조 TrOCR은 end-to-end로 하나의 모델로 OCR을 위한 이미지 이해, 토큰 단위 자연어 생성의 과정을 수행이미지 인코더(ViT), 자연어 디코더초기화를 각각 ViT 스타일 인코더, 자연어 디코더에서 하는 게 좋다고 추천함뿐만 아니라 TrOCR은 합성 데이터에 사전 훈련 후, 커스텀 데이터셋에 미세 조정을 진행하면 되기 때문에 용도에 맞게 활용이 매우 용이하다는 측면에서 기여하는 바가 크다.성능 측면에서도 (CER) 인쇄본, 손글씨, scene-text 등 다양한 시나리오의 데이터셋에 대해서도 잘함.TrOCR 구조이미지 이해를 위한 ViT 스타일의 인코더와 (BeIT..

TL;DRText Detection 모델을 훈련 할 때 char 단위 bounding box label 활용 일렬로 배열된 문자열이 아니면 오작동한계점을 "방법론"을 적용해서 "극복"방법론의 개괄 설명워드 단위 인식 : 텍스트의 각 문자를 감지하여 워드 또는 텍스트 인스턴스를 bottom-up으로 결합함Affinity Score 도입 : "문자간 연결 가능성" 표현한 수치. 이를 기준으로 텍스트 형상을 정확히 표현Weakly-Supervised Learning 활용 : 문자 수준 어노테이션 부족 문제를 해결하기 위해 합성 이미지에서의 문자 어노테이션을 활용하고"극복"의 해석정량적 평가 : 다양한 시나리오의 데이터셋에서 Recall, Precision, F1 score 측면에서 우수한 성능을 보임 (표1..