Notice
Recent Posts
Recent Comments
Link
반응형
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| 13 | 14 | 15 | 16 | 17 | 18 | 19 |
| 20 | 21 | 22 | 23 | 24 | 25 | 26 |
| 27 | 28 | 29 | 30 |
Tags
- 대조학습
- 강화학습
- 문서 파싱
- pytorch forward
- feature vector
- TensorFlow
- 알파고
- permutations
- pytorch forward 연산
- 티스토리챌린지
- document layout analysis
- Python
- pytorch hook
- 환급기원
- 스터디미니
- 오블완
- 딥러닝
- 파이썬
- MTBE
- OCR
- document parsing
- text embedding
- 순열
- AlphaGo
- Monte Carlo
- pytorch forward 디버깅
- pytorch
- 스페인어학습지
- metric learning
- MCTS
Archives
- Today
- Total
목록OpenAI (1)
Learn And Earn
Towards General Text Embeddings with Multi-stage Contrastive Learning
TL;DR문제 의식 : 기존의 "일반적인" 목적의 텍스트 임베딩 모델은 사실 일반적이지 않다! (특정 태스크만을 고려한 훈련과정 등)2단계의 빅데이터를 활용한 "양방향의" Constrastive Learning을 통해 훈련한 모델은 "작은 모델 사이즈"에도 불구하고 "좋다"어떤 측면에서 "좋다"? 모든 NLU 태스크에 대해서?다양한 태스크 별로 (인간 기준 make-sense 한) positive/negative labeling scheme 정의 및 적용다양한 태스크 벤치마크 데이터셋 MTEB에 평가 결과, GTE_large는 새로운 SOTA로 자리매김하여 다양한 태스크에도 사용 가능한 임베딩 모델을 제시함.Multi Stage Contrastive LearningContrastive Learning :..
딥러닝/Embedding
2024. 11. 27. 17:03