Notice
Recent Posts
Recent Comments
Link
반응형
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| 13 | 14 | 15 | 16 | 17 | 18 | 19 |
| 20 | 21 | 22 | 23 | 24 | 25 | 26 |
| 27 | 28 | 29 | 30 |
Tags
- 환급기원
- Monte Carlo
- AlphaGo
- 파이썬
- document parsing
- 순열
- 문서 파싱
- text embedding
- pytorch forward
- 딥러닝
- pytorch forward 디버깅
- 오블완
- pytorch forward 연산
- 티스토리챌린지
- pytorch
- MCTS
- feature vector
- pytorch hook
- 스터디미니
- TensorFlow
- document layout analysis
- 강화학습
- OCR
- 알파고
- Python
- MTBE
- 대조학습
- metric learning
- 스페인어학습지
- permutations
Archives
- Today
- Total
목록gte (1)
Learn And Earn
Towards General Text Embeddings with Multi-stage Contrastive Learning
TL;DR문제 의식 : 기존의 "일반적인" 목적의 텍스트 임베딩 모델은 사실 일반적이지 않다! (특정 태스크만을 고려한 훈련과정 등)2단계의 빅데이터를 활용한 "양방향의" Constrastive Learning을 통해 훈련한 모델은 "작은 모델 사이즈"에도 불구하고 "좋다"어떤 측면에서 "좋다"? 모든 NLU 태스크에 대해서?다양한 태스크 별로 (인간 기준 make-sense 한) positive/negative labeling scheme 정의 및 적용다양한 태스크 벤치마크 데이터셋 MTEB에 평가 결과, GTE_large는 새로운 SOTA로 자리매김하여 다양한 태스크에도 사용 가능한 임베딩 모델을 제시함.Multi Stage Contrastive LearningContrastive Learning :..
딥러닝/Embedding
2024. 11. 27. 17:03