Notice
Recent Posts
Recent Comments
Link
반응형
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | |||||
| 3 | 4 | 5 | 6 | 7 | 8 | 9 |
| 10 | 11 | 12 | 13 | 14 | 15 | 16 |
| 17 | 18 | 19 | 20 | 21 | 22 | 23 |
| 24 | 25 | 26 | 27 | 28 | 29 | 30 |
| 31 |
Tags
- 알파고
- text embedding
- pytorch forward 연산
- pytorch forward 디버깅
- Monte Carlo
- document parsing
- 대조학습
- TensorFlow
- feature vector
- pytorch forward
- AlphaGo
- 강화학습
- 오블완
- MCTS
- 스페인어학습지
- document layout analysis
- 순열
- 딥러닝
- pytorch
- 환급기원
- 스터디미니
- pytorch hook
- 문서 파싱
- metric learning
- 티스토리챌린지
- OCR
- Python
- permutations
- MTBE
- 파이썬
Archives
- Today
- Total
목록text embedding (1)
Learn And Earn
Towards General Text Embeddings with Multi-stage Contrastive Learning
TL;DR문제 의식 : 기존의 "일반적인" 목적의 텍스트 임베딩 모델은 사실 일반적이지 않다! (특정 태스크만을 고려한 훈련과정 등)2단계의 빅데이터를 활용한 "양방향의" Constrastive Learning을 통해 훈련한 모델은 "작은 모델 사이즈"에도 불구하고 "좋다"어떤 측면에서 "좋다"? 모든 NLU 태스크에 대해서?다양한 태스크 별로 (인간 기준 make-sense 한) positive/negative labeling scheme 정의 및 적용다양한 태스크 벤치마크 데이터셋 MTEB에 평가 결과, GTE_large는 새로운 SOTA로 자리매김하여 다양한 태스크에도 사용 가능한 임베딩 모델을 제시함.Multi Stage Contrastive LearningContrastive Learning :..
딥러닝/Embedding
2024. 11. 27. 17:03