SetFit with mini1013/master_domain

This is a SetFit model that can be used for Text Classification. This SetFit model uses mini1013/master_domain as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

Fine-tuning a Sentence Transformer with contrastive learning.
Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Type: SetFit
Sentence Transformer body: mini1013/master_domain
Classification head: a LogisticRegression instance
Maximum Sequence Length: 512 tokens
Number of Classes: 9 classes

Model Sources

Repository: SetFit on GitHub
Paper: Efficient Few-Shot Learning Without Prompts
Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
6.0	'VENTFILLE95 스털링 실버 스타 플래시 스탈 작은 신선한 개 05 heart 베스트C몰' '판도라 592313C01 시그니처 ID 파베 뱅글 SIZE2 뮤직 인트 (MUSIC INT)' 'VENTFILLE95 스털링 실버 스타 플래시 스탈 작은 신선한 개 02 Gold 베스트C몰'
3.0	'두줄발찌 여자 발찌 두줄 실 남자 JUJIE 316L 스테인레스 스틸 트위스트 로프 체인 YF15692_은 상생COMMERCIAL' '[현대백화점]스타일러스 A 허니허니13(14K) 251400187 (주)현대백화점' '스네이크발찌 두줄발찌 패션 A Z 필기체 초기 편지 쿠바 캐주얼디자인 컷팅팔찌 Letter E_은 와이컴퍼니'
4.0	'(스와로브스키) (E+N+B) 라포드 스왈 세트 Rose gold_Amethys 펀스토리지' '실버 아르도 미노스 백 3종SET S02-83 (주)루루골드' '45%[골드피아] 골드정품 쥬얼리 24K/18K/14K 100여종 모음전 08) 14K 씬 컷팅 원터치 귀걸이_특대_PG 제메이스'
7.0	'데님 라피스 캐보션스톤 타원 16x12mm 뒤가 평평한 영진재료' '질스튜어트 뉴욕 액세서리 화이트 스팽글장식 미니토트백 JABA4E451WT FREE OC홀딩스' '고딕 100 925 스털링 실버 해골 펜던트 유행 펑크 스타일 태국 모자 아이마커'
2.0	'스타일러스트라이위시D(여)14K _211500038 15 신세계백화점' '갤러리아 [HAZZYS ACC] [P.JUBILEE] 블랙 레터링 배색 클러치백 - HJBA7E372 갤러리아백화점' '벨라뷰 다이아몬드 반지 0.2ct (F/VS2) 옵션에없는사이즈 (주)미꼬쥬얼리'
1.0	'[Hei] SWAROVSKI PEARL NECKLACE White (주)더블유컨셉코리아' '[Hei]여자)아이들 미연, 태연, 트와이스 지효, 김민주, 송해나착용] swarovski pearl necklace White 신세계몰' '윌헬미나 가르시아 I LOVE ME NECKLACE / HRT038-BLACK OS LFmall02'
0.0	'[티오유] [silver925] TB014 2 way black ball earrings ivory/FREE 주식회사 서울쇼룸' '[🧡 ] 비비안웨스트우드 런던 오알비 싱글 스터드 62010239 / VIVIENNE WESTWOOD LONDON ORB SINGLE STUD GUNMETAL-TONE ONE UK TRADING LTD' '[ANNAFLAIR1986] PEARL LONG EARRINGS SILVER (주)더블유컨셉코리아'
5.0	'수납 정리함 회전식 머리끈 액세서리 곱창 03.아이보리+화이트 행운의 주인공' '폴리싱천 은세척천 광택천 실버천 에크미' '아크릴 큐브 정사각형50x50x20mm 2302_037 맥스박스'
8.0	'14K 데일리 트라거스 라블렛 피어싱 귀걸이 14K골드_29.입체큐빅 십자가_바길이 4mm 욜로 컴퍼니(YOLO Company)' '딜리셔스 진저쿠키 실버핑크 피어싱 TESSVP13959MPC-4 [0001]기본상품 CJONSTYLE' '[비앤비골드] 14K 볼볼 탄생석 3mm 11월 시츄린 링 피어싱 귀걸이 한쪽 JNE26627 14K 옐로우골드 KT알파쇼핑_온라인몰'

Evaluation

Metrics

Label	Metric
all	0.8264

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("mini1013/master_cate_ac13")
# Run inference
preds = model("은귀걸이+은목걸이 에센스 세트 실버 순은 여자 여성 고급케이스 오엑스골드")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	3	10.3556	23

Label	Training Sample Count
0.0	50
1.0	50
2.0	50
3.0	50
4.0	50
5.0	50
6.0	50
7.0	50
8.0	50

Training Hyperparameters

batch_size: (512, 512)
num_epochs: (20, 20)
max_steps: -1
sampling_strategy: oversampling
num_iterations: 40
body_learning_rate: (2e-05, 2e-05)
head_learning_rate: 2e-05
loss: CosineSimilarityLoss
distance_metric: cosine_distance
margin: 0.25
end_to_end: False
use_amp: False
warmup_proportion: 0.1
seed: 42
eval_max_steps: -1
load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0141	1	0.386	-
0.7042	50	0.3306	-
1.4085	100	0.1325	-
2.1127	150	0.0469	-
2.8169	200	0.0185	-
3.5211	250	0.0014	-
4.2254	300	0.0006	-
4.9296	350	0.0003	-
5.6338	400	0.0002	-
6.3380	450	0.0002	-
7.0423	500	0.0002	-
7.7465	550	0.0001	-
8.4507	600	0.0001	-
9.1549	650	0.0001	-
9.8592	700	0.0001	-
10.5634	750	0.0001	-
11.2676	800	0.0001	-
11.9718	850	0.0001	-
12.6761	900	0.0001	-
13.3803	950	0.0001	-
14.0845	1000	0.0001	-
14.7887	1050	0.0001	-
15.4930	1100	0.0001	-
16.1972	1150	0.0001	-
16.9014	1200	0.0001	-
17.6056	1250	0.0001	-
18.3099	1300	0.0001	-
19.0141	1350	0.0001	-
19.7183	1400	0.0001	-

Framework Versions

Python: 3.10.12
SetFit: 1.1.0.dev0
Sentence Transformers: 3.1.1
Transformers: 4.46.1
PyTorch: 2.4.0+cu121
Datasets: 2.20.0
Tokenizers: 0.20.0

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}

mini1013
/

master_cate_ac13