SetFit with mini1013/master_domain

This is a SetFit model that can be used for Text Classification. This SetFit model uses mini1013/master_domain as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

Fine-tuning a Sentence Transformer with contrastive learning.
Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Type: SetFit
Sentence Transformer body: mini1013/master_domain
Classification head: a LogisticRegression instance
Maximum Sequence Length: 512 tokens
Number of Classes: 8 classes

Model Sources

Repository: SetFit on GitHub
Paper: Efficient Few-Shot Learning Without Prompts
Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
6.0	'해킹방지 카본 카드지갑 RFID 도난방지 자석오토지갑 블랙 화인트레이드' '라코스테더 블렌드 포켓 오거나이저(NH4134L54GH45) 신세계백화점' '닥스_핸드백 (선물포장)(DAKS X DISNEY) 미키마우스 가죽배색 체크 여성 카드 롯데백화점2관'
1.0	'이케아 KNOLIG 크뇔리그 동전지갑 소품 가방 주머니 참 인테리어 색상_옐로우 호랑이스토어5' '레오파드 미니 동전지갑 캐리어파우치 폰토스(Pontos)' '[비비안웨스트우드][비비안 웨스트우드] 조르단 더블 프레임 동전지갑 52020041 L001J N403(김해점) ONE SIZE 신세계백화점'
5.0	'BEANPOLE] 빈폴 ACC 스트랩 파우치/카드 SET 블랙/핑크(BE04A4W995) 블랙 메가 세일' '지갑& 벨트01G1295Z8K외5종/피에르가르뎅_핸드백 01G1295Z8K 롯데쇼핑(주)' '[빈폴 ACC] 스트랩 파우치/카드 SET 블랙 (BE04A4W995) 블랙_one size 윈아이'
4.0	'[헤지스ACC]HJHO3F332W2/[23FW] 브라운 로고패턴 가죽 키링 에이케이에스앤디 (주) AK인터넷쇼핑몰' '[롯데백화점]닥스ACC [선물포장/쇼핑백동봉] 블랙 로고패턴 가죽 키링 DBHO4E138 롯데백화점_' '[선물포장] HJHO3E281BK_남성 블랙 퍼피로고 체크배색 키링/헤지스ACC 롯데쇼핑(주)'
0.0	'타미힐피거 타미힐피거 남성반지갑 31TL22X046 블랙 네이비 네이비 SK스토아모바일' '[선물포장] DBWA3F717W3 브라운 악어가죽/닥스ACC 롯데쇼핑(주)' '[헤지스 액세서리] [24SS] HJWA4E906BK Online 한정판BASIC 블랙 솔리드 퍼피로고 소 XXX '
3.0	'여성반지갑 SL3AL04BL/루이까또즈 BLACK 롯데쇼핑(주)' 'MINI POCKET - BLACK 주식회사 이코컴퍼니' '[롯데백화점]닥스ACC [선물포장/쇼핑백동봉]브라운 체크 가죽 핸드폰케이스 DCHO2F328W2 롯데백화점_'
7.0	'동지갑 베트남 환전 통장 여행 슬림 파우치 다낭 해외 지퍼 여권 03. 블랙 동쯔몰' '도장 가방 인감 스탬프 케이스 수납 문서 보관 통장 V번 인감 수납가방 홍마켓(hong)' '여행용 여권 파우치 목걸이 수납 휴대용 보호커버 블루 나이스쇼핑'
2.0	'[갤러리아] 8059461 MS CHASE GC9 B2871 ONE SIZE 한화갤러리아(주)' '국내발송 MATIN KIM 마땡킴 GLOSSY CAMP WALLET IN WHITE MK2311WL001M0WH FREE 말로스' '헤지스[HAZZYS ACC] [GOLDEN LANE] 블랙 로고패턴 소가죽 반지갑 HJWA1F562BK 주식회사 에스에스지닷컴'

Evaluation

Metrics

Label	Metric
all	0.7925

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("mini1013/master_cate_ac14")
# Run inference
preds = model("(시흥점)루이까또즈 여성 3단 반지갑 SP3HT03IV 아이보리_ONE SIZE 신세계프리미엄아울렛")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	3	9.21	19

Label	Training Sample Count
0.0	50
1.0	50
2.0	50
3.0	50
4.0	50
5.0	50
6.0	50
7.0	50

Training Hyperparameters

batch_size: (512, 512)
num_epochs: (20, 20)
max_steps: -1
sampling_strategy: oversampling
num_iterations: 40
body_learning_rate: (2e-05, 2e-05)
head_learning_rate: 2e-05
loss: CosineSimilarityLoss
distance_metric: cosine_distance
margin: 0.25
end_to_end: False
use_amp: False
warmup_proportion: 0.1
seed: 42
eval_max_steps: -1
load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0159	1	0.3853	-
0.7937	50	0.2743	-
1.5873	100	0.1039	-
2.3810	150	0.0564	-
3.1746	200	0.0306	-
3.9683	250	0.0124	-
4.7619	300	0.0146	-
5.5556	350	0.0008	-
6.3492	400	0.0007	-
7.1429	450	0.0001	-
7.9365	500	0.0001	-
8.7302	550	0.0001	-
9.5238	600	0.0001	-
10.3175	650	0.0001	-
11.1111	700	0.0001	-
11.9048	750	0.0001	-
12.6984	800	0.0001	-
13.4921	850	0.0001	-
14.2857	900	0.0001	-
15.0794	950	0.0	-
15.8730	1000	0.0001	-
16.6667	1050	0.0	-
17.4603	1100	0.0	-
18.2540	1150	0.0	-
19.0476	1200	0.0	-
19.8413	1250	0.0	-

Framework Versions

Python: 3.10.12
SetFit: 1.1.0.dev0
Sentence Transformers: 3.1.1
Transformers: 4.46.1
PyTorch: 2.4.0+cu121
Datasets: 2.20.0
Tokenizers: 0.20.0

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}

mini1013
/

master_cate_ac14