SetFit with mini1013/master_domain

This is a SetFit model that can be used for Text Classification. This SetFit model uses mini1013/master_domain as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

Fine-tuning a Sentence Transformer with contrastive learning.
Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Type: SetFit
Sentence Transformer body: mini1013/master_domain
Classification head: a LogisticRegression instance
Maximum Sequence Length: 512 tokens
Number of Classes: 10 classes

Model Sources

Repository: SetFit on GitHub
Paper: Efficient Few-Shot Learning Without Prompts
Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
6.0	'DBS7012 BYC 보디히트 발열 여자 반팔 티셔츠 내의 라이트스킨_85 에이치앤비 주식회사' '바풀 융털기모 3부 속바지 드로즈 힙 워머 (90) MG 1911 3 wip 재색_90 _ F (주)에스비아이이너웨어' '잔잔한 꽃프린트 반팔 3부 내의 LG7451 블루_100 '
8.0	'여성 D236 모드 민소매 원피스 OR24MFMBD236 1.S 롯데백화점' 'BYC 커플 잠옷 세트 가을 겨울 파자마 바지 체크 남성 여성 빅사이즈 수면 피치 기모 극세사 110 주니어 큰 1_MHS4615_L (95~100) 라브라' '여 극세사 10부 파자마 팬츠 핑크 J203402010 215648 핑크_M 에스텍'
2.0	'인피티지 집업 올블랙 하이서포트 스포츠브라 70DD 네모난오렌지2' 'CALVIN KLEIN UNDERWEAR 여성 모던코튼 리프트 브라렛_QF5490100 화이트_L 에스제이글로벌' '백온 로고밴드 삼각팬티NXWOU8941/세컨스킨 블랙_FREE 롯데쇼핑(주)'
1.0	'[ ] 파워시리즈 하이웨스트 미드따이 중간보정 거들 XL(10398R) VERY BLACK_XL (주)씨제이이엔엠' '디즈니 남아 여아 의류 가을 겨울 바지 2 피스/세트 Style 7 Style 10_100 크로노스직구' '스팽스 TYT 2.0 보정 탱크 (10258R) CHAMPAGNE BEIGE_S 주식회사 에스에스지닷컴'
4.0	'여성 홈웨어 이너웨어 속바지 3부 쫄바지 짧은 레깅스 화이트_L 지에이치글로벌' '여자 기모 밍크 속바지 겨울 교복 융속바지 블랙_FREE 제이스' '[제임스딘] 국내산 여성 여자 텐셀 2부 속바지 JHWDT025 베이지_85 속옷세상'
3.0	'하프클럽/핏미인 핏미인 라이크라 풀커버맥스 노와이어 여성속옷세트 16종 MinSellAmount 하프클럽' '[현대백화점][세컨스킨] NXWOU2011 2021년 노와이어 천연 뱀부 베이직 캐미브라 BLACK /55∼77 (주)현대백화점' '[최초가 179 900원]비비안 스킨핏 FREE FIT V71 [0005]80 B CJONSTYLE_LIVE'
7.0	'남성용 와이셔츠 잡아주는 가터벨트 2p세트 김상민' '[ch4]삼각 브라패드 수영복 방수 수영복 비키니 볼륨업 도담도담몰' '셔츠 가터벨트 와이셔츠 고정 빠짐방지 벨트(2P한세트) 셔츠 가터벨트(2P한세트) 홍스몰'
0.0	'[BYC본사]환타쟈 끈런닝16호 BYT3634 BK(검정색)095 GSSHOP' '비너스자스민 여성 끈 나시 면스판 베이직 여자 런닝 JLG4506 살구(스킨)_90 아이보리shop' '럭센스언더웨어 인견 쿨 노와이어 몰드 브라런닝 LU3007 BK_블랙_90A 주식회사 위드투윤'
9.0	'레이프릴 데일리 면스판 보정팬티 10종 90 쇼핑엔티' '트라이엄프[Sioggi]슬로기 프리미엄 면스판 MIDI 데일리팬티 블랙 (TS76474/04) M/90 주식회사 에스에스지닷컴' 'barbara1926 데일리 노라인 햄팬티 8종 세트(ABP5021SET) 100 주식회사 에스에스지닷컴'
5.0	'이벤트속옷 섹시 옆트임 슬립 란제리 야한 빅사이즈 원피스 잠옷 크리스마스속옷 메모리포인트' '여성 빅사이즈 이벤트 속옷 섹시 슬립 망사 란제리 앤브리사' '여성 미니 롱 슬립 인견 모달 이너 끈 원피스 속치마 여름 잠옷 라이크라라'

Evaluation

Metrics

Label	Metric
all	0.6911

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("mini1013/master_cate_ap2")
# Run inference
preds = model("(신세계김해점)오르시떼 여성 C221 나시아 긴소매 원피스 L 신세계백화점")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	3	9.9869	22

Label	Training Sample Count
0.0	50
1.0	50
2.0	50
3.0	50
4.0	50
5.0	7
6.0	50
7.0	50
8.0	50
9.0	50

Training Hyperparameters

batch_size: (512, 512)
num_epochs: (20, 20)
max_steps: -1
sampling_strategy: oversampling
num_iterations: 40
body_learning_rate: (2e-05, 2e-05)
head_learning_rate: 2e-05
loss: CosineSimilarityLoss
distance_metric: cosine_distance
margin: 0.25
end_to_end: False
use_amp: False
warmup_proportion: 0.1
seed: 42
eval_max_steps: -1
load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0139	1	0.3999	-
0.6944	50	0.3239	-
1.3889	100	0.169	-
2.0833	150	0.033	-
2.7778	200	0.0122	-
3.4722	250	0.0022	-
4.1667	300	0.0008	-
4.8611	350	0.0006	-
5.5556	400	0.0004	-
6.25	450	0.0003	-
6.9444	500	0.0003	-
7.6389	550	0.0003	-
8.3333	600	0.0002	-
9.0278	650	0.0002	-
9.7222	700	0.0002	-
10.4167	750	0.0002	-
11.1111	800	0.0002	-
11.8056	850	0.0001	-
12.5	900	0.0001	-
13.1944	950	0.0001	-
13.8889	1000	0.0001	-
14.5833	1050	0.0001	-
15.2778	1100	0.0001	-
15.9722	1150	0.0001	-
16.6667	1200	0.0001	-
17.3611	1250	0.0001	-
18.0556	1300	0.0001	-
18.75	1350	0.0001	-
19.4444	1400	0.0001	-

Framework Versions

Python: 3.10.12
SetFit: 1.1.0.dev0
Sentence Transformers: 3.1.1
Transformers: 4.46.1
PyTorch: 2.4.0+cu121
Datasets: 2.20.0
Tokenizers: 0.20.0

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}

mini1013
/

master_cate_ap2