SetFit with mini1013/master_domain

This is a SetFit model that can be used for Text Classification. This SetFit model uses mini1013/master_domain as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

Fine-tuning a Sentence Transformer with contrastive learning.
Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Type: SetFit
Sentence Transformer body: mini1013/master_domain
Classification head: a LogisticRegression instance
Maximum Sequence Length: 512 tokens
Number of Classes: 14 classes

Model Sources

Repository: SetFit on GitHub
Paper: Efficient Few-Shot Learning Without Prompts
Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
1.0	'수작업 완전 국내산 양념이 듬뿍 매운 전라도 얼갈이 겉절이 1kg 김장 오텀 골드 (AUTUMN GOLD)' '국산 겉절이 2kg+Npay5% 매일생산 당일제조 수 빛 배추 김치 먹보야 수 국산 포기김치3kg+Npay5% (주)먹보야' '명광성푸드 술안주로도 간식으로도 맛있는 고구마무스 1kg 고구마무스(1kg) 조이찬스'
6.0	'종가집 백김치3kg 프라임 다모여' '종가집 백김치 5kg (냉장포장) 주식회사 푸드공공칠' '종가집 우리땅 백김치 (5kg) 국내산재료만사용 02.우리땅 백김치(숙성 5kg) 바이라이프'
11.0	'이킴 홍진경더김치 총각김치 3kg 동의 쉼포니' '[피코크] 조선호텔 총각김치 1.5kg 주식회사 배한네트웍스' 'CJ제일제당 비비고 총각김치 1.5kg 오루고'
7.0	'CJ 비비고 김치볶음 150g 주식회사 에스에스지닷컴' 'CJ 비비고김치볶음150g 주식회사 에스에스지닷컴' '피코크 조선호텔 무석박지 1kg 주식회사 맨도롱'
2.0	'사대부 국산 깍두기 3kg HACCP 인증 (주)우영채널' '이킴 홍진경더김치 깍두기 2kg 겨자씨' '예소담 특깍두기3kg 농업회사법인(주)예소담'
5.0	'예소담 특묵은지3kg 예소담 특묵은지3kg 원츄쟈챠' 'CJ제일제당 비비고 묵은지 1.5kg 퓨어리실바' '해남 화원농협 이맑은김치 묵은지 10kg 이세몰'
4.0	'예소담 특동치미 3kg 농업회사법인(주)예소담' '대상 종가집 동치미 2.5kg 1개 하스제이' '[열우물]연동치미 450g x 1팩 연근가루로 맛을 낸 동치미 소백스토어 주식회사'
9.0	'이담채 상큼한 국내산 오이소박이 2kg 오이소박이 1kg 서부농산영농조합법인' '100% 국산 전라도 오이소박이 1kg 제주나는 농산물' '이담채 상큼한 국내산 오이소박이 2kg 오이소박이 3kg 서부농산영농조합법인'
12.0	'종가집 파김치2.5kg 프라임 다모여' '종가집 파김치 2.5kg 다올' '아이스박스 발송 종가 파김치 1KG 코스트코 아이스팩 기본1개 도우닷컴'
10.0	'황금 김장 절인배추 강원도 고랭지절임배추 10kg 김장양념 고춧가루 12월 29일 (금)도착 큰장터' '더맛있는 김장세트 3.5kg(절임배추+배추김치양념) 만들기 밀키트 집콕놀이 김장세트3.5kg 주식회사 삼창' 'GAP, 저탄소인증 농부삼촌 해남 절임배추 20kg 12월 13일(수) 농부삼촌영농조합법인'
13.0	'안동학가산김치 가정용 고랭지 포기김치 4kg (국내산) 3.포기김치 업소용 10kg고춧가루만 중국산 학가산김치서울직판장' '김권태 전라도 곡성 옥과맛있는김치 포기 배추김치 김장 2kg 9_전라도 열무김치 2kg 5월~9월 제이엘컴퍼니(JL Company)' '청풍 포기김치(실속형) 10kg 2kg 영신내추럴'
8.0	'씨제이 비비고 열무김치 900G 홈플러스' '영동김치 열무 얼갈이 김치 5kg 영동김치' '열무김치 열무 얼갈이 자박이 김치 100% 국내산 [먹부림마켓] 먹부림 마켓'
3.0	'익을수록 맛있는 남도식 석박지 무김치 1kg 소복김치' '종가집 담백한나박김치1.2kg(PET) 대상JJ' '[산들바람김치] 나박물김치 3kg 국산100% 나박김치 반찬 속초 산들바람식품'
0.0	'여수돌산갓김치 5kg 김치 국내산 100% 당일생산 미스터홍주부' '여수 명물 돌산 갓김치 2kg 국내산 전라도 갓 김치 대한민국농수산' '종가집 돌산갓김치3kg(온라인) 프라임 다모여'

Evaluation

Metrics

Label	Metric
all	0.9429

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("mini1013/master_cate_fd3")
# Run inference
preds = model("[마음심은] 겉절이 3kg / 익을수록 시원한  (주)강가의나무")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	4	8.1522	18

Label	Training Sample Count
0.0	23
1.0	50
2.0	50
3.0	24
4.0	31
5.0	50
6.0	50
7.0	40
8.0	23
9.0	32
10.0	50
11.0	50
12.0	29
13.0	50

Training Hyperparameters

batch_size: (512, 512)
num_epochs: (20, 20)
max_steps: -1
sampling_strategy: oversampling
num_iterations: 40
body_learning_rate: (2e-05, 2e-05)
head_learning_rate: 2e-05
loss: CosineSimilarityLoss
distance_metric: cosine_distance
margin: 0.25
end_to_end: False
use_amp: False
warmup_proportion: 0.1
seed: 42
eval_max_steps: -1
load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0115	1	0.4872	-
0.5747	50	0.3163	-
1.1494	100	0.2368	-
1.7241	150	0.1362	-
2.2989	200	0.0482	-
2.8736	250	0.0183	-
3.4483	300	0.0142	-
4.0230	350	0.004	-
4.5977	400	0.0022	-
5.1724	450	0.008	-
5.7471	500	0.0003	-
6.3218	550	0.0004	-
6.8966	600	0.002	-
7.4713	650	0.0004	-
8.0460	700	0.0003	-
8.6207	750	0.0002	-
9.1954	800	0.0002	-
9.7701	850	0.0002	-
10.3448	900	0.0001	-
10.9195	950	0.0001	-
11.4943	1000	0.0001	-
12.0690	1050	0.0001	-
12.6437	1100	0.0001	-
13.2184	1150	0.0001	-
13.7931	1200	0.0001	-
14.3678	1250	0.0001	-
14.9425	1300	0.0001	-
15.5172	1350	0.0001	-
16.0920	1400	0.0001	-
16.6667	1450	0.0001	-
17.2414	1500	0.0001	-
17.8161	1550	0.0001	-
18.3908	1600	0.0001	-
18.9655	1650	0.0001	-
19.5402	1700	0.0001	-

Framework Versions

Python: 3.10.12
SetFit: 1.1.0.dev0
Sentence Transformers: 3.1.1
Transformers: 4.46.1
PyTorch: 2.4.0+cu121
Datasets: 2.20.0
Tokenizers: 0.20.0

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}

mini1013
/

master_cate_fd3