SetFit with mini1013/master_domain

This is a SetFit model that can be used for Text Classification. This SetFit model uses mini1013/master_domain as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

  1. Fine-tuning a Sentence Transformer with contrastive learning.
  2. Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Sources

Model Labels

Label Examples
3.0
  • '나무면봉 메이컵수정 키보드청소 틈새 면봉 400P 출산/육아 > 위생/건강용품 > 유아면봉'
  • '비앤비 신생아면봉 종이대 210P 아기면봉 유아면봉 얇은면봉 [제조일자 2020년 유통기한 비대상 품목] 기능성티슈_아토마일드 캡형64매x2 출산/육아 > 위생/건강용품 > 유아면봉'
  • 'Mom 비앤비 유아용면봉 원형-종이대 200P x 5 칫솔/치약_베이비치약 겔 포도60gx3 출산/육아 > 위생/건강용품 > 유아면봉'
1.0
  • '복사기 복합기 래 성행하고 있다 적용 경자기 핑크 42941709N4665729445 TK4148 핑크 케이스 (20202 출산/육아 > 위생/건강용품 > 분통/파우더통'
  • '레이져프린터 래 성행하고 있다 겸용 코니카 미놀타 42941710N1773396605 TN117H 핑크 케이스 (프린트 대 출산/육아 > 위생/건강용품 > 분통/파우더통'
  • '도 적용 형제 MFC1818 셀렌 드럼 핑크 케이스 42941711N4876615688 5000 페이지 MFC-1818 핑크 출산/육아 > 위생/건강용품 > 분통/파우더통'
7.0
  • '미니마우스 손톱깍이 캡형 깍끼 네일 아트 용품 정리 소지 블루 출산/육아 > 위생/건강용품 > 유아이발용품'
  • '손톱깍이_세트 /휴대용 손톱깎이 4종_세트/네일/ 노랑 AK-86 출산/육아 > 위생/건강용품 > 유아이발용품'
  • '손톱깎이 세트 잘깎이는 네일클리퍼 답례품 손톱깍이 휴대용 블랙 출산/육아 > 위생/건강용품 > 유아이발용품'
6.0
  • '본베베 아기 손톱 네일트리머 출산/육아 > 위생/건강용품 > 유아손톱가위/손톱깍이'
  • '신생아 안전손톱깎이 아기손톱갈이 코딱지집게 네일케어세트 3종 4종 손톱가위 출산/육아 > 위생/건강용품 > 유아손톱가위/손톱깍이'
  • '콤비 신생아용 아기 네일트리머 출산/육아 > 위생/건강용품 > 유아손톱가위/손톱깍이'
2.0
  • '레인보우프렌즈 마스크 유아 방수 물놀이 수영장 워터 어린이 새부리형 빨아쓰는 초등학생 [6번] 3D페이스 (기능성)마스크_주황_S-28cm(4~7세) 출산/육아 > 위생/건강용품 > 유아마스크'
  • '유아용 입체 어린이 마스크 유아동 매쉬 면 여름 마스크 메쉬마스크_02.팝핑핑크 출산/육아 > 위생/건강용품 > 유아마스크'
  • 'KC인증 여름 아기 초소형 유아 키즈 연예인 아동 소형 블랙 캐릭터 마스크 시원한 연예인 01.투톤마스크_투톤마스크(그레이)_L 출산/육아 > 위생/건강용품 > 유아마스크'
0.0
  • '종량제 기저귀 쓰레기통 20L 압축 냄새차단 기저귀휴지통 10L 1+1 페달7리터 출산/육아 > 위생/건강용품 > 기저귀휴지통'
  • '냄새차단 기저귀 쓰레기통 이지캔 네오 20L 휴지통 휴지통_01-이지캔네오-화이트(리필1롤) 출산/육아 > 위생/건강용품 > 기저귀휴지통'
  • '냄새안나는 기저귀 휴지통 밀폐 휴지통 방취 밀봉 umee 검정 + 기저귀 쓰레기 봉투 출산/육아 > 위생/건강용품 > 기저귀휴지통'
12.0
  • '테니 스공 의자 발커버 십자 컷팅 5색상 1P 층간 소음 의자발 공발 소리 식탁 다리 그린 출산/육아 > 위생/건강용품 > 투약기'
  • '이동형 디자인 메디컬박스 가정 차량비치용 약통 대형 (대형)화이트 출산/육아 > 위생/건강용품 > 투약기'
  • '라이트 LED 편리한 귀이개 요즘핫한 귀청소 7종세트 추천 출산/육아 > 위생/건강용품 > 투약기'
4.0
  • '준주 바나나 휴대용변기 생분해 전용비닐봉지[60매] 30매 출산/육아 > 위생/건강용품 > 유아변기/커버'
  • '록시키드 휴대용 아기변기 세트(변기+리필봉투+라이너) 배변훈련 [440024][핑크]+블루라이너+리필 출산/육아 > 위생/건강용품 > 유아변기/커버'
  • '라비베베 국민 아기 유아 사다리변기 변기 커버 휴대용변기 육아 배변훈련 라이트그레이 출산/육아 > 위생/건강용품 > 유아변기/커버'
5.0
  • '애경 말랑카우 버블 핸드워시 리필 손세정 물비누 250 화이트우유향250ml 출산/육아 > 위생/건강용품 > 유아손세정제'
  • '해피홈 SAFE365 핸드워시 무향 200ml 리필 5개 해피홈 SAFE365 핸드워시 무향 200ml 출산/육아 > 위생/건강용품 > 유아손세정제'
  • '소독티슈 의약외품 캡형 80매 메디와이퍼 세이프 출산/육아 > 위생/건강용품 > 유아손세정제'
11.0
  • '주문제작 사진 문구변경 키재기자 유아 어린이 아기 아이 키재기 포스터 컬러-패턴블루_포토+문구형(문구와사진추가) 출산/육아 > 위생/건강용품 > 키재기'
  • '유아 아이 아기 키재기자_감성 09_스타 그레이 출산/육아 > 위생/건강용품 > 키재기'
  • '주문제작 사진 문구변경 키재기자 유아 어린이 아기 아이 키재기 포스터 숲속-베이지_문구형(문구만변경) 출산/육아 > 위생/건강용품 > 키재기'
10.0
  • '귀안아픈 인기 아동용 캐릭터 유아용 마스크 빨아쓰는마스크 방수 XL_핑크 출산/육아 > 위생/건강용품 > 콧물흡입기'
  • '한일 콧물흡입기 호환 석션팁 포근 개별위생포장 노즐팁 PC_PC 3호 출산/육아 > 위생/건강용품 > 콧물흡입기'
  • '코세척기 아기 비강 흡입기 코 청소 바늘 튜브 세척 클리너 비염 세척기 신생아 돌보기 03 블루 10ml 출산/육아 > 위생/건강용품 > 콧물흡입기'
9.0
  • '메디록스 Medilox-S4L 대용량 일반용 살균소독제 B-4L+ 핸드워시 300ml 출산/육아 > 위생/건강용품 > 제균스프레이'
  • '애경 랩신 항균 소독 스프레이 X 2개 출산/육아 > 위생/건강용품 > 제균스프레이'
  • '비앤비 아기 유아 안심 무알콜 제균 소독 스프레이 용기300ml 베이비 장난감 세정제 A08.세정티슈 캡형6+휴대2 출산/육아 > 위생/건강용품 > 제균스프레이'
13.0
  • '순한염색약 새치머리 셀프 먹물 1분 상품선택_7호(흑갈색) 출산/육아 > 위생/건강용품 > 해열시트'
  • '곰탱이 어린이 열냉각시트 6매입 3통 출산/육아 > 위생/건강용품 > 해열시트'
  • '1/1+1 남녀공용 휴대용 차량용 스텐 보온 텀블러 엘레강스 화이트x1+고은색x1_450ml 출산/육아 > 위생/건강용품 > 해열시트'
8.0
  • '[주토이] 캐릭터 밴드큐어-표준형 패션밴드 어린이밴드 반창고 스파이더맨 8매입 출산/육아 > 위생/건강용품 > 유아항균팩'
  • '[1+1] 마더케이 에코 아기지퍼백(S+M+L+XL)4종+4종 /스몰GIFT 외 출산준비 07. 휴대용젖병건조대 (크림모카) 출산/육아 > 위생/건강용품 > 유아항균팩'
  • '피그비 항균 아기 지퍼백 10종모음 1+1+1이벤트 신생아 용품 출산 준비물 유아 위생 02. Small 1+1 출산/육아 > 위생/건강용품 > 유아항균팩'

Evaluation

Metrics

Label Accuracy
all 1.0

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("mini1013/master_cate_bc15")
# Run inference
preds = model("블루본 아이노우 미니 썸머라인 컬러 초소형 마스크 [10매] 스트랩일체형 민트 출산/육아 > 위생/건강용품 > 유아마스크")

Training Details

Training Set Metrics

Training set Min Median Max
Word count 7 14.6957 34
Label Training Sample Count
0.0 70
1.0 70
2.0 70
3.0 70
4.0 70
5.0 70
6.0 20
7.0 70
8.0 70
9.0 70
10.0 70
11.0 70
12.0 70
13.0 70

Training Hyperparameters

  • batch_size: (256, 256)
  • num_epochs: (30, 30)
  • max_steps: -1
  • sampling_strategy: oversampling
  • num_iterations: 50
  • body_learning_rate: (2e-05, 1e-05)
  • head_learning_rate: 0.01
  • loss: CosineSimilarityLoss
  • distance_metric: cosine_distance
  • margin: 0.25
  • end_to_end: False
  • use_amp: False
  • warmup_proportion: 0.1
  • l2_weight: 0.01
  • seed: 42
  • eval_max_steps: -1
  • load_best_model_at_end: False

Training Results

Epoch Step Training Loss Validation Loss
0.0055 1 0.493 -
0.2747 50 0.5 -
0.5495 100 0.4753 -
0.8242 150 0.1574 -
1.0989 200 0.0403 -
1.3736 250 0.0158 -
1.6484 300 0.0036 -
1.9231 350 0.0003 -
2.1978 400 0.0002 -
2.4725 450 0.0001 -
2.7473 500 0.0001 -
3.0220 550 0.0001 -
3.2967 600 0.0001 -
3.5714 650 0.0 -
3.8462 700 0.0 -
4.1209 750 0.0 -
4.3956 800 0.0 -
4.6703 850 0.0 -
4.9451 900 0.0 -
5.2198 950 0.0 -
5.4945 1000 0.0 -
5.7692 1050 0.0 -
6.0440 1100 0.0 -
6.3187 1150 0.0 -
6.5934 1200 0.0 -
6.8681 1250 0.0 -
7.1429 1300 0.0 -
7.4176 1350 0.0 -
7.6923 1400 0.0 -
7.9670 1450 0.0 -
8.2418 1500 0.0 -
8.5165 1550 0.0 -
8.7912 1600 0.0 -
9.0659 1650 0.0 -
9.3407 1700 0.0 -
9.6154 1750 0.0 -
9.8901 1800 0.0 -
10.1648 1850 0.0 -
10.4396 1900 0.0 -
10.7143 1950 0.0 -
10.9890 2000 0.0 -
11.2637 2050 0.0 -
11.5385 2100 0.0 -
11.8132 2150 0.0 -
12.0879 2200 0.0 -
12.3626 2250 0.0 -
12.6374 2300 0.0 -
12.9121 2350 0.0 -
13.1868 2400 0.0 -
13.4615 2450 0.0 -
13.7363 2500 0.0 -
14.0110 2550 0.0 -
14.2857 2600 0.0 -
14.5604 2650 0.0 -
14.8352 2700 0.0 -
15.1099 2750 0.0 -
15.3846 2800 0.0 -
15.6593 2850 0.0 -
15.9341 2900 0.0 -
16.2088 2950 0.0 -
16.4835 3000 0.0 -
16.7582 3050 0.0 -
17.0330 3100 0.0 -
17.3077 3150 0.0 -
17.5824 3200 0.0 -
17.8571 3250 0.0 -
18.1319 3300 0.0 -
18.4066 3350 0.0 -
18.6813 3400 0.0 -
18.9560 3450 0.0 -
19.2308 3500 0.0 -
19.5055 3550 0.0 -
19.7802 3600 0.0 -
20.0549 3650 0.0 -
20.3297 3700 0.0 -
20.6044 3750 0.0 -
20.8791 3800 0.0 -
21.1538 3850 0.0 -
21.4286 3900 0.0 -
21.7033 3950 0.0 -
21.9780 4000 0.0 -
22.2527 4050 0.0 -
22.5275 4100 0.0 -
22.8022 4150 0.0 -
23.0769 4200 0.0 -
23.3516 4250 0.0 -
23.6264 4300 0.0 -
23.9011 4350 0.0 -
24.1758 4400 0.0 -
24.4505 4450 0.0 -
24.7253 4500 0.0 -
25.0 4550 0.0 -
25.2747 4600 0.0 -
25.5495 4650 0.0 -
25.8242 4700 0.0 -
26.0989 4750 0.0 -
26.3736 4800 0.0 -
26.6484 4850 0.0 -
26.9231 4900 0.0 -
27.1978 4950 0.0 -
27.4725 5000 0.0 -
27.7473 5050 0.0 -
28.0220 5100 0.0 -
28.2967 5150 0.0 -
28.5714 5200 0.0 -
28.8462 5250 0.0 -
29.1209 5300 0.0 -
29.3956 5350 0.0 -
29.6703 5400 0.0 -
29.9451 5450 0.0 -

Framework Versions

  • Python: 3.10.12
  • SetFit: 1.1.0
  • Sentence Transformers: 3.3.1
  • Transformers: 4.44.2
  • PyTorch: 2.2.0a0+81ea7a4
  • Datasets: 3.2.0
  • Tokenizers: 0.19.1

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}
Downloads last month
725
Safetensors
Model size
111M params
Tensor type
F32
·
Inference Providers NEW
This model is not currently available via any of the supported Inference Providers.

Model tree for mini1013/master_cate_bc15

Base model

klue/roberta-base
Finetuned
(213)
this model

Evaluation results