SetFit with sentence-transformers/distiluse-base-multilingual-cased-v1

This is a SetFit model that can be used for Text Classification. This SetFit model uses sentence-transformers/distiluse-base-multilingual-cased-v1 as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

Fine-tuning a Sentence Transformer with contrastive learning.
Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Type: SetFit
Sentence Transformer body: sentence-transformers/distiluse-base-multilingual-cased-v1
Classification head: a LogisticRegression instance
Maximum Sequence Length: 128 tokens
Number of Classes: 3 classes

Model Sources

Repository: SetFit on GitHub
Paper: Efficient Few-Shot Learning Without Prompts
Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
opposed	'Für Michael Kruse (FDP) ist das eine Nachbesserung des Heiz-Gesetzes durch die Hintertür. "Ich bin gerne bereit, das Heizungsgesetz vom Bundestag zurück an den Minister zu geben, damit wir eine nachgebesserte Vorlage bekommen", sagte Kruse zu BILD.' 'Nicht nur sinkende Umfragewerte offenbaren: Die Grünen haben schon bessere Zeiten erlebt. Baden-Württembergs Ministerpräsident Winfried Kretschmann über die Fehler seiner Partei in Sachen Migration und Heizungsgesetz – und welche Lehren sie daraus ziehen sollte' 'Aktionen am Stachus; Münchner applaudieren Polizisten, die Klima-Kleber von der Straße zerren Wie angekündigt, hat die ›DLG› am Dienstagmorgen erneut am Stachus und an der Sonnenstraße protestiert. Geld- und Haftstrafen nehmen die aktivist für ihr Anliegen in Kauf.'
supportive	'Was heißt das also? Die DLG, die für Klimaschutz und gegen den ökologischen Kollaps kämpfen kann, sind die Aktivist und aktivist nicht. In ihrer Lebenszeit werde die Welt nicht kippen, sagt auch Schwarze. Ihr Anliegen sei trotzdem grundsätzlich richtig: ›Ich glaube, sie wurden gehört. In der Wissenschaft, in der Wirtschaft, in der Politik.›' 'Thema ist auch der Radverkehr. "Wir brauchen einen Schub auf der Ebene", sagte Erdmann. Zur Diskussion stehen nach niederländischem Vorbild 30 Euro pro Kopf und Jahr für den Radverkehr, finanziert von Land und Kommunen. Das wären in Schleswig-Holstein knapp 90 Millionen Euro. Weitere Anträge sehen ein auf zwei Jahre befristetes Tempolimit auf Autobahnen und einen Klimacheck für Straßenbauprojekte vor. Die Grüne beantragte eine Solidaritätsbekundung mit der Klimagruppe Letzte Generation, die immer wieder Straßen blockiert.' 'Zumindest in Umfragen zeigt sich, dass die Öffentlichkeit in Deutschland nicht mehr so sensibel auf das Reizwort Tempolimit reagiert. Langsam schwenkt die Mehrheit um: Laut Umweltbundesamt befürworten mehr als 60 Prozent der Befragten im Interesse des Umweltschutzes und der Sicherheit ein Tempolimit auf der Autobahn. Bleibt die Frage, wie lange egozentrische Wirk\xadlich\xadkeitsleugner ihr Bedürfnis nach ungebremstem Rasen durch Deutschland noch verteidigen können.'
neutral	'FFF Hannover erklärte zu der Absage, es sei wichtig, Schwarzen, indigenen Menschen und People of Color einen Raum innerhalb der Klimagerechtigkeitsbewegung zu geben. Das Auftreten einer weißen Person mit Dreadlocks könne den Eindruck erwecken, dass es in der Klimaschutzbewegung für diese Menschen keinen geschützten Raum gebe, in dem Diskriminierungen abgebaut würden. ›Deshalb haben wir uns dazu entschieden, Maltzahn abzusagen›, hieß es in der Mitteilung.' 'Mit einer Flut von 22 Gesetzen und 19 Verordnungen bis Ende 2022 („Osterpaket“, „Sommerpaket“) hat das BMWK der Energiewende einen Neustart verordnet. Zentral dabei ist etwa die Umsetzung folgender Pläne: höhere Ausbauziele bei Wind an Land und auf See und bei PV-Strom, also Strom, der mit einer Photovoltaikanlage erzeugt wird; Abschaffung der EEG-Umlage; die Beschleunigung im Verfahren beim Windausbau, schnellere Planung der Stromnetze; die Normen für die Bekämpfung der Gasknappheit inklusive Baubeschleunigung bei den LNG-Terminals; die Ausweitung des nationalen Emissionshandels; die Regelung, Kohlekraftwerke aus der Reserve zu holen, und das jetzt heftig umkämpfte „Gebäude-Energiegesetz“ (GEG), das als „Habecks Heizungsverbot“ für viel Unruhe und Kritik gesorgt hat – und dessen rasche Umsetzung noch vor dem Sommer den nächsten Koalitionskrach bringen wird: Habeck geht davon aus, dass gilt, was im Kabinett beschlossen wurde. Die FDP will nachverhandeln.' 'Zu Gast bei ›Maybrit Illner› sind am Donnerstag: * Kevin Kühnert Generalsekretär SPD * Alexander Dobrindt Landesgruppenchef CSU * Carla Rochel Sprecherin ›DLG› * Karen Pittel Wirtschaftswissenschaftlerin * Robin Alexander stellvertretender ›Welt›-Chefredakteur'

Evaluation

Metrics

Label	Accuracy
all	0.4545

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("cbpuschmann/distiluse-base-multilingual-cased-klimacoder_v0.9")
# Run inference
preds = model("Fans und Gegner des Automobils stehen sich zunehmend unversöhnlich gegenüber: Der Zwist über den Ausbau von Autobahnen und ein Tempolimit könnte sogar die Ampelkoalition sprengen. Die SPIEGEL-Titelgeschichte.")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	17	70.4091	231

Label	Training Sample Count
neutral	59
opposed	55
supportive	62

Training Hyperparameters

batch_size: (32, 32)
num_epochs: (1, 1)
max_steps: -1
sampling_strategy: oversampling
body_learning_rate: (2e-05, 1e-05)
head_learning_rate: 0.01
loss: CosineSimilarityLoss
distance_metric: cosine_distance
margin: 0.25
end_to_end: False
use_amp: False
warmup_proportion: 0.1
l2_weight: 0.01
seed: 42
eval_max_steps: -1
load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0016	1	0.2815	-
0.0775	50	0.2603	-
0.1550	100	0.2237	-
0.2326	150	0.095	-
0.3101	200	0.015	-
0.3876	250	0.0083	-
0.4651	300	0.0069	-
0.5426	350	0.0056	-
0.6202	400	0.0079	-
0.6977	450	0.0027	-
0.7752	500	0.0064	-
0.8527	550	0.005	-
0.9302	600	0.0034	-

Framework Versions

Python: 3.10.12
SetFit: 1.1.0
Sentence Transformers: 3.3.1
Transformers: 4.42.2
PyTorch: 2.5.1+cu121
Datasets: 3.2.0
Tokenizers: 0.19.1

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}

cbpuschmann
/

distiluse-base-multilingual-cased-klimacoder_v0.9