Update README.md

README.md

@@ -17,11 +17,85 @@ model-index:
 This model is a fine-tuned version of [tiiuae/falcon-40b](https://huggingface.co/tiiuae/falcon-40b) on the [BramVanroy/alpaca-dolly-dutch](https://huggingface.co/datasets/BramVanroy/alpaca-dolly-dutch) dataset.
 See the original [tiiuae/falcon-40b](https://huggingface.co/tiiuae/falcon-40b) for more information, intended use, and biases.
 
-
 ## Intended uses & limitations
 
 This model is intended as a (poor) baseline for Dutch generative LLMs. It by no means aims to provide SOTA performance and is specifically intended for research purposes and experimentation.
 
+## Example usage
+
+In the example below, you see  a query `Wat hoort er niet in dit rijtje thuis? Leg ook uit waarom.` ("What does not belong in the list? Explain why.") with given input "aap, muis, auto, vogel" ("monkey, mouse, car, bird").
+
+The model "replies" (cut off due to `max_new_tokens`):
+
+> "Auto" hoort niet in het rijtje, omdat het geen levend wezen is.
+> Een auto is een voertuig dat wordt aangedreven door een motor en wordt gebruikt om mensen en goederen van de ene plaats naar de andere te verplaatsen. Het is een machine gemaakt door mensen, in tegenstelling tot levende wezens zoals een aap, een muis of een vogel.
+> Auto's zijn gemaakt van metalen, plastic en andere materialen, terwijl levende organismen bestaan uit cellen en weefsels. Auto's
+
+```python
+import torch
+from transformers import AutoModelForCausalLM, AutoTokenizer
+
+
+def format_alpaca_sample(instruction: str, input_text: str):
+    if len(input_text) >= 2:
+        text = f'''Hieronder staat een instructie `Instruction` die een taak beschrijft, gecombineerd met een invoer `Input` die verdere context biedt. Schrijf een antwoord na `Response:` dat het verzoek op de juiste manier voltooit of beantwoordt.
+
+### Instruction:
+{instruction}
+
+### Input:
+{input_text}
+
+### Response:
+
+'''
+    else:
+        text = f'''Hieronder staat een instructie `Instruction` die een taak beschrijft. Schrijf een antwoord na `Response:` dat het verzoek op de juiste manier voltooit of beantwoordt.
+
+### Instruction:
+{instruction}
+
+### Response:
+'''
+    return text
+
+
+@torch.no_grad()
+def generate(model, tokenizer, instruction: str, input_text: str = ""):
+    input_prompt = format_alpaca_sample(instruction, input_text)
+    inputs = tokenizer([input_prompt], return_tensors="pt")
+    generated_ids = model.generate(
+        input_ids=inputs["input_ids"].to(model.device),
+        attention_mask=inputs["attention_mask"].to(model.device),
+        max_new_tokens=128,
+        temperature=0.4,
+        num_beams=3,
+        no_repeat_ngram_size=4,
+        length_penalty=0.9,
+        early_stopping=True,
+        num_return_sequences=1,
+        eos_token_id=tokenizer.eos_token_id,
+    ).detach().to("cpu")[0]
+    return tokenizer.decode(generated_ids)
+
+
+model_name = "BramVanroy/falcon-40b-ft-alpaca-dolly-dutch"
+tokenizer = AutoTokenizer.from_pretrained(model_name)
+model = AutoModelForCausalLM.from_pretrained(
+    model_name,
+    load_in_4bit=True,
+    torch_dtype=torch.bfloat16,
+    trust_remote_code=True,
+    device_map="auto"
+)
+model.eval()
+
+instruction = "Wat hoort er niet in dit rijtje thuis? Leg ook uit waarom."
+input_text = "aap, muis, auto, vogel"
+generation = generate(model, tokenizer, instruction, input_text)
+
+```
+
 ## Training and evaluation data
 
 Trained on the synthetic [BramVanroy/alpaca-dolly-dutch](https://huggingface.co/datasets/BramVanroy/alpaca-dolly-dutch) instruction dataset.