README.md

---
license: llama3
language:
- ko
- en
library_name: transformers
pipeline_tag: text-generation
---

- Basemodel [MLP-KTLim/llama-3-Korean-Bllossom-8B](https://huggingface.co/MLP-KTLim/llama-3-Korean-Bllossom-8B)
- Dataset 
  - [AI Hub - 한국어 성능이 개선된 초거대AI 언어모델 개발 및 데이터](https://www.aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&dataSetSn=71748)

### Python code with Pipeline
```python
import transformers
import torch

model_id = "VIRNECT/llama-3-Korean-8B-V2"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

pipeline.model.eval()

PROMPT = '''당신은 인간과 대화하는 친절한 챗봇입니다. 질문에 대한 정보를 상황에 맞게 자세히 제공합니다. 당신이 질문에 대한 답을 모른다면, 사실은 모른다고 말합니다.'''
instruction = "화학공학이 다른 공학 분야와 어떻게 다른가요?"

messages = [
    {"role": "system", "content": f"{PROMPT}"},
    {"role": "user", "content": f"{instruction}"}
]

prompt = pipeline.tokenizer.apply_chat_template(
        messages, 
        tokenize=False, 
        add_generation_prompt=True
)

terminators = [
    pipeline.tokenizer.eos_token_id,
    pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = pipeline(
    prompt,
    max_new_tokens=2048,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9
)

print(outputs[0]["generated_text"][len(prompt):])
```