Update README.md

README.md

@@ -38,20 +38,92 @@ korean multi-task instruction dataset
 - CUDA Version: 12.2
 
 ## Training
-Refer github
-
+Refer https://github.com/davidkim205/komt
+
+## Usage
+``` 
+from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
+from peft import PeftModel, PeftConfig
+from transformers import TextStreamer, GenerationConfig
+
+
+model='davidkim205/komt-llama2-13b-v1'
+peft_model_name = 'davidkim205/komt-llama2-13b-v1-lora'
+config = PeftConfig.from_pretrained(peft_model_name)
+bnb_config = BitsAndBytesConfig(
+    load_in_4bit=True,
+    bnb_4bit_use_double_quant=True,
+    bnb_4bit_quant_type="nf4",
+    bnb_4bit_compute_dtype=torch.bfloat16
+)
+config.base_model_name_or_path =model
+model = AutoModelForCausalLM.from_pretrained(config.base_model_name_or_path, quantization_config=bnb_config, device_map="auto")
+model = PeftModel.from_pretrained(model, peft_model_name)
+tokenizer = AutoTokenizer.from_pretrained(config.base_model_name_or_path)
+streamer = TextStreamer(tokenizer)
+
+def gen(x):
+    generation_config = GenerationConfig(
+        temperature=0.8,
+        top_p=0.8,
+        top_k=100,
+        max_new_tokens=512,
+        early_stopping=True,
+        do_sample=True,
+    )
+    q = f"### instruction: {x}\n\n### Response: "
+    gened = model.generate(
+        **tokenizer(
+            q,
+            return_tensors='pt',
+            return_token_type_ids=False
+        ).to('cuda'),
+        generation_config=generation_config,
+        pad_token_id=tokenizer.eos_token_id,
+        eos_token_id=tokenizer.eos_token_id,
+        streamer=streamer,
+    )
+    result_str = tokenizer.decode(gened[0])
+
+    start_tag = f"\n\n### Response: "
+    start_index = result_str.find(start_tag)
+
+    if start_index != -1:
+        result_str = result_str[start_index + len(start_tag):].strip()
+    return result_str
+
+print(gen('제주도를 1박2일로 혼자 여행하려고 하는데 여행 코스를 만들어줘'))
+```
+output
+``` 
+### Response: 제주도를 1박2일로 혼자 여행하려면 다음과 같은 여행 코스를 만들어 계획할 수 있습니다:
+
+1일차:
+- 아침: 제주도의 아름다운 해변을 구경하기 위해 해변에 도착하세요. 일출을 감상하며 자연의 아름다움을 만끽하세요.
+- 오후: 제주도의 대표적인 관광지인 한라산을 탐험하세요. 등산로를 따라 올라가면서 경치를 즐기고 설명을 듣으며 쉬운 산책을 즐기세요.
+- 저녁: 제주도의 맛있는 음식점에서 저녁을 보내세요. 신선한 해산물과 향신료로 만든 음식을 맛보는 것은 제주도 여행의 완벽한 경험이 될 것입니다.
+
+2일차:
+- 아침: 한라산 일대를 탐험하기 위해 한라산 케이프로 이동하세요. 이 케이프는 등산을 즐기는 사람들에게 최적의 선택입니다. 
+
+```
 ## Evaluation
 
-For objective model evaluation, we initially used EleutherAI's lm-evaluation-harness but obtained unsatisfactory results. Consequently, we conducted evaluations using ChatGPT, a widely used model, as described in [Self-Alignment with Instruction Backtranslation](https://arxiv.org/pdf/2308.06502.pdf) and [Three Ways of Using Large Language Models to Evaluate Chat](https://arxiv.org/pdf/2308.06259.pdf) .
+| model                                   | score   | average(0~5) | percentage |
+| --------------------------------------- | ------- | ------------ | ---------- |
+| gpt-3.5-turbo(close)                    | 147     | 3.97         | 79.45%     |
+| naver Cue(close)                        | 140     | 3.78         | 75.67%     |
+| clova X(close)                          | 136     | 3.67         | 73.51%     |
+| WizardLM-13B-V1.2(open)                 | 96      | 2.59         | 51.89%     |
+| Llama-2-7b-chat-hf(open)                | 67      | 1.81         | 36.21%     |
+| Llama-2-13b-chat-hf(open)               | 73      | 1.91         | 38.37%     |
+| nlpai-lab/kullm-polyglot-12.8b-v2(open) | 70      | 1.89         | 37.83%     |
+| kfkas/Llama-2-ko-7b-Chat(open)          | 96      | 2.59         | 51.89%     |
+| beomi/KoAlpaca-Polyglot-12.8B(open)     | 100     | 2.70         | 54.05%     |
+| **komt-llama2-7b-v1 (open)(ours)**      | **117** | **3.16**     | **63.24%** |
+| **komt-llama2-13b-v1  (open)(ours)**    | **129** | **3.48**     | **69.72%** |
+
 
-| model                          | score   | average score | %          |
-| ------------------------------ | ------- |---------------|------------|
-| gpt-3.5-turbo                  | 147     | 3.97          | 79.45%     |
-| WizardLM-13B-V1.2              | 96      | 2.59          | 51.89%     |
-| Llama-2-7b-chat-hf             | 67      | 1.81          | 36.21%     |
-| Llama-2-13b-chat-hf            | 73      | 1.91          | 38.37%     |
-| **komt-llama2-7b-v1 (ours)**   | **117** | **3.16**      | **63.24%** |
-| **komt-llama2-13b-v1  (ours)** | **129** | **3.48**      | **69.72%** |
 
 ------------------------------------------------
 # Original model card: Meta's Llama 2 7B-chat