Update README.md
Browse files
README.md
CHANGED
@@ -5,6 +5,7 @@ base_model:
|
|
5 |
- aiyets/walrus-gemma-2-9b-it-v02
|
6 |
license: gemma
|
7 |
pipeline_tag: text-generation
|
|
|
8 |
---
|
9 |
|
10 |
![walrus](./walrus_mosaic.jpeg)
|
@@ -12,52 +13,12 @@ pipeline_tag: text-generation
|
|
12 |
|
13 |
walrus 는 aiyets의 `한국어` 모델 미세조정 프로젝트입니다.
|
14 |
gemma-2-9b-it 모델이 기본적으로 한국어를 잘하는 편이기 때문에 미세조정 대상으로 선정했습니다.
|
15 |
-
|
16 |
-
<!-- Provide a quick summary of what the model is/does. -->
|
17 |
|
18 |
## Model Details
|
19 |
|
20 |
-
### Model Description
|
21 |
-
|
22 |
-
## How to Get Started with the Model
|
23 |
-
|
24 |
-
Use the code below to get started with the model.
|
25 |
-
|
26 |
-
|
27 |
-
## Evaluation
|
28 |
-
|
29 |
-
- [LogicKor](https://github.com/instructkr/LogicKor). we evaluated by gpt-4o.
|
30 |
-
- [custormized LogicKor](https://github.com/eususu/LogicKor). (support gemma, adding convenience features)
|
31 |
-
|
32 |
-
### Testing Data, Factors & Metrics
|
33 |
-
|
34 |
-
#### Testing Data
|
35 |
-
|
36 |
-
|
37 |
-
|
38 |
-
### Results
|
39 |
-
|
40 |
-
- `LogicKor`
|
41 |
-
|
42 |
-
| 모델 | 글쓰기(Writing) | 문법(Grammar) | 수학(Math) | 이해(Understanding) | 추론(Reasoning) | 코딩(Coding) | Single turn | Multi turn | Overall |
|
43 |
-
| -- | -- | -- | -- | -- | -- | -- | -- | -- | -- |
|
44 |
-
| gemma-2-9b-it| 9.14, 9.14| 6.71, 4.86| 8.57, 8.43| 8.43, 8.29| 8.71, 7.29| 9.29, 9.43| 8.43| 7.90| 8.19|
|
45 |
-
| **walrus-gemma-2-9b-it-v02** | 9.29, 9.43 | 7.29, 5.00 | 7.86, 6.43 | 10.00, 9.57 | 9.00, 7.29 | 9.71, 10.00 | 8.86 | 7.95 | 8.40 |
|
46 |
-
| walrus-gemma-2-9b-it-v01 | 9.14, 9.00 | 7.14, 5.71 | 8.71, 8.00 | 9.86, 9.57 | 8.43, 7.29 | 9.00, 9.43 | 8.71 | 8.17 | 8.44 |
|
47 |
-
|
48 |
-
- [LogicKor result - default.jsonl](./LogicKor/default.jsonl)
|
49 |
-
- [LogicKor result - 1-shot.jsonl](./LogicKor/1-shot.jsonl)
|
50 |
-
- [LogicKor result - cot-1-shot.jsonl](./LogicKor/cot-1-shot.jsonl)
|
51 |
-
|
52 |
#### Summary
|
53 |
|
54 |
-
|
55 |
-
## Version history
|
56 |
-
|
57 |
-
- `2024-10-23`: [v02 version](https://huggingface.co/aiyets/walrus-gemma-2-9b-it-v02) (fix bad eos, 1 epoch -> 2 epoch)
|
58 |
-
- `2024-10-17`: [first version](https://huggingface.co/aiyets/walrus-gemma-2-9b-it-v01) (known issue: bad eos settings)
|
59 |
-
|
60 |
-
|
61 |
## Contact
|
62 |
|
63 |
|
|
5 |
- aiyets/walrus-gemma-2-9b-it-v02
|
6 |
license: gemma
|
7 |
pipeline_tag: text-generation
|
8 |
+
inference: false
|
9 |
---
|
10 |
|
11 |
![walrus](./walrus_mosaic.jpeg)
|
|
|
13 |
|
14 |
walrus 는 aiyets의 `한국어` 모델 미세조정 프로젝트입니다.
|
15 |
gemma-2-9b-it 모델이 기본적으로 한국어를 잘하는 편이기 때문에 미세조정 대상으로 선정했습니다.
|
16 |
+
`이 모델은 gguf 배포버전으로, 상세 정보는 원본 모델을 참조 해주세요.`
|
|
|
17 |
|
18 |
## Model Details
|
19 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
20 |
#### Summary
|
21 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
22 |
## Contact
|
23 |
|
24 |