grapevine-AI commited on
Commit
c9e3596
·
verified ·
1 Parent(s): ad00a1a

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +26 -3
README.md CHANGED
@@ -1,3 +1,26 @@
1
- ---
2
- license: llama3.2
3
- ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: llama3.2
3
+ ---
4
+ # What is this?
5
+ 投機的デコードに活用できるLlama3の小型モデル[Llama-3.2-1B-Instruct](https://huggingface.co/meta-llama/Llama-3.2-1B-Instruct)をGGUFフォーマットに変換したものです。
6
+
7
+ # imatrix dataset
8
+ 日本語能力を重視し、日本語が多量に含まれる[TFMC/imatrix-dataset-for-japanese-llm](https://huggingface.co/datasets/TFMC/imatrix-dataset-for-japanese-llm)データセットを使用しました。<br>
9
+ なお、imatrixの算出においてはf32精度のモデルを使用しました。これは、本来の数値精度であるbf16でのimatrix計算に現行のCUDA版llama.cppが対応していないためです。
10
+
11
+ # Chat template
12
+ ```
13
+ <|start_header_id|>system<|end_header_id|>\n\nここにsystemプロンプトを書きます<|eot_id|><|start_header_id|>user<|end_header_id|>\n\nここにMessageを書きます<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n
14
+ ```
15
+
16
+ # Environment
17
+ Windows(CUDA12)版llama.cpp-b4178、およびllama.cppの4286回目のcommit時のconvert_hf_to_gguf.pyを使用して量子化作業を実施しました。
18
+
19
+ # License
20
+ LLAMA 3.2 COMMUNITY LICENSE
21
+
22
+ # Developer
23
+ Meta
24
+
25
+ # Credit
26
+ **Built with Llama**