Update README.md
Browse files
README.md
CHANGED
|
@@ -31,6 +31,39 @@ make -j
|
|
| 31 |
./main -m 'ELYZA-japanese-CodeLlama-7b-q4_0.gguf' -n 256 -p '# Pythonで Hello, World! を出力する'
|
| 32 |
```
|
| 33 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 34 |
### Licence
|
| 35 |
|
| 36 |
Llama 2 is licensed under the LLAMA 2 Community License, Copyright (c) Meta Platforms, Inc. All Rights Reserved.
|
|
|
|
| 31 |
./main -m 'ELYZA-japanese-CodeLlama-7b-q4_0.gguf' -n 256 -p '# Pythonで Hello, World! を出力する'
|
| 32 |
```
|
| 33 |
|
| 34 |
+
## コードの変換
|
| 35 |
+
llama.cppのconvert.pyで変換するとエラーになってしまうので、下記の方法で変換できます。
|
| 36 |
+
|
| 37 |
+
- [tokenizer.model](https://huggingface.co/elyza/ELYZA-japanese-Llama-2-7b/resolve/main/tokenizer.model?download=true) を持ってきてモデルディレクトリに配置してください。
|
| 38 |
+
- added_tokens.jsonに下記内容で保存してモデルディレクトリに配置してください。
|
| 39 |
+
~~~javascript
|
| 40 |
+
{
|
| 41 |
+
"<SU": 32000,
|
| 42 |
+
"<SUF": 32001,
|
| 43 |
+
"<PRE": 32002,
|
| 44 |
+
"<M": 32003,
|
| 45 |
+
"<MID": 32004,
|
| 46 |
+
"<E": 32005,
|
| 47 |
+
"<EOT": 32006,
|
| 48 |
+
"<PRE>": 32007,
|
| 49 |
+
"<SUF>": 32008,
|
| 50 |
+
"<MID>": 32009,
|
| 51 |
+
"<EOT>": 32010,
|
| 52 |
+
"<EOT><EOT>": 32011,
|
| 53 |
+
"<EOT><EOT><EOT>": 32012,
|
| 54 |
+
"<EOT><EOT><EOT><EOT>": 32013,
|
| 55 |
+
"<EOT><EOT><EOT><EOT><EOT>": 32014,
|
| 56 |
+
"<EOT><EOT><EOT><EOT><EOT><EOT>": 32015
|
| 57 |
+
}
|
| 58 |
+
~~~
|
| 59 |
+
|
| 60 |
+
~~~bash
|
| 61 |
+
convert.py "<model_to_path>" --outtype f16
|
| 62 |
+
~~~
|
| 63 |
+
で変換できます。
|
| 64 |
+
|
| 65 |
+
|
| 66 |
+
|
| 67 |
### Licence
|
| 68 |
|
| 69 |
Llama 2 is licensed under the LLAMA 2 Community License, Copyright (c) Meta Platforms, Inc. All Rights Reserved.
|