Update README.md
Browse files
README.md
CHANGED
@@ -21,6 +21,25 @@ This llama model was trained 2x faster with [Unsloth](https://github.com/unsloth
|
|
21 |
|
22 |
[<img src="https://raw.githubusercontent.com/unslothai/unsloth/main/images/unsloth%20made%20with%20love.png" width="200"/>](https://github.com/unslothai/unsloth)
|
23 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
24 |
|
25 |
# ■ kazuHF/llm-jp-3-13b-it2_loraの概要
|
26 |
|
|
|
21 |
|
22 |
[<img src="https://raw.githubusercontent.com/unslothai/unsloth/main/images/unsloth%20made%20with%20love.png" width="200"/>](https://github.com/unslothai/unsloth)
|
23 |
|
24 |
+
# ■ kazuHF/llm-jp-3-13b-it2_loraによる推論方法
|
25 |
+
|
26 |
+
1. 環境設定
|
27 |
+
- 以下の説明はGoogle Colaboratory上での利用を想定している。事前にhardware acceleratorでGPUを選択しておく。
|
28 |
+
|
29 |
+
```bash
|
30 |
+
# Googleドライブに接続
|
31 |
+
from google.colab import drive
|
32 |
+
drive.mount('/content/drive')
|
33 |
+
# 接続しているGPUの種類
|
34 |
+
!nvidia-smi
|
35 |
+
|
36 |
+
# 必要なライブラリのインストール
|
37 |
+
!pip install unsloth -q
|
38 |
+
!pip uninstall unsloth -y && pip install --upgrade --no-cache-dir "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git" -q
|
39 |
+
!pip install -U torch -q
|
40 |
+
!pip install -U peft -q
|
41 |
+
```
|
42 |
+
|
43 |
|
44 |
# ■ kazuHF/llm-jp-3-13b-it2_loraの概要
|
45 |
|