Update README.md
Browse files
README.md
CHANGED
@@ -127,13 +127,10 @@ Original file is located at
|
|
127 |
!pip install --upgrade torch
|
128 |
!pip install --upgrade xformers
|
129 |
|
130 |
-
!pip install --upgrade torch
|
131 |
-
!pip install --upgrade xformers
|
132 |
-
|
133 |
!pip install ipywidgets --upgrade
|
134 |
|
135 |
import torch
|
136 |
-
if torch.cuda.get_device_capability()[0] >= 8:
|
137 |
!pip install --no-deps packaging ninja einops "flash-attn>=2.6.3"
|
138 |
|
139 |
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
|
@@ -141,7 +138,7 @@ pip install torch torchvision torchaudio --index-url https://download.pytorch.or
|
|
141 |
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
|
142 |
from unsloth import FastLanguageModel
|
143 |
import torch
|
144 |
-
max_seq_length =
|
145 |
dtype = None # Noneにしておけば自動で設定
|
146 |
load_in_4bit = True # 今回は8Bクラスのモデルを扱うためTrue
|
147 |
|
|
|
127 |
!pip install --upgrade torch
|
128 |
!pip install --upgrade xformers
|
129 |
|
|
|
|
|
|
|
130 |
!pip install ipywidgets --upgrade
|
131 |
|
132 |
import torch
|
133 |
+
if torch.cuda.is_available() and torch.cuda.get_device_capability()[0] >= 8: # まず torch.cuda.is_available() を使ってGPUが存在するかどうかを確認し、存在する場合にのみその次のチェック( torch.cuda.get_device_capability()[0] >= 8)を行います。これにより、GPUが存在しない環境でもエラーを回避
|
134 |
!pip install --no-deps packaging ninja einops "flash-attn>=2.6.3"
|
135 |
|
136 |
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
|
|
|
138 |
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
|
139 |
from unsloth import FastLanguageModel
|
140 |
import torch
|
141 |
+
max_seq_length = 888 # unslothではRoPEをサポートしているのでコンテキスト長は自由に設定可能。2回目Tryは少し大きめ設定。
|
142 |
dtype = None # Noneにしておけば自動で設定
|
143 |
load_in_4bit = True # 今回は8Bクラスのモデルを扱うためTrue
|
144 |
|