demimomi commited on
Commit
98aff97
·
verified ·
1 Parent(s): f1dc1ed

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +2 -5
README.md CHANGED
@@ -127,13 +127,10 @@ Original file is located at
127
  !pip install --upgrade torch
128
  !pip install --upgrade xformers
129
 
130
- !pip install --upgrade torch
131
- !pip install --upgrade xformers
132
-
133
  !pip install ipywidgets --upgrade
134
 
135
  import torch
136
- if torch.cuda.get_device_capability()[0] >= 8:
137
  !pip install --no-deps packaging ninja einops "flash-attn>=2.6.3"
138
 
139
  pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
@@ -141,7 +138,7 @@ pip install torch torchvision torchaudio --index-url https://download.pytorch.or
141
  from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
142
  from unsloth import FastLanguageModel
143
  import torch
144
- max_seq_length = ??? # unslothではRoPEをサポートしているのでコンテキスト長は自由に設定可能。2回目Tryは少し大きめ設定。いったん非公開に!
145
  dtype = None # Noneにしておけば自動で設定
146
  load_in_4bit = True # 今回は8Bクラスのモデルを扱うためTrue
147
 
 
127
  !pip install --upgrade torch
128
  !pip install --upgrade xformers
129
 
 
 
 
130
  !pip install ipywidgets --upgrade
131
 
132
  import torch
133
+ if torch.cuda.is_available() and torch.cuda.get_device_capability()[0] >= 8:  # まず torch.cuda.is_available() を使ってGPUが存在するかどうかを確認し、存在する場合にのみその次のチェック( torch.cuda.get_device_capability()[0] >= 8)を行います。これにより、GPUが存在しない環境でもエラーを回避
134
  !pip install --no-deps packaging ninja einops "flash-attn>=2.6.3"
135
 
136
  pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
 
138
  from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
139
  from unsloth import FastLanguageModel
140
  import torch
141
+ max_seq_length = 888 # unslothではRoPEをサポートしているのでコンテキスト長は自由に設定可能。2回目Tryは少し大きめ設定。
142
  dtype = None # Noneにしておけば自動で設定
143
  load_in_4bit = True # 今回は8Bクラスのモデルを扱うためTrue
144