demimomi commited on
Commit
786be79
·
verified ·
1 Parent(s): 34e4e54

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +40 -0
README.md CHANGED
@@ -50,6 +50,46 @@ SampleCodeベース。
50
 
51
  コンテキスト長の設定がドンピシャだったのか(感)??
52
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
53
  # Sample Use
54
  以下は、elyza-tasks-100-TV_0.jsonlの回答用モデルコードです!
55
 
 
50
 
51
  コンテキスト長の設定がドンピシャだったのか(感)??
52
 
53
+ # Explanation
54
+ このコードを簡単に説明すると、「AIをさらに賢くするために、既存のAIモデルを細かく調整して新しい用途に適応させる」という作業をGoogle Colab上で行うプログラムです。
55
+ 以下、文系営業向けにわかりやすく説明します。
56
+
57
+ 1. 何をしている?
58
+ AIモデルを改良する作業をしています。具体的には、「日本語で指示を出すと、それに応じた回答を返すAI」を自社の用途に特化させている最中です。
59
+
60
+ 2. どんな準備をしている?
61
+ 必要なツールのインストール
62
+ 最初の部分で、「unsloth」という特別なAIツールや「PyTorch」というAIを動かすためのソフトを準備しています。これらは、AIを効率よく動かしたり、
63
+
64
+ 新しいことを学ばせるために必要です。
65
+
66
+ 4. モデルの読み込みと設定
67
+ 元になるAIを用意
68
+ model_id = "llm-jp/llm-jp-3-13b" というIDから、元のAIモデルを取り出しています。
69
+ AIに新しい名前をつける
70
+ 新しく改良したAIに「llm-jp-3-13b-finetune-ex」という名前を付けています。
71
+
72
+ 5. AIに教える材料を準備
73
+ データセットの加工
74
+ AIに教えるためのデータ(例: 指示とその正しい回答)を「わかりやすい形」に整えています。AIが読みやすい形式にして、「これが入力、これが出力」という形で渡します。
75
+
76
+ 6. 訓練(AIを賢くするプロセス)
77
+ 訓練の設定
78
+ AIを訓練するためのルールを細かく決めています。たとえば:
79
+ どれくらいの速さで学ばせるか(学習率)
80
+ どのくらいデータを使って練習するか(バッチサイズ、エポック数)
81
+ 実際に訓練
82
+ 用意したデータを使って、AIが「正しい回答を出せるように」練習させます。
83
+
84
+ 7. 訓練結果を確認
85
+ 訓練が終わった後のAIにいくつかテストをして、「ちゃんと賢くなったか?」をチェックしています。
86
+
87
+ 8. 改良したAIを保存
88
+ 改良したAIを特定の場所(インターネット上の「保管庫」)に保存して、いつでも再利用できるようにしています。
89
+ 文系営業向けポイント
90
+ このコードは「AIの頭脳をさらに良くする手順」を書いたものです。営業に例えるなら、「AIモデル」は新人営業マンで、「データセット」は営業マニュアル、
91
+ 「訓練」はそのマニュアルをもとにロープレする過程にあたります。コードの目的は、この新人営業マンが特定のお客様のニーズに完璧に応えられるように教育することです。
92
+
93
  # Sample Use
94
  以下は、elyza-tasks-100-TV_0.jsonlの回答用モデルコードです!
95