Update README.md
Browse files
README.md
CHANGED
@@ -50,6 +50,46 @@ SampleCodeベース。
|
|
50 |
|
51 |
コンテキスト長の設定がドンピシャだったのか(感)??
|
52 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
53 |
# Sample Use
|
54 |
以下は、elyza-tasks-100-TV_0.jsonlの回答用モデルコードです!
|
55 |
|
|
|
50 |
|
51 |
コンテキスト長の設定がドンピシャだったのか(感)??
|
52 |
|
53 |
+
# Explanation
|
54 |
+
このコードを簡単に説明すると、「AIをさらに賢くするために、既存のAIモデルを細かく調整して新しい用途に適応させる」という作業をGoogle Colab上で行うプログラムです。
|
55 |
+
以下、文系営業向けにわかりやすく説明します。
|
56 |
+
|
57 |
+
1. 何をしている?
|
58 |
+
AIモデルを改良する作業をしています。具体的には、「日本語で指示を出すと、それに応じた回答を返すAI」を自社の用途に特化させている最中です。
|
59 |
+
|
60 |
+
2. どんな準備をしている?
|
61 |
+
必要なツールのインストール
|
62 |
+
最初の部分で、「unsloth」という特別なAIツールや「PyTorch」というAIを動かすためのソフトを準備しています。これらは、AIを効率よく動かしたり、
|
63 |
+
|
64 |
+
新しいことを学ばせるために必要です。
|
65 |
+
|
66 |
+
4. モデルの読み込みと設定
|
67 |
+
元になるAIを用意
|
68 |
+
model_id = "llm-jp/llm-jp-3-13b" というIDから、元のAIモデルを取り出しています。
|
69 |
+
AIに新しい名前をつける
|
70 |
+
新しく改良したAIに「llm-jp-3-13b-finetune-ex」という名前を付けています。
|
71 |
+
|
72 |
+
5. AIに教える材料を準備
|
73 |
+
データセットの加工
|
74 |
+
AIに教えるためのデータ(例: 指示とその正しい回答)を「わかりやすい形」に整えています。AIが読みやすい形式にして、「これが入力、これが出力」という形で渡します。
|
75 |
+
|
76 |
+
6. 訓練(AIを賢くするプロセス)
|
77 |
+
訓練の設定
|
78 |
+
AIを訓練するためのルールを細かく決めています。たとえば:
|
79 |
+
どれくらいの速さで学ばせるか(学習率)
|
80 |
+
どのくらいデータを使って練習するか(バッチサイズ、エポック数)
|
81 |
+
実際に訓練
|
82 |
+
用意したデータを使って、AIが「正しい回答を出せるように」練習させます。
|
83 |
+
|
84 |
+
7. 訓練結果を確認
|
85 |
+
訓練が終わった後のAIにいくつかテストをして、「ちゃんと賢くなったか?」をチェックしています。
|
86 |
+
|
87 |
+
8. 改良したAIを保存
|
88 |
+
改良したAIを特定の場所(インターネット上の「保管庫」)に保存して、いつでも再利用できるようにしています。
|
89 |
+
文系営業向けポイント
|
90 |
+
このコードは「AIの頭脳をさらに良くする手順」を書いたものです。営業に例えるなら、「AIモデル」は新人営業マンで、「データセット」は営業マニュアル、
|
91 |
+
「訓練」はそのマニュアルをもとにロープレする過程にあたります。コードの目的は、この新人営業マンが特定のお客様のニーズに完璧に応えられるように教育することです。
|
92 |
+
|
93 |
# Sample Use
|
94 |
以下は、elyza-tasks-100-TV_0.jsonlの回答用モデルコードです!
|
95 |
|