Update README.md
Browse files
README.md
CHANGED
@@ -51,29 +51,30 @@ SampleCodeベース。
|
|
51 |
コンテキスト長の設定がドンピシャだったのか(感)??
|
52 |
|
53 |
# Explanation
|
54 |
-
このコードを簡単に説明すると、「AIをさらに賢くするために、既存のAI
|
55 |
-
|
56 |
|
57 |
1. 何をしている?
|
58 |
-
AI
|
|
|
59 |
|
60 |
-
|
61 |
必要なツールのインストール
|
62 |
-
最初の部分で、「unsloth」という特別なAIツールや「PyTorch」というAI
|
|
|
63 |
|
64 |
-
|
65 |
-
|
66 |
-
4. モデルの読み込みと設定
|
67 |
元になるAIを用意
|
68 |
model_id = "llm-jp/llm-jp-3-13b" というIDから、元のAIモデルを取り出しています。
|
69 |
AIに新しい名前をつける
|
70 |
新しく改良したAIに「llm-jp-3-13b-finetune-ex」という名前を付けています。
|
71 |
|
72 |
-
|
73 |
データセットの加工
|
74 |
-
AIに教えるためのデータ(例: 指示とその正しい回答)を「わかりやすい形」に整えています。
|
|
|
75 |
|
76 |
-
|
77 |
訓練の設定
|
78 |
AIを訓練するためのルールを細かく決めています。たとえば:
|
79 |
どれくらいの速さで学ばせるか(学習率)
|
@@ -81,14 +82,16 @@ AIを訓練するためのルールを細かく決めています。たとえば
|
|
81 |
実際に訓練
|
82 |
用意したデータを使って、AIが「正しい回答を出せるように」練習させます。
|
83 |
|
84 |
-
|
85 |
訓練が終わった後のAIにいくつかテストをして、「ちゃんと賢くなったか?」をチェックしています。
|
86 |
|
87 |
-
|
88 |
改良したAIを特定の場所(インターネット上の「保管庫」)に保存して、いつでも再利用できるようにしています。
|
89 |
文系営業向けポイント
|
90 |
-
このコードは「AI
|
91 |
-
|
|
|
|
|
92 |
|
93 |
# Sample Use
|
94 |
以下は、elyza-tasks-100-TV_0.jsonlの回答用モデルコードです!
|
|
|
51 |
コンテキスト長の設定がドンピシャだったのか(感)??
|
52 |
|
53 |
# Explanation
|
54 |
+
このコードを簡単に説明すると、「AIをさらに賢くするために、既存のAIモデルを細かく調整して新しい用途に適応させる」
|
55 |
+
という作業をGoogle Colab上で行うプログラムです。以下、文系営業向けにわかりやすく説明します。
|
56 |
|
57 |
1. 何をしている?
|
58 |
+
AIモデルを改良する作業をしています。
|
59 |
+
具体的には、「日本語で指示を出すと、それに応じた回答を返すAI」を自社の用途に特化させている最中です。
|
60 |
|
61 |
+
3. どんな準備をしている?
|
62 |
必要なツールのインストール
|
63 |
+
最初の部分で、「unsloth」という特別なAIツールや「PyTorch」というAIを動かすためのソフトを準備しています。
|
64 |
+
これらは、AIを効率よく動かしたり、新しいことを学ばせるために必要です。
|
65 |
|
66 |
+
5. モデルの読み込みと設定
|
|
|
|
|
67 |
元になるAIを用意
|
68 |
model_id = "llm-jp/llm-jp-3-13b" というIDから、元のAIモデルを取り出しています。
|
69 |
AIに新しい名前をつける
|
70 |
新しく改良したAIに「llm-jp-3-13b-finetune-ex」という名前を付けています。
|
71 |
|
72 |
+
6. AIに教える材料を準備
|
73 |
データセットの加工
|
74 |
+
AIに教えるためのデータ(例: 指示とその正しい回答)を「わかりやすい形」に整えています。
|
75 |
+
AIが読みやすい形式にして、「これが入力、これが出力」という形で渡します。
|
76 |
|
77 |
+
8. 訓練(AIを賢くするプロセス)
|
78 |
訓練の設定
|
79 |
AIを訓練するためのルールを細かく決めています。たとえば:
|
80 |
どれくらいの速さで学ばせるか(学習率)
|
|
|
82 |
実際に訓練
|
83 |
用意したデータを使って、AIが「正しい回答を出せるように」練習させます。
|
84 |
|
85 |
+
9. 訓練結果を確認
|
86 |
訓練が終わった後のAIにいくつかテストをして、「ちゃんと賢くなったか?」をチェックしています。
|
87 |
|
88 |
+
10. 改良したAIを保存
|
89 |
改良したAIを特定の場所(インターネット上の「保管庫」)に保存して、いつでも再利用できるようにしています。
|
90 |
文系営業向けポイント
|
91 |
+
このコードは「AIの頭脳をさらに良くする手順」を書いたものです。営業に例えるなら、
|
92 |
+
「AIモデル」は新人営業マンで、「データセット」は営業マニュアル、
|
93 |
+
「訓練」はそのマニュアルをもとにロープレする過程にあたります。
|
94 |
+
コードの目的は、この新人営業マンが特定のお客様のニーズに完璧に応えられるように教育することです。
|
95 |
|
96 |
# Sample Use
|
97 |
以下は、elyza-tasks-100-TV_0.jsonlの回答用モデルコードです!
|