demimomi commited on
Commit
a6de415
·
verified ·
1 Parent(s): 786be79

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +18 -15
README.md CHANGED
@@ -51,29 +51,30 @@ SampleCodeベース。
51
  コンテキスト長の設定がドンピシャだったのか(感)??
52
 
53
  # Explanation
54
- このコードを簡単に説明すると、「AIをさらに賢くするために、既存のAIモデルを細かく調整して新しい用途に適応させる」という作業をGoogle Colab上で行うプログラムです。
55
- 以下、文系営業向けにわかりやすく説明します。
56
 
57
  1. 何をしている?
58
- AIモデルを改良する作業をしています。具体的には、「日本語で指示を出すと、それに応じた回答を返すAI」を自社の用途に特化させている最中です。
 
59
 
60
- 2. どんな準備をしている?
61
  必要なツールのインストール
62
- 最初の部分で、「unsloth」という特別なAIツールや「PyTorch」というAIを動かすためのソフトを準備しています。これらは、AIを効率よく動かしたり、
 
63
 
64
- 新しいことを学ばせるために必要です。
65
-
66
- 4. モデルの読み込みと設定
67
  元になるAIを用意
68
  model_id = "llm-jp/llm-jp-3-13b" というIDから、元のAIモデルを取り出しています。
69
  AIに新しい名前をつける
70
  新しく改良したAIに「llm-jp-3-13b-finetune-ex」という名前を付けています。
71
 
72
- 5. AIに教える材料を準備
73
  データセットの加工
74
- AIに教えるためのデータ(例: 指示とその正しい回答)を「わかりやすい形」に整えています。AIが読みやすい形式にして、「これが入力、これが出力」という形で渡します。
 
75
 
76
- 6. 訓練(AIを賢くするプロセス)
77
  訓練の設定
78
  AIを訓練するためのルールを細かく決めています。たとえば:
79
  どれくらいの速さで学ばせるか(学習率)
@@ -81,14 +82,16 @@ AIを訓練するためのルールを細かく決めています。たとえば
81
  実際に訓練
82
  用意したデータを使って、AIが「正しい回答を出せるように」練習させます。
83
 
84
- 7. 訓練結果を確認
85
  訓練が終わった後のAIにいくつかテストをして、「ちゃんと賢くなったか?」をチェックしています。
86
 
87
- 8. 改良したAIを保存
88
  改良したAIを特定の場所(インターネット上の「保管庫」)に保存して、いつでも再利用できるようにしています。
89
  文系営業向けポイント
90
- このコードは「AIの頭脳をさらに良くする手順」を書いたものです。営業に例えるなら、「AIモデル」は新人営業マンで、「データセット」は営業マニュアル、
91
- 「訓練」はそのマニュアルをもとにロープレする過程にあたります。コードの目的は、この新人営業マンが特定のお客様のニーズに完璧に応えられるように教育することです。
 
 
92
 
93
  # Sample Use
94
  以下は、elyza-tasks-100-TV_0.jsonlの回答用モデルコードです!
 
51
  コンテキスト長の設定がドンピシャだったのか(感)??
52
 
53
  # Explanation
54
+ このコードを簡単に説明すると、「AIをさらに賢くするために、既存のAIモデルを細かく調整して新しい用途に適応させる」
55
+ という作業をGoogle Colab上で行うプログラムです。以下、文系営業向けにわかりやすく説明します。
56
 
57
  1. 何をしている?
58
+ AIモデルを改良する作業をしています。
59
+ 具体的には、「日本語で指示を出すと、それに応じた回答を返すAI」を自社の用途に特化させている最中です。
60
 
61
+ 3. どんな準備をしている?
62
  必要なツールのインストール
63
+ 最初の部分で、「unsloth」という特別なAIツールや「PyTorch」というAIを動かすためのソフトを準備しています。
64
+ これらは、AIを効率よく動かしたり、新しいことを学ばせるために必要です。
65
 
66
+ 5. モデルの読み込みと設定
 
 
67
  元になるAIを用意
68
  model_id = "llm-jp/llm-jp-3-13b" というIDから、元のAIモデルを取り出しています。
69
  AIに新しい名前をつける
70
  新しく改良したAIに「llm-jp-3-13b-finetune-ex」という名前を付けています。
71
 
72
+ 6. AIに教える材料を準備
73
  データセットの加工
74
+ AIに教えるためのデータ(例: 指示とその正しい回答)を「わかりやすい形」に整えています。
75
+ AIが読みやすい形式にして、「これが入力、これが出力」という形で渡します。
76
 
77
+ 8. 訓練(AIを賢くするプロセス)
78
  訓練の設定
79
  AIを訓練するためのルールを細かく決めています。たとえば:
80
  どれくらいの速さで学ばせるか(学習率)
 
82
  実際に訓練
83
  用意したデータを使って、AIが「正しい回答を出せるように」練習させます。
84
 
85
+ 9. 訓練結果を確認
86
  訓練が終わった後のAIにいくつかテストをして、「ちゃんと賢くなったか?」をチェックしています。
87
 
88
+ 10. 改良したAIを保存
89
  改良したAIを特定の場所(インターネット上の「保管庫」)に保存して、いつでも再利用できるようにしています。
90
  文系営業向けポイント
91
+ このコードは「AIの頭脳をさらに良くする手順」を書いたものです。営業に例えるなら、
92
+ 「AIモデル」は新人営業マンで、「データセット」は営業マニュアル、
93
+ 「訓練」はそのマニュアルをもとにロープレする過程にあたります。
94
+ コードの目的は、この新人営業マンが特定のお客様のニーズに完璧に応えられるように教育することです。
95
 
96
  # Sample Use
97
  以下は、elyza-tasks-100-TV_0.jsonlの回答用モデルコードです!