Update README.md

README.md

@@ -1,3 +1,51 @@
 ---
 license: apache-2.0
+language:
+- ja
+widget:
+- text: 人とAIが協調するためには、
 ---
+
+# Mixtral-8x7B-Instruct-v0.1-japanese-alpha-merged
+
+Mixtral-8x7B-v0.1-japanese-alpha-mergedは[Mixtral-8x7B-Instruct-v0.1](https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0.1)をベースに日本語の語彙拡張継続事前学習を実施した[学習途中のモデル](https://huggingface.co/abeja/Mixtral-8x7B-Instruct-v0.1-japanese-alpha)に対して、差分マージを実施したモデルです。
+[ABEJAのテックブログ](https://tech-blog.abeja.asia/)にて評価を実施した途中結果モデルとして公開しています。
+
+
+# 使い方
+``` python
+import torch
+from transformers import AutoModelForCausalLM, AutoTokenizer
+
+model_name = "abeja/Mixtral-8x7B-Instruct-v0.1-japanese-alpha-merged"
+
+tokenizer = AutoTokenizer.from_pretrained(model_name)
+model = AutoModelForCausalLM.from_pretrained(
+    model_name,
+    torch_dtype=torch.float16,
+    use_cache=True,
+    device_map="auto",
+)
+model.eval()
+
+text = "人とAIが協調するためには、"
+input_ids = tokenizer.encode(input_text, return_tensors="pt")
+
+with torch.no_grad():
+    output_ids = model.generate(
+        token_ids.to(model.device),
+        max_new_tokens=256,
+        pad_token_id=tokenizer.pad_token_id,
+        eos_token_id=tokenizer.eos_token_id,
+    )
+output = tokenizer.decode(output_ids.tolist()[0], skip_special_tokens=True)
+print(output)
+```
+
+# 開発者
+- Kentaro Nakanishi
+- Keisuke Fujimoto
+- Kyo Hattori
+- Shinya Otani
+- Shogo Muranushi  
+(*)アルファベット順