File size: 1,788 Bytes
2c8fb34 b887ca1 2c8fb34 b887ca1 0075f9a 09080a3 24cc08d b887ca1 3d68337 b887ca1 6746d2b b887ca1 6897755 b887ca1 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 |
---
license: apache-2.0
language:
- ja
widget:
- text: 人とAIが協調するためには、
---
# Mixtral-8x7B-Instruct-v0.1-japanese-alpha
Mixtral-8x7B-Instruct-v0.1-japanese-alphaは[Mixtral-8x7B-Instruct-v0.1](https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0.1)をベースに日本語の語彙拡張継続事前学習を実施した学習途中のモデルです。
[ABEJAのテックブログ](https://tech-blog.abeja.asia/entry/abeja-nedo-project-part1-202404)にて評価を実施した途中結果モデルとして公開しています。
学習を実施したMetagton-LMのレポジトリは[こちら](https://github.com/abeja-inc/Megatron-LM)です。
# 使い方
``` python
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "abeja/Mixtral-8x7B-Instruct-v0.1-japanese-alpha"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
model_name,
torch_dtype=torch.float16,
use_cache=True,
device_map="auto",
)
model.eval()
input_text = """# system
誠実で紳士的で優秀なAIアシスタントとして、簡潔でわかりやすく役に立つ回答を自信をもって答えなさい。
# question
人とAIが協調するためには？
# answer"""
input_ids = tokenizer.encode(input_text, return_tensors="pt")
with torch.no_grad():
output_ids = model.generate(
input_ids.to(model.device),
max_new_tokens=256,
pad_token_id=tokenizer.pad_token_id,
eos_token_id=tokenizer.eos_token_id,
)
output = tokenizer.decode(output_ids.tolist()[0], skip_special_tokens=True)
print(output)
```
# 開発者
- Keisuke Fujimoto
- Kentaro Nakanishi
- Kyo Hattori
- Shinya Otani
- Shogo Muranushi
(*)アルファベット順
|