What is this?
DeepSeek (深度求索)が公式自らDeepSeek-R1をLlama-3.3-70B-Instructに蒸留したThinkingモデル、DeepSeek-R1-Distill-Llama-70BをGGUFフォーマットに変換したものです。
imatrix dataset
日本語能力を重視し、日本語が多量に含まれるTFMC/imatrix-dataset-for-japanese-llmデータセットを使用しました。
なお、計算リソースの関係上imatrixの算出においてはQ8_0量子化モデルを使用しました。
Environment
Windows版llama.cpp-b4514およびllama.cpp-b4453同時リリースのconvert-hf-to-gguf.pyを使用して量子化作業を実施しました。
License
LLAMA 3.3 COMMUNITY LICENSE
Developer
Meta & DeepSeek (深度求索)
Credit
Built with Llama
- Downloads last month
- 0