convert_to_gguf.py

import os
from transformers import AutoTokenizer, AutoModelForCausalLM

def download_and_convert_model(model_name, output_dir):
    # Tokenizer ve modeli indir
    tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
    model = AutoModelForCausalLM.from_pretrained(model_name, trust_remote_code=True)

    # GGUF formatına dönüştürme işlemleri burada yapılmalıdır
    # Bu kısım, kullanılan dönüştürme aracına göre değişecektir
    # Örneğin, 'llama.cpp' kullanılıyorsa ilgili komutlar burada çalıştırılabilir

    # Dönüştürülmüş modeli output_dir içine kaydet
    os.makedirs(output_dir, exist_ok=True)
    tokenizer.save_pretrained(output_dir)
    model.save_pretrained(output_dir)

if __name__ == "__main__":
    model_name = "deepseek-ai/DeepSeek-R1"
    output_dir = "DeepSeek_R1_GGUF"  # Geçerli bir dizin adı kullanın
    download_and_convert_model(model_name, output_dir)