import os from transformers import AutoTokenizer, AutoModelForCausalLM def download_and_convert_model(model_name, output_dir): # Tokenizer ve modeli indir tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained(model_name, trust_remote_code=True) # GGUF formatına dönüştürme işlemleri burada yapılmalıdır # Bu kısım, kullanılan dönüştürme aracına göre değişecektir # Örneğin, 'llama.cpp' kullanılıyorsa ilgili komutlar burada çalıştırılabilir # Dönüştürülmüş modeli output_dir içine kaydet os.makedirs(output_dir, exist_ok=True) tokenizer.save_pretrained(output_dir) model.save_pretrained(output_dir) if __name__ == "__main__": model_name = "deepseek-ai/DeepSeek-R1" output_dir = "DeepSeek_R1_GGUF" # Geçerli bir dizin adı kullanın download_and_convert_model(model_name, output_dir)