Localde Çalıştırmak İçin Bir Soru
Selamlar, model için elinize sağlık çok teşekkürler.
Modelin dosyalarını çektim, offline olarak çalıştırmak istiyorum. Fakat Model card alanındaki python kodunu çalıştırdığımda dosyaları yeniden çekiyor. Daha önce indirdiklerim üzerinden nasıl çalıştırırım.
Bu alanda çok yeniyim, sorumun basitliği için kusura bakmayın.
Merhabalar, modelin ismi yerine olduğu dosyanın yolunun tamamını girerseniz modeli oradan çeker. Ancak, bu modeli localde çalıştırmak için yeterli GPU kaynaklarına sahip olduğunuzdan emin misiniz ?
Kolay Gelsin.
Merhaba, cevabınız için çok teşekkür ederim.
Dosya yolunu bu şekilde yazdığımda da kırmızı işaretlediğim hatayı alıyorum.
Ayrıca modeli localde çalıştırmak için 16GB VRAM yeterli olur mu?
Hatayı çözmek için bunu kullanabilirsiniz:pip install git+https://github.com/haotian-liu/LLaVA.git --no-deps.
16GB VRam yterli olmayıp modeli quantize etmeniz gerekecektir.
Kolay Gelsin.