Fine-Tuning için kullanılan dokümantasyonlar.
Merhabalar öncelikle çalışmanız çok güzel tebrik ederim. Biz de İstanbul Medeniyet Üniversitesi Bilgisayar Mühendisliğinden 2 arkadaş olarak bitirme tezimiz için bu modeli video understanding için fine-tune etmeyi planlıyoruz. Verisetimiz hazır ve biraz büyük(200 gb civarı). Google TRC'den kabul aldık fakat nasıl kullanacağımızı bilmiyoruz. Sizin çalışmalarınızı incelediğimde LLaMA turkish için TRC Cloud kullanmışsınız. Modelleri TPU'ya nasıl atıyorsunuz? Verisetinizi nasıl Cloud'da depoluyorsunuz bunlar hakkında bir takım sorularım olacaktı. Bitirme sonrasında bu çalışmayı makale olarak yayınlamayı planlıyoruz isterseniz COSMOS takımıyla birlikte çalışabiliriz :). Bu tarz sorular için iletişime geçmek isterim. Yardımınız için şimdiden teşekkürler.
TPU'ları dil modelimizi eğitirken kullanacağımız metin verilerini seçerken kullandık. Milyar ve üzeri parametreli veya görüntü modelleri için TPU kullanmadık. Cloud'da depolama için ise verisetini tfrecords formatında bucket oluşturarak depoladık.
Cevabınız için teşekkürler. Peki fine-tune için önerebileceğiniz kaynaklar var mıdır? Siz hangi kaynaklardan eğitim yaptınız ve ücret olarak ne kadar tuttu? Bizim verimiz videolar ve türkçe captionlar içeriyor. Sizce bizim için maliyeti ortalama ne kadar tutar?
google cloud ve huggingface dokümantasyon ve tutoriallarındaki örneklerden ve huggingface transformers github sayfasındaki example klasörü altındaki kodlardan faydalandık. Google cloud başlangıçta ücretsiz bir kredi veriyor ve gün gün neye neyin ne kadar tuttuğunu görebiliyorsunuz. Veriyi depolamak için kullancağınız bucket'in coğrafi olarak yeri bile önemli tpu ile aynı olmalı örneğin.
Anladım teşekkür ederim yardımınız için kolay gelsin.