请问模型有办法转成gguf吗？
#1
by
kefany
- opened
如题
目前我没有找到合适的办法，llama.cpp的README.md说是支持的，issue里搜rwkv看起来也确实支持，但是转换的时候却出问题了，我尝试修改映射也只是能转几层就出错，所以我不知道这个问题的答案
目前只能推荐考虑使用ai00量化和推理
好的，感谢。另外我想请问一下Seikaijyu/Sex-novel-filtered这个数据集是如何拿来微调的，是否需要先转换成对话形式呢？
不需要，直接加入微调语料
其实是可以的，只是要做点小tweaks（）
详见我和btaskel大佬的讨论（谢谢大佬！）：https://huggingface.co/btaskel/RWKV6-3B-Chn-UnlimitedRP-mini-chat-GGUF/discussions/1
当然也可以直接找转换好的模型直接用就是了