I recommend you to run this LORA with KoboldCPP if you need CPU, like me, to perform inference. Below, my command to run this LORA with KoboldCPP: python koboldcpp.py --launch --lora /ai/text/LORAs/ggml-alpaca-lora-ptbr-7b.bin
Recomendo que você execute este arquivo LORA com o KoboldCPP se precisa usar o CPU, como eu, para fazer inferências. Abaixo, meu comando para executar este LORA com o KoboldCPP: python koboldcpp.py --launch --lora /ai/text/LORAs/ggml-alpaca-lora-ptbr-7b.bin
LORAs X Models:
ggml-alpaca-lora-ptbr-7b.bin x MedAlpaca-7B-ggml-q4_0.bin -> Works OK, with a few errors of interpretation ggml-alpaca-lora-ptbr-7b.bin x ggml-alpaca-7b-q4.bin -> Works very good! No relevant errors found
Example prompts in (Brazilian Portuguese) using LORA ggml-alpaca-lora-ptbr-7b.bin X model ggml-alpaca-7b-q4.bin:
qual remédio usar para dor de cabeça?
Para a dor de cabeça, o qual remédio utilizar depende do tipo de dor que se está experimentando. Seu médico pode recomendar algumas medicações como ibuprofeno, acetaminofen ou naproxen, dependendo da severidade da dor.