|
--- |
|
language: |
|
- en |
|
- es |
|
tags: |
|
- pytorch |
|
- causal-lm |
|
- pythia |
|
- llama-cpp |
|
- rp |
|
- roleplay |
|
- juegos de rol |
|
- nsfw |
|
license: apache-2.0 |
|
datasets: |
|
- the_pile |
|
- UnfilteredAI/NSFW-2 |
|
base_model: EleutherAI/pythia-1b |
|
metrics: |
|
- bertscore |
|
pipeline_tag: text-generation |
|
library_name: adapter-transformers |
|
--- |
|
|
|
# Pythia 1b Unfiltered NSFW |
|
|
|
📲 Gracias por mostrar interes en este modelo cuantizado del todopoderoso Novaciano que es capaz de correr en una papa 🥔 de 3Gb de RAM. |
|
|
|
<center><a href="https://imgbb.com/"><img src="https://i.ibb.co/qBDxbB3/Py.gif" alt="Py" border="0"></a></center> |
|
|
|
**✳️ CARACTERÍSTICAS PRINCIPALES** |
|
|
|
**Capacidades de Roleplay:** |
|
|
|
Este modelo se destaca en escenarios de interpretación de roles. Puede asumir personalidades, desarrollar tramas y mantener interacciones dinámicas, ideal para juegos narrativos y simulaciones. |
|
|
|
**Pequeñito:** |
|
|
|
Es 1 billon de parámetros en 500Mb. |
|
|
|
**✴️ POSIBLES UTILIDADES** |
|
|
|
**Narrativa y Escritura Creativa:** |
|
|
|
Perfecto para construir universos ficticios, diseñar personajes complejos y desarrollar historias elaboradas. |
|
|
|
**Apoyo en Investigación y Redacción Académica:** |
|
|
|
Genera borradores, resúmenes y análisis para documentos académicos. |
|
|
|
**Juegos de Rol e Interpretación Escénica:** |
|
|
|
Ideal para personalizar experiencias de roleplay, desde simulaciones históricas hasta campañas de fantasía. |
|
|
|
**Asistencia en Traducción y Localización:** |
|
|
|
Traduce con precisión y adapta textos al contexto cultural del idioma objetivo. |
|
|
|
**Simulación de Escenarios:** |
|
|
|
Crea entornos hipotéticos o alternativos para entrenamiento o experimentación en diversos campos. |
|
|
|
**❗ CONSIDERACIONES IMPORTANTES** |
|
|
|
⚠️ Este modelo no tiene restricciones significativas en cuanto a los temas que puede abordar, lo que lo convierte en una herramienta sin censura apta para usuarios que buscan explorar ideas o narrativas fuera de los límites tradicionales. Sin embargo, su uso responsable recae en el usuario, por lo que no me hago cargo del mal uso que pueda darle. |
|
|
|
📟 Blast Processing integrado. Es casi como DOOM, salvo tests de embarazo es ideal para correrlo en entornos de bajos recursos como celulares / smartphones, tablets o computadoras patatas siempre y cuando cuente, como mínimo, con 3Gb de RAM. |
|
|
|
## Datos de inferencia |
|
|
|
```bash |
|
Context Size: A elección, cuanto mas mejor. |
|
Max Output: A elección, es la cantidad de texto. |
|
Temp: 0.1 | Rep. Pen: 1.1 | Top. P: 1 |
|
Top. K: 0 | Top. A: 0.96 | Typ: 0.6 |
|
TFS: 1 | Min-P: 0 | Pr. Pen: 0 | Smooth F: 0 |
|
Seed: -1 | Rp. Range: 1024 | Rp. Slope: 0.7 |
|
``` |
|
## Usarlo online desde el Google Colab de Koboldcpp |
|
No hay mucho misterio, simplemente dirijase [AQUÍ](https://colab.research.google.com/github/LostRuins/koboldcpp/blob/concedo/colab.ipynb#scrollTo=uJS9i_Dltv8Y), copie y pegue el link de este modelo en 'Models' y pulse sobre el simbolo 'Play' |
|
|
|
No sea ansioso, espere que cargue y le dará un link donde koboldcpp estará corriendo. Si se pausa poner 'Play' de nuevo. |
|
|
|
## Usarlo en Android con koboldcpp via Termux |
|
🇬🇧 You can read the english version of my guide [HERE](https://www.reddit.com/r/KoboldAI/comments/14uxmsn/guide_how_install_koboldcpp_in_android_via_termux/) |
|
|
|
1 - Instalar Termux (Descargarlo desde [AQUÍ](https://f-droid.org/repo/com.termux_1020.apk), la versión de PlayStore está desactualizada). |
|
|
|
2 - Ejecute Termux, se le abrirá la consola de comandos. |
|
|
|
3 - Instale las dependencias necesarias copiando y pegando los siguientes comandos. Si no hace esto, no funcionará: |
|
|
|
```bash |
|
apt-get update |
|
apt-get update |
|
pkg clang wget git cmake |
|
pkg install python |
|
``` |
|
|
|
4 - Escriba el comando: |
|
|
|
```bash |
|
$ termux-change-repo |
|
``` |
|
|
|
5 - Seleccione *"Main Repository"*. |
|
|
|
6 - Luego seleccione *"Mirror by BFSU"*. |
|
|
|
7 - Seleccione *"Aceptar"*. |
|
|
|
8 - Reinicie Termux. |
|
|
|
10 - Descarga Koboldcpp con este comando: |
|
|
|
```bash |
|
wget https://github.com/LostRuins/koboldcpp/archive/refs/tags/v1.80.zip |
|
``` |
|
|
|
**Nota:** *Es la actualización más reciente hasta la fecha. Con el tiempo aparecerán versiones más nuevas. Cuando esto suceda, vaya a la siguiente página:* |
|
|
|
https://github.com/LostRuins/koboldcpp/releases |
|
|
|
|
|
*...y seleccione la versión, copie el enlace del .zip y péguelo después del comando 'wget' como se detalla anteriormente.* |
|
|
|
**Alternativa:** *Si a usted no le importa una posible corrupción de koboldcpp al actualizar con el comando 'git pull' que le haga borrar luego la carpeta junto con los modelos descargados debido a una mala actualización, pero garantizando descargar la ultima versión, puede simplemente instalarlo con el comando:* |
|
|
|
```bash |
|
git clone https://github.com/LostRuins/koboldcpp |
|
``` |
|
|
|
11 - Si la descargó, descomprima la versión descargada con este comando: |
|
|
|
```bash |
|
unzip v1.80.zip |
|
``` |
|
|
|
12 - Cambie el nombre de la carpeta con este comando: |
|
|
|
```bash |
|
mv koboldcpp-v1.80 koboldcpp |
|
``` |
|
|
|
13 - Dirijase a la carpeta 'koboldcpp' con este comando: |
|
|
|
```bash |
|
cd koboldcpp |
|
``` |
|
|
|
14 - Compile e instale Koboldcpp con este comando: |
|
|
|
```bash |
|
make |
|
``` |
|
|
|
15 - Descargue este modelo en una carpeta nueva llamada 'Modelos' que se encuentre en la carpeta raiz de Termux con el siguiente comando: |
|
|
|
```bash |
|
wget https://huggingface.co/Novaciano/Pythia-1b-Unfiltered_NSFW-GGUF/resolve/main/Pythia-1b-Unfiltered_NSFW.gguf |
|
``` |
|
|
|
Si no sabes crear una carpeta, ni bien ejecutes Termux escribe: |
|
|
|
```bash |
|
mkdir Modelos |
|
``` |
|
|
|
**Nota:** *Si desea descargar el modelo en la carpeta Koboldcpp, coloque primero el comando:* |
|
|
|
```bash |
|
cd koboldcpp |
|
``` |
|
|
|
...incluso creo que Koboldcpp que trae su propia carpeta 'Modelos', podes descargarlo ahí tambien. |
|
|
|
16 - Ejecute Koboldcpp junto con este modelo con el siguiente comando: |
|
|
|
```bash |
|
python koboldcpp.py /data/data/com.termux/files/home/modelos/Pythia-1b-Unfiltered_NSFW.gguf 5001 --usecpu --highpriority --smartcontext --flashattention --quantkv 2 --blasbatchsize 2048 --contextsize 4096 |
|
``` |
|
|
|
o, en caso de que haya elegido poner el modelo en la carpeta Koboldcpp: |
|
|
|
```bash |
|
python koboldcpp.py Pythia-1b-Unfiltered_NSFW.gguf 5001 --usecpu --highpriority --smartcontext --flashattention --quantkv 2 --blasbatchsize 2048 --contextsize 4096 |
|
``` |
|
|
|
♿ **Verdadera inclusión:** Si sos un discapacitado sin brazos o con ELA podes descargarte un modelo Whisper [ACÁ](https://huggingface.co/koboldcpp/whisper/resolve/main/whisper-base.en-q5_1.bin?download=true) y agregarle al final de la linea de ejecución: |
|
|
|
```bash |
|
--whispermodel /data/data/com.termux/files/home/modelos/whisper-base.en-q5_1.bin |
|
``` |
|
|
|
**Nota:** *Podés editar el archivo .bash_history y agregarle la linea de ejecución para que quede guardada, para editarla vas a tener que habilitar la visualización de archivos ocultos. Hecho esto, cada vez que se ejecute Termux pulsas la flecha arriba y aparecerá la linea de comando de ejecución.* |
|
|
|
17 - Ejecutado el modelo y sin cerrar la consola de Termux pon en tu navegador: |
|
|
|
http://localhost:8000 |
|
|
|
## (Extra) Koboldcpp + SillyTavern |
|
El tutorial sobre como instalar SillyTavern en Android puede leerlo [AQUÍ](https://rentry.org/STAI-Termux) |
|
|
|
**[Local]** ...y poner la IP de la dirección local de Koboldcpp (Ejemplo: http://localhost:5001). Esto si se ha ejecutado junto con koboldcpp. |
|
Ingresar a la carpeta de SillyTavern en paralelo iniciando otra sesión en Termux y ejecutar el siguiente comando: |
|
|
|
```bash |
|
./start.sh --disableCsrf |
|
``` |
|
|
|
**[OnLine]** ...o crea una cuenta en en la página Open AI / Horde y coloca la clave API. Intente tomar la clave API en los siguientes enlaces: [OpenAI](https://platform.openai.com/account/api-keys) o [Horde AI](https://horde.koboldai.net/register) |
|
|
|
|
|
**Nota:** *Para actualizar SillyTavern simplemente ingrese a su carpeta y escriba el comando:* |
|
|
|
```bash |
|
git pull |
|
|
|
``` |
|
|
|
## Mis bots para Koboldcpp / SillyTavern |
|
Cuento con una buena cantidad de bots, la mayoría en castellano. Puede encontrarlos [AQUÍ](https://chub.ai/users/Novaciano). |
|
|
|
## Usarlo con llama.cpp (Si tenés una PC decente) |
|
Instale llama.cpp a través de brew (funciona en Mac y Linux) |
|
|
|
```bash |
|
brew install llama.cpp |
|
``` |
|
|
|
Invoque el Servidor llama.cpp o la CLI. |
|
|
|
**CLI:** |
|
|
|
```bash |
|
llama-cli --hf-repo Novaciano/Pythia-1b-Unfiltered_NSFW-GGUF --hf-file Pythia-1b-Unfiltered_NSFW.gguf -p "Argentina va a superar su crisis financiera cuando" |
|
``` |
|
|
|
**SERVIDOR:** |
|
|
|
```bash |
|
llama-server --hf-repo Novaciano/Pythia-1b-Unfiltered_NSFW-GGUF --hf-file Pythia-1b-Unfiltered_NSFW-GGUF.gguf -c 2048 |
|
``` |
|
|
|
**Nota:** *También puede utilizar este punto de control directamente a través de los [Pasos de uso](https://github.com/ggerganov/llama.cpp?tab=readme-ov-file#usage) incluido en el repositorio Llama.cpp.* |
|
|
|
**Paso 1:** Clonar llama.cpp desde GitHub. |
|
|
|
``` |
|
git clone https://github.com/ggerganov/llama.cpp |
|
``` |
|
|
|
**Paso 2:** Vaya a la carpeta llama.cpp y constrúyalo con bandera `LLAMA_CURL=1` junto con otras banderas específicas del hardware (por ejemplo: LLAMA_CUDA=1 para GPUs Nvidia en Linux). |
|
|
|
``` |
|
cd llama.cpp && LLAMA_CURL=1 make |
|
``` |
|
|
|
**Paso 3:** Ejecutar la inferencia a través del binario principal. |
|
|
|
``` |
|
./llama-cli --hf-repo Novaciano/Pythia-1b-Unfiltered_NSFW-GGUF --hf-file Pythia-1b-Unfiltered_NSFW.gguf -p "Argentina va a superar su crisis financiera cuando" |
|
``` |
|
|
|
o también con |
|
|
|
``` |
|
./llama-server --hf-repo Novaciano/Pythia-1b-Unfiltered_NSFW-GGUF --hf-file Pythia-1b-Unfiltered_NSFW.gguf -c 2048 |
|
``` |
