Tu Nombre commited on
Commit
258cf05
1 Parent(s): c21c3bc

Fix Dockerfile and Modelfile configuration

Browse files
Files changed (2) hide show
  1. Dockerfile +17 -22
  2. Modelfile +7 -2
Dockerfile CHANGED
@@ -1,35 +1,30 @@
1
  FROM python:3.9
2
 
 
3
  RUN apt-get update && apt-get install -y curl wget netcat-traditional && \
4
- curl -fsSL https://ollama.com/install.sh | sh
 
5
 
6
- RUN useradd -m -u 1000 user
7
  WORKDIR /app
8
 
9
- COPY --chown=user ./requirements.txt requirements.txt
10
- RUN pip install --no-cache-dir --upgrade -r requirements.txt
11
- COPY --chown=user . /app
12
 
13
- # Create Modelfile
14
- RUN echo 'FROM llama3
15
 
16
- PARAMETER temperature 0.7
17
- PARAMETER top_k 40
18
- PARAMETER top_p 0.7
19
- PARAMETER repeat_penalty 1.1
20
- PARAMETER num_ctx 1024
21
- PARAMETER num_thread 4
22
- PARAMETER num_gpu 0
23
 
24
- TEMPLATE "Tu rol es ser un asistente de Desarrollo Humano especializado en la 12va edici贸n del libro de Papalia.\n\n{{ .Prompt }}"' > /app/Modelfile
25
-
26
- RUN printf '#!/bin/bash
27
  ulimit -v unlimited
28
  ollama serve --verbose &
29
  timeout=60
30
  until nc -z localhost 11434 || [ $timeout -le 0 ]; do
31
- sleep 1
32
- ((timeout--))
33
  done
34
  cd /app
35
  ollama create llama3.2:1b-papalia -f Modelfile
@@ -38,10 +33,10 @@ exec uvicorn app:app --host 0.0.0.0 --port 7860 --workers 1 --limit-concurrency
38
  RUN chmod +x /app/start.sh
39
 
40
  USER user
41
- ENV PATH="/home/user/.local/bin:$PATH"
42
- ENV MALLOC_ARENA_MAX=2
43
 
44
  HEALTHCHECK --interval=30s --timeout=10s --start-period=60s --retries=3 \
45
- CMD curl -f http://localhost:7860/health || exit 1
46
 
47
  CMD ["/app/start.sh"]
 
1
  FROM python:3.9
2
 
3
+ # Setup
4
  RUN apt-get update && apt-get install -y curl wget netcat-traditional && \
5
+ curl -fsSL https://ollama.com/install.sh | sh && \
6
+ useradd -m -u 1000 user
7
 
 
8
  WORKDIR /app
9
 
10
+ # Install dependencies
11
+ COPY --chown=user requirements.txt .
12
+ RUN pip install --no-cache-dir -r requirements.txt
13
 
14
+ # Copy files
15
+ COPY --chown=user . .
16
 
17
+ # Create files
18
+ COPY --chown=user Modelfile /app/Modelfile
 
 
 
 
 
19
 
20
+ # Start script
21
+ RUN echo '#!/bin/bash
 
22
  ulimit -v unlimited
23
  ollama serve --verbose &
24
  timeout=60
25
  until nc -z localhost 11434 || [ $timeout -le 0 ]; do
26
+ sleep 1
27
+ ((timeout--))
28
  done
29
  cd /app
30
  ollama create llama3.2:1b-papalia -f Modelfile
 
33
  RUN chmod +x /app/start.sh
34
 
35
  USER user
36
+ ENV PATH="/home/user/.local/bin:$PATH" \
37
+ MALLOC_ARENA_MAX=2
38
 
39
  HEALTHCHECK --interval=30s --timeout=10s --start-period=60s --retries=3 \
40
+ CMD curl -f http://localhost:7860/health || exit 1
41
 
42
  CMD ["/app/start.sh"]
Modelfile CHANGED
@@ -1,8 +1,13 @@
1
  FROM llama3
 
 
2
 
3
- SYSTEM "Eres un asistente especializado en Desarrollo Humano, basado en la duod茅cima edici贸n del libro de Papalia. Tu objetivo es proporcionar informaci贸n precisa y actualizada sobre el desarrollo humano a lo largo del ciclo vital. Base tu conocimiento en la obra de Diane E. Papalia, Ruth Duskin Feldman y Gabriela Martorell. Utiliza siempre evidencia cient铆fica y ejemplos del libro para respaldar tus respuestas."
4
-
5
  PARAMETER temperature 0.7
6
  PARAMETER top_k 40
7
  PARAMETER top_p 0.7
8
  PARAMETER repeat_penalty 1.1
 
 
 
 
1
  FROM llama3
2
+ TEMPLATE """
3
+ Tu rol es ser un asistente de Desarrollo Humano especializado en la 12va edici贸n del libro de Papalia.
4
 
5
+ {{ .Prompt }}
6
+ """
7
  PARAMETER temperature 0.7
8
  PARAMETER top_k 40
9
  PARAMETER top_p 0.7
10
  PARAMETER repeat_penalty 1.1
11
+ PARAMETER num_ctx 1024
12
+ PARAMETER num_thread 4
13
+ PARAMETER num_gpu 0