Implementación local de Ollama con Docker Compose

En este repositorio encontrarás una implementación práctica de Ollama ejecutándose de forma local mediante Docker Compose. Ollama es una plataforma que facilita la ejecución de modelos de lenguaje avanzados, como los modelos de la serie LLaMA, directamente en tu máquina, sin depender de servicios externos.

¿Qué ofrece esta implementación?

• Despliegue sencillo con Docker Compose:
  Gracias a Docker Compose, levantar el entorno de Ollama es rápido y reproducible, asegurando que todas las dependencias y configuraciones estén listas para usar.
• Acceso a modelos LLaMA locales:
  Puedes consultar modelos como llama3.2:3b directamente a través de una API REST expuesta en localhost.
• Gestión de modelos dinámica:
  Permite listar los modelos disponibles y agregar nuevos modelos mediante solicitudes HTTP, facilitando la administración desde cualquier cliente.

Ejemplos de uso

• Realizar una consulta al modelo:

curl --location 'http://localhost:11434/v1/completions' \
--header 'Content-Type: application/json' \
--data '{ 
  "model": "llama3.2:3b", 
  "prompt": "Cual es la definición de docker?, Genera la respuesta breve con un tono técnico y solo en lenguaje en Spanish" 
}'

Esta petición devuelve una respuesta generada por el modelo LLaMA 3.2 de 3 mil millones de parámetros, con un tono técnico y en español.

• Listar modelos disponibles:

curl --location 'http://localhost:11434/v1/models'

• Agregar un nuevo modelo:

curl --location 'http://localhost:11434/api/pull' \
--header 'Content-Type: application/json' \
--data '{"model": "llama3.2:3b"}'

¿Por qué usar Ollama localmente?

• Privacidad y control total: Mantén tus datos y consultas en tu entorno local sin depender de la nube.
• Velocidad y disponibilidad: Reduce la latencia y dependencia de conexión a internet.
• Flexibilidad: Puedes personalizar y administrar los modelos que necesitas según tus proyectos.

Si quieres explorar cómo ejecutar modelos de lenguaje avanzados localmente con facilidad, este repositorio es un recurso ideal. Encontrarás toda la configuración para levantar Ollama con Docker Compose y comenzar a hacer consultas a tus modelos favoritos.

Ver repositorio: Enlace

¿Interesado en más contenido sobre IA local, modelos de lenguaje y automatización? ¡Déjame un comentario y seguimos compartiendo!