Кобольд в docker-compose

koboldai/koboldcpp:

services:
  koboldcpp:
    restart: unless-stopped

    tty: true
    image: koboldai/koboldcpp
    container_name: koboldcpp
    working_dir: /home/koboldcpp
    ports:
      - "${PORT}:5001"
    volumes:
      - "${MODEL_PATH}:/models"
      - "${CONFIG_PATH}:/config"
    environment:
      KCPP_ARGS: "${KCPP_ARGS}"
      KCPP_DONT_REMOVE_MODELS: "${KCPP_DONT_REMOVE_MODELS}"
      KCPP_DONT_TUNNEL: "${KCPP_DONT_TUNNEL}"

    env_file:
      - stack.env

stack.env

1
2
3
4
5
6
7
8
MODEL_NAME=
THREADS=7
PORT=5001
KCPP_DONT_TUNNEL=true
KCPP_DONT_REMOVE_MODELS=true
MODEL_PATH=/opt/4tb/files/llm-models
CONFIG_PATH=/opt/4tb/files/llm-models/koboldcpp/config
KCPP_ARGS="--threads=${THREADS} --model /models/${MODEL_NAME}"

Параметры которые нужно заполнить:
Имя модели, вот прям полное имя с расширением.

  • MODEL_NAME=Llama-3.2-3B-Instruct-Q8_0.gguf

Количество потоков на этот контейнер (в рекомендациях пишут что нет смысла выделять больше одного потока на ядро).

  • THREADS=4

Внешний порт, тот который будет смотреть наружу

  • PORT=5001

Путь до моделей на локальной машине.

  • MODEL_PATH=/opt/4tb/files/llm-models

Путь до конфига на локальной машине.

  • CONFIG_PATH=/opt/4tb/files/llm-models/koboldcpp/config

Эти параметры можно не трогать:
Не поднимать удаленный доступ через интернет, контейнер кобольда по умолчанию поднимает удаленный доступ к контейнеру и выдает тебе ссылку через которую ты можешь им пользоваться в интернете. По умолчанию там нет никакой авторизации. Оно тебе надо? Если да - пиши false.

  • KCPP_DONT_TUNNEL=true

Параметр который говорит не удалять модели после выхода. Это не те модели которые лежат в папке MODEL_PATH. Это те модели которые он может скачивать самостоятельно при запуске, при указании параметра KCPP_MODEL в композе. (Не знаю как им пользоваться, в описании указано что это автоматический загрузчик моделей. Скорее всего так KCPP_MODEL: "Qwen/Qwen2.5-1.5B-Instruct-GGUF" - указывает на модель с HF, нужно проверять)

  • KCPP_DONT_REMOVE_MODELS=true

Сюда попадают параметры сверху

  • KCPP_ARGS="--threads=${THREADS} --model /models/${MODEL_NAME}"

Силлитаверна в docker-compose

Edit Report
Pub: 28 Sep 2024 10:40 UTC
Edit: 28 Sep 2024 10:48 UTC
Views: 355