Кобольд в docker-compose
koboldai/koboldcpp:
stack.env
Параметры которые нужно заполнить:
Имя модели, вот прям полное имя с расширением.
- MODEL_NAME=Llama-3.2-3B-Instruct-Q8_0.gguf
Количество потоков на этот контейнер (в рекомендациях пишут что нет смысла выделять больше одного потока на ядро).
- THREADS=4
Внешний порт, тот который будет смотреть наружу
- PORT=5001
Путь до моделей на локальной машине.
- MODEL_PATH=/opt/4tb/files/llm-models
Путь до конфига на локальной машине.
- CONFIG_PATH=/opt/4tb/files/llm-models/koboldcpp/config
Эти параметры можно не трогать:
Не поднимать удаленный доступ через интернет, контейнер кобольда по умолчанию поднимает удаленный доступ к контейнеру и выдает тебе ссылку через которую ты можешь им пользоваться в интернете. По умолчанию там нет никакой авторизации. Оно тебе надо? Если да - пиши false
.
- KCPP_DONT_TUNNEL=true
Параметр который говорит не удалять модели после выхода. Это не те модели которые лежат в папке MODEL_PATH
. Это те модели которые он может скачивать самостоятельно при запуске, при указании параметра KCPP_MODEL
в композе. (Не знаю как им пользоваться, в описании указано что это автоматический загрузчик моделей. Скорее всего так KCPP_MODEL: "Qwen/Qwen2.5-1.5B-Instruct-GGUF"
- указывает на модель с HF, нужно проверять)
- KCPP_DONT_REMOVE_MODELS=true
Сюда попадают параметры сверху
- KCPP_ARGS="--threads=${THREADS} --model /models/${MODEL_NAME}"