Гайд по сборке Koboldcpp.

  1. Ставим https://www.msys2.org/ это проще всего.
  2. Заходи в папочку куда установил. Теперь запускай clang64.exe, производительней по идее чем GCC по умолчанию.
  3. Терминал открыт пиши туда

Устанавливаем все что нужно для сборки и собираем оптимизированный Clbalst:

yes | pacman -Sy clang64/mingw-w64-clang-x86_64-git-lfs clang64/mingw-w64-clang-x86_64-python-pip  msys/make clang64/mingw-w64-clang-x86_64-make clang64/mingw-w64-clang-x86_64-clang clang64/mingw-w64-clang-x86_64-cmake clang64/mingw-w64-clang-x86_64-ninja
pip install customtkinter PyInstaller
git clone https://github.com/LostRuins/koboldcpp.git -b concedo
cd koboldcpp/
mkdir -p build
git clone https://github.com/CNugteren/CLBlast.git
cd CLBlast/
mkdir build && cd build
CFLAGS="-O3 -flto=thin -march=native" CXXFLAGS="-O3 -flto=thin -march=native" cmake .. -DBUILD_SHARED_LIBS=OFF
ninja
cp libclblast.a ../../lib
cd ../../
  1. Теперь редактируем файл сборки (C:\msys64\home\admin\koboldcpp\Makefile) для максимальной оптимизации, не забудте сохранить.
  • Ищем строчки CFLAGS, CXXFLAGS, LDFLAGS и меняем с заменой
    CFLAGS = -I. -I./include -I./include/CL -I./otherarch -I./otherarch/tools -Ofast -DNDEBUG -std=c11 -fPIC -DLOG_DISABLE_LOGS -D_GNU_SOURCE -march=native -flto=thin
    CXXFLAGS = -I. -I./common -I./include -I./include/CL -I./otherarch -I./otherarch/tools -Ofast -DNDEBUG -std=c++11 -fPIC -DLOG_DISABLE_LOGS -D_GNU_SOURCE -march=native -flto=thin
    LDFLAGS = -Wl,-O2 -Wl,--as-needed
  • И CLBLAST_BUILD
    CLBLAST_BUILD = $(CXX) $(CXXFLAGS) $^ lib/OpenCL.lib lib/libclblast.a -shared -o [email protected] $(LDFLAGS)
  1. Продолжаем в терминале
1
2
3
CC=clang CXX=clang++ UNAME_S="Windows" UNAME_M="x86_64" make LLAMA_CLBLAST=1 LLAMA_OPENBLAS=1 -j8
CC=clang CXX=clang++ UNAME_S="Windows" UNAME_M="x86_64" make LLAMA_CLBLAST=1 LLAMA_OPENBLAS=1
 ./make_pyinstaller.bat

Сборка будет лежать в C:\msys64\home\admin\koboldcpp\dist, если вы ставили msys64 на C: Но не поддерживает куду для CUDA другой компилятор.

Edit Report
Pub: 17 Oct 2023 08:39 UTC
Edit: 18 Oct 2023 05:00 UTC
Views: 106