Гайд по сборке Koboldcpp.
- Ставим https://www.msys2.org/ это проще всего.
- Заходи в папочку куда установил. Теперь запускай clang64.exe, производительней по идее чем GCC по умолчанию.
- Терминал открыт пиши туда
Устанавливаем все что нужно для сборки и собираем оптимизированный Clbalst:
- Теперь редактируем файл сборки (C:\msys64\home\admin\koboldcpp\Makefile) для максимальной оптимизации, не забудте сохранить.
- Ищем строчки CFLAGS, CXXFLAGS, LDFLAGS и меняем с заменой
CFLAGS = -I. -I./include -I./include/CL -I./otherarch -I./otherarch/tools -Ofast -DNDEBUG -std=c11 -fPIC -DLOG_DISABLE_LOGS -D_GNU_SOURCE -march=native -flto=thin
CXXFLAGS = -I. -I./common -I./include -I./include/CL -I./otherarch -I./otherarch/tools -Ofast -DNDEBUG -std=c++11 -fPIC -DLOG_DISABLE_LOGS -D_GNU_SOURCE -march=native -flto=thin
LDFLAGS = -Wl,-O2 -Wl,--as-needed - И CLBLAST_BUILD
CLBLAST_BUILD = $(CXX) $(CXXFLAGS) $^ lib/OpenCL.lib lib/libclblast.a -shared -o [email protected] $(LDFLAGS)
- Продолжаем в терминале
Сборка будет лежать в C:\msys64\home\admin\koboldcpp\dist, если вы ставили msys64 на C: Но не поддерживает куду для CUDA другой компилятор.