Установка GPTQ-for-LLaMa и конвертация моделей
Уже готовые модели для свежего GPTQ-for-LLaMa: https://huggingface.co/wcde
Список свежих моделей для GPTQ: https://huggingface.co/models?sort=modified&search=gptq
Для начала ставим:
- CUDA 11.8
- Build Tools for Visual Studio 2022
- регистрируемся на https://huggingface.co/ , впоследствии нужен будет токен - https://huggingface.co/settings/tokens
Конвертация моделей:
Устанавливаем GPTQ-for-LLaMa:
- Клонируем репу, можно сразу в папку repositories в webui, но лучше отдельно, чтоб потом не думать почему что-то сломалось после обновления webui:
- Подготавливаем venv:
- Ставим torch:
- Компилируем quant_cuda:
- Логинимся на huggingface, надо будет скопипастить токен в консоль:
Квантуем:
- Скачиваем оригинальные веса LLaMA, желательно на SSD: Torrent File Magnet Link
- В папке с моделью находим файл
tokenizer_config.json
и меняем в нём"tokenizer_class": "LLaMATokenizer",
на"tokenizer_class": "LlamaTokenizer",
- Если нет RAM, то докидываем подкачкой. Для 30В надо хотя бы 120 гигов в общем, лучше ставить 150, чтоб не словить ООМ в середине процесса.
- Выбираем на сколько будем квантовать. 3 бита требуют примерно на 20% меньше VRAM и быстрее, но чуть хуже по качеству. 7B желательно всегда делать в 4 бита, начиная с 13B разница по качеству квантования между 3 и 4 не заметна.
--groupsize 128
немного увеличивает потребление VRAM и очень сильно повышает качество квантования, если убираем его, то можно добавить--act-order
, вместе они не работают. - Запускаем квантование:
- Ждём 2 часа и получаем в этой же папке файл
llama-30b-4bit.pt
Запуск модели в webui:
- Устанавливаем GPTQ-for-LLaMa в папку repositories как выше
- В webui пока нет поддержки faster-kernel, поэтому вручную редактируем llama.py и quant.py в папке с GPTQ-for-LLaMa. Нужно заменить все
faster_kernel=False
наfaster_kernel=True
иfaster=False
наfaster=True
. Возможно снижение скорости на старых видеокартах, надо пробовать с ним и без. - Создаём папку в папке models, кладём туда tokenizer.model и все json из папки с оригинальной моделью, кладём
llama-30b-4bit.pt
- Запускаем webui: