Название Краткое описание
Главная
System Lorebook Lorebook как более гибкая альтернатива System Prompt
Stepped Thinking Вызов нескольких вспомогательных инструкций перед генерацией основного ответа персонажа
Stepped Summary Генерация Summary несколькими последовательными запросами
Прочие скрипты

Stepped Thinking

Основные скрипты

Версия Примечения
st-stepped-thinking Реализация Stepped Thinking в виде отдельного расширения для таверны от одного из тредовичков.
BoT (Balaur of thought) Реализация последовательных цепочек вызовов для таверны от реддиторов.
v1 (29/09/24) Включает в себя два дополнительных запроса: генерация мыслей персонажа (GetThoughts) и его дальнейших планов (GetPlans). Импортировать через Extensions -> Quick Reply.

Regex на скрытие

Импортировать через Extensions -> Regex.

Версия Примечения
Any Details Скрывает <details> блоки
Thinking Details Скрывает <details type="thinking"> блоки

Что это?

Аксиома

Чем сложнее ваша инструкция, тем сильнее галлюцинируют LLM.

Мы можем разбить одну сложную инструкцию на несколько простых и вызывать их последовательно, что заметно улучшает аналитические возможности LLM.

Данный набор скриптов последовательно вызывает несколько заранее заданных запросов перед генерацией основного ответа персонажа. Все последующие запросы видят результат вывода предыдущих - таким образом гарантирована внутренняя согласованность.

Скрипты написаны на STscript, который представляет из себя скриптовый язык, встроенный в таверну. Для использования этих скриптов не нужно устанавливать какие-либо расширения.

Как это работает?



(пример сгенерирован на gemma-2-27b-it.i1-Q6_K)

При клике на кнопку "💭 Stepped Thinking", произойдёт следующее:

  1. Отправится текущий ответ юзера (если он не пустой)
  2. Инициализируется пустой ответ от лица {{char}}, куда будем засовывать результаты CoT инструкций
  3. Последовательно вызываются CoT-инструкции, указанные в скрипте RunThinking и добавляются в сообщение, инициированное на прошлом шаге. Все последующие ответы видят предыдущие
  4. Запрашивается обычный ответ чара

Для одиночного чата вам придётся писать свой ответ и, вместо нажатия на Enter, кликать на кнопку "💭 Stepped Thinking" в нижней панели интерфейса таверны. Я не нашёл в таверне возможности триггера скрипта перед ответом чара. Есть триггер после ответа юзера, но с ним свайпы не поделать если thinking блок не понравился.

В случае группового чата триггерить можно по клику на кнопку ответа от лица конкретного чара, а самому отправлять ответ как обычно.

С поддержкой стриминга будет вызываться только ответ чара, увы.

Edit Report
Pub: 07 Oct 2024 23:31 UTC
Edit: 14 Oct 2024 08:32 UTC
Views: 325