你需要自行在 ngrok.com 注册一个账号,从中获得验证 token,以及一个永久 domain,替换上文中 emoji 的部分,完成内网穿透。
从 log 开始输出到执行完毕约需要 1-2 分钟,末尾出现 http://127.0.0.1:8000 时,尝试访问你的域名(可能需要点击一次按钮)。以YOUR_DOMAIN.ngrok-free.app 为例,如果访问 https://YOUR_DOMAIN.ngrok-free.app/ 显示一行 {"detail":"Not Found"} ,则代表运行成功。你可以使用任何一个支持 OpenAI 接口的应用,将 https://YOUR_DOMAIN.ngrok-free.app 作为代理地址使用(部分应用可能需要改为 https://YOUR_DOMAIN.ngrok-free.app/v1 )。
8192 是该模型的默认支持的上下文长度,kaggle 是 2 核 CPU,但实际测试,threads 设置为 4 可以使 CPU 使用率达到 400%,生成速度明显加快。
14B 在纯 CPU 下吐字非常缓慢,没有尝试的必要。
查看 GeekBench6 的跑分
weibui 的依赖很多,如果运行错误,考虑执行 !apt install nvidia-cuda-toolkit nvidia-cuda-toolkit-gcc,正常启动至少需要 7 分钟。进入 webui 后聊天格式手动选择 ChatML 格式。