频僧从本地部署而来,去往线上AI聊骚。
途中遇见了克克子,差点断送了取精路!
频僧本篇教程只适宜显卡显存不足,但是想体验更多不同模型的湿主而准备的,若是想要更加稳定、高质量的输出还建议大家看看群里关于Claude的教程哦!
鉴于国内性价比较高、使用人数较多的平台只有Autodl,且一定的用户基数保证了在使用Autodl时就算有啥不明白的,也更容易找到相关答疑。
虽说Autodl的价格看着不算太高,但是呢,用得多的情况下一天的费用也是差不多一顿饭钱了。
那么首先让频僧看看Autodl不同显卡的价格
显卡型号 |
显存大小 |
平均价格 (由低到高) |
---|---|---|
TITAN Xp | 12 GB | ¥0.52/时 |
RTX 3060 | 12 GB | ¥0.63/时 |
Tesla T4 | 16 GB | ¥0.82/时 |
RTX 2080 Ti | 11 GB | ¥0.93/时 |
RTX 3080 | 10 GB | ¥0.93/时 |
RTX A4000 | 16 GB | ¥0.97/时 |
RTX 3080 Ti | 12 GB | ¥1.24/时 |
RTX A5000 | 24 GB | ¥1.24/时 |
RTX 3090 | 24 GB | ¥1.39/时 |
V100-32GB | 32 GB | ¥1.98/时 |
V100-SXM2-32GB | 32 GB | ¥2.40/时 |
RTX 4090 | 24 GB | ¥2.51/时 |
A40 | 48 GB | ¥2.82/时 |
A100-PCIE-40GB | 40 GB | ¥3.45/时 |
A100-SXM4-80GB | 80 GB | ¥8.40/时 |
💕需要注意的是,列表上的价格是教程发出时的价格呢,同时因为有的机子的内存和闪存配置会有升级或者阉割,所以价格会有一定的浮动哦。
那么湿主该如何选择显卡呢?
- 首先是需求
- 如果是用7B的量化模型,那尽量就用本地的显卡就完事了。🥲
- 如果是想要玩13B的量化模型,那就要选择16 GB显存的显卡,才能更流畅地与湿主进行对话。😊
- 如果是想尝试30~33B的量化模型的话,那最起码就要上到24 GB显存的显卡了,😘
- 如果说,是想要极限一点的玩法,那可以上到最高的80 GB或者80 GB多卡运行,上就完事了~!😈
- 其次是价格
- 同显存不同价的情况下,追求性价比当然就上最便宜的就可以。💲
- 但是!相应的也要做好功课,网上看看显卡的对不同精度的支持情况和浮点算力,是否达到湿主可以接受的速度。🥹
- 同显卡不同价格的情况嘛,其实就是内存、CPU和数据盘的大小各不一致,大家各取所需便可~💖
接下来就是部署的时间了
首先,湿主们请先注册一个Autodl帐号,保证帐号里面有一定的资金(Autodl的充值是50起充)。
然后我们来到算力市场的界面,按照上面的价格表格先选好湿主想租用的显卡,然后选择地区,不同地区的机房有不同的显卡,切换地区找到自己想要租用的显卡,然后选择自己想租用的型号和数量。
这里频僧就租一个3090作为例子。因为频僧想租用3090,所以频僧找到设有3090的地区。
当湿主们在选择显卡的时候可以看看有多少剩余GPU数量,选多的可以避免太多人抢卡用。这就要说明下Autodl的租用机制了:Autodl实际上是很多人一起租用一台电脑,而每台电脑上有x个显卡,当显卡占用被其他大叔填得满满的后,湿主就只能等待大叔出来才可以轮到湿主了。当然,湿主也可以带上家当(镜像)找另外一个显卡过日子。
而现在频僧就先随便选一个,创建实例。(看看今晚用的是谁家的显卡嘻嘻嘻)
点击上图右侧按钮,进入下图界面,下面镜像处选择社区镜像,在下面的文本框内输入ooba,用最新版的webui即可。
选择后,点击右下角的立即创建,就创建了一个实例啦~
创建实例完成之后,机子会保持打开的状态,这是我们就可以进行操作了。(需要注意的是这个时候是已经开始计费了!!!)
首先我们进入JupyterLab
上图选中自己想要的模式,再按黄色箭头标注的运行按钮就可以运行了。
这时候回到Autodl的控制台,按选自定义服务就可以进入Webui了!
到这一步的时候,只需要用到Webui搭配这个模型的湿主们就已经可以把我丢掉一边自己去爽了呢🥹接下来是其他的操作
接下来是Api所使用的端口转发
首先,按照以上步骤开始运行后,代码行内会有api的端口和地址。如果没有更改过的话默认是6006端口(怎么感觉以前是5000)。
接下来是转发端口的步骤。首先点击下图的复制按钮,找个地方粘贴了!
然后你会得到以下这个东西,按照Autodl官方文档走,频僧解释一下这是个什么妖精!
按照下图格式填完后,放进湿主本地电脑的管理员终端运行第一段:
运行上述命令后,会有一个需要确认的步骤,直接yes回车即可,然后输入密码即可转发Ooba的api端口到本地了。
在输入密码时不会显示,为了保证不会输错,请复制后单击右键粘贴。开启转发后终端窗口会保持下图的状态。
再然后那就是在Silly Tavern 和 RisuAI 里面填写api地址啦!
- Silly Tavern
- 在Api设置中选择 Text Gen WebUI (ooba),在下方的Blocking API url 中填写 http://127.0.0.1:6006/api 就可以啦~
- Risu AI
- 设置中按需设置模型为 Oobabooga WebUI,下方Oobabooga Blocking请求URL一栏填写 http://127.0.0.1:6006/api/v1/generate 就可以啦!~
安卓部署
因为 Autodl 和 JupyterLab 其实全程是在网页端操作,开机和运行Webui还是十分简单的。Autodl还有个超级难用的小程序可以用来开机。
首先,需要下载 Termux 法器用来转发端口
进入 Termux,因为现在还没有ssh服务,那我们直接搞个open ssh吧
在Termux执下以下代码:
安装open ssh。(有可能需要科学网络环境?)
然后,每次使用时,都要先开启sshd,直接执行以下代码:
之后就是和电脑一样的操作了,这个输进去 (记得改成自己的哦) :
然后就是例行的输密码时间!
在手机端的RisuAI或Silly Tavern按照PC那样子设置就可以啦!
(演示用的镜像默认模型,效果嘛。。调教一下还是不错的,这个模型在排行榜上也挺高的。)
下载模型
因为Ooba是放在Autodl虚拟机里面的系统盘来运行的,所以模型也是需要放在系统盘里面的,但是Autodl的系统盘统一只有30GB,放几个模型就没有了,那么怎么办呢?
为了保证空间能跟充分利用,可以进下以下操作
- 如果不需要镜像自带的模型可以先删掉这个模型,同时将启动器的 --model 参数后面的模型名称改成 None。
- 删除模型时不要直接右键删除,先在JupyterLab中新建一个终端窗口,然后运行以下命令:
rm -rf text-generation-webui/models/TheBloke_Wizard-Vicuna-13B-Uncensored-GPTQ/
- 下完不用的模型可以放到去数据盘,在虚拟机根目录下的
autodl-tmp
就是数据盘啦~直接丢进去打入冷宫就行,需要同房的时候在拉到models文件夹就可以啦~
关于RWKV
因为RWKV可以用到Api的我只知道RWKV-Runner,但是RWKV-Runner需要用到图形界面,比较麻烦,所以要单独拎出来整。
鉴于RWKV的涩涩能力确实不错,且我已经在Autodl成功运行且转发到本地的Risu使用,确实适合不怕麻烦的湿主来尝试。
想要用Autodl玩RWKV的湿主可以先按照这个教程走一遍Webui的线上部署,有些东西频僧就不在下个教程叙述了!因为这个教程包含了平台租用、端口转发等基本操作,所以还是十分重要的