使用 text-generation-webui ，参考 https://www.youtube.com/watch?v=SbuhznykQBg 这个视频～
建议使用ubuntu。windows自己弄过facebook llama2，发现会有一些异常，尤其是 torchrun最后一步很难跑通。windows下面的webui没有尝试过。
使用自动install 即可，但是要注意的是，会遇到
ValueError: Unknown scheme for proxy URL URL(‘socks://127.0.0.1:7890/’)
这个问题，原因是因为使用了机场，在shell里的proxy环境变量有问题。
可以使用 printenv 查看环境变量。将变量设置为以下即可：
https_proxy=http://127.0.0.1:7890/
HTTPS_PROXY=http://127.0.0.1:7890/
HTTP_PROXY=http://127.0.0.1:7890/
http_proxy=http://127.0.0.1:7890/
ALL_PROXY=socks5://127.0.0.1:7890/
all_proxy=socks5://127.0.0.1:7890/
设置方式：
export ALL_PROXY=socks5://127.0.0.1:7890/
以此类推。