3 篇文章带有标签 “QWen”

• Qwen

• 命令行聊天

python cli_demo.py

• Web 聊天

python web_demo.py

• Model Worker

python -m fastchat.serve.model_worker \
    --model-path Qwen/Qwen-1_8B-Chat --port 21002 \
    --worker-address http://localhost:21002 \
    --device mps

• OpenAI API Server

python -m fastchat.serve.openai_api_server --port 8000

• Web Server

python -m fastchat.serve.gradio_web_server --host 0.0.0.0 --port 8001

使用 Web 聊天的时候出现乱码，感觉 ChatML 格式的问题。

转换模型

cd llms/phi2
python convert.py

生成的模型存放在 mlx_model 文件夹下。

ll mlx_model
-rw-r--r--  1 junjian  staff    28B 12 25 10:47 config.json
-rw-r--r--  1 junjian  staff   5.2G 12 25 10:47 weights.npz

模型推理

MLX Documentation

• 安装依赖包

cd llms/phi2
pip install -r requirements.txt

• 模型下载和转换

使用已经下载的模型

mkdir microsoft
ln -s /Users/junjian/HuggingFace/microsoft/phi-2 microsoft/phi-2

转换模型

python convert.py

这将生成 MLX 可以读取的 weights.npz 文件。

-rw-r--r--  1 junjian  staff   5.2G 12 20 20:36 weights.npz

• 运行