models/generate-coreml-model.sh large-v3 --encoder-only True
time ./main -m models/ggml-large-v3.bin -f test.wav -l auto
| Neon & MPS 👍 | CoreML 🚀 (47%) | |
|---|---|---|
| load time | 1007.19 ms | 859.73 ms |
| mel time | 216.87 ms | 224.71 ms |
| sample time | 3550.35 ms | 2659.66 ms |
| encode time | 7821.69 ms | 5801.61 ms |
| decode time | 2958.22 ms | 4105.18 ms |
| batchd time | 88241.95 ms | 54016.19 ms |
| prompt time | 1618.32 ms | 1218.58 ms |
| total time | 105432.62 ms | 71318.02 ms |
| cpu time | 1:45.50 | 1:11.44 |
速度提高了，但效果下降了。
python cli_demo.py
python web_demo.py
python -m fastchat.serve.model_worker \
--model-path Qwen/Qwen-1_8B-Chat --port 21002 \
--worker-address http://localhost:21002 \
--device mps
python -m fastchat.serve.openai_api_server --port 8000
python -m fastchat.serve.gradio_web_server --host 0.0.0.0 --port 8001
使用 Web 聊天的时候出现乱码，感觉 ChatML 格式的问题。
转换模型
cd llms/phi2
python convert.py
生成的模型存放在 mlx_model 文件夹下。
ll mlx_model
-rw-r--r-- 1 junjian staff 28B 12 25 10:47 config.json
-rw-r--r-- 1 junjian staff 5.2G 12 25 10:47 weights.npz
模型推理
cd llms/phi2
pip install -r requirements.txt
使用已经下载的模型
mkdir microsoft
ln -s /Users/junjian/HuggingFace/microsoft/phi-2 microsoft/phi-2
转换模型
python convert.py
这将生成 MLX 可以读取的 weights.npz 文件。
-rw-r--r-- 1 junjian staff 5.2G 12 20 20:36 weights.npz
Phi-2: The surprising power of small language models
def sum_even(numbers):
"""
Returns the sum of all even numbers in the list
"""
return sum(filter(lambda x: x % 2 == 0, numbers))
print(sum_even([1, 2, 3, 4, 5, 6])) # Output: 12
Apple Silicon 上没有安装成功，安装包 triton 不支持
pip install "huggingface_hub[cli]"
ollama pull llama2
ollama pull llava
模型版本化
这里我使用了本地的 GGUF 模型进行构建。
编辑 Modelfile 文件 From /Users/junjian/.cache/lm-studio/models/TheBloke/Llama-2-7B-chat-GGUF/llama-2-7b-chat.Q4_K_M.
brew upgrade gh
gh auth login
? What account do you want to log into? GitHub.com
? What is your preferred protocol for Git operations on this host? HTTPS
? Authenticate Git with your GitHub credentials? Yes
? How would you like to authenticate GitHub CLI? Login with a web browser
! First copy your one-time code: EA2E-F864
Press Enter to open github.com in your browser...
✓ Authentication complete.
gh auth status
github.com
✓ Logged in to github.com account wang-junjian (keyring)
- Active account: true
- Git operations protocol: https
- Token: gho_************************************
- Token scopes: 'gist', 'read:org', 'repo', 'workflow'
❷ make
make -j
❸ 安装依赖
pip install -r requirements.txt
./main -n 1000 -e -m TheBloke/Llama-2-7B-chat-GGUF/llama-2-7b-chat.Q4_K_M.gguf -p "糖果的制作步骤"
糖果的制作步骤
1. 选择优质的糖果：选择高质量的糖果，可以增加糖果的精度和烘培质地。
2. 将糖果隔开：将糖果按照大小和形状分成不同的颜色，这样可以更好地控制糖果的掉落速度和坍塌情况。
3. 淋上糖果：将糖果淋在板子上，确保每个糖果都够好地淋在板子上，这样可以减少糖果的落塌和损坏。
4. 均匀分配：将糖果均匀分配到板子上，确保每个糖果都有相同的大小和形状，这样可以更好地控制糖果的掉落速度和坍塌情况。
5. 烘培：将淋上的糖果晒在烘培机中，设置正确的时间和温度，以便糖果能够完全烘培。
6. 冻结：将烘培后的糖果冻结在冰箱中，以便保存和使用。
7. 预览：可以通过检查糖果的颜色、形状和质地来预览糖果的制作结果。
8. 修正：如果发现糖果的颜色或形状不匹配，可以通过修正糖果的烘培时间和温度来实现修正。
./main -n 400 -e -m TheBloke/zephyr-7B-beta-GGUF/zephyr-7b-beta.Q4_K_S.gguf -p "使用python求1-100的素数"
conda create -n seamless-m4t python==3.10.9 -y
conda activate seamless-m4t
cli/m4t/predict/predict.py
这里使用的文档是：合作方人员出勤及结算管理信息化支撑规则
一、出勤打卡
出勤打卡包括：正常出勤打卡、出差打卡、外出打卡、加班打卡。
1. 正常出勤打卡：指正常的出勤办公打卡。
（1）全天出勤打卡：上班打卡：8点30分之前打卡。下班打卡：17点30分之后打卡。
（2）半天出勤打卡。上午打卡时间段：8点30分之前、12点之后。下午时间段：13点之前，17点30分之后。
（3）打卡(考勤机或企业微信打卡)形式按部门要求为准，最小半天为统计单位。
2. 出差打卡：指出差地出勤办公或在途期间打卡。
（1）固定出差地打卡：打卡时间参照第1条正常出勤上下班打卡；无法定位有效范围的找部门管理员修改工作打卡位置。(具体按照各部门要求执行)
（2）出差在途打卡(使用手机外出打卡)。到车站坐车前打外出打卡一次，到达目的地后打外出打卡一次(往返同理)。下午出差的，上午需打正常出勤卡(上午正常出勤须闭环打卡)；上午到达出差地的，下午需打一次外出打卡或上下班打卡。
3. 外出打卡：指外出办事打卡。提外出申请后，可以打外出卡，打外出卡时间需在申请时间内：
（1）半天外出：如外出时间在上午(12点前) 或者下午(12点后)，则另外半天需正常出勤打卡。
（2）跨12点外出：如外出跨度期间包含12点，则12点前、12点后分别打外出卡即可记为合格出勤。
// ...
查看本地下载的模型 ll /Users/junjian/Library/Application\ Support/nomic.ai/GPT4All/*.gguf -rw-r--r--@ 1 junjian staff 44M 12 3 10:30 /Users/junjian/Library/Application Support/nomic.ai/GPT4All/all-MiniLM-L6-v2-f16.gguf -rw-r--r--@ 1 junjian staff 1.3G 12 3 12:53 /Users/junjian/Library/Application Support/nomic.ai/GPT4All/incomplete-nous-hermes-llama2-13b.Q4_0.gguf -rw-r--r--@ 1 junjian staff 3.8G 12 3 10:09 /Users/junjian/Library/Application Support/nomic.ai/GPT4All/mistral-7b-openorca.Q4_0.gguf -rw-r--r--@ 1 junjian staff 3.6G 12 3 11:10 /Users/junjian/Library/Application Support/nomic.
/opt/homebrew/etc/nginx/nginx.conf 修改端口号/opt/homebrew/var/www/index.html 修改默认页面该文档详细介绍了 2023年全国行业职业技能竞赛，涵盖了多个技术任务。任务一侧重于语音处理，通过Python代码展示了如何利用腾讯云API进行语音识别和语音合成，包括音频文件的Base64编码转换和请求参数配置，并输出了实际的识别结果。任务二则聚焦于语音模型，阐述了声学模型的初始化、加载预训练模型以及语音识别的整个流程，并提到了模型训练的配置。任务三涉及文本处理，通过requests库抓取网页内容，并利用re、BeautifulSoup和lxml.etree等工具进行网页内容解析和文本提取，同时展示了文本清洗、数据扩充以及使用Stanford CoreNLP进行中文分词、词性标注和命名实体识别。任务四是数据分析与可视化，展示了如何从Excel文件中读取急诊科就诊数据，并计算男女比例、每日就诊人数和各诊室就诊人数，最终通过matplotlib库生成饼状图、柱状图和折线图进行数据可视化。
2023年全国行业职业技能竞赛 第二届全国电子企业职业技能竞赛
通过 CPU 服务器访问 GPU 服务器
proxy_http_version 1.1，proxy_set_header Upgrade $http_upgrade和proxy_set_header Connection "upgrade"这些行是为了支持WebSocket连接。
没有达到目标。服务里面有引用绝对路径的情况，这时候就出现 404 了，这时候就需要配置 proxy_redirect 了。
你可以使用以下命令查看错误日志：
sudo tail -f /var/log/nginx/error.log
这个命令会显示错误日志的最后几行，并在新的日志条目出现时实时更新。这可以帮助你找出问题的原因。
另外，你也可以尝试增加Nginx的错误日志级别，以获取更详细的信息。你可以在Nginx的配置文件中，将error_log指令的级别设置为debug。例如：
error_log /var/log/nginx/error.log debug;
然后，你需要重新加载或重启Nginx以应用新的配置。
请注意，debug级别的日志非常详细，可能会占用大量的磁盘空间。因此，你应该只在需要调试问题时使用它，并在问题解决后将日志级别改回原来的设置。
13 号 上午 GPU 服务器突然不能访问了，可以通过 CPU 服务器访问 GPU 服务器。这一周一直在查找问题，这里记录一下过程。
traceroute cpu1
traceroute to cpu1 (172.16.33.157), 64 hops max, 52 byte packets
1 * * *
2 172.16.136.2 (172.16.136.2) 7.827 ms 4.712 ms 3.162 ms
3 * * *
4 cpu1 (172.16.33.157) 8.619 ms 4.205 ms 4.982 ms
pip install datasets evaluate transformers[sentencepiece]
No model was supplied, defaulted to distilbert-base-uncased-finetuned-sst-2-english and revision af0f99b (https://huggingface.co/distilbert-base-uncased-finetuned-sst-2-english).
Using a pipeline without specifying a model name and revision in production is not recommended.
[{'label': 'POSITIVE', 'score': 0.9598048329353333},
{'label': 'NEGATIVE', 'score': 0.9994558691978455}]
这种方式安装比较容易调试，适合开发者。
克隆代码
git clone https://github.com/lm-sys/FastChat.git
cd FastChat
创建环境
python -m venv env
source env/bin/activate
安装
pip install --upgrade pip # enable PEP 660 support
pip install -e ".[model_worker,webui]"
pip install -U transformers==4.33.0 # AttributeError: 'ChatGLMTokenizer' object has no attribute 'tokenizer'
没有找到匹配的文章