TinyLlama/TinyLlama-1.1B-Chat-v1.0
<|system|>
You are a chatbot who can help code!</s>
<|user|>
Write me a function to calculate the first 10 digits of the fibonacci sequence in Python and print it out to the CLI.</s>
<|assistant|>
将 MLX 微调的模型转换为 GGUF 模型最大的意义是可以融入 GGUF 的生态系统，可以在更多的平台上使用。
LoRA 微调
大模型 Mistral-7B-v0.1
数据集 WikiSQL
修改脚本 mlx-examples/lora/data/wikisql.py
if __name__ == "__main__":
# ......
for dataset, name, size in datasets:
with open(f"data/{name}.jsonl", "w") as fid:
for e, t in zip(range(size), dataset):
t = t[3:]
json.dump({"text": t}, fid)
fid.write("\n")
执行脚本 data/wikisql.py 生成数据集。
data/wikisql.py
安装 mlx-lm
pip install mlx-lm
微调
大模型 Deepseek-Coder-7B
数据集 WikiSQL
修改脚本 mlx-examples/lora/data/wikisql.py if name == "main": # ...... for dataset, name, size in datasets: with open(f"data/{name}.jsonl", "w") as fid: for e, t in zip(range(size), dataset): # deepseek-ai/deepseek-coder-7b-instruct-v1.5 # 去掉开头的 <｜begin▁of▁sentence｜>，因为 tokenizer 会自动添加 <｜begin▁of▁sentence｜> t = t[3:-4] + "<｜end▁of▁sentence｜>" json.dump({"text": t}, fid) fid.
使用 LoRA 和 QLoRA 基于 Mistral-7B 微调的实验
LoRA 和 QLoRA 对比
微调
| Iteration | LoRA Train Loss | LoRA Val Loss | LoRA Tokens/sec | QLoRA Train Loss | QLoRA Val Loss | QLoRA Tokens/sec |
|---|---|---|---|---|---|---|
| 1 | 2.343 | 2.420 | ||||
| 100 | 1.204 | 221.348 | 1.216 | 166.377 | ||
| 200 | 1.091 | 1.111 | 207.353 | 1.095 | 1.130 | 187.795 |
| 300 | 0.818 | 234.182 | 1.065 | 194.826 | ||
| 400 | 0.837 | 1.076 | 207.763 | 0.998 | 1.006 | 170.072 |
| 500 | 0.774 | 223.036 | 0.726 | 189.288 | ||
| 600 | 0.609 | 1.001 | 218.118 | 0.607 | 1.015 | 186.397 |
微调的参数量 LoRA 微调万分之 2.35 （1.704M / 7243.436M * 10000）的模型参数。 QLoRA 微调万分之 13.
预训练模型 mistralai/Mistral-7B-v0.1
量化
QLoRA 微调需要量化，生成 4 位量化的 Mistral 7B 并默认将其存储在 mlx_model 目录中
python convert.py --hf-path mistralai/Mistral-7B-v0.1 -q
mlx_model 目录结构如下：
mlx_model
├── config.json
├── model.safetensors
├── special_tokens_map.json
├── tokenizer.json
├── tokenizer.model
├── tokenizer_config.json
└── weights.00.safetensors
量化后的模型 8.0G
微调
QLoRA 微调
mlx-community/Mistral-7B-v0.1-LoRA-Text2SQL
安装 mlx-lm
pip install mlx-lm
生成 SQL
python -m mlx_lm.generate --model mlx-community/Mistral-7B-v0.1-LoRA-Text2SQL \
--max-tokens 50 \
--prompt "table: students
columns: Name, Age, School, Grade, Height, Weight
Q: Which school did Wang Junjian come from?
A: "
SELECT School FROM Students WHERE Name = 'Wang Junjian'
上传模型到 HuggingFace Hub
mlx-community/Mistral-7B-v0.1-LoRA-Text2SQL
本次微调的模型我已经上传到了 HuggingFace Hub 上，大家可以进行尝试。
安装 mlx-lm
pip install mlx-lm
生成 SQL
python -m mlx_lm.generate --model mlx-community/Mistral-7B-v0.1-LoRA-Text2SQL \
--max-tokens 50 \
--prompt "table: students
columns: Name, Age, School, Grade, Height, Weight
Q: Which school did Wang Junjian come from?
A: "
SELECT School FROM Students WHERE Name = 'Wang Junjian'
在 MLX 上使用 LoRA / QLoRA 微调 Text2SQL（一）：使用 LoRA 基于 Mistral-7B 微调
📌 没有使用模型的标注格式生成数据集，导致不能结束，直到生成最大的 Tokens 数量。
这次我们来解决这个问题。
数据集 WikiSQL
修改脚本 mlx-examples/lora/data/w
安装
git clone https://github.com/ml-explore/mlx-examples.git
cd mlx-examples/lora
pip install -r requirements.txt
下载模型
pip install huggingface_hub hf_transfer
export HF_HUB_ENABLE_HF_TRANSFER=1
huggingface-cli download \
--local-dir-use-symlinks False \
--local-dir mistralai/Mistral-7B-v0.1 \
mistralai/Mistral-7B-v0.1
数据集 WikiSQL
样本格式
AutoDev - AI 辅助编程
AutoDev 是一款基于 JetBrains IDE 的 AI 辅助编程插件。AutoDev 能够与您的需求管理系统（例如Jira、Trello、Github Issue 等） 直接对接。在 IDE 中，您只需简单点击，AutoDev 会根据您的需求自动为您生成代码。您所需做的，仅仅是对生成的代码进行质量检查。
UnitMinions - 《AI 研发提效研究：自己动手训练 LoRA》
Chocolate Factory - AI 开发框架
Chocolate Factory 是一款开源的 LLM 应用开发框架，旨在帮助您轻松打造强大的软件开发 SDLC + LLM 生成助手。
Studio B3 - 辅助需求编程器
Studio B3 是一个为内容创作设计的 AI 编辑器，适用于各种格式，如博客、文章、用户故事等。
UnitGen - 研发模型微调 UnitGen 是一个用于生成微调代码的数据框架 —— 直接从你的代码
[llama.cpp][llama.cpp]
模型量化 量化类型 ./quantize --help Allowed quantization types: 2 or Q4_0 : 3.56G, +0.2166 ppl @ LLaMA-v1-7B 3 or Q4_1 : 3.90G, +0.1585 ppl @ LLaMA-v1-7B 8 or Q5_0 : 4.33G, +0.0683 ppl @ LLaMA-v1-7B 9 or Q5_1 : 4.70G, +0.0349 ppl @ LLaMA-v1-7B 19 or IQ2_XXS : 2.06 bpw quantization 20 or IQ2_XS : 2.31 bpw quantization 10 or Q2_K : 2.63G, +0.6717 ppl @ LLaMA-v1-7B 21 or Q2_K_S : 2.16G, +9.0634 ppl @ LLaMA-v1-7B 12 or Q3_K : alias for Q3_K_M 11 or Q3_K_S : 2.75G, +0.5551 ppl @ LLaMA-v1-7B 12 or Q3_K_M : 3.07G, +0.2496 ppl @ LLaMA-v1-7B 13 or Q3_K_L : 3.35G, +0.
我使用 v2ray 科学上网，并且已经开启了全局模式，所有网络连接都应该通过 v2ray 的代理服务器。但我使用 git 命令行应用发现不能连接 GitHub，但 GitHub Desktop 可以正常使用。
git clone https://github.com/wang-junjian/chatbox
Cloning into 'chatbox'...
fatal: unable to access 'https://github.com/wang-junjian/chatbox/': Failed to connect to github.com port 443 after 75011 ms: Couldn't connect to server
在这种情况下，你需要手动为 git 设置代理。
设置代理
git config --global http.proxy 'socks5://127.0.0.1:1080'
git config --global https.proxy 'socks5://127.0.0.1:1080'
这些命令将 git 的 HTTP 和 HTTPS 代理设置为 socks5://127.0.0.1:1080。你需要将 1080 替换为你的 v2ray 服务的端口。
安装 FastChat & vLLM
安装 FastChat
FlashAttention-2 currently supports:
Turing GPU T4 不支持，需要使用 FlashAttention 1.x，否则会报错 ❌：
安装 FastChat & vLLM
安装 FastChat
pip install "fschat[model_worker,webui]"
Turing GPU T4 不支持 FlashAttention 2，需要使用 FlashAttention 1.x 。Turing GPU T4 不支持 bf16，需要使用 fp16 。安装 vLLM
pip install vllm -i https://mirrors.aliyun.com/pypi/simple/
升级 FastChat & vLLM
git pull
pip install -e ".[model_worker,webui]"
pip install -U vllm
部署 LLM
运行 Controller
python -m fastchat.serve.controller
运行 OpenAI API Server
python -m fastchat.serve.openai_api_server
运行 Model Worker Qwen-1_8B-Chat export CUDA_VISIBLE_DEVIC
安装
git clone https://github.com/wg/wrk.git
cd wrk
#使用多线程（机器的处理器核数）加速编译，
make -j $(nproc)
cp wrk /usr/local/bin/
Tabby Server
服务器：NVIDIA T4 16GB X 4
部署
docker run -d --gpus all -p 8080:8080 \
-v /data/zhw/tabby/data:/data \
tabbyml/tabby:latest \
serve --model TabbyML/DeepseekCoder-6.7B \
--device cuda --parallelism 4
docker run -d --gpus all -p 8080:8080 \
-v /data/zhw/tabby/data:/data \
tabbyml/tabby:latest \
serve --model TabbyML/DeepseekCoder-1.3B \
--device cuda --parallelism 12
curl 测试 curl http://127.0.0.
主要功能
参考资料
Repositories
代码 AI 补全
AI 聊天
代码补全的四个步骤
每一次 Cody 的代码补全都经历了四个步骤：
Cody 的目标是提供高质量的补全，无缝集成到开发者的工作流程中。
交互方式
代码自动完成
AI 聊天
核心功能
| 功能 | 说明 |
|---|---|
| 代码补全 | 基于海量数据提供实时地代码补全服务，包括行内补全（单行补全）和片段补全（多行补全）。 |
| 添加注释 | 智能为选定的代码生成注释，目前在整个函数级别的生成注释效果较好。 |
| 解释代码 | 智能解析代码意图，为选定的代码生成解释，辅助阅读并理解代码。 |
| 生成单测 | 在写完业务逻辑后，为选定的代码生成单测，即可智能生成具备业务语义的测试用例，从而提升问题发现的效率。 |
| 代码优化 | 基于大模型的代码理解能力和静态源码分析能力，支持对选定的代码片段进行分析理解并提出优化、改进建议，还能直接基于改进建议生成代码补丁。 |
代码补全
添加注释
解释代码
代码大模型
模型下载
编程语言
存储库 (Repository)
IDE JetBrains IntelliJ IDEA PyCharm Web
FastChat 是一个开放平台，用于训练、服务和评估基于大型语言模型的聊天机器人。
FastChat Server 架构图
安装 FastChat
克隆代码
git clone https://github.com/lm-sys/FastChat
cd FastChat
创建虚拟环境
python -m venv env
source env/bin/activate
安装
pip install --upgrade pip
pip install -e ".[model_worker,webui]"
升级 FastChat
git pull
pip install -e ".[model_worker,webui]"
创建大模型链接 LLM Qwen mkdir Qwen ln -s /Users/junjian/HuggingFace/Qwen/Qwen-14B-Chat Qwen/Qwen-14B-Chat ln -s /Users/junjian/HuggingFace/Qwen/Qwen-1_8B Qwen/Qwen-1_8B ln -s /Users/junjian/HuggingFace/Qwen/Qwen-1_8B-Chat Qwen/Qwen-1_8B-Chat ln
我的 GPU：GP106 [GeForce GTX 1060 6GB]
安装 NVIDIA 驱动
查看哪些进程正在使用 NVIDIA 设备
lsof -n -w /dev/nvidia*
lsof 是一个在 Unix 和类 Unix 系统（如 Linux）上的命令行工具，用于列出当前系统打开的文件。在这里，"文件" 的概念很广泛，除了常见的文件和目录，还包括网络套接字、设备、管道等。
所以，sudo lsof -n -w /dev/nvidia* 命令的作用是查看哪些进程正在使用 NVIDIA 设备。
杀死使用 NVIDIA 设备的进程或停止服务
kill -9 <pid>sudo systemctl stop <service_name>列出系统中所有需要驱动的设备 sudo ubuntu-drivers devices WARNING:root:_pkg_get_support nvidia-driver-525: package has invalid
使用的模型
Tabby 使用的是 Deepseek Coder 6.7B 模型。部署服务器端
Tabby 安装
Tabby 配置
单击状态栏中的 Tabby 图标，打开 Tabby 配置页面。
参数
http://172.16.33.66:8080
使用 Tabby
代码生成
使用的模型
Tabby 使用的是 Deepseek Coder 6.7B 模型。CodeGPT 使用的是 ChatGLM3-6B 模型。这个后面考虑使用 Deepseek Coder 6.7B 来替换。部署服务器端
安装 InteliJ IDEA
安装插件
插件
安装
打开 IntelliJ IDEA，选择 Settings 菜单，选择 Plugins，搜索 Tabby 和 CodeGPT，点击 Install 安装。
配置插件
Tabby
参数
http://172.16.33.66:8080
CodeGPT
参数
OpenAI ServiceNULLGPT-3.5(4k)http://172.16.33.66:8000
使用插件
AI 聊天
代码生成
使用的模型
Tabby 使用的是 Deepseek Coder 6.7B 模型。CodeGPT 使用的是 ChatGLM3-6B 模型。这个后面考虑使用 Deepseek Coder 6.7B 来替换。部署服务器端
Tabby 服务
docker run -d --runtime nvidia --name tabby -p 8080:8080 \
-e TABBY_DOWNLOAD_HOST=modelscope.cn \
-e NVIDIA_VISIBLE_DEVICES=3 \
-e RUST_BACKTRACE=1 \
-v `pwd`/.tabby:/data tabbyml/tabby \
serve --model TabbyML/DeepseekCoder-6.7B --device cuda
OpaneAI 服务
Controllerpython -m fastchat.serve.controller
Model Workerpython -m fastchat.serve.model_worker \
--model-path THUDM/chatglm3-6b --port 21002 \
--worker-address http://localhost:21002 \
--model-names chatglm3-6b,gpt-3.5-turbo
困难重重 😭
服务器是 NVIDIA Tesla T4，系统是 Ubuntu 20.04，从 Kubernetes 集群中分离出来的，因 Tabby 请求 CUDA >= 11.7，需要重新安装新版本的驱动。
sudo sh NVIDIA-Linux-x86_64-535.129.03.run
就两步就完成了，简单吧 😄
实际安装过程 😭
安装驱动
sudo sh NVIDIA-Linux-x86_64-535.129.03.run
日志查看错误信息
Coding LLMs Leaderboard (TabbyML Team)
Introducing the Coding LLM Leaderboard
更新日期：2023-11-13
Next Line Accuracy
什么是 Next Line Accuracy ？
在代码补全中，模型预测的是跨越多行的代码块。一种朴素的方法是直接将预测的代码块与实际提交的代码进行比较。虽然这种方法看起来理想，但它通常被认为是一个“过于稀疏”的度量标准。另一方面，下一行准确度可以作为整体代码块匹配准确度的可靠代理。
只有红色框内的内容被用于与真实值进行比较，以计算准确度指标。
安装 Tabby
安装 tabby brew install tabbyml/tabby/tabby ==> Fetching tabbyml/tabby/tabby ==> Downloading https://github.com/TabbyML/tabby/releases/download/v0.7.
安装 Python 3.11
brew install python@3.11
安装
git clone https://github.com/imartinez/privateGPT && cd privateGPT && \
python3.11 -m venv .venv && source .venv/bin/activate && \
pip install --upgrade pip poetry && poetry install --with ui,local && ./scripts/setup
# Launch the privateGPT API server **and** the gradio UI
poetry run python3.11 -m private_gpt
# In another terminal, create a new browser window on your private GPT!
open http://127.0.0.1:8001/
安装失败 😭
参考资料
DeepSeek Coder
Code LLM 排行榜
选择了两个通用基准来评估:
下面显示了 OctoCoder vs Base HumanEval prompt 的示例，在这里可以找到它。
LLM 排行榜
介绍 DeepSeek Coder 由一系列代码语言模型组成，每个模型都在 2T 令牌上从头开始训练，其中 87% 是英文和中文的代码，13% 是自然语言。我们提供各种尺寸的代码模型，范围从 1B 到 33B 版本。
安装 InteliJ IDEA
安装 CodeGPT
打开 IntelliJ IDEA，选择 Settings 菜单，选择 Plugins，搜索 CodeGPT，点击 Install 安装。
配置 CodeGPT
这里访问的 OpenAI 服务是我自己搭建的，使用的是 FastChat + ChatGLM3-6B。
模型 GPT-3.5(4k)
模型 GPT-4(32k)
模型缓存到 ~/.
CodeFuse 的使命是开发专门设计用于支持整个软件开发生命周期的大型代码语言模型（Code LLMs），涵盖设计、需求、编码、测试、部署、运维等关键阶段。我们致力于打造创新的解决方案，让软件开发者们在研发的过程中如丝般顺滑。
大模型基础服务架构图
<center>
<div class="mermaid">
%%{init: {"flowchart": {"htmlLabels": false}} }%%
flowchart TB
subgraph tool[聊天工具]
direction TB
chatgpt-next(ChatGPT Next Web)
langchain-chatchat(Langchain-Chatchat)
wechat(chatgpt-on-wechat)
end
subgraph business-application[业务应用层]
direction TB
app1(发电)
app2(调度)
app3(输变电)
// ...
代码大模型基础服务架构图
没有找到匹配的文章