16 篇文章带有标签 “lora”

🦞 太空龙虾：基于 OpenVLA、π0、π0.5、π0.6 等核心论文

📋 目录

1. VLA 模型概述
2. 架构设计
3. 数据工程
4. 预训练策略
5. 推理与部署
6. 实战指南

1. VLA 模型概述

1.1 什么是 VLA 模型？

Vision-Language-Action (VLA) 是具身智能领域的核心范式，将三大核心能力端到端集成：

• Vision：视觉感知（理解机器人看到的环境）
• Language：语言理解（理解人类指令）
• Action：动作生成（输出机器人执行的控制指令）

1.2 VLA 的革命性意义

传统机器人范式：

视觉感知 → 状态估计 → 任务规划 → 运动控制 → 执行

问题：各模块独立训练，误差累积，泛化能力弱

VLA 范式：

[图像 + 语言] → VLA 模型 → [动作序列]

优势：端到端训练，全局优化，泛化能力强

2. 架构设计

2.1 核心架构组件

2.1.1 视觉编码器（Vision Encoder）

作用： 将机器人视角的图像转换为特征表示

常用架构：

架构	特点	适用场景
ViT (Vision Transformer)	全局注意力，适合复杂场景	通用机器人操作
CLIP ViT	预训练视觉-语言对齐	开放场景理解
EfficientNet	高效，适合边缘部署	低功耗机器人
DINOv2	自监督预训练	少样本学习

输入维度： 单帧图像：[B, 3, H, W] 多帧历史：[B, T, 3,

济南人工智能计算中心

菜单

• 云资源
  • ModelArts
    • 开发环境
      • Notebook

创建 Notebook

• 自定义镜像：llama2
• 类型：ASCEND
• 规格：Ascend: 8*Ascend910 ARM: 192核 768GB
• 存储配置：云硬盘EVS
  • 磁盘规格：200GB

工作目录：/home/ma-user/work

下载模型

安装 modelscope

pip install --upgrade modelscope

SDK 下载模型脚本

编辑 download.py 文件

#模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('Qwen/Qwen1.5-7B-Chat')

设置下载路径

export MODELSCOPE_CACHE=/home/ma-user/work

下载

python download.py

查看下载的模型

ll /home/ma-user/work/hub/Qwen/Qwen1___5-7B-Chat

修改模型配置文件

修改配置文件：Qwen/Qwen1___5-7B-Chat/config.json

{
  "torch_dtype": "float16",
}

NPU 不支持 bfloat16，模型配置文件需要修改为 float16。

Text Generation Inference

• text-generation-inference
• Text Generation Inference
• TGI 多-LoRA: 部署一次，搞定 30 个模型的推理服务

conda create -n text-generation-inference python=3.9
conda activate text-generation-inference

git clone https://github.com/huggingface/text-generation-inference.git && cd text-generation-inference
BUILD_EXTENSIONS=True make install

vLLM

• vllm
• vllm - Installation

conda create -n vllm python=3.10 -y
conda activate vllm
pip install vllm

cd ~/HuggingFace/mistralai/Mistral-7B-v0.1
git clone https://huggingface.co/predibase/magicoder adapters/magicoder

• vllm - Using LoRA adapters
• mistralai/Mistral-7B-v0.1
• predibase/magicoder
• 利用多Lora节省大模型部署成本｜得物技术
• 使用vLLM在一个基座模型上部署多个lora适配器

vllm serve `pwd` \
    --enable-lora \
    --lora-modules magicoder=`pwd`/adapters/magicoder

Reader-LM

• Google Colab: Reader-LM Tutorial
• jinaai/reader-lm-1.5b
• Reader-LM: Small Language Models for Cleaning and Converting HTML to Markdown
• 专访Jina AI肖涵博士：搜索的未来，藏在一堆小模型里

不能简单地将 HTML 把输入给模型（Reader-LM），因为效果不理想。

Reader-LM-0.5B 和 Reader-LM-1.5B 是受 Jina Reader 启发的两个新型小型语言模型，旨在将来自开放网络的原始、嘈杂的 HTML 转换为干净的 markdown。

使用小型语言模型替换了 readability + turndown + regex 启发式的管道。

Jina Reader 是一个简单的 API，只需一个简单的前缀：r.jina.ai，就可以将任何 URL 转换为 LLM 友好的 markdown。

Jina Embeddings V3

• jina-embeddings-v3: Multilingual Embeddings With Task LoRA

jina-embeddings-v3 的架构基于 XLM-RoBERTa 模型，并进行了几项关键修改。

简介

SWIFT 支持近200种LLM和MLLM（多模态大模型）的训练、推理、评测和部署。开发者可以直接将我们的框架应用到自己的Research和生产环境中，实现模型训练评测到应用的完整链路。我们除支持了PEFT提供的轻量训练方案外，也提供了一个完整的Adapters库以支持最新的训练技术，如NEFTune、LoRA+、LLaMA-PRO等，这个适配器库可以脱离训练脚本直接使用在自己的自定流程中。

• SWIFT
• SWIFT 文档

安装

git clone https://github.com/modelscope/swift.git
cd swift
pip install -e '.[llm]'

支持的模型类型（model_type）

['chinese-alpaca-2-13b-16k', 'chinese-alpaca-2-13b', 'chinese-alpaca-2-7b-64k', 'chinese-alpaca-2-7b-16k', 'chinese-alpaca-2-7b', 'chinese-alpaca-2-1_3b', 'chinese-llama-2-13b-16k', 'chinese-llama-2-13b', 'ch

目标

这里探索了借助大型语言模型微调进行命名实体识别的标注。

定义了一套电力领域的命名实体类型：

• Province: 省份。例如：山东省。
• City: 城市。例如：济南市、济南。
• Company: 供电公司。例如：长清区供电公司、市中供电中心。
• Substation: 供电所。例如：崮山供电所。
• Indicator: 指标。例如：投诉、意见。
• Date: 日期。例如：今天、昨天、今年、去年、本周、上周、本月、上月、3月、本季度、上季度、一季度、今年第一季度、2022年、2024年5月。

对用户的输入进行命名实体识别标注，输出的结果应该包含所有的电力领域实体类型的实例。

• 山东省菏泽巨野县供电公司麒麟供电所投诉数量

<Province>山东省</Province><City>菏泽</City><Company>巨野县供电公司</Company><Substation>麒麟供电所</Substation><Indicator>投诉</Indicator>数量

• 菏泽巨野县供电公司麒麟供电所投诉数量

<City>菏泽</City><Company>巨野县供电公司</Company><Substation>麒麟供电所</

目标

这里探索了借助大型语言模型进行命名实体识别的标注，并在缺少相关类型实体的时候可以自动生成。

定义了一套电力领域的命名实体类型：

• Province: 省份。例如：山东省。
• City: 城市。例如：济南市、济南。
• Company: 供电公司。例如：长清区供电公司、市中供电中心。
• Substation: 供电所。例如：崮山供电所。
• Indicator: 指标。例如：投诉、意见。
• Date: 日期。例如：今天、昨天、今年、去年、本周、上周、本月、上月、3月、本季度、上季度、一季度、今年第一季度、2022年、2024年5月。

理想的情况下的输入可能是这样的：{DATE}山东省菏泽巨野县供电公司麒麟供电所投诉数量。

但是用户的输入是多种多样的：

• 山东省菏泽巨野县供电公司麒麟供电所投诉数量
• 菏泽巨野县供电公司麒麟供电所投诉数量
• 菏泽巨野投诉数量
• 菏泽麒麟投诉数量
• 巨野县供电公司麒麟供电所投诉数量
• 巨野麒麟投诉数量
• 巨野投诉数量
• 麒麟供电所投诉数量
• 麒麟投诉数量

通过微调后的模型可以生成如下实体标注： <Date>本月</Date><Province>山东省</Province><City>菏泽</City><Company>巨野县供电公司</Company><Substation>麒麟供电所

安装 LLaMA-Factory

git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory

python -m venv env
source env/bin/activate

pip install -e .[metrics]

下载模型

• 通义千问1.5-4B-Chat

git clone https://www.modelscope.cn/qwen/Qwen1.5-4B-Chat.git

自定义数据集

data/text2sql.json [ { "instruction": "You are an SQLite database expert. Help users write SQL statements based on the following table schema.

MLX 介绍

MLX 是一个为 Apple Silicon 芯片上的机器学习研究设计的 array 框架，由 Apple 机器学习研究团队提供。

• 熟悉的 API：MLX 拥有一个与 NumPy 紧密对应的 Python API。MLX 还拥有功能齐全的 C++、C 和 Swift API，这些 API 也紧密地反映了 Python API。MLX 拥有更高级别的包，如 mlx.nn 和 mlx.optimizers，它们的 API 紧密跟随 PyTorch，以简化构建更复杂模型的过程。
• 统一内存：MLX 与其他框架的一个显著区别在于其统一内存模型。MLX 中的数组存在于共享内存中。可以在任何支持的设备类型上执行 MLX 数组的操作，无需数据传输。
• MLX 的设计受到了像 NumPy、PyTorch、Jax 和 ArrayFire 这样的框架的启发。

安装

• pip

pip install mlx
pip install mlx-lm

• conda

conda install -c conda-forge mlx
conda install -c conda-forge mlx-lm

TinyLlama

• TinyLlama: The Mini AI Model with a Trillion-Token Punch
• Just using MLX to fine-tune TinyLlama with LoRA locally on a 8 GB Mac Mini.

TinyLlama/TinyLlama-1.1B-Chat-v1.0

• 输入

<|system|>
You are a chatbot who can help code!</s>
<|user|>
Write me a function to calculate the first 10 digits of the fibonacci sequence in Python and print it out to the CLI.</s>
<|assistant|>

• 输出

将 MLX 微调的模型转换为 GGUF 模型最大的意义是可以融入 GGUF 的生态系统，可以在更多的平台上使用。

LoRA 微调

大模型 Mistral-7B-v0.1

• mistralai/Mistral-7B-v0.1

数据集 WikiSQL

• WikiSQL
• sqllama/sqllama-V0

修改脚本 mlx-examples/lora/data/wikisql.py

if __name__ == "__main__":
    # ......
    for dataset, name, size in datasets:
        with open(f"data/{name}.jsonl", "w") as fid:
            for e, t in zip(range(size), dataset):
                t = t[3:]
                json.dump({"text": t}, fid)
                fid.write("\n")

执行脚本 data/wikisql.py 生成数据集。

data/wikisql.py

安装 mlx-lm

pip install mlx-lm

微调

大模型 Deepseek-Coder-7B

• deepseek-ai/deepseek-coder-7b-base-v1.5
• deepseek-ai/deepseek-coder-7b-instruct-v1.5

数据集 WikiSQL

• WikiSQL
• sqllama/sqllama-V0

修改脚本 mlx-examples/lora/data/wikisql.py if name == "main": # ...... for dataset, name, size in datasets: with open(f"data/{name}.jsonl", "w") as fid: for e, t in zip(range(size), dataset): # deepseek-ai/deepseek-coder-7b-instruct-v1.5 # 去掉开头的 <｜begin▁of▁sentence｜>，因为 tokenizer 会自动添加 <｜begin▁of▁sentence｜> t = t[3:-4] + "<｜end▁of▁sentence｜>" json.dump({"text": t}, fid) fid.

使用 LoRA 和 QLoRA 基于 Mistral-7B 微调的实验

• 在 MLX 上使用 LoRA / QLoRA 微调 Text2SQL（二）：使用 LoRA 基于 Mistral-7B 微调
• 在 MLX 上使用 LoRA / QLoRA 微调 Text2SQL（四）：使用 QLoRA 基于 Mistral-7B 微调

LoRA 和 QLoRA 对比

微调

Iteration	LoRA Train Loss	LoRA Val Loss	LoRA Tokens/sec	QLoRA Train Loss	QLoRA Val Loss	QLoRA Tokens/sec
1		2.343			2.420
100	1.204		221.348	1.216		166.377
200	1.091	1.111	207.353	1.095	1.130	187.795
300	0.818		234.182	1.065		194.826
400	0.837	1.076	207.763	0.998	1.006	170.072
500	0.774		223.036	0.726		189.288
600	0.609	1.001	218.118	0.607	1.015	186.397

微调的参数量 LoRA 微调万分之 2.35 （1.704M / 7243.436M * 10000）的模型参数。 QLoRA 微调万分之 13.

mlx-community/Mistral-7B-v0.1-LoRA-Text2SQL

安装 mlx-lm

pip install mlx-lm

生成 SQL

python -m mlx_lm.generate --model mlx-community/Mistral-7B-v0.1-LoRA-Text2SQL \
                          --max-tokens 50 \
                          --prompt "table: students
columns: Name, Age, School, Grade, Height, Weight
Q: Which school did Wang Junjian come from?
A: "

SELECT School FROM Students WHERE Name = 'Wang Junjian'

上传模型到 HuggingFace Hub

1. 加入 MLX Community 组织

2. 在 MLX Community 组织中创建一个新的模型 mlx-community/Mistral-7B-v0.1-LoRA-Text2SQL

3. 克隆仓库 mlx-community/Mistral-7B-v0.1-LoRA-Text2SQL

mlx-community/Mistral-7B-v0.1-LoRA-Text2SQL

本次微调的模型我已经上传到了 HuggingFace Hub 上，大家可以进行尝试。

安装 mlx-lm

pip install mlx-lm

生成 SQL

python -m mlx_lm.generate --model mlx-community/Mistral-7B-v0.1-LoRA-Text2SQL \
                          --max-tokens 50 \
                          --prompt "table: students
columns: Name, Age, School, Grade, Height, Weight
Q: Which school did Wang Junjian come from?
A: "

SELECT School FROM Students WHERE Name = 'Wang Junjian'

在 MLX 上使用 LoRA / QLoRA 微调 Text2SQL（一）：使用 LoRA 基于 Mistral-7B 微调

📌 没有使用模型的标注格式生成数据集，导致不能结束，直到生成最大的 Tokens 数量。

这次我们来解决这个问题。

数据集 WikiSQL

• WikiSQL
• sqllama/sqllama-V0

修改脚本 mlx-examples/lora/data/w

安装

git clone https://github.com/ml-explore/mlx-examples.git
cd mlx-examples/lora

pip install -r requirements.txt

下载模型

• mistralai/Mistral-7B-v0.1

pip install huggingface_hub hf_transfer

export HF_HUB_ENABLE_HF_TRANSFER=1
huggingface-cli download \
    --local-dir-use-symlinks False \
    --local-dir mistralai/Mistral-7B-v0.1 \
    mistralai/Mistral-7B-v0.1

• huggingface_hub Environment variables

数据集 WikiSQL

• WikiSQL
• sqllama/sqllama-V0

样本格式