21 篇文章带有标签 “fine-tuning”

架构

本地运行

使用 NPM 安装

1. 克隆仓库：

   git clone https://github.com/ConardLi/easy-dataset.git
   cd easy-dataset

2. 安装依赖：

   npm install

3. 启动开发服务器：

   npm run build

   npm run start

4. 打开浏览器并访问 http://localhost:1717

使用本地 Dockerfile 构建

如果你想自行构建镜像，可以使用项目根目录中的 Dockerfile：

1. 克隆仓库：

   git clone https://github.com/ConardLi/easy-dataset.git
   cd easy-dataset
   

2. 构建 Docker 镜像：

   docker build -t easy-dataset .
   

3. 运行容器：

   docker run -d -p 1717:1717 -v {YOUR_LOCAL_DB_PATH}:/app/local-db --name easy-dataset easy-dataset
   

   注意： 请将 {YOUR_LOCAL_DB_PATH} 替换为你希望存储本地数据库的实际路径。

4. 打开浏览器，访问 http://localhost:1717

首页

项目

创建项目

模型配置

任务配置

提示词配置

文献处理

上传文件

智能分割

批量生成问题

领域分析

领域树

目录结构

问题管理

列表视图

领域树视图

问题编辑

数据集管理

济南人工智能计算中心

菜单

• 云资源
  • ModelArts
    • 开发环境
      • Notebook

创建 Notebook

• 自定义镜像：llama2
• 类型：ASCEND
• 规格：Ascend: 8*Ascend910 ARM: 192核 768GB
• 存储配置：云硬盘EVS
  • 磁盘规格：200GB

工作目录：/home/ma-user/work

下载模型

安装 modelscope

pip install --upgrade modelscope

SDK 下载模型脚本

编辑 download.py 文件

#模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('Qwen/Qwen1.5-7B-Chat')

设置下载路径

export MODELSCOPE_CACHE=/home/ma-user/work

下载

python download.py

查看下载的模型

ll /home/ma-user/work/hub/Qwen/Qwen1___5-7B-Chat

修改模型配置文件

修改配置文件：Qwen/Qwen1___5-7B-Chat/config.json

{
  "torch_dtype": "float16",
}

NPU 不支持 bfloat16，模型配置文件需要修改为 float16。

• AutoTrain Advanced
• AutoTrain Quickstart

安装

macOS

conda create -n autotrain python=3.10
conda activate autotrain
pip install autotrain-advanced
conda install pytorch torchvision torchaudio -c pytorch
pip install numpy==1.26.0
export HF_TOKEN=xxx
autotrain app --port 8080 --host 127.0.0.1

浏览器打开 http://127.0.0.1:8080/ui/ 以查看 AutoTrain 的界面。

简介

SWIFT 支持近200种LLM和MLLM（多模态大模型）的训练、推理、评测和部署。开发者可以直接将我们的框架应用到自己的Research和生产环境中，实现模型训练评测到应用的完整链路。我们除支持了PEFT提供的轻量训练方案外，也提供了一个完整的Adapters库以支持最新的训练技术，如NEFTune、LoRA+、LLaMA-PRO等，这个适配器库可以脱离训练脚本直接使用在自己的自定流程中。

• SWIFT
• SWIFT 文档

安装

git clone https://github.com/modelscope/swift.git
cd swift
pip install -e '.[llm]'

支持的模型类型（model_type）

['chinese-alpaca-2-13b-16k', 'chinese-alpaca-2-13b', 'chinese-alpaca-2-7b-64k', 'chinese-alpaca-2-7b-16k', 'chinese-alpaca-2-7b', 'chinese-alpaca-2-1_3b', 'chinese-llama-2-13b-16k', 'chinese-llama-2-13b', 'ch

目标

这里探索了借助大型语言模型微调进行命名实体识别的标注。

定义了一套电力领域的命名实体类型：

• Province: 省份。例如：山东省。
• City: 城市。例如：济南市、济南。
• Company: 供电公司。例如：长清区供电公司、市中供电中心。
• Substation: 供电所。例如：崮山供电所。
• Indicator: 指标。例如：投诉、意见。
• Date: 日期。例如：今天、昨天、今年、去年、本周、上周、本月、上月、3月、本季度、上季度、一季度、今年第一季度、2022年、2024年5月。

对用户的输入进行命名实体识别标注，输出的结果应该包含所有的电力领域实体类型的实例。

• 山东省菏泽巨野县供电公司麒麟供电所投诉数量

<Province>山东省</Province><City>菏泽</City><Company>巨野县供电公司</Company><Substation>麒麟供电所</Substation><Indicator>投诉</Indicator>数量

• 菏泽巨野县供电公司麒麟供电所投诉数量

<City>菏泽</City><Company>巨野县供电公司</Company><Substation>麒麟供电所</

目标

这里探索了借助大型语言模型进行命名实体识别的标注，并在缺少相关类型实体的时候可以自动生成。

定义了一套电力领域的命名实体类型：

• Province: 省份。例如：山东省。
• City: 城市。例如：济南市、济南。
• Company: 供电公司。例如：长清区供电公司、市中供电中心。
• Substation: 供电所。例如：崮山供电所。
• Indicator: 指标。例如：投诉、意见。
• Date: 日期。例如：今天、昨天、今年、去年、本周、上周、本月、上月、3月、本季度、上季度、一季度、今年第一季度、2022年、2024年5月。

理想的情况下的输入可能是这样的：{DATE}山东省菏泽巨野县供电公司麒麟供电所投诉数量。

但是用户的输入是多种多样的：

• 山东省菏泽巨野县供电公司麒麟供电所投诉数量
• 菏泽巨野县供电公司麒麟供电所投诉数量
• 菏泽巨野投诉数量
• 菏泽麒麟投诉数量
• 巨野县供电公司麒麟供电所投诉数量
• 巨野麒麟投诉数量
• 巨野投诉数量
• 麒麟供电所投诉数量
• 麒麟投诉数量

通过微调后的模型可以生成如下实体标注： <Date>本月</Date><Province>山东省</Province><City>菏泽</City><Company>巨野县供电公司</Company><Substation>麒麟供电所

安装 LLaMA-Factory

git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory

python -m venv env
source env/bin/activate

pip install -e .[metrics]

下载模型

• 通义千问1.5-4B-Chat

git clone https://www.modelscope.cn/qwen/Qwen1.5-4B-Chat.git

自定义数据集

data/text2sql.json [ { "instruction": "You are an SQLite database expert. Help users write SQL statements based on the following table schema.

• LLaMA Factory

安装

• pip

git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory

python -m venv env
source env/bin/activate

pip install -e .[metrics]

• conda

git clone https://github.com/hiyouga/LLaMA-Factory.git

conda create -n llama_factory python=3.10
conda activate llama_factory

cd LLaMA-Factory
pip install -r requirements.txt

使用 conda 第二次没有安装成功

使用

LLaMA Board

本地启动

CUDA_VISIBLE_DEVICES=0 USE_MODELSCOPE_HUB=1 python src/train_web.py

• CUDA_VISIBLE_DEVICES=0: 指定 GPU
• USE_MODELSCOPE_HUB=1: 使用魔搭社区的模型和数据集下载

浏览器访问

http://localhost:7860

微调模型

聊天

MLX 介绍

MLX 是一个为 Apple Silicon 芯片上的机器学习研究设计的 array 框架，由 Apple 机器学习研究团队提供。

• 熟悉的 API：MLX 拥有一个与 NumPy 紧密对应的 Python API。MLX 还拥有功能齐全的 C++、C 和 Swift API，这些 API 也紧密地反映了 Python API。MLX 拥有更高级别的包，如 mlx.nn 和 mlx.optimizers，它们的 API 紧密跟随 PyTorch，以简化构建更复杂模型的过程。
• 统一内存：MLX 与其他框架的一个显著区别在于其统一内存模型。MLX 中的数组存在于共享内存中。可以在任何支持的设备类型上执行 MLX 数组的操作，无需数据传输。
• MLX 的设计受到了像 NumPy、PyTorch、Jax 和 ArrayFire 这样的框架的启发。

安装

• pip

pip install mlx
pip install mlx-lm

• conda

conda install -c conda-forge mlx
conda install -c conda-forge mlx-lm

机器学习的方法

监督学习（Supervised Learning）

监督学习使用带有标签的训练数据来训练模型。这些标签是预先定义的输出，模型通过学习输入数据与这些输出之间的关系来进行预测。监督学习的任务通常分为两类：分类（预测离散的标签）和回归（预测连续的数值）。常见的监督学习算法包括决策树、逻辑回归、支持向量机（SVM）、神经网络等。监督学习广泛应用于图像识别、语音识别、医疗诊断等领域。

无监督学习（Unsupervised Learning）

无监督学习不依赖于标签数据，而是试图在没有明确指导的情况下发现数据中的结构和模式。它的主要任务包括聚类（将数据分组到不同的簇中）和降维（减少数据的复杂性，同时保留其主要特征）。无监督学习常用于市场细分、社交网络分析、异常检测等场景。算法示例包括K-means聚类、主成分分析（PCA）等。

自监督学习（Self-Supervised Learning）

自监督学习是一种无监督学习的形式，它通过从数据本身生成伪标签来创建监督信号。这种方法通常涉及到设计任务，使得模型能够从数据中学习有用的特征表示，而不需要人工标注。自监督学习在计算机视觉和自然语言处理中尤其流行，例如，通过预测图像的旋转角度或文本的下一个字来训练模型。这种方法有助于减少对大量标注数据的依赖，同时为下游任务提供预训练的模型。

生成式AI（Generative AI） 生成式AI的目标是

• NLP Course

1. TRANSFORMER 模型

自然语言处理

NLP 是语言学和机器学习交叉领域，专注于理解与人类语言相关的一切。 NLP 任务的目标不仅是单独理解单个单词，而且是能够理解这些单词的上下文。

以下是常见 NLP 任务的列表：

• 对整个句子进行分类:
  • 获取评论的情绪
  • 检测电子邮件是否为垃圾邮件
  • 确定句子在语法上是否正确
  • 确定两个句子在逻辑上是否相关
• 对句子中的每个词进行分类:
  • 识别句子的语法成分（名词、动词、形容词）
  • 识别句子的命名实体（人、地点、组织）
• 生成文本内容:
  • 用自动生成的文本完成提示
  • 用屏蔽词填充文本中的空白
• 从文本中提取答案:
  • 给定问题和上下文，根据上下文中提供的信息提取问题的答案
• 从输入文本生成新句子:
  • 将文本翻译成另一种语言
  • 总结文本
• 语音识别:
  • 生成音频样本的转录
• 计算机视觉:
  • 生成图像描述
  • 目标检测

Transformers 能做什么？

Transformers 库中最基本的对象是 pipeline() 函数。它将模型与其必要的预处理和后处理步骤连接起来，使我们能够通过直接输入任何文本并获得最终的答案：

TinyLlama

• TinyLlama: The Mini AI Model with a Trillion-Token Punch
• Just using MLX to fine-tune TinyLlama with LoRA locally on a 8 GB Mac Mini.

TinyLlama/TinyLlama-1.1B-Chat-v1.0

• 输入

<|system|>
You are a chatbot who can help code!</s>
<|user|>
Write me a function to calculate the first 10 digits of the fibonacci sequence in Python and print it out to the CLI.</s>
<|assistant|>

• 输出

大模型 Deepseek-Coder-7B

• deepseek-ai/deepseek-coder-7b-base-v1.5
• deepseek-ai/deepseek-coder-7b-instruct-v1.5

数据集 WikiSQL

• WikiSQL
• sqllama/sqllama-V0

修改脚本 mlx-examples/lora/data/wikisql.py if name == "main": # ...... for dataset, name, size in datasets: with open(f"data/{name}.jsonl", "w") as fid: for e, t in zip(range(size), dataset): # deepseek-ai/deepseek-coder-7b-instruct-v1.5 # 去掉开头的 <｜begin▁of▁sentence｜>，因为 tokenizer 会自动添加 <｜begin▁of▁sentence｜> t = t[3:-4] + "<｜end▁of▁sentence｜>" json.dump({"text": t}, fid) fid.

预训练模型 mistralai/Mistral-7B-v0.1

量化

QLoRA 微调需要量化，生成 4 位量化的 Mistral 7B 并默认将其存储在 mlx_model 目录中

python convert.py --hf-path mistralai/Mistral-7B-v0.1 -q

mlx_model 目录结构如下：

mlx_model
├── config.json
├── model.safetensors
├── special_tokens_map.json
├── tokenizer.json
├── tokenizer.model
├── tokenizer_config.json
└── weights.00.safetensors

量化后的模型 8.0G

微调

QLoRA 微调

mlx-community/Mistral-7B-v0.1-LoRA-Text2SQL

本次微调的模型我已经上传到了 HuggingFace Hub 上，大家可以进行尝试。

安装 mlx-lm

pip install mlx-lm

生成 SQL

python -m mlx_lm.generate --model mlx-community/Mistral-7B-v0.1-LoRA-Text2SQL \
                          --max-tokens 50 \
                          --prompt "table: students
columns: Name, Age, School, Grade, Height, Weight
Q: Which school did Wang Junjian come from?
A: "

SELECT School FROM Students WHERE Name = 'Wang Junjian'

在 MLX 上使用 LoRA / QLoRA 微调 Text2SQL（一）：使用 LoRA 基于 Mistral-7B 微调

📌 没有使用模型的标注格式生成数据集，导致不能结束，直到生成最大的 Tokens 数量。

这次我们来解决这个问题。

数据集 WikiSQL

• WikiSQL
• sqllama/sqllama-V0

修改脚本 mlx-examples/lora/data/w

安装

git clone https://github.com/ml-explore/mlx-examples.git
cd mlx-examples/lora

pip install -r requirements.txt

下载模型

• mistralai/Mistral-7B-v0.1

pip install huggingface_hub hf_transfer

export HF_HUB_ENABLE_HF_TRANSFER=1
huggingface-cli download \
    --local-dir-use-symlinks False \
    --local-dir mistralai/Mistral-7B-v0.1 \
    mistralai/Mistral-7B-v0.1

• huggingface_hub Environment variables

数据集 WikiSQL

• WikiSQL
• sqllama/sqllama-V0

样本格式

DeepSeek Coder

• DeepSeek Chat
• DeepSeek Coder: Let the Code Write Itself
• GitHub: DeepSeek Coder
• HuggingFace: DeepSeek
• TheBloke: deepseek-coder-6.7B-instruct-GGUF
• Ollama: DeepSeek Coder

Code LLM 排行榜

• Leaderboard

Big Code Models Leaderboard

选择了两个通用基准来评估:

• HumanEval: 用于测量从文档字符串合成程序的功能正确性的基准。它由 164 个 Python 编程问题组成。
• MultiPL-E: 将 HumanEval 翻译为 18 种编程语言。

下面显示了 OctoCoder vs Base HumanEval prompt 的示例，在这里可以找到它。

CanAiCode Leaderboard

Coding LLMs Leaderboard

LLM 排行榜

Open LLM Leaderboard

LLM-Perf Leaderboard

介绍 DeepSeek Coder 由一系列代码语言模型组成，每个模型都在 2T 令牌上从头开始训练，其中 87% 是英文和中文的代码，13% 是自然语言。我们提供各种尺寸的代码模型，范围从 1B 到 33B 版本。

介绍

Learn about the training pipeline of GPT assistants like ChatGPT, from tokenization to pretraining, supervised finetuning, and Reinforcement Learning from Human Feedback (RLHF). Dive deeper into practical techniques and mental models for the effective use of these models, including prompting strategies, finetuning, the rapidly growing ecosystem of tools, and their future extensions.

了解 ChatGPT 等 GPT 助手的训练管道，从标记化到预训练、监督微调和人类反馈强化学习 (RLHF)。 深入研究有效使用这些模型的实用技术和心智模型，包括提示策略、微调、快速增长的工具生态系统及其未来的扩展。

• State of GPT - Video
• 微软2023年Build大会演讲：如何训练和应用GPT
• State of GPT - PDF
• State of GPT：大神Andrej揭秘OpenAI大模型原理和训练过程

参考资料

• Fine-tuning
• Fine tuning classification example
• Model Pricing
• JSON Lines

Electrical Safety Work Procedures (电力安全工作规程) 数据