41 篇文章带有标签 “qwen”

2024年6月1日星期六

LLM 技术栈

框架

[SGLang][SGLang]

SGLang 是一种专为大型语言模型 (LLM) 设计的结构化生成语言。它通过共同设计前端语言和运行时系统，使您与 LLM 的交互更快、更可控。

平台

[Dify][Dify]

Dify 是一个 UI 驱动的用于开发大语言模型应用程序的平台，它使原型设计更加容易访问。它支持用户使用提示词模板开发聊天和文本生成应用。此外，Dify 支持使用导入数据集的检索增强生成（RAG），并且能够与多个模型协同工作。我们对这类应用很感兴趣。不过，从我们的使用经验来看，Dify 还没有完全准备好投入大范围使用，因为某些功能目前仍然存在缺陷或并不成熟。但目前，我们还没有发现更好的竞品。

工具

[Continue][Continue]

Continue 使您能够在 IDE 中创建自己的 AI 代码助手。使用 VS Code 和 JetBrains 插件保持开发者的流畅体验，这些插件可以连接到任何模型、任何上下文以及任何其他你需要的东西。Continue 使您能够使用适合工作的模型，无论是开源还是商业，本地运行还是远程运行，用于聊天、自动完成或嵌入。它提供了许多配置点，以便您可以自定义扩展以适应您现有的工作流程。

[Ollama][Ollama] Ollama 是一个在本机上运行并管理大语言模型的工具。

2024-06-01 08:00

2024年5月15日星期三

使用大型语言模型微调命名实体识别

目标

这里探索了借助大型语言模型微调进行命名实体识别的标注。

定义了一套电力领域的命名实体类型：

Province: 省份。例如：山东省。
City: 城市。例如：济南市、济南。
Company: 供电公司。例如：长清区供电公司、市中供电中心。
Substation: 供电所。例如：崮山供电所。
Indicator: 指标。例如：投诉、意见。
Date: 日期。例如：今天、昨天、今年、去年、本周、上周、本月、上月、3月、本季度、上季度、一季度、今年第一季度、2022年、2024年5月。

对用户的输入进行命名实体识别标注，输出的结果应该包含所有的电力领域实体类型的实例。

山东省菏泽巨野县供电公司麒麟供电所投诉数量

<Province>山东省</Province><City>菏泽</City><Company>巨野县供电公司</Company><Substation>麒麟供电所</Substation><Indicator>投诉</Indicator>数量

菏泽巨野县供电公司麒麟供电所投诉数量

<City>菏泽</City><Company>巨野县供电公司</Company><Substation>麒麟供电所</

2024-05-15 08:00

qwen llama-factory fine-tuning ner lora named-entity-recognition xml supervised-fine-tuning python

2024年5月13日星期一

使用大型语言模型微调命名实体识别生成

目标

这里探索了借助大型语言模型进行命名实体识别的标注，并在缺少相关类型实体的时候可以自动生成。

定义了一套电力领域的命名实体类型：

Province: 省份。例如：山东省。
City: 城市。例如：济南市、济南。
Company: 供电公司。例如：长清区供电公司、市中供电中心。
Substation: 供电所。例如：崮山供电所。
Indicator: 指标。例如：投诉、意见。
Date: 日期。例如：今天、昨天、今年、去年、本周、上周、本月、上月、3月、本季度、上季度、一季度、今年第一季度、2022年、2024年5月。

理想的情况下的输入可能是这样的：{DATE}山东省菏泽巨野县供电公司麒麟供电所投诉数量。

但是用户的输入是多种多样的：

山东省菏泽巨野县供电公司麒麟供电所投诉数量
菏泽巨野县供电公司麒麟供电所投诉数量
菏泽巨野投诉数量
菏泽麒麟投诉数量
巨野县供电公司麒麟供电所投诉数量
巨野麒麟投诉数量
巨野投诉数量
麒麟供电所投诉数量
麒麟投诉数量

通过微调后的模型可以生成如下实体标注： <Date>本月</Date><Province>山东省</Province><City>菏泽</City><Company>巨野县供电公司</Company><Substation>麒麟供电所

2024-05-13 08:00

qwen llama-factory fine-tuning ner lora named-entity-recognition xml supervised-fine-tuning

2024年5月10日星期五

使用大型语言模型进行命名实体识别

总结

Qwen 模型的指令遵循还是差强人意，这里使用的参数应该是 72B
大型语言模型发挥了它的生成能力，会在原文的基础上给你增加内容，如：济南市。
问题变化多样，示例也不可能覆盖所有的情况，写的越多占用的上下文长度越大。
在实验二中
- 明确说明Date实体类型的值，并没有很好的识别出来，如：3月识别为Month，一季度识别为Quarter，今年识别为Year。这个跟模型有关，ChatGPT就识别的不错。
在实验三中
- 明确说明不要增加实体类型，但还是增加了，如：County实体类型。
- 识别的实体有重叠文字，如：曹县，曹县供电公司。
- 位置很容易出错，一旦出错后面的实体位置都是错误的了。
使用XML标记方式比输出json结果方式效果更好。

代码 from langchain_core.output_parsers import StrOutputParser from langchain_core.prompts import PromptTemplate from langchain_core.runnables import RunnablePassthrough from langchain_community.chat_models.

2024-05-10 08:00

qwen langchain chattongyi llm named-entity-recognition xml json prompt-engineering dashscope

2024年5月7日星期二

LLaMA-Factory 微调 Text2SQL

安装 LLaMA-Factory

git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory

python -m venv env
source env/bin/activate

pip install -e .[metrics]

下载模型

通义千问1.5-4B-Chat

git clone https://www.modelscope.cn/qwen/Qwen1.5-4B-Chat.git

自定义数据集

data/text2sql.json [ { "instruction": "You are an SQLite database expert. Help users write SQL statements based on the following table schema.

2024-05-07 08:00

llama-factory fine-tuning text2sql lora qwen peft supervised-fine-tuning alpaca modelscope

2024年4月22日星期一

ChatTongyi

LangChain ChatTongyi

Stream

2024-04-22 08:00

langchain chattongyi dashscope streaming qwen python 通义千问

2024年4月20日星期六

Gradio Chatbot

DashScope

import os
import pandas as pd
import gradio as gr
from http import HTTPStatus
from dashscope import Generation
from dashscope.api_entities.dashscope_response import Role
from typing import List, Optional, Tuple, Dict, Generator
from urllib.error import HTTPError


DEFAULT_SYSTEM = '您是一个有用的助手。'

History = List[Tuple[str, str]]
Messages = List[Dict[str, str]]

// ...

CodeQwen1.5-7B-对话-demo

LangChain ChatTongyi

2024-04-20 08:00

gradio chatbot dashscope langchain chattongyi qwen streaming python 通义千问

2024年4月13日星期六

DashScope 模型服务灵积

让大模型能力触达每位开发者

灵积模型服务建立在“模型即服务”（Model-as-a-Service，MaaS）的理念基础之上。

灵积通过灵活、易用的模型API服务，让各种模态模型的能力，都能方便的为AI开发者所用。通过灵积API，开发者不仅可以直接集成大模型的强大能力，也可以对模型进行训练微调，实现模型定制化。

通义千问大型语言模型

模型	描述	上下文长度	计量单价
qwen-turbo	通义千问超大型语言模型，支持中文、英文等不同语言输入。	8k	0.008元/1000 tokens
qwen-plus	通义千问超大型语言模型增强版，支持中文、英文等不同语言输入。	32k	0.02元/1000 tokens
qwen-max	通义千问千亿级别超大型语言模型，支持中文、英文等不同语言输入。	8k	0.12元/1000 tokens
qwen-max-longcontext	通义千问千亿级别超大型语言模型，支持中文、英文等不同语言输入。	30k	0.12元/1000 tokens
qwen-72b-chat	通义千问开源 720 亿参数大型语言模型	8k	0.02元/1000 tokens
qwen1.5-72b-chat	通义千问开源 720 亿参数大型语言模型	32k

通义千问大语言模型计量计费

LangChain 调用

2024-04-13 08:00

dashscope maas 模型即服务 qwen 通义千问 langchain chattongyi llm

2024年4月12日星期五

LangChain Text2SQL Agent

OpenAI Function Call (Extraction)

这个方法只有 OpenAI 的模型支持。

from langchain.agents import tool
from langchain.chat_models import ChatOpenAI
from langchain.tools.render import format_tool_to_openai_function

from langchain.pydantic_v1 import BaseModel, Field
from enum import Enum


# 省份、直辖市
class ProvinceEnum(str, Enum):
    山东省 = "山东省"
    # 其它省份


# 山东省地级市
// ...

OpenAI gpt-3.

2024-04-12 08:00

langchain text2sql agent function-calling chattongyi ollama dashscope qwen llm

2024年3月15日星期五

vLLM 部署 Qwen1.5 LLM

安装 vLLM

# (Optional) Create a new conda environment.
conda create -n vllm python=3.9 -y
conda activate vllm

# Install vLLM with CUDA 12.1.
pip install vllm

vLLM 帮助 vLLM 兼容 OpenAI 的 RESTful API 服务器。可选参数： -h, --help 显示此帮助信息并退出 --host HOST 主机名 --port PORT 端口号 --allow-credentials 允许凭证 --allowed-origins ALLOWED_ORIGINS 允许的来源 --allowed-methods ALLOWED_METHODS 允许的方法 --allowed-headers ALLOWED_HEADERS 允许的头部 --api-key API_KEY 如果提供，服务器将要求在头部中呈现此密钥。 --served-model-name SERVED_MODEL_NAME 在API中使用的模型名称。如果没有指定，模型名称将与huggingface名称相同。 --lora-modules LORA_MODULES [LORA_MODULES ...] LoRA模块配置，格式为名称=路径。可以指定多个模块。

2024-03-15 10:00

vllm llm qwen qwen1.5 deployment model-serving quantization tensor-parallelism gpu tesla-t4

2024年3月14日星期四

MLX: An array framework for Apple silicon

MLX 介绍

MLX 是一个为 Apple Silicon 芯片上的机器学习研究设计的 array 框架，由 Apple 机器学习研究团队提供。

熟悉的 API：MLX 拥有一个与 NumPy 紧密对应的 Python API。MLX 还拥有功能齐全的 C++、C 和 Swift API，这些 API 也紧密地反映了 Python API。MLX 拥有更高级别的包，如 mlx.nn 和 mlx.optimizers，它们的 API 紧密跟随 PyTorch，以简化构建更复杂模型的过程。
统一内存：MLX 与其他框架的一个显著区别在于其统一内存模型。MLX 中的数组存在于共享内存中。可以在任何支持的设备类型上执行 MLX 数组的操作，无需数据传输。
MLX 的设计受到了像 NumPy、PyTorch、Jax 和 ArrayFire 这样的框架的启发。

安装

pip install mlx
pip install mlx-lm

conda

conda install -c conda-forge mlx
conda install -c conda-forge mlx-lm

2024-03-14 08:00

mlx llm mistral qwen quantization lora qlora fine-tuning apple-silicon inference

2024年1月19日星期五

使用 llama.cpp 构建兼容 OpenAI API 服务

[llama.cpp][llama.cpp]

使用 llama.cpp 构建本地聊天服务

模型量化量化类型 ./quantize --help Allowed quantization types: 2 or Q4_0 : 3.56G, +0.2166 ppl @ LLaMA-v1-7B 3 or Q4_1 : 3.90G, +0.1585 ppl @ LLaMA-v1-7B 8 or Q5_0 : 4.33G, +0.0683 ppl @ LLaMA-v1-7B 9 or Q5_1 : 4.70G, +0.0349 ppl @ LLaMA-v1-7B 19 or IQ2_XXS : 2.06 bpw quantization 20 or IQ2_XS : 2.31 bpw quantization 10 or Q2_K : 2.63G, +0.6717 ppl @ LLaMA-v1-7B 21 or Q2_K_S : 2.16G, +9.0634 ppl @ LLaMA-v1-7B 12 or Q3_K : alias for Q3_K_M 11 or Q3_K_S : 2.75G, +0.5551 ppl @ LLaMA-v1-7B 12 or Q3_K_M : 3.07G, +0.2496 ppl @ LLaMA-v1-7B 13 or Q3_K_L : 3.35G, +0.

2024-01-19 08:00

llama.cpp llama-cpp-python quantization qwen deepseek openai-api perplexity cuda tesla-t4 macbook-pro-m2-max

2024年1月17日星期三

LLM 的基准测试

安装 FastChat & vLLM

安装 FastChat

安装 FlashAttention

FlashAttention-2 currently supports:

Ampere, Ada, or Hopper GPUs (e.g., A100, RTX 3090, RTX 4090, H100). Support for Turing GPUs (T4, RTX 2080) is coming soon, please use FlashAttention 1.x for Turing GPUs for now.
Datatype fp16 and bf16 (bf16 requires Ampere, Ada, or Hopper GPUs).
All head dimensions up to 256. Head dim > 192 backward requires A100/A800 or H100/H800.

Turing GPU T4 不支持，需要使用 FlashAttention 1.x，否则会报错 ❌：

2024-01-17 08:00

llm benchmarking 测速 fastchat vllm qwen wrk tesla-t4

2024年1月16日星期二

使用 FastChat 在 CUDA 上部署 LLM

安装 FastChat & vLLM

安装 FastChat

pip install "fschat[model_worker,webui]"

安装 FlashAttention

Turing GPU T4 不支持 FlashAttention 2，需要使用 FlashAttention 1.x 。
Turing GPU T4 不支持 bf16，需要使用 fp16 。

安装 vLLM

pip install vllm -i https://mirrors.aliyun.com/pypi/simple/

升级 FastChat & vLLM

git pull
pip install -e ".[model_worker,webui]"
pip install -U vllm

部署 LLM

运行 Controller

python -m fastchat.serve.controller

运行 OpenAI API Server

python -m fastchat.serve.openai_api_server

运行 Model Worker Qwen-1_8B-Chat export CUDA_VISIBLE_DEVIC

2024-01-16 08:00

fastchat vllm cuda qwen chatglm llm-deployment openai-api flash-attention

2024年1月11日星期四

在 MacBook Pro M2 Max 上安装 FastChat

FastChat

FastChat 是一个开放平台，用于训练、服务和评估基于大型语言模型的聊天机器人。

FastChat Server 架构图

安装 FastChat

克隆代码

git clone https://github.com/lm-sys/FastChat
cd FastChat

创建虚拟环境

python -m venv env
source env/bin/activate

安装

pip install --upgrade pip
pip install -e ".[model_worker,webui]"

升级 FastChat

git pull
pip install -e ".[model_worker,webui]"

创建大模型链接 LLM Qwen mkdir Qwen ln -s /Users/junjian/HuggingFace/Qwen/Qwen-14B-Chat Qwen/Qwen-14B-Chat ln -s /Users/junjian/HuggingFace/Qwen/Qwen-1_8B Qwen/Qwen-1_8B ln -s /Users/junjian/HuggingFace/Qwen/Qwen-1_8B-Chat Qwen/Qwen-1_8B-Chat ln

2024-01-11 08:00

fastchat qwen deepseek chatglm bge llm-deployment openai-api mps macbook-pro-m2-max

2024年1月1日星期一

2023年12月25日星期一

Qwen (通义千问)

Qwen

快速开始

克隆代码

git clone https://github.com/QwenLM/Qwen.git
cd Qwen

创建虚拟环境

python -m venv env
source env/bin/activate

安装依赖

pip install -r requirements.txt

创建大模型链接

mkdir Qwen
ln -s /Users/junjian/HuggingFace/Qwen/Qwen-14B-Chat Qwen/Qwen-14B-Chat
ln -s /Users/junjian/HuggingFace/Qwen/Qwen-1_8B Qwen/Qwen-1_8B
ln -s /Users/junjian/HuggingFace/Qwen/Qwen-1_8B-Chat Qwen/Qwen-1_8B-Chat
ln -s /Users/junjian/HuggingFace/Qwen/Qwen-7B-Chat Qwen/Qwen-7B-Chat

聊天

命令行聊天

python cli_demo.py

Web 聊天

python web_demo.py

FastChat

克隆代码

git clone https://github.com/lm-sys/FastChat
cd FastChat

创建虚拟环境 python -m venv env source env

2023-12-25 08:00

qwen fastchat openai local-llms mps gradio macos macbookpro aliyun

2023年12月24日星期日

MLX LLMS Examples

MLX Examples

克隆代码

git clone https://github.com/ml-explore/mlx-examples
cd mlx-examples

创建虚拟环境

python -m venv env
source env/bin/activate

pip install -r llms/phi2/requirements.txt
pip install -r llms/qwen/requirements.txt

创建大模型链接 mkdir llms/phi2/microsoft ln -s /Users/junjian/HuggingFace/microsoft/phi-2 llms/phi2/microsoft/phi-2 mkdir llms/qwen/Qwen ln -s /Users/junjian/HuggingFace/Qwen/Qwen-14B-Chat llms/qwen/Qwen/Qwen-14B-Chat ln -s /Users/junjian/HuggingFace/Qwen/Qwen-1_8B llms/qwen/Qwen/Qwen-1_8B ln -s /Users/junjian/HuggingFace/Qwen/Qwen-1_8B-Chat llms/qwen/Qwen/Qwen-1_8

2023-12-24 08:00

mlx phi-2 qwen apple-silicon macbookpro local-llms inference llm-performance machine-learning

2023年12月21日星期四

MLX: An array framework for Apple silicon

MLX

统一内存：与 MLX 和其他框架的显着区别是统一内存模型。 MLX 中的数组位于共享内存中。 MLX 阵列上的操作可以在任何支持的设备类型上执行，而无需传输数据。

MLX Documentation

创建虚拟环境

mkdir ml-explore && cd ml-explore
git clone https://github.com/ml-explore/mlx
git clone https://github.com/ml-explore/mlx-examples

python -m venv env
source env/bin/activate

Phi-2

安装依赖包

cd llms/phi2
pip install -r requirements.txt

模型下载和转换

使用已经下载的模型

mkdir microsoft
ln -s /Users/junjian/HuggingFace/microsoft/phi-2 microsoft/phi-2

转换模型

python convert.py

这将生成 MLX 可以读取的 weights.npz 文件。

-rw-r--r--  1 junjian  staff   5.2G 12 20 20:36 weights.npz

运行

2023-12-21 08:00

mlx phi-2 qwen stable-diffusion t5 whisper apple-silicon machine-learning python

2023年9月12日星期二

部署 LLM

测试结果

模型 & 精度 & 显存 & 速度

2023-09-12 08:00

llm model-deployment inference-serving deployment docker cuda gpu qwen

41 篇文章带有标签 “qwen”

2024年6月1日 星期六

2024年5月15日 星期三

2024年5月13日 星期一

2024年5月10日 星期五

2024年5月7日 星期二

2024年4月22日 星期一

2024年4月20日 星期六

2024年4月13日 星期六

2024年4月12日 星期五

2024年3月15日 星期五

2024年3月14日 星期四

2024年1月19日 星期五

2024年1月17日 星期三

2024年1月16日 星期二

2024年1月11日 星期四

2024年1月1日 星期一

2023年12月25日 星期一

2023年12月24日 星期日

2023年12月21日 星期四

2023年9月12日 星期二

2024年6月1日星期六

2024年5月15日星期三

2024年5月13日星期一

2024年5月10日星期五

2024年5月7日星期二

2024年4月22日星期一

2024年4月20日星期六

2024年4月13日星期六

2024年4月12日星期五

2024年3月15日星期五

2024年3月14日星期四

2024年1月19日星期五

2024年1月17日星期三

2024年1月16日星期二

2024年1月11日星期四

2024年1月1日星期一

2023年12月25日星期一

2023年12月24日星期日

2023年12月21日星期四

2023年9月12日星期二