Phi-2: The surprising power of small language models
创建虚拟环境
conda create -n huggingface python==3.10.9
conda activate huggingface
安装依赖包
conda install pytorch torchvision -c pytorch
pip install transformers
pip install einops
下载模型
huggingface-cli download microsoft/phi-2 --local-dir microsoft/phi-2 --local-dir-use-symlinks False
代码 import torch from transformers import AutoModelForCausalLM, AutoTokenizer torch.set_default_device("mps") model = AutoModelForCausalLM.
TGI 是一个用于部署和服务大型语言模型（LLM）的工具包。 TGI 为最流行的开源 LLM 提供高性能文本生成，包括 Llama、Falcon、StarCoder、BLOOM、GPT-NeoX 和 T5 。
系统架构
部署模型 HuggingFaceH4/zephyr-7b-beta model=HuggingFaceH4/zephyr-7b-beta volume=$PWD/data # Avoid downloading weights every run docker run --
[TensorRT-LLM][TensorRT-LLM]
TensorRT-LLM 为用户提供了易于使用的 Python API 来定义大型语言模型 (LLM) 并构建包含最先进优化的 TensorRT 引擎，以便在 NVIDIA GPU 上高效地执行推理。 TensorRT-LLM 还包含用于创建执行这些 TensorRT 引擎的 Python 和 C++ 运行时的组件。
# TensorRT-LLM uses git-lfs, which needs to be installed in advance.
apt-get update && apt-get -y install git git-lfs
git clone https://github.com/NVIDIA/TensorRT-LLM.git
cd TensorRT-LLM
git submodule update --init --recursive
git lfs install
git lfs pull
make -C docker release_build
文档
这里使用的文档是：合作方人员出勤及结算管理信息化支撑规则
一、出勤打卡
出勤打卡包括：正常出勤打卡、出差打卡、外出打卡、加班打卡。
1. 正常出勤打卡：指正常的出勤办公打卡。
（1）全天出勤打卡：上班打卡：8点30分之前打卡。下班打卡：17点30分之后打卡。
（2）半天出勤打卡。上午打卡时间段：8点30分之前、12点之后。下午时间段：13点之前，17点30分之后。
（3）打卡(考勤机或企业微信打卡)形式按部门要求为准，最小半天为统计单位。
2. 出差打卡：指出差地出勤办公或在途期间打卡。
（1）固定出差地打卡：打卡时间参照第1条正常出勤上下班打卡；无法定位有效范围的找部门管理员修改工作打卡位置。(具体按照各部门要求执行)
（2）出差在途打卡(使用手机外出打卡)。到车站坐车前打外出打卡一次，到达目的地后打外出打卡一次(往返同理)。下午出差的，上午需打正常出勤卡(上午正常出勤须闭环打卡)；上午到达出差地的，下午需打一次外出打卡或上下班打卡。
3. 外出打卡：指外出办事打卡。提外出申请后，可以打外出卡，打外出卡时间需在申请时间内：
（1）半天外出：如外出时间在上午(12点前) 或者下午(12点后)，则另外半天需正常出勤打卡。
（2）跨12点外出：如外出跨度期间包含12点，则12点前、12点后分别打外出卡即可记为合格出勤。
// ...
提示词模板 """ {
下载 GPT4All 客户端（macOS）
下载模型
聊天
基于目录构建本地文档集合
本地服务
查看本地下载的模型 ll /Users/junjian/Library/Application\ Support/nomic.ai/GPT4All/*.gguf -rw-r--r--@ 1 junjian staff 44M 12 3 10:30 /Users/junjian/Library/Application Support/nomic.ai/GPT4All/all-MiniLM-L6-v2-f16.gguf -rw-r--r--@ 1 junjian staff 1.3G 12 3 12:53 /Users/junjian/Library/Application Support/nomic.ai/GPT4All/incomplete-nous-hermes-llama2-13b.Q4_0.gguf -rw-r--r--@ 1 junjian staff 3.8G 12 3 10:09 /Users/junjian/Library/Application Support/nomic.ai/GPT4All/mistral-7b-openorca.Q4_0.gguf -rw-r--r--@ 1 junjian staff 3.
安装
pip
pip install "fschat[model_worker,webui]"
源代码
这种方式安装比较容易调试，适合开发者。
克隆代码
git clone https://github.com/lm-sys/FastChat.git
cd FastChat
创建环境
python -m venv env
source env/bin/activate
安装
文档
这里使用的文档是：合作方人员出勤及结算管理信息化支撑规则
一、出勤打卡
出勤打卡包括：正常出勤打卡、出差打卡、外出打卡、加班打卡。
1. 正常出勤打卡：指正常的出勤办公打卡。
（1）全天出勤打卡：上班打卡：8点30分之前打卡。下班打卡：17点30分之后打卡。
（2）半天出勤打卡。上午打卡时间段：8点30分之前、12点之后。下午时间段：13点之前，17点30分之后。
（3）打卡(考勤机或企业微信打卡)形式按部门要求为准，最小半天为统计单位。
2. 出差打卡：指出差地出勤办公或在途期间打卡。
（1）固定出差地打卡：打卡时间参照第1条正常出勤上下班打卡；无法定位有效范围的找部门管理员修改工作打卡位置。(具体按照各部门要求执行)
（2）出差在途打卡(使用手机外出打卡)。到车站坐车前打外出打卡一次，到达目的地后打外出打卡一次(往返同理)。下午出差的，上午需打正常出勤卡(上午正常出勤须闭环打卡)；上午到达出差地的，下午需打一次外出打卡或上下班打卡。
3. 外出打卡：指外出办事打卡。提外出申请后，可以打外出卡，打外出卡时间需在申请时间内：
（1）半天外出：如外出时间在上午(12点前) 或者下午(12点后)，则另外半天需正常出勤打卡。
（2）跨12点外出：如外出跨度期间包含12点，则12点前、12点后分别打外出卡即可记为合格出勤。
// ...
提示词模板 使用以下上下文来回答最后的问题。
测试结果
模型 & 精度 & 显存 & 速度
LLM
Embedding 模型
Massive Text Embedding Benchmark (MTEB) Leaderboard
piccolo是一个通用embedding模型(中文), 由来自商汤科技的通用模型组完成训练。piccolo借鉴了E5以及GTE的训练流程，采用了两阶段的训练方式。 在第一阶段中，我们搜集和爬取了4亿的中文文本对(可视为弱监督文本对数据)，并采用二元组的softmax对比学习损失来优化模型。 在第二阶段中，我们搜集整理了2000万人工标注的中文文本对(精标数据)，并采用带有难负样本的三元组的softmax对比学习损失来帮助模型更好地优化。
FlagEmbedding 将任意文本映射为低维稠密向量，以用于检索、分类、聚类或语义匹配等任务，并可支持为大模型调用外部知识。
不同的任务
参考资料
🔥 大模型
🔥 Andrej Karpathy
🔥 李沐 论文精读 如何读论文 AlexNet ResNet 零基础多图详解图神经网络（GNN/GCN） GAN Transformer BERT Pre-training ViT 卷积神经网络的两个归纳偏置：1、locality（相同区域有相同的特征）；2、translation equivariance（平移等变性） local neighborhoods MAE Autoencoder 对比学习论文综述 数据增强：Crop 和 Color 的组合最有效 MoCo CLIP How to Train Really Large Models on Many GPUs?
Building Systems with the ChatGPT API
Language Models, the Chat Format and Tokens（语言模型、聊天格式和 Tokens）
Load OpenAI API key
import os
import openai
import tiktoken
from dotenv import load_dotenv, find_dotenv
_ = load_dotenv(find_dotenv()) # read local .env file
openai.api_key = os.environ['OPENAI_API_KEY']
LangChain for LLM Application Development
LangChain 是用于构建 LLM 应用程序的开源框架
LangChain: Models, Prompts and Output Parsers
安装依赖包
pip install python-dotenv
pip install openai
ChatCompletion import os import openai from dotenv import load_dotenv, find_dotenv _ = load_dotenv(find_dotenv()) # read local .env file openai.api_key = os.environ['OPENAI_API_KEY'] def get_completion(prompt, model="gpt-3.5-turbo"): messages = [{"role": "user", "content": prompt}] response = openai.ChatCompletion.
介绍
Learn about the training pipeline of GPT assistants like ChatGPT, from tokenization to pretraining, supervised finetuning, and Reinforcement Learning from Human Feedback (RLHF). Dive deeper into practical techniques and mental models for the effective use of these models, including prompting strategies, finetuning, the rapidly growing ecosystem of tools, and their future extensions.
了解 ChatGPT 等 GPT 助手的训练管道，从标记化到预训练、监督微调和人类反馈强化学习 (RLHF)。 深入研究有效使用这些模型的实用技术和心智模型，包括提示策略、微调、快速增长的工具生态系统及其未来的扩展。
ChatGPT Prompt Engineering for Developers 由Isa Fulford（OpenAI）和Andrew Ng（DeepLearning.AI）教授的课程将描述 LLM 的工作原理，提供快速工程的最佳实践，并展示 LLM API 如何用于各种任务的应用程序。
Instroduction（介绍）
Guidelines（准则）
帮助函数 import openai import os openai.api_key = os.getenv('OPENAI_API_KEY') def get_completion(prompt, model="gpt-3.5-turbo"): messages = [{"role": "user", "content": prompt}] response = openai.ChatCompletion.create( model=model, messages=messages, temperature=0, # this is the degree of randomness of the model's output ) return response.choices[0].
Spark Desk 是讯飞星火认知大模型的英文名称。
👍零样本分类
❓ “这个手机的功能不好用”这是好评还是差评？
💬 这个手机的功能不好用，是差评。
👎少样本分类
❓ 电脑：3C；手机：3C；铅笔：
💬 3C;
👍英语语法更正
❓ Correct this to standard English:
She no went to the market.
💬 She did not go to the market.
ChatGPT 还会解释语法的问题
👍翻译
英译中
❓ What rooms do you have available? 翻译成中文
💬 你有哪些房间可用？
中译英
❓ 您好，您想要预订哪些房型呢？翻译成英文
💬 Hello, which room type would you like to book?
👍阅读理解 ❓ 北京市卫生健康委副主任、新闻发言人李昂通报：4月18日下午，长峰医院突发火情，市卫生健康委即刻启动应急预案，迅速调集29辆救护车300余人次急救力量，及时赶赴现场，全力开展医疗救援和转运工作。截至当日15时30分，共转运伤员71名，分别送至解放军总医院第一医学中心、解放军总医院第五医学中心南、北院区、北京世纪坛医院、航天中心医院、电力医院、玉泉医院、丰台区医院、右安门医院等9家医疗机构救治。涉灾病房楼其余住院患者均已妥善安置。
链允许我们将多个组件组合在一起以创建一个单一的、连续的应用程序。我们可以通过将多个链组合在一起，或者通过将链与其他组件组合来构建更复杂的链。
LLMChain 是一个简单的链，它接受一个提示模板，用用户输入格式化它并返回来自 LLM 的响应。
语言模型（text-davinci-003） from langchain.chains import LLMChain from langchain.llms import OpenAI from langchain.prompts import PromptTemplate llm = OpenAI(temperature=0.9) prompt = PromptTemplate(input_variables=["product"], template="What is a good name for a company that makes {product}?
通过可组合性使用 LLM 构建应用程序
介绍
大型语言模型 (LLM) 正在成为一种变革性技术，使开发人员能够构建他们以前无法构建的应用程序。 但是，单独使用这些 LLM 往往不足以创建真正强大的应用程序——当您可以将它们与其他计算或知识来源相结合时，真正的力量就来了。
安装
pip install langchain
# or
conda install langchain -c conda-forge
配置环境
使用 LangChain 通常需要与一个或多个模型提供者、数据存储、api 等集成。
对于这个例子，将使用 OpenAI 的 API
pip install openai
export OPENAI_API_KEY="..."
LLMs：从语言模型获得预测结果
在这个例子中，我们可能希望输出更加随机，所以将 temperature 设置的更高一些。
from langchain.llms import OpenAI
llm = OpenAI(temperature=0.9)
text = "一家生产彩色袜子的公司取什么名字好？"
print(llm(text))
可以取名为：Colorful Socks Factory。
提示模板（Prompt Templates）：管理 LLM 的提示 from la
GPT
由 OpenAI 训练的大型语言模型，也称为 Generative Pretrained Transformer。
| 能力 | ||||
|---|---|---|---|---|
| GPT | 2018年 | 1.17亿 | 8G | 文本自动补全、问答、语句生成 |
| GPT-2 | 2019年 | 15亿 | 16G | 文本自动补全、问答、语句生成、命名实体识别、关系抽取 |
| GPT-3 | 2020年 | 1750亿 | 32G | 文本自动补全、问答、语句生成、命名实体识别、关系抽取、文本分类、翻译 |
| 2021年 | 1750亿 | 32G | 基于 GPT-3 微调的一系列模型 |
模型能力
价格
Python 示例
调用 API 的参数 model: text-davinci-003 是基于 GPT-3 最好的模型，能力：复杂意图、因果关系、创建生成、搜索、总结等。