146 篇文章带有标签 “llm”

参考资料

• Fine-tuning
• Fine tuning classification example
• Model Pricing
• JSON Lines

ChatGPT Prompt Engineering for Developers 由Isa Fulford（OpenAI）和Andrew Ng（DeepLearning.AI）教授的课程将描述 LLM 的工作原理，提供快速工程的最佳实践，并展示 LLM API 如何用于各种任务的应用程序。

面向开发人员的 ChatGPT 提示工程

Instroduction（介绍）

Guidelines（准则）

帮助函数 import openai import os openai.api_key = os.getenv('OPENAI_API_KEY') def get_completion(prompt, model="gpt-3.5-turbo"): messages = [{"role": "user", "content": prompt}] response = openai.ChatCompletion.create( model=model, messages=messages, temperature=0, # this is the degree of randomness of the model's output ) return response.choices[0].

Spark Desk 是讯飞星火认知大模型的英文名称。

👍零样本分类

❓ “这个手机的功能不好用”这是好评还是差评？

💬 这个手机的功能不好用，是差评。

👎少样本分类

❓ 电脑：3C；手机：3C；铅笔：

💬 3C;

👍英语语法更正

❓ Correct this to standard English:

She no went to the market.

💬 She did not go to the market.

ChatGPT 还会解释语法的问题

👍翻译

英译中

❓ What rooms do you have available? 翻译成中文

💬 你有哪些房间可用？

中译英

❓ 您好，您想要预订哪些房型呢？翻译成英文

💬 Hello, which room type would you like to book?

👍阅读理解 ❓ 北京市卫生健康委副主任、新闻发言人李昂通报：4月18日下午，长峰医院突发火情，市卫生健康委即刻启动应急预案，迅速调集29辆救护车300余人次急救力量，及时赶赴现场，全力开展医疗救援和转运工作。截至当日15时30分，共转运伤员71名，分别送至解放军总医院第一医学中心、解放军总医院第五医学中心南、北院区、北京世纪坛医院、航天中心医院、电力医院、玉泉医院、丰台区医院、右安门医院等9家医疗机构救治。涉灾病房楼其余住院患者均已妥善安置。

Chain

链允许我们将多个组件组合在一起以创建一个单一的、连续的应用程序。我们可以通过将多个链组合在一起，或者通过将链与其他组件组合来构建更复杂的链。

LLMChain

LLMChain 是一个简单的链，它接受一个提示模板，用用户输入格式化它并返回来自 LLM 的响应。

语言模型（text-davinci-003） from langchain.chains import LLMChain from langchain.llms import OpenAI from langchain.prompts import PromptTemplate llm = OpenAI(temperature=0.9) prompt = PromptTemplate(input_variables=["product"], template="What is a good name for a company that makes {product}?

LangChain

通过可组合性使用 LLM 构建应用程序

介绍

大型语言模型 (LLM) 正在成为一种变革性技术，使开发人员能够构建他们以前无法构建的应用程序。 但是，单独使用这些 LLM 往往不足以创建真正强大的应用程序——当您可以将它们与其他计算或知识来源相结合时，真正的力量就来了。

Documentation

安装

pip install langchain
# or
conda install langchain -c conda-forge

配置环境

使用 LangChain 通常需要与一个或多个模型提供者、数据存储、api 等集成。

对于这个例子，将使用 OpenAI 的 API

pip install openai

export OPENAI_API_KEY="..."

LLMs：从语言模型获得预测结果

在这个例子中，我们可能希望输出更加随机，所以将 temperature 设置的更高一些。

from langchain.llms import OpenAI

llm = OpenAI(temperature=0.9)

text = "一家生产彩色袜子的公司取什么名字好？"
print(llm(text))

可以取名为：Colorful Socks Factory。

提示模板（Prompt Templates）：管理 LLM 的提示 from la

GPT

由 OpenAI 训练的大型语言模型，也称为 Generative Pretrained Transformer。

版本	发布时间	模型参数	GPU内存	能力
GPT	2018年	1.17亿	8G	文本自动补全、问答、语句生成
GPT-2	2019年	15亿	16G	文本自动补全、问答、语句生成、命名实体识别、关系抽取
GPT-3	2020年	1750亿	32G	文本自动补全、问答、语句生成、命名实体识别、关系抽取、文本分类、翻译
GPT-3.5	2021年	1750亿	32G	基于 GPT-3 微调的一系列模型

• 语言生成任务：文本自动补全、问答、语句生成
• 语言理解任务：命名实体识别、关系抽取、文本分类、翻译

OpenAI API

模型能力

• 执行各种自然语言任务的 GPT-3
• 将自然语言翻译成代码的 Codex
• 创建和编辑原始图像的 DALL·E

价格

• 开始试用可在前 3 个月内使用 18 美元免费额度。
• 1000 tokens 为 1 个计量单位
  • 一个汉字为 2 个 tokens
  • 大约 4 英文字母为 1 个 tokens
• Tokenizer tool

Python 示例

• API keys
• Quickstart

调用 API 的参数 model: text-davinci-003 是基于 GPT-3 最好的模型，能力：复杂意图、因果关系、创建生成、搜索、总结等。