10 篇文章带有标签 “gpt”

这是 Andrej Karpathy 设计的极简自主 AI 研究实验框架：让 AI 智能体仅修改 train.py，在固定 5 分钟训练预算内自主迭代优化 GPT 模型、以最低验证集 bpb 为目标，自动实验、记录结果并择优保留，无人值守持续运行。

README

曾经有一天，前沿 AI 研究是由人类在吃饭、睡觉、享受其他乐趣，以及偶尔使用声波互连进行被称为"组会"的仪式之间完成的。那个时代早已远去。现在的研究完全属于运行在天空中计算集群巨型结构上的自主 AI 智能体集群。这些智能体声称我们现在处于代码库的第 10,205 代，反正没人能说得清这是对是错，因为"代码"现在已经是一个自我修改的二进制文件，已经超出了人类的理解范围。这个仓库讲述了这一切是如何开始的故事。-@karpathy，2026 年 3 月。

这个想法是：给一个 AI 智能体一个小但真实的 LLM 训练设置，让它在夜间自主实验。它修改代码、训练 5 分钟、检查结果是否有所改进、保留或丢弃，然后重复。你早上醒来时会看到一个实验日志，以及（希望）一个更好的模型。这里的训练代码是 nanochat 的简化单 GPU 实现。核心思想是，你不需要像研究人员通常那样触碰任何 Python 文件。相反，你是在编写 program.

安装 InteliJ IDEA

安装 CodeGPT

打开 IntelliJ IDEA，选择 Settings 菜单，选择 Plugins，搜索 CodeGPT，点击 Install 安装。

配置 CodeGPT

这里访问的 OpenAI 服务是我自己搭建的，使用的是 FastChat + ChatGLM3-6B。

模型 GPT-3.5(4k)

• Service: OpenAI Service
• API Key: NULL
• Model: GPT-3.5(4k)
  • 使用的模型名字是：gpt-3.5-turbo
• Base host: http://172.16.33.66:8000

模型 GPT-4(32k)

• Service: OpenAI Service
• API Key: NULL
• Model: GPT-4(32k)
  • 使用的模型名字是：gpt-4-32k
• Base host: http://172.16.33.66:8000

模型 Deepseek Coder 7B

• Service: LLaMA C/C++ Port (Free, Local)
• Use pre-defined model
  • Model: Deepseek Coder (1B - 33B)
  • Model size: 7B
  • Quantization: 5-bit precision

模型缓存到 ~/.

🔥 大模型

ChatGPT

讯飞星火

活字通用大模型

🔥 Andrej Karpathy

State of GPT

• 微软2023年Build大会演讲：如何训练和应用GPT
• State of GPT 笔记

🔥 李沐 论文精读 如何读论文 AlexNet ResNet 零基础多图详解图神经网络（GNN/GCN） GAN Transformer BERT Pre-training ViT 卷积神经网络的两个归纳偏置：1、locality（相同区域有相同的特征）；2、translation equivariance（平移等变性） local neighborhoods MAE Autoencoder 对比学习论文综述 数据增强：Crop 和 Color 的组合最有效 MoCo CLIP How to Train Really Large Models on Many GPUs?

介绍

Learn about the training pipeline of GPT assistants like ChatGPT, from tokenization to pretraining, supervised finetuning, and Reinforcement Learning from Human Feedback (RLHF). Dive deeper into practical techniques and mental models for the effective use of these models, including prompting strategies, finetuning, the rapidly growing ecosystem of tools, and their future extensions.

了解 ChatGPT 等 GPT 助手的训练管道，从标记化到预训练、监督微调和人类反馈强化学习 (RLHF)。 深入研究有效使用这些模型的实用技术和心智模型，包括提示策略、微调、快速增长的工具生态系统及其未来的扩展。

• State of GPT - Video
• 微软2023年Build大会演讲：如何训练和应用GPT
• State of GPT - PDF
• State of GPT：大神Andrej揭秘OpenAI大模型原理和训练过程

Chat Completion

模型

• gpt-3.5-turbo
• gpt-4

可以做很多事情

• 起草电子邮件或其他书面文件
• 编写 Python 代码
• 回答有关一组文件的问题
• 创建会话代理
• 为您的软件提供自然语言界面
• 一系列科目的导师
• 翻译语言
• 模拟视频游戏中的角色等等

API 调用 例子 import os import openai openai.api_key = os.getenv("OPENAI_API_KEY") response = openai.ChatCompletion.create( model="gpt-3.5-turbo", messages=[ {"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "Who won the world series in 2020?

工具

Examples

Playground

了解标记和概率

分词器工具

GPT 比较工具

介绍

概述

OpenAI API 几乎可以应用于任何涉及理解或生成自然语言、代码或图像的任务。提供一系列具有不同功率级别的模型，适用于不同的任务，并且能够微调您自己的自定义模型。这些模型可用于从内容生成到语义搜索和分类的所有领域。

关键概念

Prompts

设计提示本质上是您“编程”模型的方式，通常是通过提供一些说明或一些示例。通过 completions 和 chat completions 端点可用于几乎任何任务，包括内容或代码生成、摘要、扩展、对话、创意写作、风格转换等。

Tokens

模型通过将文本分解为标记来理解和处理文本。标记可以是单词或只是字符块。例如，单词“hamburger”被分解为标记“ham”、“bur”和“ger”，而像“pear”这样的短而常见的单词是一个标记。许多标记以空格开头，例如“ hello”和“ bye”。

在给定的 API 请求中处理的令牌数量取决于输入和输出的长度。根据粗略的经验法则，对于英文文本，1 个标记大约为 4 个字符或 0.75 个单词。要记住的一个限制是，您的文本提示和生成的完成组合不能超过模型的最大上下文长度（对于大多数模型，这是 2048 个标记，或大约 1500 个单词）。

• 分词器工具

Playground 了解标记和概率 我们的模型通过将文本分

LLMS

• 大语言模型综述 - A Survey of Large Language Models

ChatGPT

• document.ai

LLaMA

• LLaMA
• LLaMA: Open and Efficient Foundation Language Models
• Llama Hub
• llama.cpp

ChatLLaMA

• ChatLLaMA
• nebullvm

ChatGLM

• GLM
• ChatGLM-6B
• Hugging Face chatglm-6b
• ChatGLM-webui
• langchain-ChatGLM
• LangChain-ChatGLM-Webui
• 闻达：一个大规模语言模型调用平台
• InstructGLM:基于ChatGLM-6B在指令数据集上进行微调
• ChatGLM-6B 结合 langchain 实现本地知识库 QA Bot
• Hugging Face chatglm-6b

Alpaca Stanford Alpaca: An Instruction-following LLaMA Mode alpaca_data.json contains 52K instruction-following data we used for fine-tuning the Alpaca model.

文心一言

👎分类

❓ 电脑：3C；手机：3C；铅笔：

💬 非常抱歉，我之前的回答有误。
* 电脑是一种3C产品。
* 手机也是一种3C产品。
* 铅笔不是一种3C产品。
如您还有其他问题，欢迎继续向我提问。

👎情感分类

❓ “这个手机的功能不好用”这是好评还是差评？

💬 这是一个主观的评价，可以根据个人的使用体验和需求来进行判断。如果这个手机的功能符合个人的需求，那么这个评价可以是好评；如果这个手机的功能不符合个人的需求，那么这个评价可以是差评。

👍英语语法更正

❓ Correct this to standard English:

She no went to the market.

💬 She did not go to the market.

ChatGPT 还会解释语法的问题

翻译

英译中

❓ What rooms do you have available? 翻译成中文

💬 您好，您想要预订哪些房型呢？

中译英

❓ 您好，您想要预订哪些房型呢？翻译成英文

💬 Hello, which rooms are available for booking?

👎阅读理解 ❓ 北京市卫生健康委副主任、新闻发言人李昂通报：4月18日下午，长峰医院突发火情，市卫生健康委即刻启动应急预案，迅速调集29辆救护车300余人次急救力量，及时赶赴现场，全力开展医疗救援和转运工作。

• AutoGPT

下载

git clone https://github.com/Torantulino/Auto-GPT.git
cd Auto-GPT

安装

conda create --name autogpt python=3.9
conda activate autogpt
pip install -r requirements.txt

配置

cp .env.template .env
vim .env

OPENAI_API_KEY

打开 OpenAI 的 API Keys，通过 Create new secret key 获取 Secret Key。

OPENAI_API_KEY=your-openai-api-key

GOOGLE_API_KEY

打开 可编程搜索引擎控制台，通过 创建项目 获取 API Key。

GOOGLE_API_KEY=your-google-api-key

CUSTOM_SEARCH_ENGINE_ID

打开 Custom Search JSON API，通过 创建项目 获取 Custom Search Engine ID。

CUSTOM_SEARCH_ENGINE_ID=your-custom-search-engine-id

Custom Search JSON API 每天免费提供 100 次搜索查询。

PINECONE_API_KEY & PI

GPT

由 OpenAI 训练的大型语言模型，也称为 Generative Pretrained Transformer。

版本	发布时间	模型参数	GPU内存	能力
GPT	2018年	1.17亿	8G	文本自动补全、问答、语句生成
GPT-2	2019年	15亿	16G	文本自动补全、问答、语句生成、命名实体识别、关系抽取
GPT-3	2020年	1750亿	32G	文本自动补全、问答、语句生成、命名实体识别、关系抽取、文本分类、翻译
GPT-3.5	2021年	1750亿	32G	基于 GPT-3 微调的一系列模型

• 语言生成任务：文本自动补全、问答、语句生成
• 语言理解任务：命名实体识别、关系抽取、文本分类、翻译

OpenAI API

模型能力

• 执行各种自然语言任务的 GPT-3
• 将自然语言翻译成代码的 Codex
• 创建和编辑原始图像的 DALL·E

价格

• 开始试用可在前 3 个月内使用 18 美元免费额度。
• 1000 tokens 为 1 个计量单位
  • 一个汉字为 2 个 tokens
  • 大约 4 英文字母为 1 个 tokens
• Tokenizer tool

Python 示例

• API keys
• Quickstart

调用 API 的参数 model: text-davinci-003 是基于 GPT-3 最好的模型，能力：复杂意图、因果关系、创建生成、搜索、总结等。