26 篇文章带有标签 “generative-ai”

介绍

Learn about the training pipeline of GPT assistants like ChatGPT, from tokenization to pretraining, supervised finetuning, and Reinforcement Learning from Human Feedback (RLHF). Dive deeper into practical techniques and mental models for the effective use of these models, including prompting strategies, finetuning, the rapidly growing ecosystem of tools, and their future extensions.

了解 ChatGPT 等 GPT 助手的训练管道，从标记化到预训练、监督微调和人类反馈强化学习 (RLHF)。 深入研究有效使用这些模型的实用技术和心智模型，包括提示策略、微调、快速增长的工具生态系统及其未来的扩展。

• State of GPT - Video
• 微软2023年Build大会演讲：如何训练和应用GPT
• State of GPT - PDF
• State of GPT：大神Andrej揭秘OpenAI大模型原理和训练过程

ChatGPT Prompt Engineering for Developers 由Isa Fulford（OpenAI）和Andrew Ng（DeepLearning.AI）教授的课程将描述 LLM 的工作原理，提供快速工程的最佳实践，并展示 LLM API 如何用于各种任务的应用程序。

面向开发人员的 ChatGPT 提示工程

Instroduction（介绍）

Guidelines（准则）

帮助函数 import openai import os openai.api_key = os.getenv('OPENAI_API_KEY') def get_completion(prompt, model="gpt-3.5-turbo"): messages = [{"role": "user", "content": prompt}] response = openai.ChatCompletion.create( model=model, messages=messages, temperature=0, # this is the degree of randomness of the model's output ) return response.choices[0].

Stable Diffusion

模型 Stable Diffusion v1-5

数据集 LAION-5B

一个由 58.5 亿个 CLIP 过滤的图像-文本对组成的数据集

CLIP Retrieval

工作原理是将文本查询转换为 CLIP 嵌入，然后使用该嵌入来查询剪辑图像嵌入的 knn 索引，在搜索演示中搜索数据集。

Stable Diffusion GUI

• Diffusion Bee - Stable Diffusion GUI App for MacOS

Diffusers

🤗 Diffusers 是最先进的预训练扩散模型的首选库，用于生成图像、音频，甚至分子的 3D 结构。无论您是在寻找简单的推理解决方案，还是想训练自己的扩散模型，🤗 Diffusers 都是一个支持两者的模块化工具箱。

知识扩展

Latent Representation

数据中的潜在特征表示，这些特征可能不易直接观察到，但对于模型的学习和预测等任务具有重要意义。例如，在图像识别中，一张图片的颜色、形状、纹理等特征可以被视为潜在特征表示。

Latent Space

由模型自动生成的潜在特征空间，其中每个点都表示一种可能的特征组合。在深度学习和人工智能领域，常常使用自编码器等技术来学习并探索数据的潜在特征空间，以期获得更深入的理解和更好的应用效果。

参考资料 AutoFaiss Multimodal search

LLMS

• 大语言模型综述 - A Survey of Large Language Models

ChatGPT

• document.ai

LLaMA

• LLaMA
• LLaMA: Open and Efficient Foundation Language Models
• Llama Hub
• llama.cpp

ChatLLaMA

• ChatLLaMA
• nebullvm

ChatGLM

• GLM
• ChatGLM-6B
• Hugging Face chatglm-6b
• ChatGLM-webui
• langchain-ChatGLM
• LangChain-ChatGLM-Webui
• 闻达：一个大规模语言模型调用平台
• InstructGLM:基于ChatGLM-6B在指令数据集上进行微调
• ChatGLM-6B 结合 langchain 实现本地知识库 QA Bot
• Hugging Face chatglm-6b

Alpaca Stanford Alpaca: An Instruction-following LLaMA Mode alpaca_data.json contains 52K instruction-following data we used for fine-tuning the Alpaca model.

文心一言

👎分类

❓ 电脑：3C；手机：3C；铅笔：

💬 非常抱歉，我之前的回答有误。
* 电脑是一种3C产品。
* 手机也是一种3C产品。
* 铅笔不是一种3C产品。
如您还有其他问题，欢迎继续向我提问。

👎情感分类

❓ “这个手机的功能不好用”这是好评还是差评？

💬 这是一个主观的评价，可以根据个人的使用体验和需求来进行判断。如果这个手机的功能符合个人的需求，那么这个评价可以是好评；如果这个手机的功能不符合个人的需求，那么这个评价可以是差评。

👍英语语法更正

❓ Correct this to standard English:

She no went to the market.

💬 She did not go to the market.

ChatGPT 还会解释语法的问题

翻译

英译中

❓ What rooms do you have available? 翻译成中文

💬 您好，您想要预订哪些房型呢？

中译英

❓ 您好，您想要预订哪些房型呢？翻译成英文

💬 Hello, which rooms are available for booking?

👎阅读理解 ❓ 北京市卫生健康委副主任、新闻发言人李昂通报：4月18日下午，长峰医院突发火情，市卫生健康委即刻启动应急预案，迅速调集29辆救护车300余人次急救力量，及时赶赴现场，全力开展医疗救援和转运工作。

注册

打开 GitHub Copilot - Your AI pair programmer，可以选择 Copilot for Individuals（Copilot个人版） 进行免费 2 个月的试用，每年 $100 ，可以使用 PayPal 进行支付。

• Getting started with GitHub Copilot

IDE 集成

VS Code

GitHub Copilot 扩展

GitHub Copilot Labs 扩展

• GitHub Copilot Labs 可以对代码进行解释，翻译到不同的编程语言。

Neovim

安装 Neovim

brew install neovim
brew install node

安装 GitHub Copilot 扩展

• 使用 Neovim 的内置插件管理器安装 GitHub Copilot。

git clone https://github.com/github/copilot.vim \
   ~/.config/nvim/pack/github/start/copilot.vim

• 若要配置 GitHub Copilot，请打开 Neovim 并输入以下命令。

:Copilot setup

• 在 Neovim 配置中或使用 Neovim 命令启用 GitHub Copilot。

:Copilot enable

• Neovim
• Node.js
• macOS install Node.js