安装 Python 3.11
brew install python@3.11
安装
git clone https://github.com/imartinez/privateGPT && cd privateGPT && \
python3.11 -m venv .venv && source .venv/bin/activate && \
pip install --upgrade pip poetry && poetry install --with ui,local && ./scripts/setup
# Launch the privateGPT API server **and** the gradio UI
poetry run python3.11 -m private_gpt
# In another terminal, create a new browser window on your private GPT!
open http://127.0.0.1:8001/
安装失败 😭
参考资料
统一内存：与 MLX 和其他框架的显着区别是统一内存模型。 MLX 中的数组位于共享内存中。 MLX 阵列上的操作可以在任何支持的设备类型上执行，而无需传输数据。
创建虚拟环境
mkdir ml-explore && cd ml-explore
git clone https://github.com/ml-explore/mlx
git clone https://github.com/ml-explore/mlx-examples
python -m venv env
source env/bin/activate
cd llms/phi2
pip install -r requirements.txt
使用已经下载的模型
mkdir microsoft
ln -s /Users/junjian/HuggingFace/microsoft/phi-2 microsoft/phi-2
转换模型
python convert.py
这将生成 MLX 可以读取的 weights.npz 文件。
-rw-r--r-- 1 junjian staff 5.2G 12 20 20:36 weights.npz
使用 Transformers 的 Pipeline 进行推理
安装依赖包
pip install datasets evaluate transformers[sentencepiece]
英文情感分类
from transformers import pipeline
classifier = pipeline("sentiment-analysis")
classifier(
[
"I've been waiting for a HuggingFace course my whole life.",
"I hate this so much!",
]
)
数据
weather_texts = [
"😀 今天天气舒适，心情大好。",
"😀 今天天气晴朗，阳光明媚。",
"😀 今天天气宜人，适合出门游玩。",
"😀 今天天气没有下雨，真是太好了。",
"😀 今天天气比昨天好多了，真是令人欣喜。",
"😀 今天天气晴空万里，蓝天白云，真是美不胜收。",
"😀 今天天气温暖如春，空气清新，让人心旷神怡。",
"😀 今天天气风和日丽，微风徐徐，让人心情舒畅。",
"😀 今天天气万里无云，阳光灿烂，让人精神振奋。",
"😀 今天天气秋高气爽，天朗气清，让人心胸开阔。",
"🥶 今天天气很糟糕。",
"🥶 今天天气阴沉沉的，让人心情烦躁。",
"🥶 今天天气下雨了，真是让人沮丧。",
"🥶 今天天气太热了，出门都觉得热得受不了。",
"🥶 今天天气太冷了，出门都要穿上厚衣服。",
"🥶 今天天气乌云密布，风雨欲来，真是让人提心吊胆。",
"🥶 今天天气寒风刺骨，道路结冰，真是让人寸步难行。",
"🥶 今天天气闷热潮湿，空气污浊，真是让人喘不过气来。",
"🥶 今天天气灰蒙蒙的，看不到蓝天白云，真是让人心情沉重。",
"🥶 今天天气狂风暴雨，树木倒伏，道路封闭，真是让人措手不及。"
]
API_KEY
方法一
from fastapi import Security, HTTPException, status
from fastapi.security.api_key import APIKeyHeader
API_KEY="123456"
API_KEY_NAME = "X-API-KEY"
api_key_header = APIKeyHeader(name=API_KEY_NAME, auto_error=True)
async def get_api_key(api_key: str = Security(api_key_header)):
if api_key != API_KEY:
raise HTTPException(
status_code=status.HTTP_401_UNAUTHORIZED,
detail="Invalid API Key"
)
@app.get('/index', dependencies=[Security(get_api_key)])
async def index():
return {"message": "Hello World"}
APIKeyHeader 的源码
OCR 引擎
EasyOCR 支持 80+ 语言。
Abaza = 'abq'
Adyghe = 'ady'
Afrikaans = 'af'
Angika = 'ang'
Arabic = 'ar'
Assamese = 'as'
Avar = 'ava'
Azerbaijani = 'az'
Belarusian = 'be'
Bulgarian = 'bg'
Bihari = 'bh'
Bhojpuri = 'bho'
Bengali = 'bn'
Bosnian = 'bs'
Simplified_Chinese = 'ch_sim'
// ...
安装
pip install torch==2.0.1 torchvision==0.15.2 -i https://download.pytorch.org/whl/cpu
pip install easyocr
代码示例 import easyocr languages = ['ch_sim', 'en'] model = easyocr.
首页
重定向到 Swagger UI
@app.get("/", include_in_schema=False)
async def index():
return RedirectResponse('/docs', status_code=303)
使用 route 的 docstring 作为首页内容
@app.get("/", response_class=HTMLResponse, include_in_schema=False)
async def index():
# 需要过滤的路由
filted_routes = [
"/openapi.json",
"/docs",
"/docs/oauth2-redirect",
"/redoc",
"/static",
"/"
]
routes = []
for route in app.routes:
if route.path not in filted_routes:
// ...
Markdown to HTML
安装
pip install markdown
使用
两种方法
(file: UploadFile = File(...), mask: Json = Form(default=None))
from pydantic import BaseModel, Json, ValidationError
from fastapi import APIRouter, File, UploadFile, HTTPException, Form, Depends
class Box(BaseModel):
x: int
y: int
w: int
h: int
router = APIRouter()
@router.post("/test")
async def test(file: UploadFile = File(...),
mask: Json = Form(default=None),
n: int = Form(default=0)) -> str:
// ...
(file: UploadFile = File(...), mask: Box = Depends(validate_json(Box)))
Building Systems with the ChatGPT API
Language Models, the Chat Format and Tokens（语言模型、聊天格式和 Tokens）
Load OpenAI API key
import os
import openai
import tiktoken
from dotenv import load_dotenv, find_dotenv
_ = load_dotenv(find_dotenv()) # read local .env file
openai.api_key = os.environ['OPENAI_API_KEY']
LangChain for LLM Application Development
LangChain 是用于构建 LLM 应用程序的开源框架
LangChain: Models, Prompts and Output Parsers
安装依赖包
pip install python-dotenv
pip install openai
ChatCompletion import os import openai from dotenv import load_dotenv, find_dotenv _ = load_dotenv(find_dotenv()) # read local .env file openai.api_key = os.environ['OPENAI_API_KEY'] def get_completion(prompt, model="gpt-3.5-turbo"): messages = [{"role": "user", "content": prompt}] response = openai.ChatCompletion.
ChatGPT Prompt Engineering for Developers 由Isa Fulford（OpenAI）和Andrew Ng（DeepLearning.AI）教授的课程将描述 LLM 的工作原理，提供快速工程的最佳实践，并展示 LLM API 如何用于各种任务的应用程序。
Instroduction（介绍）
Guidelines（准则）
帮助函数 import openai import os openai.api_key = os.getenv('OPENAI_API_KEY') def get_completion(prompt, model="gpt-3.5-turbo"): messages = [{"role": "user", "content": prompt}] response = openai.ChatCompletion.create( model=model, messages=messages, temperature=0, # this is the degree of randomness of the model's output ) return response.choices[0].
Whisper
功能
文件上传目前限制为 25 MB，并且支持以下输入文件类型：mp3, mp4, mpeg, mpga, m4a, wav, webm.
语音内容
Mira Murati 是一位对人工智能技术充满热情的科技领袖，她的理念和影响对人工智能技术的发展和应用产生了深远的影响。
她认为人工智能技术应该是以人为本的，强调人工智能技术应该是一种能够服务于人类的工具，而不是取代人类的工具。
她指出，人工智能技术的最终目的是为人类服务，因此人工智能技术应该以人类的利益和需求为中心，以解决人类面临的实际问题。人工智能技术的应用需要深入了解人类社会的需要和价值，将其应用到真正有意义的领域中。
OpenAI Whisper
安装 OpenAI
!pip install -U openai
测试
语音识别
import openai
audio_file= open("data/audios/test.m4a", "rb")
transcript = openai.Audio.transcribe("whisper-1", audio_file)
print(transcript["text"])
Miramurati是一位对人工智能技术充满热情的科技领袖 他的
这里使用 Ultralytics Serving 作为示例，它是一个基于 FastAPI 和 Ultralytics YOLOv8 的模型推理服务。
选择 Python 镜像
| Tag | Python Version | OS Version | Size |
|---|---|---|---|
| 3.10 | 3.10 | Debian GNU/Linux 11 (bullseye) | 861MB |
| 3.10-slim | 3.10 | Debian GNU/Linux 11 (bullseye) | 114MB |
| 3.10-alpine | 3.10 | Alpine Linux 3.15.0 | 44.7MB |
克隆 Ultralytics Serving
git clone https://github.com/gouchicao/ultralytics-serving.git
cd ultralytics-serving
编写 Dockerfile
采用两阶段构建，第一阶段安装依赖环境和编译应用，第二阶段发布应用。第二阶段可以使用小一点的镜像，比如 python:3.10-slim 或 python:3.10-alpine。
普通版本 FROM python:3.10 AS builder ENV APP_HOME=/ultralytics-serving WORKDIR ${APP_HOME} # 提前安装，因为 cpu 版本需要指定 index-url。
共享软件包缓存的好处是，一旦用户已经下载了软件包的特定版本，它将不会再次下载并存储在单独的缓存中。这节省了磁盘使用量并加快了安装速度，因为它不需要再次下载软件包。
Conda 查看 Conda 当前环境的信息 conda info active environment : base active env location : /opt/miniconda shell level : 1 user config file : /Users/junjian/.condarc populated config files : conda version : 23.3.1 conda-build version : not installed python version : 3.10.9.final.0 virtual packages : __archspec=1=arm64 __osx=13.2.1=0 __unix=0=0 base environment : /opt/miniconda (writable) conda av data dir : /opt/miniconda/etc/conda conda av metadata url : None channel URLs : https://repo.anaconda.
开发文档
查看音频文件信息
file
data/podcast_clip.mp3: Audio file with ID3 version 2.4.0, contains: MPEG ADTS, layer III, v1, 64 kbps, 44.1 kHz, Stereo
ffprobe ffprobe -hide_banner data/podcast_clip.mp3 Input #0, mp3, from 'data/podcast_clip.mp3': Metadata: major_brand : M4A minor_version : 512 compatible_brands: M4A isomiso2 date : 2023-02-06 14:59 title : "Clip created on ListenNotes.com" encoder : Lavf58.76.100 Duration: 00:03:00.04, start: 0.025057, bitrate: 128 kb/s Stream #0:0: Audio: mp3, 44100 Hz, stereo, fltp, 128 kb/s Metadata: encoder : Lavc58.
介绍
PaddleSpeech 是基于飞桨 PaddlePaddle 的语音方向的开源模型库，用于语音和音频中的各种关键任务的开发，包含大量基于深度学习前沿和有影响力的模型。
功能
学习
安装
conda create -n paddlespeech python==3.10.9
conda activate paddlespeech
pip install paddlepaddle -i https://mirror.baidu.com/pypi/simple
pip install pytest-runner paddlespeech
pip install "numpy<1.24"
测试数据下载
wget -c https://paddlespeech.bj.bcebos.com/PaddleAudio/zh.wav
wget -c https://paddlespeech.bj.bcebos.com/PaddleAudio/en.wav
FAQ paddlespeech asr --lang zh --input zh.
链允许我们将多个组件组合在一起以创建一个单一的、连续的应用程序。我们可以通过将多个链组合在一起，或者通过将链与其他组件组合来构建更复杂的链。
LLMChain 是一个简单的链，它接受一个提示模板，用用户输入格式化它并返回来自 LLM 的响应。
语言模型（text-davinci-003） from langchain.chains import LLMChain from langchain.llms import OpenAI from langchain.prompts import PromptTemplate llm = OpenAI(temperature=0.9) prompt = PromptTemplate(input_variables=["product"], template="What is a good name for a company that makes {product}?
通过可组合性使用 LLM 构建应用程序
介绍
大型语言模型 (LLM) 正在成为一种变革性技术，使开发人员能够构建他们以前无法构建的应用程序。 但是，单独使用这些 LLM 往往不足以创建真正强大的应用程序——当您可以将它们与其他计算或知识来源相结合时，真正的力量就来了。
安装
pip install langchain
# or
conda install langchain -c conda-forge
配置环境
使用 LangChain 通常需要与一个或多个模型提供者、数据存储、api 等集成。
对于这个例子，将使用 OpenAI 的 API
pip install openai
export OPENAI_API_KEY="..."
LLMs：从语言模型获得预测结果
在这个例子中，我们可能希望输出更加随机，所以将 temperature 设置的更高一些。
from langchain.llms import OpenAI
llm = OpenAI(temperature=0.9)
text = "一家生产彩色袜子的公司取什么名字好？"
print(llm(text))
可以取名为：Colorful Socks Factory。
提示模板（Prompt Templates）：管理 LLM 的提示 from la
Hugging Face 上创建 ChatGPT Space
克隆
git clone https://huggingface.co/spaces/wangjunjian/ChatGPT
cd ChatGPT
创建应用（聊天机器人）
chat.py
这里的 Conversation 记录了所有的对话消息，在提问前，会检查是否超过最大 token 数量，如果超过，会删除第一条与用户的对话消息，然后再提问。
import openai
import tiktoken
class Conversation:
def __init__(self, prompt, model="gpt-3.5-turbo", temperature=0.8, max_tokens=250):
self.prompt = prompt
self.model = model
self.temperature = temperature
self.max_tokens = max_tokens
self._init_messages()
def _init_messages(self):
self.messages = [{"role": "system", "content": self.prompt}]
// ...