LLMS
ChatGPT
LLaMA
ChatLLaMA
ChatGLM
Alpaca Stanford Alpaca: An Instruction-following LLaMA Mode alpaca_data.json contains 52K instruction-following data we used for fine-tuning the Alpaca model.
Electrical Safety Work Procedures (电力安全工作规程) 数据
👎分类
❓ 电脑：3C；手机：3C；铅笔：
💬 非常抱歉，我之前的回答有误。
* 电脑是一种3C产品。
* 手机也是一种3C产品。
* 铅笔不是一种3C产品。
如您还有其他问题，欢迎继续向我提问。
👎情感分类
❓ “这个手机的功能不好用”这是好评还是差评？
💬 这是一个主观的评价，可以根据个人的使用体验和需求来进行判断。如果这个手机的功能符合个人的需求，那么这个评价可以是好评；如果这个手机的功能不符合个人的需求，那么这个评价可以是差评。
👍英语语法更正
❓ Correct this to standard English:
She no went to the market.
💬 She did not go to the market.
ChatGPT 还会解释语法的问题
翻译
英译中
❓ What rooms do you have available? 翻译成中文
💬 您好，您想要预订哪些房型呢？
中译英
❓ 您好，您想要预订哪些房型呢？翻译成英文
💬 Hello, which rooms are available for booking?
👎阅读理解 ❓ 北京市卫生健康委副主任、新闻发言人李昂通报：4月18日下午，长峰医院突发火情，市卫生健康委即刻启动应急预案，迅速调集29辆救护车300余人次急救力量，及时赶赴现场，全力开展医疗救援和转运工作。
下载
git clone https://github.com/Torantulino/Auto-GPT.git
cd Auto-GPT
安装
conda create --name autogpt python=3.9
conda activate autogpt
pip install -r requirements.txt
配置
cp .env.template .env
vim .env
OPENAI_API_KEY
打开 OpenAI 的 API Keys，通过 Create new secret key 获取 Secret Key。
OPENAI_API_KEY=your-openai-api-key
GOOGLE_API_KEY
打开 可编程搜索引擎控制台，通过 创建项目 获取 API Key。
GOOGLE_API_KEY=your-google-api-key
CUSTOM_SEARCH_ENGINE_ID
打开 Custom Search JSON API，通过 创建项目 获取 Custom Search Engine ID。
CUSTOM_SEARCH_ENGINE_ID=your-custom-search-engine-id
Custom Search JSON API 每天免费提供 100 次搜索查询。
PINECONE_API_KEY & PI
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。
下载
克隆
https://github.com/THUDM/ChatGLM-6B.git
cd ChatGLM-6B
下载模型
git clone https://huggingface.co/THUDM/chatglm-6b THUDM/chatglm-6b
zsh 中使用单引号（'），不对特殊符号进行解析，使用双引号（"）会对特殊符号进行解析，如：$
docker rmi none
alias docker.rmi.none='docker rmi --force $(docker images -q --filter "dangling=true")'
在终端通过 Safari 打开网址
alias open.chatgpt='open -a Safari https://platform.openai.com/playground\?mode\=chat'
Inference service based on Ultralytics
创建虚拟环境
python -m venv venv source venv/bin/activate
安装依赖包
创建 requirements.txt
fastapi
python-multipart
aiofiles
onnxruntime
ultralytics
uvicorn[standard]
gunicorn
pytest
httpx
安装
pip install -r requirements.txt
调试
创建 launch.json 文件，用于调试 FastAPI 应用。
.vscode/launch.json { "version": "0.2.0", "configurations": [ { "name": "Python: FastAPI", "type": "python", "request": "launch", "module": "uvicorn", "args": [ "app.
什么是 REST API？
REST API 也称为 RESTful API，是遵循 REST 架构规范的应用编程接口（API 或 Web API），支持与 RESTful Web 服务进行交互。REST 是表述性状态传递的英文缩写，由计算机科学家 Roy Fielding 创建。
如何实现 RESTful API？
API 要被视为 RESTful API，必须遵循以下标准：
虽然 REST API 需要遵循这些标准，但是
开发文档
扩展
选择 Python 解释器
Python: Select Interpreter ，回车。在状态栏上可以单击进行切换不同的环境
测试
我选择了 pytest 测试框架，这个写起来更自然且简单。
注册
打开 GitHub Copilot - Your AI pair programmer，可以选择 Copilot for Individuals（Copilot个人版） 进行免费 2 个月的试用，每年 $100 ，可以使用 PayPal 进行支付。
IDE 集成
安装 Neovim
brew install neovim
brew install node
安装 GitHub Copilot 扩展
git clone https://github.com/github/copilot.vim \
~/.config/nvim/pack/github/start/copilot.vim
:Copilot setup
:Copilot enable
准备数据集
目录结构
data.yaml
train: ../train/images
val: ../valid/images
test: ../test/images
nc: 1
names: ['logo']
压缩成 zip 文件
Projects
创建项目
Datasets
上传数据集
数据集图像
数据集概貌
Train
选择数据集
选择模型
选择训练参数
Google Colab 训练模型
使用上图的 API key 替换 PASTE_API_KEY_HERE
Done
Models
模型训练的性能指标
模型测试
模型部署
参考资料
创建工作区
在 Workspaces 侧边栏单击 ”Add Workspace“。
工作区是团队可以协作创建、管理和标记数据集以及训练和部署模型的地方。
创建项目
单击 “Create New Project”
项目的菜单项
Upload（上传数据集）
支持直接上传标注好的数据集。
Annotate（标注）
Dataset（数据集）
Generate（生成新版本数据集）
1️⃣ Source Images
2️⃣ Train/Test Split
3️⃣ Preprocessing
4️⃣ Augmentation
5️⃣ Generate
Versions（数据集版本）
单击“Export”，可以导出不同格式的数据集。
单击“Start Training”，可以进行训练，能够进行3次免费训练。
Deploy（预测或部署）
基于 Python 的推理示例
pip install roboflow
Ultralytics
构建环境
docker pull ultralytics/ultralytics:latest
docker pull ultralytics/ultralytics:latest-cpu
docker pull ultralytics/ultralytics:latest-arm64
本地安装
pip install ultralytics
基于 COCO128 数据集的目标检测范例
运行容器
git clone https://github.com/ultralytics/ultralytics.git
docker run --runtime=nvidia -it --name ultralytics -v `pwd`/ultralytics:/usr/src/ultralytics ultralytics/ultralytics:latest
yolo 命令的使用参数
yolo TASK MODE ARGS
训练模型
yolo train data=coco128.yaml model=yolov8n.pt
训练可视化（Comet） pip install comet_ml export
LLaMA-13B 在大多数基准上的表现优于 GPT-3（175B），LLaMA-65B 与最好的型号 Chinchilla-70B 和 PaLM-540B 具有竞争力。
克隆
git clone https://github.com/facebookresearch/llama
cd llama
下载模型
修改 download.sh，配置下载模型的 地址(PRESIGNED_URL) 和 下载目录(TARGET_FOLDER)。
vim download.sh
PRESIGNED_URL="https://agi.gpt4.org/llama/LLaMA/*" # replace with presigned url from email
TARGET_FOLDER="./" # where all files should end up
bash download.sh
构建
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make
拷贝 LLaMA 模型到当前目录 ls .
准备音频文件
macOS 上打开 QuickTimePlayer
m4a 转换 wav
ffmpeg -i test.m4a -ar 16000 -ac 1 -c:a pcm_s16le test.wav
创建虚拟环境
conda create --name whisper python
conda activate whisper
安装
pip install --upgrade --no-deps --force-reinstall git+https://github.com/openai/whisper.git
wget https://raw.githubusercontent.com/openai/whisper/main/requirements.txt
pip install -r requirements.txt
测试 模型默认保存在 ~/.cache/whisper ls ~/.cache/whisper base.pt large-v2.
EPEL（Extra Packages for Enterprise Linux）是为企业级Linux操作系统（如CentOS、Red Hat Enterprise Linux等）提供的一个高质量、稳定的软件仓库，包含了许多不包含在标准软件仓库中的软件包。
安装 EPEL 软件仓库
yum -y install epel-release
FAQ
不能安装软件
No match for argument: htop
Error: Unable to find a match: htop
参考资料
ChatGPT Wrapper is an open-source unofficial Power CLI, Python API and Flask API that lets you interact programmatically with ChatGPT.
安装
必要条件
brew install moreutils
sudo apt install moreutils
创建虚拟环境
mkdir chatgpt-wrapper && cd chatgpt-wrapper
python -m venv env
source ./env/bin/activate
使用 GitHub 安装最新版本
pip install --upgrade pip
pip install git+https://github.com/mmabrouk/chatgpt-wrapper
在 Playwright 中安装浏览器，默认为 firefox。
playwright install
ChatGPT 安装
以安装模式启动程序。 这将打开一个浏览器窗口。 在浏览器窗口中登录 ChatGPT，然后停止该程序。
Apple 芯片上进行硬件加速的框架
VideoToolbox 是一个低级框架，可提供对硬件编码器和解码器的直接访问。它提供视频压缩和解压缩服务，以及存储在 CoreVideo 像素缓冲区中的光栅图像格式之间的转换。这些服务以会话对象（压缩、解压缩和像素传输）的形式提供。
VideoToolbox还包括一些命令行工具，例如vttool、vtenc、vtdecode等，可以在终端中使用。这些工具可以用来检查视频的属性、转码视频、将视频转换为图像序列等任务。
AudioToolbox 是一个音频处理框架，支持音频处理的硬件加速，它提供了一系列用于音频编码、解码、转换和处理的API接口。
安装 FFmpeg
创建目录
mkdir /opt/ffmpeg && cd /opt/ffmpeg
方法一：使用 curl
curl https://evermeet.cx/ffmpeg/ffmpeg-6.0.7z | tar -xz
curl https://evermeet.cx/ffmpeg/ffprobe-6.0.7z | tar -xz
curl https://evermeet.cx/ffmpeg/ffplay-6.0.7z | tar -xz
一个统一的开源服务管理框架，用于启动、停止和管理守护进程、应用程序、进程和脚本。由 Apple 的 Dave Zarzycki 编写和设计，它随 Mac OS X Tiger 引入并获得许可Apache 许可证。
Daemon vs Agent
launchd 区分代理和守护进程。主要区别在于，代理代表登录用户运行，而守护进程代表根用户或您使用 UserName 键指定的任何用户运行。只有代理可以访问 macOS GUI。
Job
根据它的存储位置，它将被视为守护进程或代理。
对操作系统操作至关重要的作业定义存储在 /System/Library 下。您永远不需要在这些目录中创建守护进程或代理。与每个用户相关的第三方定义存储在 /Library 下。特定用户的作业定义存储在相应用户的 Library 目录下。
安装 OpenVINO（手动编译）
brew install cmake
brew install automake
brew install --build-from-source libtool
brew install --build-from-source libunistring
brew install --build-from-source libidn2
brew install --build-from-source wget
brew install --build-from-source libusb
sudo conda install scons -y
# 克隆时把依赖的子模块进行克隆（先克隆OpenVINO，再进行子模块克隆失败）
git clone --depth 1 --recurse-submodules https://github.com/openvinotoolkit/openvino.git
cd openvino
python3 -m pip install -r src/bindings/python/wheel/requirements-dev.txt
# 安装OpenCV（可选）
sudo conda install -c conda-forge opencv
mkdir build && cd build
# 配置（-DOPENVINO_EXTRA_MODULES=../openvino_contrib/modules/arm_plugin 好像不需要）
cmake -DCMAKE_BUILD_TYPE=Release ..
# 编译
cmake --build . --config Release --parallel $(sysctl -n hw.ncpu)
**没有生成 wheel**
# 安装
sudo mkdir /opt/openvino
sudo cmake -DCMAKE_INSTALL_PREFIX=/opt/openvino -P cmake_install.cmake
# 查看可用设备
./bin/arm64/Release/hello_query_device
[ INFO ] Build ................................. 2023.0.0-1-b300df1be6c
[ INFO ]
[ INFO ] Available devices:
[ INFO ] CPU
[ INFO ] SUPPORTED_PROPERTIES:
[ INFO ] Immutable: SUPPORTED_METRICS : SUPPORTED_METRICS SUPPORTED_CONFIG_KEYS RANGE_FOR_ASYNC_INFER_REQUESTS RANGE_FOR_STREAMS
[ INFO ] Immutable: SUPPORTED_CONFIG_KEYS : LP_TRANSFORMS_MODE DUMP_GRAPH PERF_COUNT CPU_THROUGHPUT_STREAMS CPU_BIND_THREAD CPU_THREADS_NUM CPU_THREADS_PER_STREAM BIG_CORE_STREAMS SMALL_CORE_STREAMS THREADS_PER_STREAM_BIG THREADS_PER_STREAM_SMALL SMALL_CORE_OFFSET ENABLE_HYPER_THREAD NUM_STREAMS INFERENCE_NUM_THREADS AFFINITY
[ INFO ] Mutable: PERF_COUNT : YES
[ INFO ] Immutable: AVAILABLE_DEVICES : NEON
[ INFO ] Immutable: FULL_DEVICE_NAME : arm_compute::NEON
[ INFO ] Immutable: OPTIMIZATION_CAPABILITIES : FP16 FP32
[ INFO ] Immutable: RANGE_FOR_ASYNC_INFER_REQUESTS : 1 12 1
[ INFO ] Mutable: PERFORMANCE_HINT : ""
[ INFO ] Immutable: RANGE_FOR_STREAMS : 1 12
[ INFO ] Mutable: CPU_THROUGHPUT_STREAMS : 1
[ INFO ] Mutable: CPU_BIND_THREAD : NO
[ INFO ] Mutable: CPU_THREADS_NUM : 0
[ INFO ] Mutable: CPU_THREADS_PER_STREAM : 12
[ INFO ] Mutable: BIG_CORE_STREAMS : 0
[ INFO ] Mutable: SMALL_CORE_STREAMS : 0
[ INFO ] Mutable: THREADS_PER_STREAM_BIG : 0
[ INFO ] Mutable: THREADS_PER_STREAM_SMALL : 0
[ INFO ] Mutable: SMALL_CORE_OFFSET : 0
[ INFO ] Mutable: ENABLE_HYPER_THREAD : YES
[ INFO ] Mutable: NUM_STREAMS : 1
[ INFO ] Mutable: INFERENCE_NUM_THREADS : 0
[ INFO ] Mutable: AFFINITY : NONE
[ INFO ]
没有找到匹配的文章