部署 Reachy Mini 语音智能体
安装 reachy_mini_conversation_app 到 Reachy Mini
在 MacBook 上运行 Reachy Mini Control，单击 Start 按钮。
在 Applications 页面，单击 Discover apps 后，搜索 reachy_mini_conversation_app。
单击 Install 按钮安装 reachy_mini_conversation_app。
MacBook 上实时模式运行 Speech To Speech
安装 Speech To Speech
uv venv --python 3.12
source .venv/bin/activate
uv pip install speech-to-speech
uv pip install "speech-to-speech[faster-whisper]"
中文
方法
架构
本仓库实现了一个语音到语音的级联管道，包含以下部分：
模块化
该管道提供了一种完全开放且模块化的方法，重点是利用 Hugging Face Hub 上 Transformers 库提供的模型。代码设计易于修改，我们已经支持特定设备和外部库的实现：
VAD
STT
LLM
TTS ChatTTS Pocket TTS - Kyutai Labs 提供的支持语音克隆的流式 TTS Kokoro-
Qwen2.5-Omni是Qwen系列中全新的旗舰级端到端多模态大模型，专为全面的多模式感知设计，无缝处理包括文本、图像、音频和视频在内的各种输入，同时支持流式的文本生成和自然语音合成输出。
点击下方视频了解更多信息吧 😃
概览
简介
Qwen 2.5-Omni是一个端到端的多模态大语言模型，旨在感知包括文本、图像、音频和视频在内的多种模态，同时以流式的方式生成文本和自然语音响应。
主要特点
TLDR
Yesterday, OpenAI released Deep Research, a system that browses the web to summarize content and answer questions based on the summary. The system is impressive and blew our minds when we tried it for the first time.
昨天，OpenAI 发布了 Deep Research，这是一个浏览网页以总结内容并根据总结回答问题的系统。当我们第一次尝试时，这个系统给我们留下了深刻的印象。
One of the main results in the blog post is a strong improvement of performances on the General AI Assistants benchmark (GAIA), a benchmark we’ve been playing with recently as well, where they successfully reached near 67% correct answers on 1-shot on average, and 47.
安装
macOS
conda create -n autotrain python=3.10
conda activate autotrain
pip install autotrain-advanced
conda install pytorch torchvision torchaudio -c pytorch
pip install numpy==1.26.0
export HF_TOKEN=xxx
autotrain app --port 8080 --host 127.0.0.1
浏览器打开 http://127.0.0.1:8080/ui/ 以查看 AutoTrain 的界面。
Text Generation Inference
conda create -n text-generation-inference python=3.9
conda activate text-generation-inference
git clone https://github.com/huggingface/text-generation-inference.git && cd text-generation-inference
BUILD_EXTENSIONS=True make install
vLLM
conda create -n vllm python=3.10 -y
conda activate vllm
pip install vllm
cd ~/HuggingFace/mistralai/Mistral-7B-v0.1
git clone https://huggingface.co/predibase/magicoder adapters/magicoder
vllm serve `pwd` \
--enable-lora \
--lora-modules magicoder=`pwd`/adapters/magicoder
Llama3
模型
下载
数据集
No Robots 是由熟练的人类注释者创建的包含 10,000 条指令和演示的高质量数据集。该数据可用于监督微调（SFT），使语言模型更好地遵循指令。 No Robots 是根据 OpenAI 的 InstructGPT 论文中描述的指令数据集进行建模的。
介绍 Llama 3 最大的变化是采用了新的 Tokenizer，将词汇表大
Phi-2: The surprising power of small language models
创建虚拟环境
conda create -n huggingface python==3.10.9
conda activate huggingface
安装依赖包
conda install pytorch torchvision -c pytorch
pip install transformers
pip install einops
下载模型
huggingface-cli download microsoft/phi-2 --local-dir microsoft/phi-2 --local-dir-use-symlinks False
代码 import torch from transformers import AutoModelForCausalLM, AutoTokenizer torch.set_default_device("mps") model = AutoModelForCausalLM.
下载代码
git clone https://github.com/Stability-AI/generative-models.git Stability-AI/generative-models
cd Stability-AI/generative-models/
创建虚拟环境
python -m venv env
source env/bin/activate
pip install -r requirements/pt2.txt
pip install .
Apple Silicon 上没有安装成功，安装包 triton 不支持
下载模型
pip install "huggingface_hub[cli]"
huggingface-cli download stabilityai/sdxl-turbo --local-dir checkpoints --local-dir-use-symlinks False
CLIP huggingface-cli download openai/clip-vit-large-patch14 --lo
TGI 是一个用于部署和服务大型语言模型（LLM）的工具包。 TGI 为最流行的开源 LLM 提供高性能文本生成，包括 Llama、Falcon、StarCoder、BLOOM、GPT-NeoX 和 T5 。
系统架构
部署模型 HuggingFaceH4/zephyr-7b-beta model=HuggingFaceH4/zephyr-7b-beta volume=$PWD/data # Avoid downloading weights every run docker run --
数据
weather_texts = [
"😀 今天天气舒适，心情大好。",
"😀 今天天气晴朗，阳光明媚。",
"😀 今天天气宜人，适合出门游玩。",
"😀 今天天气没有下雨，真是太好了。",
"😀 今天天气比昨天好多了，真是令人欣喜。",
"😀 今天天气晴空万里，蓝天白云，真是美不胜收。",
"😀 今天天气温暖如春，空气清新，让人心旷神怡。",
"😀 今天天气风和日丽，微风徐徐，让人心情舒畅。",
"😀 今天天气万里无云，阳光灿烂，让人精神振奋。",
"😀 今天天气秋高气爽，天朗气清，让人心胸开阔。",
"🥶 今天天气很糟糕。",
"🥶 今天天气阴沉沉的，让人心情烦躁。",
"🥶 今天天气下雨了，真是让人沮丧。",
"🥶 今天天气太热了，出门都觉得热得受不了。",
"🥶 今天天气太冷了，出门都要穿上厚衣服。",
"🥶 今天天气乌云密布，风雨欲来，真是让人提心吊胆。",
"🥶 今天天气寒风刺骨，道路结冰，真是让人寸步难行。",
"🥶 今天天气闷热潮湿，空气污浊，真是让人喘不过气来。",
"🥶 今天天气灰蒙蒙的，看不到蓝天白云，真是让人心情沉重。",
"🥶 今天天气狂风暴雨，树木倒伏，道路封闭，真是让人措手不及。"
]
LLM
Embedding 模型
Massive Text Embedding Benchmark (MTEB) Leaderboard
piccolo是一个通用embedding模型(中文), 由来自商汤科技的通用模型组完成训练。piccolo借鉴了E5以及GTE的训练流程，采用了两阶段的训练方式。 在第一阶段中，我们搜集和爬取了4亿的中文文本对(可视为弱监督文本对数据)，并采用二元组的softmax对比学习损失来优化模型。 在第二阶段中，我们搜集整理了2000万人工标注的中文文本对(精标数据)，并采用带有难负样本的三元组的softmax对比学习损失来帮助模型更好地优化。
FlagEmbedding 将任意文本映射为低维稠密向量，以用于检索、分类、聚类或语义匹配等任务，并可支持为大模型调用外部知识。
不同的任务
参考资料
模型
Taiyi-CLIP-Roberta-102M-Chinese 中文CLIP模型
使用电网的图片测试了一下，效果不理想。
HuggingFace 下载
Qwen-7B
chat(..., stream=True)
ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，ChatGLM2-6B 引入了如下新特性：
Stable Diffusion
数据集 LAION-5B
一个由 58.5 亿个 CLIP 过滤的图像-文本对组成的数据集
工作原理是将文本查询转换为 CLIP 嵌入，然后使用该嵌入来查询剪辑图像嵌入的 knn 索引，在搜索演示中搜索数据集。
Stable Diffusion GUI
🤗 Diffusers 是最先进的预训练扩散模型的首选库，用于生成图像、音频，甚至分子的 3D 结构。无论您是在寻找简单的推理解决方案，还是想训练自己的扩散模型，🤗 Diffusers 都是一个支持两者的模块化工具箱。
知识扩展
Latent Representation
数据中的潜在特征表示，这些特征可能不易直接观察到，但对于模型的学习和预测等任务具有重要意义。例如，在图像识别中，一张图片的颜色、形状、纹理等特征可以被视为潜在特征表示。
Latent Space
由模型自动生成的潜在特征空间，其中每个点都表示一种可能的特征组合。在深度学习和人工智能领域，常常使用自编码器等技术来学习并探索数据的潜在特征空间，以期获得更深入的理解和更好的应用效果。
参考资料 AutoFaiss Multimodal search
Hugging Face 是所有机器学习任务的大本营。 您可以在这里找到开始一项任务所需的内容：演示、用例、模型、数据集等等！
创建和托管很棒的机器学习演示
Solutions
Expert Acceleration Program（专家加速计划）- 加速您的 ML 路线图
从我们屡获殊荣的机器学习专家那里获得指导。我们组建了一个世界一流的团队，帮助客户更快地构建更好的 ML 解决方案。
机器学习的成功取决于为用例找到最佳架构、微调模型并将它们部署到生产环境中。 所有这些都需要经验和技能的正确结合。 我们的专家加速计划提供必要的技术专长，以实施最先进的技术、做出更好的决策并更快地进入市场。
Hugging Face 上创建 ChatGPT Space
克隆
git clone https://huggingface.co/spaces/wangjunjian/ChatGPT
cd ChatGPT
创建应用（聊天机器人）
chat.py
这里的 Conversation 记录了所有的对话消息，在提问前，会检查是否超过最大 token 数量，如果超过，会删除第一条与用户的对话消息，然后再提问。
import openai
import tiktoken
class Conversation:
def __init__(self, prompt, model="gpt-3.5-turbo", temperature=0.8, max_tokens=250):
self.prompt = prompt
self.model = model
self.temperature = temperature
self.max_tokens = max_tokens
self._init_messages()
def _init_messages(self):
self.messages = [{"role": "system", "content": self.prompt}]
// ...
什么是 REST API？
REST API 也称为 RESTful API，是遵循 REST 架构规范的应用编程接口（API 或 Web API），支持与 RESTful Web 服务进行交互。REST 是表述性状态传递的英文缩写，由计算机科学家 Roy Fielding 创建。
如何实现 RESTful API？
API 要被视为 RESTful API，必须遵循以下标准：
虽然 REST API 需要遵循这些标准，但是
LLaMA-13B 在大多数基准上的表现优于 GPT-3（175B），LLaMA-65B 与最好的型号 Chinchilla-70B 和 PaLM-540B 具有竞争力。
克隆
git clone https://github.com/facebookresearch/llama
cd llama
下载模型
修改 download.sh，配置下载模型的 地址(PRESIGNED_URL) 和 下载目录(TARGET_FOLDER)。
vim download.sh
PRESIGNED_URL="https://agi.gpt4.org/llama/LLaMA/*" # replace with presigned url from email
TARGET_FOLDER="./" # where all files should end up
bash download.sh
构建
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make
拷贝 LLaMA 模型到当前目录 ls .