3 篇文章带有标签 “multimodal-llm”

Gemma 4 12B

• Introducing Gemma 4 12B: a unified, encoder-free multimodal model
• Gemma 4 12B: The Developer Guide
• Accelerating Gemma 4: faster inference with multi-token prediction drafters
• A Visual Guide to Gemma 4 12B
• Gemma 4: Byte for byte, the most capable open models
• Ollama Gemma 4

Gemma 4 12B 是谷歌最新推出的一款原生、无编码器（Encoder-free）的统一多模态大模型。它的核心定位是将高水平的“智能体（Agentic）”和多模态能力直接带到用户的笔记本电脑等日常消费级硬件上。

以下是对 Gemma 4 12B 大模型的详细介绍：

1. 创新的统一架构：无编码器设计（Encoder-free）

与传统的多模态模型（通常需要使用独立的、冻结的视觉或音频编码器将数据转化为文本格式）不同，Gemma 4 12B 采用了统一的、仅解码器（Decoder-only）的 Transformer 架构。

• 视觉嵌入器（Vision Embedder）：仅有 35M 参数，取代了传统复杂的视觉 Transformer 层。它将 48x48 像素的原始图像块（Patches）通过单次矩阵乘法直接投影到大语言模型（LLM）的隐藏维度中，并利用 X 和 Y 矩阵的坐标查找技术，直接将空间位置信息附带在输入中。
• 音频波形投影（Audio Wave Projection）：完全取消了独立的音频编码器。它直接将 16 kHz 的原始音频信号切片为 40ms 的帧（每帧包含 640 个浮点数），并通过线性投影无缝输入到 LLM 的空间中。

本文档提供了一篇关于Qwen2.5-VL 多模态大模型的详细指南，涵盖了从模型架构、性能到实际部署和使用的各个方面。它不仅介绍了如何下载不同版本（如 3B 和 7B Instruct）的模型，还提供了安装和启动模型的命令行指令。此外，文档还展示了如何通过 cURL 命令测试模型，并给出了一个使用 OpenAI API 与 Qwen2.5-VL 进行交互的 Python 示例代码，该代码专注于图像中的火灾、烟雾和安全帽佩戴情况检测，支持本地和网络图片。

Qwen2.5-VL

模型架构

• Qwen2.5 VL

模型性能

• Qwen2.5 VL Paper

魔搭下载

在下载前，请先通过如下命令安装 ModelScope

pip install modelscope

Qwen2.5-VL-3B-Instruct

modelscope download --model Qwen/Qwen2.5-VL-3B-Instruct --local_dir Qwen2.5-VL-3B-Instruct

Qwen2.5-VL-7B-Instruct

modelscope download --model Qwen/Qwen2.5-VL-7B-Instruct --local_dir Qwen2.5-VL-7B-Instruct

默认存储到 ~/.

本文档介绍了RoboBrain，一个由智源人工智能研究院开发的具身多模态大模型。它详细阐述了具身人工智能的发展趋势，并强调了大型模型在复杂长期操作任务中的重要性。文件中解释了任务规划、可操作区域感知和轨迹预测是RoboBrain实现端到端具身智能的关键能力。此外，它还介绍了用于训练RoboBrain的ShareRobot数据集，以及模型训练策略和实验结果，展示了RoboBrain在各项基准测试中超越现有模型的表现。

参考资料

• 具身多模态大模型-具身大脑RoboBrain
• RoboBrain 2.0: See Better. Think Harder. Do Smarter.
• GitHub - RoboBrain
• RoboBrain: A Unified Brain Model for Robotic Manipulation from Abstract to Concrete
• 智元启元大模型（Genie Operator-1）
• AgiBot World
• Datasets
• 具身智能技术指南 Embodied-AI-Guide