Higress AI Gateway

目录

• Higress
• 安装
• 配置
  • 服务来源
  • 路由配置
  • 插件配置
    • AI 代理
• 测试

Higress

Higress 是基于阿里内部多年的 Envoy Gateway 实践沉淀，以开源 Istio 与 Envoy 为核心构建的云原生 API 网关。

• Higress是什么?
• Higress 博客
• 多层网关统一成趋势，如何构建全能型网关
• 如何使用 Higress 快速构建 AI 应用？
• 天池大赛Higress插件官方demo详细部署+调试
• Higress 优势对比 - Higress, Nginx, Spring Cloud Gateway
• Higress Plugin Hub
• higress/plugins/wasm-go/extensions/ai-proxy/
• Higress Demo
• Higress FAQ

安装

# 创建一个工作目录
mkdir higress; cd higress
# 启动 higress，配置文件会写到工作目录下
docker run -d --rm --name higress-ai -v ${PWD}:/data \
    -p 8001:8001 -p 8080:8080 -p 8443:8443  \
    higress-registry.cn-hangzhou.cr.aliyuncs.com/higress/all-in-one:latest

• 8001 端口：Higress UI 控制台入口
• 8080 端口：网关 HTTP 协议入口
• 8443 端口：网关 HTTPS 协议入口

配置

访问 http://localhost:8001 进入 Higress 控制台。

服务来源

创建服务来源

• 类型：固定地址
• 名称：openai-api-service
• 服务地址：http://localhost:8000

路由配置

创建路由

• 路由名称: openai-api-route
• 路径（Path）
  • 前缀匹配：/v1
• 附加注解（Annotation）
  • Key: higress.io/backend-protocol 值: http
• 目标服务: openai-api-service.static

插件配置

AI 代理

• 开启状态: ON
• 数据编辑器 - YAML

provider:
  apiTokens:
  - "NONE"
  modelMapping:
    '*': "Qwen2-7B"
  type: "openai"

不配置也可以正常使用

测试

curl http://127.0.0.1:8080/v1/chat/completions \
    -H 'Accept: application/json, text/event-stream' \
    -H 'Content-Type: application/json' \
    -d '{
        "model":"Qwen2-7B",
        "messages":[{
            "role":"user",
            "content":"你是谁？"
        }],
        "temperature": 0.3
    }'