4 篇文章带有标签 “AIGateway”

CodeGate - 让 AI 编码助手更安全

CodeGate 是位于 AI 编码助手和 LLM 之间的本地提示网关，用于增强隐私和安全性。

  • 执行代码安全审查
  • 识别包依赖项中的漏洞
  • 防止敏感数据（如机密）与 AI 模型共享

CodeGate 是位于 AI 编码助手和 LLM 之间的本地代理。CodeGate 会审查您的提示是否存在任何潜在的机密泄露 — 在机密离开您的桌面之前对其进行加密，并在响应中对其进行解密。CodeGate 使用 RAG 来更新任何 LLM 的知识库，并提供相关的风险洞察。

ollama pull qwen2.5-coder:7b
ollama pull qwen2.5-coder:1.5b

编辑配置文件：~/.continue/config.json

1 分钟 194 字
CodeGateAIGatewayLLM

LiteLLM: [Python SDK] [Proxy Server (LLM Gateway)] 

model_list:
  - model_name: qwen-coder
    litellm_params:
      model: ollama/qwen2.5-coder:7b
  - model_name: bge-m3
    litellm_params:
      model: ollama/bge-m3
  - model_name: llava
    litellm_params:
      model: ollama/llava:7b
      api_base: "http://localhost:11434"
      # api_base: http://127.0.0.1:11434/v1 # ❌ 500 Internal Server Error
  - model_name: gpt-4
    litellm_params:
      model: openai/gpt-4-32k
// ...

docker run --name litellm \
    -v $(pwd)/litellm_config.yaml:/app/config.yaml \
    -p 4000:4000 \
    ghcr.io/berriai/litellm:main-stable \
    --config /app/config.yaml \
    --detailed_debug
1 分钟 290 字
LiteLLMAIGatewayLangfuseLLM

Kong AI Gateway

  • 创建
curl -X POST http://localhost:8001/services \
    --data "name=ai-proxy" \
    --data "url=http://localhost:32000"

请记住，上游 URL 可以指向任何空的地方，因为插件不会使用它。

  • 查看
curl -X GET http://localhost:8001/services/ai-proxy | jq
  • 删除
curl -X DELETE http://localhost:8001/services/ai-proxy
  • 创建
curl -X POST http://localhost:8001/services/ai-proxy/routes \
    --data "name=openai-chat" \
    --data "paths[]=~/openai-chat$"

查看 curl -X GET http://localhost:8001/rou

2 分钟 650 字
KongAIGatewayLLM

Higress AI Gateway

Higress 是基于阿里内部多年的 Envoy Gateway 实践沉淀，以开源 Istio 与 Envoy 为核心构建的云原生 API 网关。

1 分钟 143 字
HigressAIGatewayEnvoyIstioLLM