ai-proxy - 标签 - 军舰的日志

Kong

更快地构建生产就绪的 AI 应用程序（对于开发人员）

通过简单更改一行代码，使用现代基础设施构建具有多 LLM 支持和路由、高级 AI 负载均衡、LLM 可观察性、LLM 安全性和治理等功能的语义智能 AI 应用程序。

将语义智能注入到您的 AI 应用程序中（对于平台团队）

通过语义缓存加速每个 AI 应用程序，通过语义路由智能地跨多个模型路由，构建高级提示模板，检测和防止滥用，以及 AI 可观察性。

AI 流量的 L7 可观察性，用于成本监控和调优（AI 指标和可观察性）

获取应用程序发送的每个 AI 请求的见解，并捕获详细信息以了解和优化您的 AI 使用和成本，支持 10 多个日志摄取器。

安装（Docker）

PostgreSQL docker run -d --name kong-database \ -p 5432:5432 \ -e "POSTGRES_USER=kong" \ -e "POSTGRES_DB=kong" \ -e &q

1 篇文章带有标签 “ai-proxy”