Langfuse: Open Source LLM Engineering Platform
Langfuse
LLM 可观察性（LLM Observability）、提示管理（Prompt Management）、LLM 评估（LLM Evaluations）、数据集（Datasets）、LLM 指标（LLM Metrics）和提示游乐场（Prompt Playground）
概述（Overview）
开发（Develop）
- LLM Observability（可观察性）：为您的应用程序进行仪表化，并开始将跟踪数据传输到 Langfuse（快速入门，集成跟踪）
- Langfuse UI：检查和调试复杂的日志（演示，跟踪）
- Prompt Management：从 Langfuse 中管理、版本化和部署提示（提示管理）
- Prompt Engineering：使用 LLM 游乐场测试和迭代您的提示
监控（Monitor）
- LLM Analytics（分析）：跟踪指标（成本、延迟、质量）并从仪表板和数据导出中获得见解（分析）
- LLM Evaluations（评估）：为您的 LLM 完成收集和计算分数（分数和评估）
- 在 Langfuse 中运行（基于模型的评估）和 LLM 作为评判
- 收集用户反馈（用户反馈）
- 在 Langfuse 中手动评分 LLM 输出（手动评分）