5 篇文章带有标签 “langfuse”

构建本地 AI 技术栈

构建环境

选择 Python 版本

Python Releases

安装 LiteLLM + LangFuse

conda create -n litellm python==3.12.9 -y
conda activate litellm                     

pip install "litellm[proxy]" langfuse openai

LangFuse

部署（Docker）

git clone https://github.com/langfuse/langfuse.git
cd langfuse

docker compose up

注册用户

浏览器访问 http://localhost:3000/，单击 Sign up 注册一个新账户。

创建组织和工程

API Keys

LiteLLM

克隆 LiteLLM（可选）

git clone https://github.com/BerriAI/litellm
cd litellm

编辑配置 litellm_config.yaml

litellmlangfuseollamachatboxlocal-aillmproxydockerobservability

Langfuse: Open Source LLM Engineering Platform

Langfuse

LLM 可观察性（LLM Observability）、提示管理（Prompt Management）、LLM 评估（LLM Evaluations）、数据集（Datasets）、LLM 指标（LLM Metrics）和提示游乐场（Prompt Playground）

概述（Overview）

开发（Develop）

  • LLM Observability（可观察性）：为您的应用程序进行仪表化，并开始将跟踪数据传输到 Langfuse（快速入门，集成跟踪）
  • Langfuse UI：检查和调试复杂的日志（演示，跟踪）
  • Prompt Management：从 Langfuse 中管理、版本化和部署提示（提示管理）
  • Prompt Engineering：使用 LLM 游乐场测试和迭代您的提示

监控（Monitor）

  • LLM Analytics（分析）：跟踪指标（成本、延迟、质量）并从仪表板和数据导出中获得见解（分析）
  • LLM Evaluations（评估）：为您的 LLM 完成收集和计算分数（分数和评估）
    • 在 Langfuse 中运行（基于模型的评估）和 LLM 作为评判
    • 收集用户反馈（用户反馈）
    • 在 Langfuse 中手动评分 LLM 输出（手动评分）
langfusellm-observabilityprompt-managementllm-evaluationdockerlitellmtracingllm

LiteLLM: [Python SDK] [Proxy Server (LLM Gateway)]

LiteLLM Proxy Server (LLM Gateway)

安装

pip install 'litellm[proxy]'

编辑配置文件：config.yaml

model_list:
  - model_name: qwen-coder
    litellm_params:
      model: ollama/qwen2.5-coder:7b
  - model_name: bge-m3
    litellm_params:
      model: ollama/bge-m3
  - model_name: llava
    litellm_params:
      model: ollama/llava:7b
      api_base: "http://localhost:11434"
      # api_base: http://127.0.0.1:11434/v1 # ❌ 500 Internal Server Error
  - model_name: gpt-4
    litellm_params:
      model: openai/gpt-4-32k
// ...

命令部署 # 集成 Langfuse LANGFUSE_PUBLIC_KEY=pk-lf-fd5d8fb

litellmai-gatewayproxy-serverpython-sdklangfuseollamaopenai-compatiblellm