Sourcegraph Cody
- 规划（Planning）：分析代码上下文以确定生成补全的最佳方法，例如：使用单行还是多行补全。
- 检索（Retrieval）：从代码库中找到相关的代码示例，为 LLM 提供最佳可能的上下文。
- 生成（Generation）：使用 LLM 基于提供的提示和上下文生成代码补全。
- 后处理（Post-processing）：精炼和过滤原始的 AI 生成的补全，以提供最相关的建议。
Cody 的目标是提供高质量的补全，无缝集成到开发者的工作流程中。创建一个有效的代码 AI 助手需要正确的上下文（context），提示（prompt）和 LLM。通过语法分析（Tree-sitter），智能提示工程（smart prompt engineering），正确的 LLM 选择和正确的遥测（telemetry），不断迭代和提高 Cody 的代码补全质量和接受率（acceptance rate）。最新的数字显示 Cody 的补全接受率高达 30%。
- 流式处理（Streaming）：使用流式处理（这样 LLM 可以逐个 Tokens 返回响应），客户端可以实现更高级的机制来提前终止补全请求。例如，如果你正在寻找完成一个函数定义，而 LLM 的响应开始在当前函数完成后定义另一个函数，那么你可能甚至不想显示第二个函数，可以立刻终止响应，而不是等到请求完成。
TCP 连接复用（TCP connection reusing