3 篇文章带有标签 “codegpt”

使用的模型

• 代码生成 Tabby 使用的是 Deepseek Coder 6.7B 模型。
• AI 聊天 CodeGPT 使用的是 ChatGLM3-6B 模型。这个后面考虑使用 Deepseek Coder 6.7B 来替换。

部署服务器端

• 基于 PyCharm 使用 Tabby 和 CodeGPT 插件搭建免费的 GitHub Copilot

安装 InteliJ IDEA

安装插件

插件

• 代码生成：Tabby
• AI 聊天：CodeGPT

安装

打开 IntelliJ IDEA，选择 Settings 菜单，选择 Plugins，搜索 Tabby 和 CodeGPT，点击 Install 安装。

• Tabby

• CodeGPT

配置插件

Tabby

参数

• Endpoint: http://172.16.33.66:8080

CodeGPT

参数

• Service: OpenAI Service
• API key: NULL
• Model: GPT-3.5(4k)
• Base host: http://172.16.33.66:8000

使用插件

AI 聊天

代码生成

使用的模型

• 代码生成 Tabby 使用的是 Deepseek Coder 6.7B 模型。
• AI 聊天 CodeGPT 使用的是 ChatGLM3-6B 模型。这个后面考虑使用 Deepseek Coder 6.7B 来替换。

部署服务器端

Tabby 服务

docker run -d --runtime nvidia --name tabby -p 8080:8080 \
  -e TABBY_DOWNLOAD_HOST=modelscope.cn \
  -e NVIDIA_VISIBLE_DEVICES=3 \
  -e RUST_BACKTRACE=1 \
  -v `pwd`/.tabby:/data tabbyml/tabby \
  serve --model TabbyML/DeepseekCoder-6.7B  --device cuda

OpaneAI 服务

• 启动服务 Controller

python -m fastchat.serve.controller

• 启动服务 Model Worker

python -m fastchat.serve.model_worker \
  --model-path THUDM/chatglm3-6b --port 21002 \
  --worker-address http://localhost:21002 \
  --model-names chatglm3-6b,gpt-3.5-turbo

安装 InteliJ IDEA

安装 CodeGPT

打开 IntelliJ IDEA，选择 Settings 菜单，选择 Plugins，搜索 CodeGPT，点击 Install 安装。

配置 CodeGPT

这里访问的 OpenAI 服务是我自己搭建的，使用的是 FastChat + ChatGLM3-6B。

模型 GPT-3.5(4k)

• Service: OpenAI Service
• API Key: NULL
• Model: GPT-3.5(4k)
  • 使用的模型名字是：gpt-3.5-turbo
• Base host: http://172.16.33.66:8000

模型 GPT-4(32k)

• Service: OpenAI Service
• API Key: NULL
• Model: GPT-4(32k)
  • 使用的模型名字是：gpt-4-32k
• Base host: http://172.16.33.66:8000

模型 Deepseek Coder 7B

• Service: LLaMA C/C++ Port (Free, Local)
• Use pre-defined model
  • Model: Deepseek Coder (1B - 33B)
  • Model size: 7B
  • Quantization: 5-bit precision

模型缓存到 ~/.