7 篇文章带有标签 “ChatGLM”

FastChat 是一个开放平台，用于训练、服务和评估基于大型语言模型的聊天机器人。

• FastChat 部署多模型
• Qwen (通义千问)

• DeepSeek

mkdir deepseek-ai
ln -s /Users/junjian/HuggingFace/deepseek-ai/deepseek-llm-7b-chat deepseek-ai/deepseek-llm-7b-chat
ln -s /Users/junjian/HuggingFace/deepseek-ai/deepseek-coder-1.3b-instruct deepseek-ai/deepseek-coder-1.3b-instruct

• ChatGLM

mkdir THUDM
ln -s /Users/junjian/HuggingFace/THUDM/chatglm3-6b THUDM/chatglm3-6b

• deepseek-ai/deepseek-llm-7b-chat

python -m fastchat.serve.model_worker \
    --model-path deepseek-ai/deepseek-llm-7b-chat --port 21002 \
    --worker-address http://localhost:21002 \
    --device mps

打开 IntelliJ IDEA，选择 Settings 菜单，选择 Plugins，搜索 CodeGPT，点击 Install 安装。

这里访问的 OpenAI 服务是我自己搭建的，使用的是 FastChat + ChatGLM3-6B。

模型缓存到 ~/.codegpt/models/gguf 目录下，如果模型不存在，可以单击 Download Model 下载。

也可以自己到 HuggingFace 下载模型，然后放到 ~/.codegpt/models/gguf 目录下。

单击 Start server 启动服务。

查看缓存的模型

ls ~/.codegpt/models/gguf

deepseek-coder-6.7b-instruct.Q5_K_M.gguf

• codegpt/CodeGPTPlugin.java

可以到 HuggingFace 下载 LLaMA 2-7B-Chat 模型的 GGUF格式。

• Service: LLaMA C/C++ Port (Free, Local)
• Use custom model
  • Model path: 您下载的 LLaMA 2-7B-Chat 模型的路径
  • Prompt template: Llama

单击 Start server 启动服务。

• TensorRT-LLM’s Documentation
• Triton Tutorials
• NVIDIA Triton Inference Server Documentation

• ChatGLM

1. 更强大的性能：基于 ChatGLM 初代模型的开发经验，我们全面升级了 ChatGLM2-6B 的基座模型。ChatGLM2-6B 使用了 GLM 的混合目标函数，经过了 1.4T 中英标识符的预训练与人类偏好对齐训练，评测结果显示，相比于初代模型，ChatGLM2-6B 在 MMLU（+23%）、CEval（+33%）、GSM8K（+571%） 、BBH（+60%）等数据集上的性能取得了大幅度的提升，在同尺寸开源模型中具有较强的竞争力。
2. 更长的上下文：基于 FlashAttention 技术，我们将基座模型的上下文长度（Context Length）由 ChatGLM-6B 的 2K 扩展到了 32K，并在对话阶段使用 8K 的上下文长度训练，允许更多轮次的对话。但当前版本的 ChatGLM2-6B 对单轮超长文档的理解能力有限，我们会在后续迭代升级中着重进行优化。
3. 更高效的推理：基于 Multi-Query Attention 技术，ChatGLM2-6B 有更高效的推理速度和更低的显存占用：在官方的模型实现下，推理速度相比初代提升了 42%，INT4 量化下，6G 显存支持的对话长度由 1K 提升到了 8K。

专业	题型	题目内容	题目依据条款	选项	正确答案
变电专业	单选题	雷雨天气，需要巡视室外高压设备时，应穿（　　），并不准靠近避雷器和避雷针。	来自安规	A. 雨鞋,B. 绝缘靴,C. 橡胶鞋,D. 绝缘鞋	B. 绝缘靴
变电专业	单选题	地震、台风、洪水、泥石流等灾害发生后，如需要对设备进行巡视时，应制定必要的安全措施，得到设备运维管理单位批准，并至少两人一组，巡视人员应与（　　）之间保持通信联络。	来自安规	A. 分管领导,B. 调控人员,C. 派出部门,D. 运维单位	C. 派出部门
变电专业	单选题	高压设备发生接地时，室内人员应距离故障点（　　）m以外。	来自安规	A. 1,B. 2,C. 3,D. 4	D. 4
变电专业	判断题	禁止在只经断路器（开关）断开电源或只经换流器闭锁隔离电源的设备上工作。	来自安规	A. 正确,B. 错误	A. 正确
变电专业	判断题	在电气设备上工作，对难以做到与电源完全断开的检修设备，可以不拆除设备与电源之间的电气连接。	来自安规	A. 正确,B. 错误	B. 错误
变电专业	判断题	表示设备断开和允许进入间隔的信号、经常接入的电压表等，如果指示有电，在排除异常情况前，禁止在设备上工作。	来自安规	A. 正确,B. 错误	A. 正确
变电专业	多选题	线路的停、送电均应按照（　　）的指令执行。	来自安规	A. 值班调控人员,B. 专责监护人,C. 线路工作负责人,D. 线路工作许可人	A. 值班调控人员,D. 线路工作许可人
变电专业	多选题	值班调控人员或线路工作许可人应将线路停电检修的工作班组数目、（　　）做好记录。	来自安规	A. 工作班成员姓名,B. 工作负责人姓名,C. 工作地点,D. 工作任务	B. 工作负责人姓名,C. 工作地点,D. 工作任务
变电专业	多选题	工作结束时，应得到工作负责人（包括用户）的工作结束报告，确认（　　），方可下令拆除变电站或发电厂内的安全措施，向线路送电。	来自安规	A. 所有工作班组均已竣工,B. 接地线已拆除,C. 作业人员已全部撤离线路,D. 与记录核对无误并做好记录	A. 所有工作班组均已竣工,B. 接地线已拆除,C. 作业人员已全部撤离线路,D. 与记录核对无误并做好记录

ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。

git clone https://huggingface.co/THUDM/chatglm-6b THUDM/chatglm-6b

• 在国内为了加快下载速度，模型文件可以单独从 清华云 下载。