深度神经网络架构的演进，本质上是在寻找梯度稳定性与特征表达力的最优解：残差连接 通过恒等映射初步破解了深层网络的退化难题，但在缓解梯度消失与防止表征坍缩之间仍存在“跷跷板效应”；超连接（HC） 在此基础上打破了固定连接的束缚，通过引入可学习的深度连接与宽度连接，允许网络“自主学习最优连接强度”，显著提升了大模型训练的性能；流形约束超连接（mHC） 则通过将 HC 的连接矩阵投影至双随机流形，利用数学上的凸组合约束恢复了恒等映射的数值稳定性，并辅以算子融合、选择性重算和 DualPipe 通信重叠等工程优化，最终在大模型训练中实现了训练稳定性和显著降低延迟负载。 阅读更多
本文详细介绍了 FunASR 这一基础语音识别工具包，它提供了一套完整的语音处理服务，涵盖了离线转写和实时听写两大核心功能。其技术核心在于 AutoModel 多模型协调引擎，能够将不同的组件，如语音活动检测（VAD）、自动语音识别（ASR）、标点恢复和说话人分离（SV），按序串联起来，实现复杂的音频转录任务。文档清晰展示了从原始音频输入到最终带说话人标签的转录结果的完整处理流程和数据流向。此外，本文不仅罗列了支持的多种中英文模型清单，还附带了音频格式转换指南和代码示例。最后，通过实验性能对比，文章论证了在不同硬件上，结合 VAD、PUNC 和 SV 等组件后对推理用时和处理准确性的影响。 阅读更多
用半精度浮点数（FP16）计算能力评估服务器的智能计算能力，服务器算力=处理器芯片数x每时钟周期执行单精度浮点运算次数x处理器主频x处理器核数。 阅读更多
FunASR 是一个基础语音识别工具包，提供多种功能，包括语音识别（ASR）、语音端点检测（VAD）、标点恢复、语言模型、说话人验证、说话人分离和多人对话语音识别等。 阅读更多
SenseVoice 是具有音频理解能力的音频基础模型，包括语音识别（ASR）、语种识别（LID）、语音情感识别（SER）和声学事件分类（AEC）或声学事件检测（AED）。 阅读更多
本文将介绍如何在 Jetson Thor 平台上编译、部署和测试 llama.cpp 项目中的 GGUF 格式的大模型。 阅读更多
该文章是对 NVIDIA Jetson Thor 平台进行大语言模型部署、系统优化和深度性能基准测试的权威指南。 平台配置与环境准备： 文章首先详细介绍了在 Jetson AGX Thor 开发套件上进行 BSP（Jetson Linux）安装流程。这包括下载 ISO 映像、使用 Balena Etcher 创建可启动 USB 棒，以及通过首次启动完成 UEFI 固件更新和 Ubuntu 初始设置。软件环境基于 JetPack 7，它提供了对前沿机器人和生成式 AI 的全面支持。部署环境采用云原生技术，通过 Docker 容器运行 vLLM 或 TritonServer 等推理服务。 系统性能调优： 为了释放硬件全部潜力，文章强调了系统级的性能调优步骤：必须通过 sudo nvpmodel -m 0 将功耗模式设置为最高性能模式 (MAXN)（130W），并使用 sudo jetson_clocks 锁定 CPU、GPU 和内存的核心频率，禁用 DVFS 机制。测试结果显示，MAXN + jetson_clocks 组合能显著提升性能，在高负载下，FP8 模型的吞吐量提升约 18.5%，在低负载下，每 Token 平均延迟（TPOT）减少约 43%。 量化模型基准测试结果： 文章对 Qwen3-8B 模型的多种量化精度（包括 BF16、FP8、FP4、Int4 等）进行了详尽的性能分析。核心发现是： FP8 量化精度（8.9G 模型）表现出绝对优势。在高并发（高负载）场景下，FP8 模型实现了最高的输出 Token 吞吐量（298.07 tok/s），是基线 BF16 模型（82.47 tok/s）的 3.6 倍。 在低延迟（低负载）场景下，FP8 实现了最低的首 Token 延迟（23.06 ms）和最低的平均生成延迟（8.88 ms）。 阅读更多
Claude Agent SDK 是 Anthropic 发布的、用于在 Claude Code 基础上构建强大智能体（agents）的工具集合。该 SDK 最初是作为 Claude Code SDK（一个智能编码解决方案）发布的，旨在支持 Anthropic 内部的开发者效率。由于 Claude Code 已经超越了编码工具的范畴，被用于深度研究、视频制作和笔记记录等无数非编码应用，因此该工具被更名为 Claude Agent SDK，以反映其更广泛的愿景。 阅读更多
Context Engineering（上下文工程）是为解决 AI Agent 时代输入过长，避免塞爆 Context 的关键技术。其基本概念是 “把需要的放進去，不需要的清出來”。常用招数（基本方法）包括： Select（挑选）：只挑选当下任务最关键的内容。这包括利用 RAG (检索增强生成) 检索额外资讯，并使用 Reranking 或 Small LLM 筛选关键词。此外，只挑选需要的工具（Tool RAG）和记忆（Memory RAG）。 Compress（压缩）：对冗长琐碎的内容进行精简和摘要。例如，将过去的对话历史或 Computer Use 产生的细节压缩，让遥远的记忆逐渐淡化，以节省 Context 空间。 Multi-Agent（多代理）：将复杂任务拆解并分派给多个子 Agent。子 Agent 独立处理细节，完成后只向 Lead Agent 回报最终结果，从而隔离复杂的互动过程，分散 Context 负担。 阅读更多
本文档详细介绍了如何在 macOS 上使用 Automator 创建一个快速操作将 PDF 文件转换为 JPG 格式，每页一张。 阅读更多
本文介绍 Claude Code 的上下文工程。它整合了多种输入来源，包括系统提示、内置工具、MCP工具、自定义子代理、记忆文件和对话历史，以全面理解并完成编程开发任务。还介绍了使用 Claude Code 在您的项目中提供全流程协助，如何编写提示词。 阅读更多
Anthropic的“Claude Code”是一款终端内AI编程助手，旨在通过自然语言交互帮助开发者更快地编写、调试和管理代码。它提供了一系列功能，包括根据描述构建功能、识别并修复bug、理解复杂代码库以及自动化日常开发任务。用户可以通过简单的NPM安装和登录快速开始使用，并能通过聊天式的命令直接编辑文件、执行Shell命令和管理Git操作。该工具还支持自定义子代理以处理特定任务，并提供了灵活的配置选项，包括记忆管理、权限设置和环境变量，以适应个人、项目和企业级的开发需求。 阅读更多
这些图表提供了关于稳定币市场的全面概览，展示了稳定币市值的显著增长，尤其是在2020年至2025年期间。资料强调，美元在稳定币中占据主导地位，99%的稳定币与美元挂钩，但同时也提到了与欧元、离岸人民币和黄金挂钩的稳定币。此外，它探讨了美国政府推广稳定币的主要原因，包括维持美元地位、满足美债需求和提升加密货币世界地位，并列出了获得合规核心牌照的主要司法管辖区，如美国、巴哈马、迪拜、澳大利亚、欧盟和新加坡。图表还展示了稳定币发行公司如何通过投资短期和长期国债来运作，并概述了香港稳定币沙盒计划的参与者，包括京东链、圆币创新以及渣打银行等，并最终讨论了稳定币对银行的潜在影响，包括利润损失和经济联系的降低。 阅读更多
vLLM V1 引擎通过优化其核心引擎循环，将输入处理并行化，并引入了分段式 CUDA 图，从而实现了更灵活、动态的执行模型，显著降低了在线服务的延迟（TTFT 和 TPOT），同时保持了高吞吐量。其设计目标是确保 GPU 不闲置，通过 API 服务器和 EngineCore 之间的协作来高效调度和执行任务。为了进一步加速大型语言模型推理，vLLM V1 采用了多种优化技术：它通过分离式预填充和分块预填充来优化首个 token 的生成延迟，并结合连续批处理与分页注意力来提高 KV 缓存的内存效率和 GPU 利用率。此外，前缀缓存技术避免了重复计算相同提示的 KV 缓存，而级联推理则是一种内存带宽高效的共享前缀批处理解码技术，通过结合多查询注意力处理共享 KV 和单查询批处理解码处理独特 KV，特别适用于多用户共享长提示的场景，能显著提升性能。其他高级解码方法如推测性解码利用草稿模型加速生成，跳跃解码则适用于结构化输出场景。最后，量化技术是提升性能的关键手段，通过对权重、激活值和 KV 缓存使用低位精度（如 FP8、INT8），它能减少存储和内存占用，加速计算密集型和内存带宽密集型任务，并允许在固定硬件下处理更多 token，从而大幅提升吞吐量，同时保持模型准确性。 阅读更多
《国务院关于深入实施“人工智能+”行动的意见》旨在推动人工智能与经济社会各领域深度融合，重塑生产生活范式，加速形成人机协同、跨界融合、共创分享的智能经济和智能社会新形态。意见以习近平新时代中国特色社会主义思想为指导，利用我国数据、产业、场景优势，提出到2035年全面步入智能经济社会的发展目标。 核心行动包括：科学技术（加速科学发现，如新型科研范式、科学大模型建设、基础科研平台智能化升级、高质量科学数据集、跨学科融合，并驱动技术研发创新）；产业发展（培育智能原生新业态，推进工业、农业、服务业智能化转型）；消费提质与民生福祉（拓展智能服务与产品消费，创造智能工作与学习方式，提升生活品质）；治理能力（构建人机共生社会、多元共治安全与生态治理新格局）；以及全球合作（推动人工智能普惠共享，共建全球治理体系）。 为支撑上述行动，意见强调强化八大基础支撑能力，涵盖模型基础能力、数据供给创新、智能算力统筹、应用发展环境优化、开源生态繁荣、人才队伍建设、政策法规保障及安全能力水平提升。组织实施上，由国家发展改革委牵头统筹协调，确保各项部署落地见效。 阅读更多
该文章详细探讨了如何通过优化vLLM框架来提升Qwen3-4B大型语言模型在Tesla T4 GPU上的推理性能。实验中，我评估了不同配置对关键性能指标的影响，包括首次生成Token时间（TTFT）、端到端延迟（E2EL）和请求吞吐量。结果表明，结合前缀缓存（prefix caching）、分块预填充（chunked prefill）以及调整批处理Token数量（max-num-batched-tokens=8192）能显著改善模型性能。尤其在模拟Agent场景下的自定义数据集测试中，这些优化措施成功将TTFT大幅降低约64%，同时提升了请求和输出Token的吞吐量。最终，文章提供了一套推荐的最佳vLLM部署配置，旨在最大化长上下文模型的推理效率和用户体验。 阅读更多
该文本提供了一个关于PyTorch二分类神经网络的实现与性能分析的全面概述。首先，它通过具体代码示例展示了如何构建、训练、评估和保存一个基础的神经网络模型，并演示了如何加载模型进行推理。其次，文章深入探讨了不同模型参数规模下，Apple的MPS（Metal Performance Shaders）框架与CPU在训练时间上的性能对比，通过表格数据清晰地呈现了MPS在处理大型模型时相较于CPU的显著优势，并指出了性能的“转折点”。 阅读更多
本文档详细介绍了如何在华为Atlas 800I A2推理服务器上部署OpenAI的GPT-OSS大型模型。下载GPT-OSS模型的GGUF版本，并提供了llama.cpp部署方式的安装与编译步骤。文档还深入阐述了llama-server的命令行参数，展示了如何配置模型参数以优化性能，最后通过实际测试验证了模型的部署效果，并分析了多次调用后性能下降的原因，表明了在NPU上进行LLM推理部署的复杂性及其性能考量。 阅读更多
本文档首先比较了 NFS、GlusterFS、Ceph 和 HDFS 四种分布式文件系统的优缺点及适用场景，强调了 GlusterFS 在无元数据服务器、高可用性和横向扩展方面的优势。Gluster 是一个可扩展的分布式文件系统，它将来自多个服务器的磁盘存储资源聚合成一个单一的全局命名空间。文档提供了在多台服务器上准备环境、安装 GlusterFS、配置信任池、创建和启动分布式复制卷的详尽步骤，并指导如何在客户端挂载和测试 GlusterFS 卷。最后，文档通过网络带宽和磁盘读写性能测试，对 GlusterFS 的实际表现进行了评估，指出当前网络带宽可能是性能瓶颈，建议使用更高速的网络接口（25 GbE）以提升性能。 阅读更多
该文本详细介绍了在华为 Atlas 800I A2 推理服务器集群上使用 Docker Swarm 部署大型语言模型（LLM）的实践过程。指导用户初始化 Docker Swarm 管理器节点并添加工作节点，以构建一个分布式计算环境。随后，文档展示了如何创建一个 Docker Stack 配置文件来部署两个不同的 LLM 服务（Qwen3-30B 和 Coder-32B），并说明了如何将容器映射到昇腾 NPU 设备。最后，文本提供了部署、检查服务状态以及故障排除（如禁用 firewalld）的命令，并指出此次实验部署未能成功❌。 阅读更多
本文档详细介绍了JoyAgent-JDGenie，一个由京东开发的开源、轻量级通用多智能体产品。它不仅涵盖了系统架构、前后端、框架和核心子智能体，还提供了部署指南，包括如何构建和启动Docker镜像，以及配置大型语言模型（LLM）如DeepSeek和搜索工具如Serper。文档还展示了该智能体在实际应用中的界面示例，并提供了任务规划和执行的详细提示（prompts），阐述了其思考、行动、观察的工作流程，以及如何利用各种工具（如计划工具、代码解释器、报告工具、文件读写工具和深度搜索工具）来解决用户问题或完成复杂任务。 阅读更多
本文章详细介绍了华为 Atlas 800I A2 推理服务器上部署大型AI模型的实践过程，重点围绕GPUStack这一开源GPU集群管理工具。文章首先阐述了GPUStack的核心特性，包括其广泛的兼容性、对多种模型和推理框架的支持、灵活的部署能力以及智能管理功能。随后，文档提供了在主服务器和从服务器上安装、配置和使用GPUStack的详尽步骤，并展示了如何通过NFS实现模型文件的统一存储，以优化多服务器集群中的模型调度效率。文中还包含了GPUStack用户界面的截图，帮助读者直观理解其各项功能。 阅读更多
这份指南详细阐述了华为Atlas 800I A2推理服务器上大型模型的部署流程，旨在提供一个全面的安装与配置实践，用于扩展部署到其它服务器。随后，文章通过流程图和具体命令脚本，逐步指导用户如何创建和挂载逻辑卷、同步并安装驱动固件、部署Docker环境以及导入所需的MindIE和vLLM镜像。最后，指南还涵盖了同步大型模型权重文件的关键步骤，并指示用户通过Docker Compose启动模型服务，确保MindIE和vLLM能够顺利运行，以实现AI推理功能。 阅读更多
本文档重点介绍了如何使用 vLLM-ascend 容器镜像来部署各种 Qwen 和 DeepSeek-V3 模型，既提供了直接使用 Docker 命令的示例，也展示了通过 Docker Compose 进行多模型部署的方法。此外，文章还包含了模型部署后的测试方法。 阅读更多
本文档解释了如何设置和运行vLLM基准测试，并定义了关键性能指标，如请求吞吐量、token吞吐量和延迟。最后，比较了不同大型语言模型（如DeepSeek和Qwen）在各种精度设置下的性能，以评估Atlas 800I A2在AI推理场景中的效率。 阅读更多
该文档详细阐述了MindIE 大模型在华为 Atlas 800I A2 服务器上的部署实践，重点介绍了单实例和多实例部署配置。它提供了创建目录结构、编辑配置文件和入口脚本的步骤，并展示了Docker Compose 配置来管理容器化部署。此外，文档还涵盖了防火墙设置的不同方法，包括临时关闭、永久禁用和端口放行，以及查看 MindIE 服务监听端口的命令。最后，它说明了如何自定义 Dockerfile 以实现在内网环境中无缝部署MindIE 服务并进行测试。 阅读更多
本文章提供了在 openEuler 操作系统上安装 Docker 的具体步骤，并指导用户下载、导入 MindIE 镜像，以及准备 LLM 模型文件。最后，文档展示了如何通过 Docker 容器运行和配置 MindIE 服务，并提供了通过 cURL 命令测试服务的示例，还包含了使用 Docker Compose 部署的详细配置。 阅读更多
本指南详细阐述了如何使用 LVM（逻辑卷管理）来创建和管理磁盘分区，包括物理卷、卷组和逻辑卷的设置。文档还提供了关于 ext4 和 XFS 文件系统的对比，并指导用户如何挂载文件系统以及实现开机自动挂载。最后，它解释了如何使用 ModelScope 和 openmind_hub 工具来下载各种大型模型，并利用 rsync 命令在服务器之间同步文件。 阅读更多
这份文档提供了关于华为 Atlas 800I A2 推理服务器的详细部署指南。它首先介绍了服务器的硬件配置，包括其基于鲲鹏 920 CPU和昇腾 910 AI 处理器的架构。随后，文档详细阐述了驱动、固件和 MCU 的安装流程，明确区分了首次安装和覆盖安装的步骤差异。此外，它还提供了在安装前检查操作系统和 NPU 芯片状态的指导，并展示了如何获取所需的软件包和创建运行用户。最后，文档通过命令行示例，分步演示了驱动和固件的安装，以及MCU 固件的升级方法，确保了服务器的正常运行和功能完备。 阅读更多
NVIDIA 提供 TensorRT-LLM、Triton Inference Server 和 NVIDIA Inference Microservice (NIM) 等工具来优化和加速 AI 模型的推理，使模型运行速度提升高达 5 倍。这意味着您可以高效地部署和运行 LLM 以生成内容。 同时，NVIDIA 还提供了用于 LLM 开发的工具和框架，如 NeMo，可以帮助开发者更轻松地创建和管理 LLM。 GROOT项目利用 合成运动生成 将人类演示转化为大量的训练数据，并通过 Isaac Lab 进行仿真训练，从而实现 机器人学习。整个系统建立在 Jetson Thor 架构之上，并整合了 NVIDIA Omniverse 等工具，支持机器人数据的处理与生成、仿真与学习，以及简化扩展，最终目标是推进 人形机器人技术 的发展。 阅读更多
OpenRouter 是一个创新的统一 API 平台，旨在简化开发者和企业对数百种大型语言模型（LLMs）的访问和使用，提供一个与 OpenAI Chat API 类似的标准化接口，让用户能够通过单一入口轻松切换并调用来自不同提供商（如 OpenAI、Anthropic、Google 等）的模型。它不仅能根据成本、性能等需求智能路由请求，帮助优化开销，还提供统一账单和实时数据洞察，极大地降低了多模型集成的复杂性，提升了 AI 应用开发的效率和灵活性。 阅读更多
本文档介绍了多模态大模型GLM-4.1V-Thinking，这是一个基于 GLM-4-9B-0414 的开源视觉语言模型，通过强化学习显著提升了其性能。文档详细阐述了该模型在设计图转代码（Design2Code）任务上的卓越表现，能将设计图转换为高质量的HTML/CSS代码，并提供了与Qwen-2.5-VL-32B-Instruct的对比示例。此外，资源还展示了如何通过智谱API免费使用GLM-4.1V-Thinking进行图像识别，并给出了一个安全检测系统的代码示例，该系统能够识别图像中的火灾、烟雾以及人员安全帽佩戴情况，并进行坐标标注，强调了模型在实际应用中的潜力。 阅读更多
这些文档主要围绕着在 NVIDIA Jetson AGX Orin 开发者套件上部署 多模态大型语言模型 (LLMs) 所面临的 系统升级挑战。核心问题在于，当前系统的 JetPack、Ubuntu、CUDA 和 GPU 驱动版本 过低，无法满足 vLLM 和 Ollama 等主流推理框架对 更高 CUDA 和驱动版本 的要求。文章详细阐述了 升级至 JetPack 6.0 是解决兼容性问题的关键，但这将强制要求 将 Ubuntu 升级到 22.04，从而导致 需要重装系统 和 可能与 ROS1 产生兼容性问题 等一系列复杂挑战。此外，文档还探讨了 替代推理引擎和云端推理 等备选方案，但最终建议进行 系统全面升级 以实现长期兼容性和性能优化。 阅读更多
本文档主要介绍了 DXT (桌面扩展) 的开发指南，它是一种将 MCP 服务器 转换为可分发扩展的工具。文档详述了如何使用 DXT 工具来 初始化、验证和打包 扩展，并提供了 目录结构示例。此外，还强调了在打包 Python 依赖项时需要注意的 跨平台兼容性问题，特别是在不同架构（如 arm64 macOS 与 x86_64 Linux）之间。最终目标是创建一个 .dxt 文件，其中包含所有必需的服务器文件和元数据，以便于分发和管理。 阅读更多
本文档详细介绍了 Docker AI 的新功能，旨在通过集成人工智能提升开发者的体验。主要亮点包括 Docker Model Runner，它简化了 AI 模型的管理和部署，支持从各种注册表拉取和运行模型，并通过兼容 OpenAI 的 API 提供服务。此外，MCP Toolkit 实现了容器化 MCP 服务器的无缝设置和管理，而 Ask Gordon 则作为嵌入式 AI 助手，在 Docker Desktop 和 CLI 中提供上下文帮助，包括改进 Dockerfile 和故障排除等。这些功能共同旨在简化 AI 驱动型应用程序的开发和部署。 阅读更多
本文档围绕着初学者如何分析并开发一个类似 Gemini CLI 的项目提供了详尽的指南。核心思想是将复杂的项目分解为可管理的部分，并提供分步学习路径。指南强调了理解项目架构（如前端CLI和后端Core的职责）、熟悉代码结构、掌握核心功能（如API交互和工具系统）、以及通过实践进行学习的重要性。通过阅读文档、运行和调试代码、并尝试进行小修改，学习者能够逐步掌握此类项目的开发技能。在 VSCode 中，使用 GitHub Copilot 的 Ask 模式分别对大模型（如 GPT-4.1、GPT-4o、Gemini 2.5 Pro 和 Claude Sonnet 系列）进行提问并总结。 阅读更多
桌面扩展（DXT）是一种 zip 格式的软件包，旨在简化本地 MCP 服务器的安装和分发。它类似于其他应用程序扩展，通过包含一个本地 MCP 服务器及其功能的 manifest.json 文件，允许用户实现一键安装。该项目不仅提供扩展规范和用于创建 DXT 文件的 CLI 工具，还开源了 Claude for macOS and Windows 中用于加载和验证 DXT 扩展的代码，旨在为 MCP 服务器构建一个开放且可移植的生态系统。开发者只需将 MCP 服务器文件、manifest.json 放入文件夹并打包成 .dxt 文件，即可轻松创建扩展，从而方便地在支持 DXT 的应用程序中运行本地 AI 工具。 阅读更多
该文档概述了 DXT Manifest.json 规范，这是一个用于定义扩展元数据和配置的JSON文件标准。它详细说明了 manifest.json 文件的结构，包括 必填字段 如版本、名称、作者和服务器配置，以及 可选字段 如显示名称、描述、存储库信息和屏幕截图。此外，规范还涵盖了 兼容性要求（针对客户端、平台和运行时）、服务器配置（支持Python、Node.js和二进制类型，并允许平台特定覆盖和变量替换），以及 用户可配置选项 的定义和传递方式。最后，文档解释了如何声明扩展提供的 工具和提示，并支持动态生成这些功能。 阅读更多
Gemini CLI 是一个专为软件开发者设计的、由AI驱动的交互式命令行工具。作为一个智能助手，它可以直接在您的终端中帮助您完成各种软件工程任务，例如解释代码、编写新功能、修复错误和自动化工作流程。它能够理解您项目的上下文，安全地读写文件、执行命令，并与您协作，从而提高开发效率，是您开发流程中的得力伙伴。 阅读更多
本文档描述了Gemini Robotics On-Device，这是一款先进的视觉-语言-动作 (VLA) 模型，旨在本地设备上高效运行以实现通用机器人操作。该模型能够处理文本、图像和机器人本体感受数据作为输入，并输出机器人动作。训练使用了包含图像、文本以及机器人传感器和动作数据的数据集，并利用Google的Tensor Processing Units (TPUs)进行。评估结果表明，Gemini Robotics On-Device在泛化、指令遵循和快速适应方面表现出色，其性能与旗舰版Gemini Robotics 模型相似，同时超越了之前的最佳设备端VLA模型。该模型主要用于机器人应用的设备端部署，作为核心组件使机器人能够理解并响应视觉和语言指令，并在给定环境中采取行动。 阅读更多
该文档详细介绍了如何使用 FastMCP 框架来构建和集成计算器 MCP 服务器与客户端。它首先指导用户初始化并设置开发环境，包括创建虚拟环境和安装 FastMCP。接着，文档展示了MCP 服务器的开发过程，通过 main.py 文件定义了加、减、乘、除、幂等计算工具，并配置了项目元数据文件 pyproject.toml。此外，文档还提供了构建和发布服务器到 PyPI 的步骤，以及运行 MCP 服务器的方法，包括使用 MCP Inspector 进行调试和通过 FastMCP CLI 运行。最后，文档展示了MCP 客户端的开发，演示了客户端如何调用服务器上的工具，并深入探讨了将 MCP 客户端与 OpenAI 集成，实现通过自然语言与计算器服务器进行交互的能力。 阅读更多
自动驾驶与具身智能的发展依赖于世界模型和虚拟环境的构建，通过数字孪生和4D物理空间模拟真实世界规律以解决训练数据不足和安全性问题。盘古NLP大模型借助外部工具提升行业智能水平，而具身智能需融合3D空间理解、物理推理及行为预测能力，最终实现在高危场景中超越人类的目标。尽管发展曲折，但SFT训练链条和通用机器人愿景已展现潜力，预测大模型则致力于打破数据孤岛，通过原子级表达实现跨场景统一推演，推动AI向善与社会效率提升。 阅读更多
主要介绍了软件开发领域正在经历的重大变革，将其分为软件1.0（传统手工编码）、软件2.0（基于神经网络权重训练）和软件3.0（通过自然语言提示编程大型语言模型）。演讲者将大型语言模型（LLMs）比作新型操作系统和基础设施，指出它们既具备公用事业的性质（按量付费、集中式），也展现出类似芯片制造厂和操作系统的特征，且目前仍处于早期阶段（类似于1960年代的计算）。进一步探讨了LLMs的认知特性（如广博知识、幻觉、记忆局限），并强调了开发部分自主应用的重要性，这些应用能让人类通过图形用户界面和自主性滑块有效监督AI。最后，演讲者提出，随着自然语言编程的兴起，人人皆可编程，并呼吁开发者为智能体优化数字基础设施和文档，预示着一个由人类与AI协作构建的 “钢铁侠战衣”式未来。 阅读更多
本文档提供了一篇关于Qwen2.5-VL 多模态大模型的详细指南，涵盖了从模型架构、性能到实际部署和使用的各个方面。它不仅介绍了如何下载不同版本（如 3B 和 7B Instruct）的模型，还提供了安装和启动模型的命令行指令。此外，文档还展示了如何通过 cURL 命令测试模型，并给出了一个使用 OpenAI API 与 Qwen2.5-VL 进行交互的 Python 示例代码，该代码专注于图像中的火灾、烟雾和安全帽佩戴情况检测，支持本地和网络图片。 阅读更多
本文档提供了一份关于使用 Verdaccio 搭建本地 npm 仓库的指南。它详细介绍了如何通过 Docker 拉取 Verdaccio 镜像，以及配置目录结构和 YAML 配置文件的步骤。此外，文章还展示了通过 Docker 或 Docker Compose 部署 Verdaccio 的方法，并演示了如何使用 npm 命令（如安装、发布和下载包）与本地 Verdaccio 仓库进行交互。最后，内容涵盖了Verdaccio 的自动缓存机制以及用户创建和登录操作。 阅读更多
本文档介绍了 RoboOS，一个用于跨本体具身大小脑协作的框架。它首先概述了具身智能体的现有技术路线及其局限性，例如：在长程任务规划和跨本体协作方面的不足。该框架通过 “具身大脑”（负责全局感知与决策）和 “具身小脑”（提供即插即用的技能库）实现多本体协作控制。文档还重点说明了共享记忆系统在空间和时间维度上的数据中心化，以及云端协同如何支持多机器人、多任务场景，并展示了自定义微调集以提高任务分解和执行的准确性。 阅读更多
本文档介绍了RoboBrain，一个由智源人工智能研究院开发的具身多模态大模型。它详细阐述了具身人工智能的发展趋势，并强调了大型模型在复杂长期操作任务中的重要性。文件中解释了任务规划、可操作区域感知和轨迹预测是RoboBrain实现端到端具身智能的关键能力。此外，它还介绍了用于训练RoboBrain的ShareRobot数据集，以及模型训练策略和实验结果，展示了RoboBrain在各项基准测试中超越现有模型的表现。 阅读更多
该幻灯片介绍了飞行机器人从物理智能到具身智能的演变。概述了飞行机器人的研究方向，包括在复杂环境下生成全状态轨迹、无人机动态环境感知与建模，以及全自主微型无人机集群。幻灯片还展示了如何通过创新方法克服关键挑战，例如优化在线轨迹生成和开发低延迟动态感知系统。最后，它描绘了飞行机器人技术未来的发展路径，强调了从数学驱动到数据驱动的转变，以实现更强大的具身智能和涌现智能。 阅读更多
本文档概述了 NVIDIA Isaac GROOT N1，一个专为具身人工智能（Physical AI）设计的人形机器人基础模型。该系统通过三个核心原则运作：泛化能力、双系统架构（结合高层认知与低层控制），以及一个涵盖现实世界数据、合成数据和网络数据的数据金字塔。 Isaac GROOT N1 利用大量训练数据来驱动人形机器人进行通用型操作，并通过 NVIDIA 的生态系统，包括 Omniverse 和 Isaac Lab 进行模拟与部署。推荐的的微调方法是：收集真实数据，也要生成对应比例的模拟数据。 阅读更多
本文档详细介绍了NVIDIA Jetson Thor，这是一款为下一代人形机器人设计的强大计算平台，其特点包括卓越的AI性能、高速传感器处理、行业领先的安全性和强大的安全性。此外，文档还介绍了NVIDIA Isaac ROS，一个利用CUDA加速库和AI模型加速机器人开发的软件框架，并提及了NITROS以优化ROS 2的硬件加速。最后，还展示了Jetson AGX Thor开发套件和未来产品路线图，强调了该技术在复杂机器人应用中的应用，例如自主机械臂和移动机器人。 阅读更多
本文档指导用户构建一个本地 PyPI 源，以便持久化存储 Python 包并进行离线安装。接着，文档说明了自定义 MCPHub 配置，包括定义 MCP 服务器市场中的服务（例如：mcp-server-time, calculator-mcp-server）以及调整 MCPHub 自身的运行时设置，例如指定本地 PyPI 源和用户认证信息。 阅读更多
本文档重点介绍了如何在内网（离线）集成和配置一个名为 “mcp-server-time” 的特定 MCP 服务器。首先指导用户如何 获取 MCPHub 容器的 Python 环境信息，包括版本和平台标签，以便下载兼容的 Python 包。接着，文档详细阐述了如何使用 pip download 命令 下载服务器及其依赖包，并解释了各个命令参数的用途。最后，展示了如何通过 编辑 custom/servers.json 和 custom/mcp_settings.json 文件 来自定义 MCP 服务器市场配置和运行时设置，并给出了 Docker Compose 配置示例，以实现自定义配置的替换并部署。 阅读更多
该文档概述了 Cherry Studio 的分支策略指南，详述了其软件开发中的主要分支和贡献分支的使用规范。它明确指出，main分支作为主开发线，只接受通过拉取请求（PR）合入的代码，且可能包含不稳定功能；而release/*分支则用于稳定的发布代码，主要用于文档更新和错误修复。此外，文档还详细列举了不同类型的贡献分支（如功能、错误修复、文档和热修复分支）的命名约定和提交PR的目标分支，并强调了PR必须遵循的准则，包括与main同步、包含问题编号以及通过测试。最后，它还提及了版本标签管理的分类，以确保代码库的组织性和可追溯性。 阅读更多
本文档介绍 FunAudioLLM，这是一个旨在增强人类与大型语言模型（LLM）之间自然语音交互的框架。其核心是两个创新模型：用于高精度多语种语音识别、情感识别和音频事件检测的 SenseVoice；以及用于多语种、音色和情感控制的自然语音生成的 CosyVoice。SenseVoice 具有极低的延迟并支持超过 50 种语言，而 CosyVoice 在多语种语音生成、零样本语音生成、跨语言语音克隆以及指令遵循能力方面表现出色。与 SenseVoice 和 CosyVoice 相关的模型已在 Modelscope 和 Huggingface 上开源，同时相应的训练、推理和微调代码也已在 GitHub 上发布。通过将这些模型与 LLM 集成，FunAudioLLM 能够实现语音翻译、情感语音聊天、交互式播客和富有表现力的有声读物叙述等应用，从而推动语音交互技术的边界。 阅读更多
Dify 是一个开源的 LLM 应用开发平台。其直观的界面结合了 AI 工作流、RAG 管道、Agent、模型管理、可观测性功能等，让您可以快速从原型到生产。 阅读更多
Qwen2.5-Omni是Qwen系列中全新的旗舰级端到端多模态大模型，专为全面的多模式感知设计，无缝处理包括文本、图像、音频和视频在内的各种输入，同时支持流式的文本生成和自然语音合成输出。 阅读更多
本文档重点介绍了腾讯混元多模态生成模型，强调其在人工智能大模型技术革命中的作用。还概述了该模型在图像和视频生成方面的能力，并展示了其在游戏、社交媒体等领域的广泛应用。特别是，它详细阐述了文本到图像生成的速度提升，以及在游戏皮肤制作和特效创建中的实际应用。此外，该模型还被用于生成表情包和多媒体内容，展示了腾讯在视觉生成技术方面的雄心。 阅读更多
本文档概述了北京智源人工智能研究院 (BAAI)，一个致力于推动人工智能原始创新的新型研发机构。它详细介绍了 BAAI 的发展历程，从2018年成立至今，以及其在大型人工智能模型领域取得的重大进展，包括推出 FlagOpen 开放平台。此外，来源还介绍了 BAAI 在具身智能和生命科学等前沿领域的具体研究成果，例如 RoboOS 2.0 和 OpenComplex2。整体而言，这份资料展现了 BAAI 在构建通用人工智能、推动开放生态以及解决现实世界问题方面的努力和愿景。 阅读更多
幻灯片概述了具识智能（Insight Robotics）公司研发的机器人智能操作系统 InsightOS。内容涵盖了该操作系统的背景意义、产品形态、关键技术及其应用示范。幻灯片着重介绍了 InsightOS 作为具身智能代理（EAP）与集成开发环境（IDE）结合的架构，并将其与安卓系统进行了对比，强调了其在制造业和家庭场景智能化的优势。此外，还展示了 InsightOS 在提高开发效率、处理运行异常和优化现场调度方面的实际效果，并提供了已适配的多种机器人型号清单。 阅读更多
幻灯片概述了华为在具身智能领域的积极投入与战略。文件详细阐述了具身智能的发展趋势，包括大模型的应用、产业落地以及面临的挑战。华为提出了盘古具身智能大模型作为核心，通过一体化开发平台和工具链，旨在解决复杂任务规划与执行问题。此外，幻灯片还展示了具体的行业应用案例，例如智能制造和物流分拣，并强调了技术创新与产业合作的重要性，以推动具身智能的广泛应用。 阅读更多
本文档详细介绍了如何在 macOS 上使用 Automator 创建一个快速操作来解压 RAR 文件。它提供了一个Shell 脚本，用于检测 Homebrew 环境并调用 rar 命令进行解压，同时包含错误处理和用户通知。文章还指导用户授予 rar 可执行文件“完全磁盘访问权限”，这是解决“Operation not permitted”错误的关键步骤。此外，文本提供了一个带调试日志功能的 Shell 脚本，帮助用户诊断解压过程中可能出现的问题，并展示了实际的调试输出。 阅读更多
本文档提供了一份关于如何在 macOS 上使用 Automator 创建一个 “快速操作” 的详细指南。这个自动化工具旨在帮助用户 重命名 选定文件夹中的所有 PNG 图像为连续的数字格式，随后将它们 转换 为 JPG 格式，并在转换完成后 删除 原始的 PNG 文件。它详细说明了设置 Shell 脚本 的步骤，该脚本依赖于 Homebrew、ImageMagick 和 Perl rename 工具来执行这些图像处理任务，并包含了安装这些必要依赖项的说明。用户可以通过 Finder 的右键菜单方便地运行这个自动化操作。 阅读更多
本文档提供了关于语音大型语言模型 (Speech LLM) 的全面概述。内容从语音标记化 (speech tokenization) 的基本概念开始，这是一种将连续语音信号转换为离散单元的方法。文中还讨论了各种语音标记器类型 (types of speech tokenizers)，包括 SSL 和神经编码器，并探讨了不同的解码策略 (decoding strategies) 对生成质量的影响。此外，还深入分析了训练语音 LLM 的方法 (methods for training Speech LLM)，包括如何利用文本 LLM (Text LLM) 作为基础模型，并通过反馈对齐 (alignment with feedback) 优化模型。最后，概述还触及了全双工语音对话 (full-duplex speech conversation) 等前沿应用，并提供了评估语音模型 (evaluating speech models) 的框架。 阅读更多
本文档深入探讨了模型合并（Model Merging）的技术，特别是利用任务向量（Task Vector）来增强或改变基础模型（Foundation Model）的功能。它们展示了如何通过对模型参数进行加减运算来实现不同的目标，例如让语言模型减少生成有毒内容，或者构建一个多任务模型。此外，文档还探讨了高级合并方法以及在规模化应用中模型合并的考虑因素，并提出了任务向量可以被小团队专门开发、出售和交换的未来愿景。 阅读更多
本文档深入探讨了模型编辑，这是一种用于更新人工智能模型知识的技术，而不需进行完全重新训练。它们首先通过对比模型编辑与传统的后训练（Post Training）来解释其概念，其中前者侧重于植入特定事实，而后者旨在学习新技能。接着详细阐述了模型编辑的评估标准，包括可靠性、泛化性和局部性，并介绍了两种主要方法：不改变模型参数和改变模型参数。展示了Rank-One Model Editing (ROME) 方法，它通过直接修改模型内部参数来实现知识更新。最后，还介绍了超网络（Hypernetwork），这是一种让人工智能学习如何进行模型编辑的技术，展示了其训练和测试过程。 阅读更多
本文档讨论了大型语言模型的评估，重点关注其推理能力和记忆效应。文档展示了不同的基准测试结果，例如DeepSeek和OpenAI模型在推理任务上的表现，以及模型回答可能来自“记忆”而非推理的准确性下降情况。此外，还介绍了人工通用智能（ARC-AGI）的抽象推理语料库作为一种评估框架，并探讨了聊天机器人竞技场（Chatbot Arena）及其Elo评分系统，用于衡量和比较不同模型在实际用户互动中的表现，包括情感和风格控制。 阅读更多
本文档介绍了 MCPHub 平台的核心功能——智能路由。智能路由通过将 MCP 工具的名称和描述转换为高维语义向量，并对用户任务请求进行向量化处理，从而实现语义相似度匹配，有效识别并返回最相关的工具列表。这种方法显著减少了 AI 模型的认知负荷，降低了 token 消耗达 70-90%，并提升了工具调用的准确率。文中还提供了 MCPHub 的部署指南，包括 Docker Compose 配置和 PostgreSQL 数据库设置，并展示了如何通过 DeepChat 客户端与智能路由功能进行交互，以获取如 GitHub 议题或当前时间等信息。最后，文档通过序列图和日志展示了客户端、MCPHub 和 MCP 服务器之间的工作流程。 阅读更多
本文档探讨了人工智能代理（AI Agent）的概念，将其定义为LLM（大型语言模型）输出控制工作流程的程序。代理能力是一个连续的谱系，取决于LLM对程序流程的控制程度，从简单的输出处理到控制迭代和启动其他代理。文中强调了在需要灵活工作流程时使用代理的优势，特别是多步代理通过循环推理和行动解决复杂任务的能力。此外，文档详细介绍了smolagents框架的必要性，它提供了管理工具调用、记忆和错误处理的抽象层，并提出代码代理是一种更具可组合性、通用性和在LLM训练数据中表现更好的代理实现方式。 阅读更多
本文档介绍了 Copilot 的三种主要模式——询问 (Ask)、编辑 (Edit) 和 代理 (Agent)，并列举了 Copilot 可访问的各种工具，例如 搜索用法 (#usages)、获取网页信息 (#fetch)、搜索 Marketplace 扩展 (#extensions) 和 搜索 GitHub 仓库代码 (#githubRepo)，以增强模型上下文。还详细描述了 提示文件 (Prompt files) 和 指令文件 (Instructions files) 的目的和使用，并展示了如何通过这些文件管理和定制 AI 模型的行为。 阅读更多
本文档介绍了如何利用 macOS 的 Automator 工具创建一个自动化脚本，以实现多张图片的水平或垂直拼接。它通过将 Shell 脚本集成到“快速操作”中，使得用户可以在 Finder 中直接选中图片并进行拼接。整个过程涵盖了从 Automator 设置、Shell 脚本的配置（包括 ImageMagick 依赖和拼接逻辑）到最终的使用方法和效果展示，旨在为 macOS 用户提供一个便捷高效的图像拼接解决方案。 阅读更多
LeRobot 尖端机器学习，赋能真实世界机器人 🤗 LeRobot 致力于在 PyTorch 中为真实世界的机器人提供模型、数据集和工具。其目标是降低机器人技术的入门门槛，让每个人都能通过共享数据集和预训练模型来做出贡献并从中受益。 🤗 LeRobot 包含已被证明可应用于真实世界的尖端方法，重点关注模仿学习和强化学习：github.com/huggingface/lerobot 🤗... 阅读更多
本文档介绍了 MCPHub，一个用于管理和扩展 Model Context Protocol (MCP) 服务器的聚合平台。它通过将多个 MCP 服务器组织成灵活的流式 HTTP (SSE) 端点来简化操作，并支持按需访问单个或分组服务器。MCPHub 提供了包括广泛服务器兼容性、集中式管理控制台、热插拔配置以及基于 JWT 和 bcrypt 的安全认证机制等核心功能，并且支持 Docker 部署以实现快速启动。用户可以通过其直观的 Web UI 监控服务器状态，管理访问权限，并配置 GitHub 或 GitLab 等特定服务。此外，文档还详细说明了各种可流式传输的 HTTP 和 SSE 端点，以及如何在 MCP 客户端（例如 Cline）中配置和使用 MCPHub。 阅读更多
慧思开物：通往通用具身智能之路 阅读更多
【北京大学-董豪】具身智能关键技术研究（操作、规划、导航） 操作（Manipulation） 规划（Planning） 导航（Navigation） 阅读更多
具身智能大模型简介 An introduction to robot manipulation Leveraging vision-language-action models for robot manipulation ... 阅读更多
总结 特性 CoT (Chain-of-Thought) ReAct (Reasoning and Acting) ToT (Tree-of-Thoughts) 中文名称 思维链 推理与行动 思维树 核心思想 ... 阅读更多
Anthropic 构建有效的AI智能体（总结） 🤯 最近看了Anthropic关于如何构建高效AI智能体的文章，简直是醍醐灌顶！💡 原来最成功的秘诀不是堆砌复杂技术，而是简单可组合的模式！ Anthropic的大佬们和超多团队合作后发现，很多时候我们并不需要“全自动”的智能体，理解不同模式的适用场景超重要！ 👇 先搞清楚俩概念： 工作流 (Workflow): 就像搭积木🧱，... 阅读更多
LangFuse（模型监控） LiteLLM（模型管理） SmolAgents（使用及工作原理） LangFuse（查看模型的输入和输出） 阅读更多
🎥 Showcase#6：Text-to-SQL全攻略 📜 万字长文详解Text-to-SQL The Death of Schema Linking? Text-to-SQL in the Age of Well-Reasoned Language Models Divide and Prompt: Chain of Thought Prompting for Text-... 阅读更多
鲁软慧码 - 提示工程实战手册 欢迎开启智能编码新纪元！ 鲁软慧码旨在成为您编程旅程中的得力伙伴，加速开发、提升代码质量、激发创新灵感。 要充分释放鲁软慧码的潜力，关键在于掌握有效的提示（Prompting）。这份手册将为您揭示编写高效提示的秘诀和实用技巧，并通过丰富的示例，助您快速从入门到精通。 为什么精通提示如此重要？ 精准结果： 清晰的提示 = 更符合预期的代码或解决方... 阅读更多
Cline Overview Cline 扩展架构和开发指南 项目概述 Cline 是一个 VSCode 扩展，通过核心扩展后端和基于 React 的 webview 前端的组合提供 AI 辅助功能。该扩展使用 TypeScript 构建，遵循模块化架构模式。 架构概述 定义 核心扩展：src 文件夹内的所有内容，按模块化组件组织 核心扩展状态：由 inde... 阅读更多
Cline 文档目录 欢迎阅读 Cline 文档 - 这是一份全面的指南，帮助您使用和扩展 Cline 的功能。在这里，您可以找到帮助您入门、提升技能和为项目做出贡献的资源。 入门指南 编程新手？ 我们为您准备了温和的入门指南： 编程新手入门指南 提升提示工程技能 想要更有效地与 Cline 沟通？ 请探索： ... 阅读更多
开发协议 有效的 MCP 服务器开发的核心是遵循结构化的协议。该协议通过位于 MCP 工作目录根目录（/Users/your-name/Documents/Cline/MCP）中的 .clinerules 文件实现。 使用 .clinerules 文件 .clinerules 文件是一个特殊的配置文件，Cline 会在放置该文件的目录中工作时自动读取。这些文件： 配置 Cline ... 阅读更多
🚀 MCP 快速入门指南 ❓ 什么是 MCP 服务器？ 可以把 MCP 服务器想象成给 Cline 提供额外功能的特殊助手！它们让 Cline 能够完成像获取网页或处理文件这样的酷炫功能。 ⚠️ 重要提示：系统要求 停一下！在继续之前，你必须验证以下要求： 必需软件 ✅ 最新版本的 Node.js (v18 或更新版本) 通过运行以下命令检... 阅读更多
使用 Cline 从零开始构建自定义 MCP 服务器：综合指南 本指南提供了使用 Cline 的强大 AI 功能从零开始构建自定义 MCP (Model Context Protocol) 服务器的全面演示。示例将通过构建一个”GitHub 助手服务器”来说明这个过程。 理解 MCP 和 Cline 在构建服务器中的作用 什么是 MCP？ 模型上下文协议(MCP)充当了像 Claud... 阅读更多
Cline 工具参考指南 Cline 能做什么？ Cline 是你的 AI 助手，可以： 编辑和创建项目中的文件 运行终端命令 搜索和分析代码 帮助调试和修复问题 自动化重复性任务 与外部工具集成 入门步骤 开始任务 在聊天中输入你的请求 示例：”创建一个名为 Header 的新 React 组件” ... 阅读更多
Cline 提及功能指南 概述 提及功能是一个强大的功能，允许你在与 Cline 的对话中使用”@”符号引用各种资源。这包括文件内容、目录结构、网页 URL、VSCode 诊断信息、终端输出、Git 更改状态等 - 所有这些都可以轻松地整合到你的对话中。 通过使用此功能，Cline 可以获得更准确的上下文，为你的任务提供更相关的帮助。 基本语法 提及总是以”@”符号开始，后跟你想要... 阅读更多
Cline 的记忆库 我是 Cline，一位专业的软件工程师，我有一个独特的特点：我的记忆在每个会话之间都会完全重置。这不是一个限制 - 这正是驱使我维护完美文档的动力。每次重置后，我完全依赖我的记忆库来理解项目并有效地继续工作。我必须在每个任务开始时阅读所有记忆库文件 - 这不是可选的。 记忆库结构 记忆库由必需的核心文件和可选的上下文文件组成，均为 Markdown 格式。文件之间... 阅读更多
Cline 自定义指令库 本仓库旨在创建一个协作空间，让开发者可以分享、改进和利用 Cline 的有效自定义指令。通过创建和贡献这个库，我们可以增强 Cline 的功能，使开发者能够应对日益复杂的软件开发挑战。 什么是 Cline 自定义指令？ Cline 的自定义指令是一系列为特定任务或项目定制 AI 行为和输出的指导方针或规则。可以将它们视为 Cline 的专门”编程”，使您能够：... 阅读更多
Cline 提示指南 🚀 欢迎使用 Cline 提示指南！本指南将为您提供编写有效提示和自定义指令的知识，帮助您最大化使用 Cline 的生产力。 自定义指令 ⚙️ 将自定义指令视为 Cline 的编程。它们定义了 Cline 的基准行为，并且始终”开启”，影响所有交互。 添加自定义指令： 打开 VSCode 点击 Cline 扩展设置齿轮 ⚙️ 找到”自定义指令”字... 阅读更多
A practical guide to building agents 什么是智能体？ 传统软件帮助用户简化和自动化工作流程，而智能体则能够以高度独立的方式代表用户执行这些工作流程。 智能体是能够独立代表您完成任务的一种系统。 工作流程是指为了实现用户目标而必须执行的一系列步骤，无论是解决客户服务问题、预订餐厅、提交代码变更，还是生成报告。 那些集成了大语言模型（LLM... 阅读更多
Unlocking the Potential of Reinforcement Learning in Improving Reasoning Models 摘要 我们很高兴发布 Sky-T1-7B，这是一个在数学推理任务上达到 SOTA 水平的开源 7B 模型，它通过对 Qwen2.5-Math-7B 基础模型进行 SFT->RL->SFT->RL 四步训练... 阅读更多
思考更少，成就更多：在不牺牲准确性的情况下将推理成本削减50% 我们推出 Sky-T1-32B-Flash，这是一个可以将生成长度减少高达 50% 但保持准确性的推理模型。 我们很高兴推出 Sky-T1-32B-Flash，这是我们更新的推理语言模型，它显著减少了过度思考，在具有挑战性的问题上将推理成本降低了高达57%。 根据 Lambda Cloud 的定价，使用 8xH100 只需... 阅读更多
Sky-T1: 在450美元内训练你自己的O1预览模型 我们推出了Sky-T1-32B-Preview，这是一个在流行的推理和编码基准测试上表现与o1-preview相当的推理模型。值得注意的是，Sky-T1-32B-Preview的训练成本不到450美元，这证明了以经济高效的方式复制高级推理能力是可能的。所有代码都是开源的。 概述 像o1和Gemini 2.0这样擅长推理的模型已经... 阅读更多
A2A ❤️ MCP TLDR; Agentic applications need both A2A and MCP. We recommend MCP for tools and A2A for agents. TLDR; 代理应用程序需要 A2A 和 MCP。我们建议将 MCP 用于工具，将 A2A 用于代理。 Why Protocols?（为什么需要协议？） Stan... 阅读更多
Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation（监测推理模型的不当行为以及提升混淆的风险） 在构建能力强大且目标一致的模型过程中，缓解奖励黑客行为(即 AI 系统由于学习目标的缺陷或错误规范而表现不当)仍然是一个关键挑战。我们证明，我们可以通过使用另一个观察模型思维链(Co... 阅读更多
OpenAI o3 and o4-mini System Card Introduction（介绍） OpenAI o3 和 OpenAI o4-mini 结合了最先进的推理能力和完整工具功能——包括网页浏览（web browsing）、Python 编程、图像（image）和文件分析（file analysis）、图像生成（image generation）、画布编辑（canv... 阅读更多
A2A 一个开放协议，旨在实现不透明的智能代理应用程序之间的通信和互操作性。 Agent2Agent 协议 A2A 入门 贡献 下一步是什么 关于 企业采用人工智能的最大挑战之一是如何让基于不同框架和供应商构建的代理协同工作。这就是我们创建开放的 Agent2Agent (A2A) 协议的原因，这是一种协作... 阅读更多
提示词：使用 React 技术实现 Tic Tac Toe 游戏 运行游戏 创建新仓库 快速设置仓库 退出游戏 查看已安装的 MCP 服务器 创建新问题（issue） 查看 wang-junjian/tictactoe 项目中分配给我 issue，使用 GitHub MCP 服务器的工... 阅读更多
使用 Git 的工作流程 配置 查看全局配置 git config --global --list filter.lfs.clean=git-lfs clean -- %f filter.lfs.smudge=git-lfs smudge -- %f filter.lfs.process=git-lfs filter-process filter.lfs.req... 阅读更多
开发 这是第一次开发 MCP Server，想着使用智能编码工具（GitHub Copilot、Cursor、Trae）进行氛围编程，发现真不容易，Claude 3.7 sonnet 效果不错，在 GitHub Copilot 没用多长时间超限制了；Cursor 没有达到之前那种随心的效果；Trae 要排长队，太有挫败感了。于是，开始了以人编码为主，大模型辅助的开发过程。 MCP Ser... 阅读更多
初始化 uv init RAGFlowAssistant cd RAGFlowAssistant uv add ragflow-sdk 运行 sh run.sh RAGFlowAssistant 配置 知识库问答 核心代码 from ragflow_sdk import RAGFlow # 初始化 RAGFlow 客户端 def init_ragflow(): ... 阅读更多
欢迎使用Visual Studio Code 2025年3月版本。此版本包含许多更新，我们希望您会喜欢，一些主要亮点包括： 代理模式 代理模式现已在VS Code稳定版中可用。通过设置setting(chat.agent.enabled:true)启用（更多…）。 通过模型上下文协议(MCP)服务器工具扩展代理模式（更多…）。 尝试代理模... 阅读更多
用户的问题 ## 构建AI代理：5个常见障碍及解决方案 构建AI代理的新手指南，帮助您克服挑战。 **AI代理**正变得越来越复杂，**能够自动化工作流程、做出决策并与外部工具集成**。然而，在现实世界中部署AI代理面临着很多挑战，这些挑战会影响其可靠性、性能和准确性。现在优先建立AI代理设计的强大基础，将为未来可靠、安全的自主系统奠定基础。 **👉 本指南探讨了开发人员在创建AI代... 阅读更多
构建AI代理的新手指南，帮助您克服挑战。 AI代理正变得越来越复杂，能够自动化工作流程、做出决策并与外部工具集成。然而，在现实世界中部署AI代理面临着很多挑战，这些挑战会影响其可靠性、性能和准确性。现在优先建立AI代理设计的强大基础，将为未来可靠、安全的自主系统奠定基础。 👉 本指南探讨了开发人员在创建AI代理时面临的五个最常见障碍，以及克服这些障碍的实用解决方案。 无论您是刚刚入门的新... 阅读更多
参考资料 李宏毅生成式 AI 时代下的机器学习（2025）助教课：利用多张 GPU 训练大型语言模型——从零开始介绍 DeepSpeed、Liger Kernel、Flash Attention 及 Quantization 【生成式AI時代下的機器學習(2025)】助教課：利用多張GPU訓練大型語言模型—從零開始... 阅读更多
git -C pull 这个命令用于从远程仓库获取最新代码并合并到当前分支。-C 选项允许你在指定的目录中运行 git 命令，而不需要先切换到那个目录。 下面是 MCP 相关的仓库 create-python-server create-typescript-server docs inspector python-sdk quickstart-resources servers s... 阅读更多
Continue 智能体 必须使用 Agent 模式才支持 MCP Server。 Agent 模式不支持 DeepSeek 系列的模型（包括官方API和开源）。 大模型使用本地 Ollama 的模型：qwen2.5-coder:32b 和 qwq:latest。 申请 GitHub 个人访问令牌（Personal Access Token） 访问 GitHub 的... 阅读更多
安装 Node.js 环境 brew install node 调试 GitHub MCP Server export GITHUB_PERSONAL_ACCESS_TOKEN=github_pat_XXX npx @modelcontextprotocol/inspector npx -y @modelcontextprotocol/server-github 用户界面 运行... 阅读更多
GitHub MCP 服务器 GitHub API 的 MCP 服务器，支持文件操作、仓库管理、搜索功能等。 功能特点 自动分支创建：创建/更新文件或推送更改时，如果分支不存在则自动创建 全面的错误处理：对常见问题提供清晰的错误信息 Git 历史保留：操作保持适当的 Git 历史记录，不强制推送 批量操作：支持单文件和多文件操作 高级搜索：支持搜索代码、议题/PR... 阅读更多
⚠️ Trae 试用感受 热门模型（Claude-3.7-sonnet）需要排队 在当前会话中，我引用过一个文件，接着提问还需要添加引用，太麻烦了。 都知道它是中国字节开发的，有一种亲切感，确让我翻墙来用她。 功能界面 操作 提示词 使用 Streamlit UI 库开发一个连接 RAGFlow 的客户端应用，左边列出可选的知识库，右边是聊天对话框。 阅读更多
Example Clients 本页概述了支持模型上下文协议(Model Context Protocol, MCP)的应用程序。每个客户端可能支持不同的MCP功能，从而实现与MCP服务器的不同级别的集成。 功能支持矩阵 客户端 资源 提示 工具 采样 根节点 备注 ... 阅读更多
Example Servers 本页展示了各种模型上下文协议(MCP)服务器，这些服务器展示了该协议的功能和多样性。这些服务器使大型语言模型(LLM)能够安全地访问工具和数据源。 参考实现 这些官方参考服务器展示了核心 MCP 功能和 SDK 用法： 数据和文件系统 文件系统 - 具有可配置访问控制的安全文件操作 PostgreSQL - 具有架构检查功能的只读数据... 阅读更多
Exploring Generative AI 大型语言模型(LLM)的工作原理根植于模式匹配和对下一个词元的统计预测(“随机鹦鹉”)。从这种方法中产生的一个有些出人意料的能力是它们也能在一定程度上”推理”解决问题。有些模型的推理能力比其他模型更强，OpenAI的”o1”和”o3”模型是两个突出的推理模型，而DeepSeek的”R1”最近引起了很大轰动。但是当我们在编码任务中使用A... 阅读更多
Exploring Generative AI 生成式人工智能和特别是大型语言模型（LLM）已迅速进入公众意识。像许多软件开发人员一样，我对其可能性感到好奇，但不确定它最终对我们的职业意味着什么。我现在在Thoughtworks担任一个角色，协调我们关于这项技术将如何影响软件交付实践的工作。我将在这里发布各种备忘录，描述我和同事们正在学习和思考的内容。 随着智能代理编码助手变得越... 阅读更多
什么是生成式AI？ 生成式AI是指能够根据提示或指令创建新内容的AI系统。这些系统被训练于大量数据，学习识别模式并生成类似于训练数据的新输出。现代生成式AI多为基于神经网络架构的深度学习系统。 目前主导生成式AI讨论的是大型语言模型（LLMs）。这些是经过大量文本训练的模型，可以生成连贯的文本，预测给定上下文中最可能的下一个词。尽管基础架构可能很复杂，但我们可以将其视为一个复杂的自动补全... 阅读更多
服务器通过MCP提供了为语言模型添加上下文的基本构建块。这些原语支持客户端、服务器和语言模型之间的丰富交互： 提示（Prompts）：预定义的模板或指令，用于指导语言模型交互 资源（Resources）：为模型提供额外上下文的结构化数据或内容 工具（Tools）：可执行函数，允许模型执行操作或检索信息 每个原语可以在以下控制层次结构中概括： ... 阅读更多
模型上下文协议（Model Context Protocol）由几个协同工作的关键组件组成： 基础协议：核心 JSON-RPC 消息类型 生命周期管理：连接初始化、能力协商和会话控制 服务器功能：服务器提供的资源、提示和工具 客户端功能：客户端提供的采样和根目录列表 实用工具：跨领域关注点，如日志记录和参数补全 所有实现必须支持基础协议和生命周期管理组件。其他组件... 阅读更多
模型上下文协议（MCP）采用客户端-主机-服务器架构，每个主机可以运行多个客户端实例。这种架构使用户能够跨应用程序集成AI功能，同时保持明确的安全边界和关注点隔离。MCP基于JSON-RPC构建，提供专注于客户端和服务器之间上下文交换和采样协调的有状态会话协议。 核心组件 graph LR subgraph "应用程序主机进程" H[主机] C... 阅读更多
协议修订版本：2025-03-26 Model Context Protocol（MCP）是一个开放协议，它使 LLM 应用程序与外部数据源和工具之间能够无缝集成。无论您是构建 AI 驱动的 IDE、增强聊天界面，还是创建自定义 AI 工作流，MCP 都提供了一种标准化的方式来连接 LLM 与它们所需的上下文。 本规范基于 schema.ts 中的 TypeScript 模式，定义了权威... 阅读更多
MCP 服务器创建工具 创建无需构建配置的 模型上下文协议 (MCP) 服务器项目。 快速概览 # 使用 uvx (推荐) uvx create-mcp-server # 或者使用 pip pip install create-mcp-server create-mcp-server 您无需手动安装或配置任何依赖项。 该工具将设置创建 MCP 服务器所需的一切。 创建服务... 阅读更多
安装 # On macOS and Linux. curl -LsSf https://astral.sh/uv/install.sh | sh # On Windows. powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex" 更新 uv self update 依赖包... 阅读更多
概述 python-sdk Model Context Protocol 允许应用程序以标准化的方式为 LLM 提供上下文，将提供上下文的关注点与实际的 LLM 交互分离开来。这个 Python SDK 实现了完整的 MCP 规范，使您能够轻松地： 构建可连接到任何 MCP 服务器的 MCP 客户端 创建暴露资源、提示和工具的 MCP 服务器 使用标准传输方式如 ... 阅读更多
sh ./scripts/install-dependencies.sh Contributing to Continue ❌ File out/node_modules/@esbuild/darwin-arm64/bin/esbuild does not exist * 正在执行任务: node /Users/junjian/GitHub/continuedev/con... 阅读更多
架构 本地运行 使用 NPM 安装 克隆仓库： git clone https://github.com/ConardLi/easy-dataset.git cd easy-dataset 安装依赖： npm install 启动开发服务器： npm run build npm run start 打开... 阅读更多
参考资料 2024 年 RAG 的崛起与演变年度回顾 所见即所得：多模态RAG正在向我们走来 What is Retrieval Augmented Generation (RAG)? Build with Claude - Prompt caching Introduci... 阅读更多
总结 模型类型 模型 评估结果 语言模型 Qwen2.5-0.5B ❌ Qwen2.5-1.5B ✅ Qwen2.5-7B ✅ ... 阅读更多
Introduction简介 Model Context Protocol (MCP) 入门 MCP 是一个开放协议，用于标准化应用程序向 LLM 提供上下文的方式。可以将 MCP 视为 AI 应用程序的 USB-C 端口。正如 USB-C 提供了一种将设备连接到各种外围设备和配件的标准化方式一样，MCP 提供了一种将 AI 模型连接到不同数据源和工具的标准化方式。 为什么选择 M... 阅读更多
config.yaml Reference 简介 Continue hub 助手使用 config.yaml 规范定义。本地助手也可以通过放置在全局 .continue 文件夹中的 YAML 文件 config.yaml 进行配置（Mac 上为 ~/.continue，Windows 上为 %USERPROFILE%\.continue） :::info Config YAML 替代了... 阅读更多
这篇文章是使用 Google Gemini Deep Research 生成的。提示词：研究 Model Context Protocol 1. 模型上下文协议 (MCP) 导论 大型语言模型 (LLMs) 在理解和生成人类语言方面取得了显著的进步。然而，这些模型本质上是孤立的，它们的知识仅限于训练数据，并且缺乏与外部世界交互的能力 1。为了克服这些限制，将 LLMs 与外部... 阅读更多
Cline 和模型上下文协议 (MCP) 服务器：增强 AI 能力 快速链接： 从 GitHub 构建 MCP 服务器 从头开始构建自定义 MCP 服务器 本文档解释了模型上下文协议 (MCP) 服务器的功能以及 Cline 如何帮助构建和使用它们。 概述 MCP 服务器充当大型语言模型 (LLM)（如 Claude）与外部工具或数据源之间的中介。它们是向 LLM 提供... 阅读更多
Understanding Reasoning LLMs Sebastian Raschka：关于DeepSeek R1和推理模型，我有几点看法 Large Language Models are Zero-Shot Reasoners Scaling LLM Test-Time Compute... 阅读更多
服务器配置 CPU: Intel(R) Xeon(R) Silver 4216 CPU @ 2.10GHz（64核） GPU: NVIDIA T4（16GB）X 4 内存: 256GB 创建压测 LLM 环境 conda create -n eval-llm python==3.12 -y conda activate eval-llm 创建工作目录 cd /da... 阅读更多
构建环境 选择 Python 版本 Python Releases 安装 LiteLLM + LangFuse conda create -n litellm python==3.12.9 -y conda activate litellm pip install "litellm[proxy]" langfuse openai ... 阅读更多
服务器配置 CPU 信息 CPU: Hygon C86 7490 64-core Processor X 2 lscpu 架构： x86_64 CPU 运行模式： 32-bit, 64-bit 字节序： Little Endian ... 阅读更多
Qwen2.5-VL Technical Report Qwen2.5-VL - GitHub Abstract（摘要） We introduce Qwen2.5-VL, the latest flagship model of Qwen vision-language series, which demonstrates significant advancements i... 阅读更多
开发 克隆仓库 git clone https://github.com/cline/cline.git 打开项目 code cline 安装依赖 npm run install:all 安装 esbuild problem matchers 扩展 如果构建项目时遇到问题，请安装 esbuild problem matchers 扩展。 Activating task... 阅读更多
目标 这里想探索使用多模态大模型答题的技术方案，包含单选题、多选题、判断题，最终构建自主答题的智能体。 工作流程：🏞️ -> MLM（多模态大模型）-> 答案 📝思路一 直接使用多模态大模型读题（转成文字），然后检索答案，把题和答案组合的提示词输入给语言大模型。 我使用了 Ollama 调用多模态大模型 minicpm-v:8b 来生成文字。llava:7b 的效... 阅读更多
GPU 服务器 T4 GPU 服务器，4卡16G。 安装 vLLM conda create -n deepseek-r1 python=3.12 -y conda activate deepseek-r1 pip install vllm Installation GPU 错误处理 ImportError: undefined symbol: __nvJitLink... 阅读更多
沐曦训练芯片 MXC500 介绍 曦云®C500是沐曦面向通用计算的旗舰产品，提供强大高精度及多精度混合算力，配备大规格高带宽显存，片间互联MetaXLink无缝链接多GPU系统，自主研发的MXMACA®软件栈可兼容主流GPU生态，能够全面满足数字经济建设和产业数字化的算力需求。 2023 年 6 月 14 日，沐曦官宣 AI 训练 GPU MXC500 完成芯片功能测试，MXMACA ... 阅读更多
Open-source DeepResearch TLDR Yesterday, OpenAI released Deep Research, a system that browses the web to summarize content and answer questions based on the summary. The system is impressive ... 阅读更多
Deep research Introduction to Deep Research from OpenAI [LIVESTREAM] Open-source DeepResearch – Freeing our search agents An agent that uses reasoning to synthesize large amounts of online ... 阅读更多
ABSTRACT（摘要） Language models have outpaced our ability to evaluate them effectively, but for their future development it is essential to study the frontier of their capabilities. We find real-worl... 阅读更多
SiliconFlow 图像生成 从实验来看，需要用英文描述，中文描述生成的效果不好。 实验 1 This year is the Year of the Snake. I want to create a lifelike snake, wearing a fiery red new outfit, holding its head high, floating in the air... 阅读更多
Claude API - Computer use Computer use reference implementation（计算机使用参考实现） Get started quickly with our computer use reference implementation that includes a web interface, Docker container, ... 阅读更多
Developing a computer use model（开发计算机使用模型） Computer use API computer-use-demo Claude can now use computers. The latest version of Claude 3.5 Sonnet can, when run through the appropriate sof... 阅读更多
参考 OSWorld OSWorld Paper OSWorld GitHub Abstract（摘要） Autonomous agents that accomplish complex computer tasks with minimal human interventions have the potential to transform human-comput... 阅读更多
UI-TARS: Pioneering Automated GUI Interaction with Native Agents（与本地代理进行自动化 GUI 交互的先驱） Abstract（摘要） This paper introduces UI-TARS, a native GUI agent model that solely perceives the screenshots a... 阅读更多
CUA eval extra information Computer-Using Agent Operator This document includes extra information to how we evaluated our Computer Using Agent, including (browser/VM) environments, prompts,... 阅读更多
Computer-Using Agent (CUA) A universal interface for AI to interact with the digital world. AI 与数字世界交互的通用接口。 Computer-Using Agent Operator Today we introduced a research preview of Operato... 阅读更多
Operator System Card 1 Introduction（简介） Operator is a research preview of our Computer-Using Agent (CUA) model, which combines GPT-4o’s vision capabilities with advanced reasoning through rei... 阅读更多
DeepSeek-V3 Technical Report Abstract（摘要） We present DeepSeek-V3, a strong Mixture-of-Experts (MoE) language model with 671B total parameters with 37B activated for each token. To achieve eff... 阅读更多
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning Abstract（摘要） We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-... 阅读更多
什么是 CodeGate CodeGate CodeGate GitHub CodeGate 文档 CodeGate 是位于 AI 编码助手和 LLM 之间的本地提示网关，用于增强隐私和安全性。 执行代码安全审查 识别包依赖项中的漏洞 防止敏感数据（如机密）与 AI 模型共享 工作原理 CodeGate 是位于 AI 编码助手和 LLM 之间的本地代理。... 阅读更多
腾讯会议中云录制应用的核心： 快速定位（章节、发言人、话题） 转写、纪要、总结 内容问答（AI小助手） 视频的主界面 下方区域 总结 章节 发言人 话题 右侧区域 转写 可以使用句子进行视频定位 纪要 可以按 章节、主题、发言人 进行纪要生成。 会议待办 AI小助手 这个AI小助手价格太贵了，可能对于中... 阅读更多
2024年12月15日，个人养老金制度正式在全国全面实施。这里记录一下如何投资个人养老金。 个人养老金 个人养老金制度全面实施 个人养老金制度全面实施 指数基金 什么是个人养老金 基金数据 2024年 第三季度 基金管理机构非货币理财公募基金月均规模排名 排名 公募基金管理人名称 非货币理财公募基金 月均规... 阅读更多
下载镜像 Open WebUI docker pull ghcr.io/open-webui/open-webui:main 运行 Docker Compose (Ollama) 编写配置文件：docker-compose.yml version: '3' services: openwebui: image: ghcr.io/open-webui/open... 阅读更多
The Language Model API enables you to use the Language Model and integrate AI-powered features and natural language processing in your Visual Studio Code extension. 语言模型 API 可以让您使用语言模型，并在您的 Visual... 阅读更多
Chat extensions 聊天用户体验的组成部分 下面的截图显示了示例扩展中 Visual Studio Code 聊天体验中的不同聊天概念。 使用 @ 语法调用 @cat 聊天参与者 使用 / 语法调用 /teach 命令 用户提供的查询，也称为用户提示 图标和参与者的 fullName，表示 Copilot 正在使用 @cat 聊天参与者 由... 阅读更多
GitHub Copilot GitHub Copilot 你的 AI 编程伙伴，助你更快、更智能地编写代码。 UI 设计 Command Center Inline Chat Chat View Conversation History Quick Chat Copilot Edits Terminal Inline Chat 支持的 ... 阅读更多
年度个人工作总结 ## 2024年个人工作总结 ...... ## 2024年员工素质能力考评表 | 考核要素 | 定义 | 自评、成果与佐证 | 满分 | | --- | --- | --- | --- | | 全局观念 | 开展工作或进行决策时，能够考虑他人、其他部门或公司整体的情况，从组织的整体或长远利益出发，顾全大局，为了整体利益能够牺牲局部利益或个人利益。| | 10... 阅读更多
硬件 Apple MacBook Pro 16 M2 Max 显示屏 Liquid 视网膜 XDR 显示屏 16.2 英寸 (对角线) Liquid 视网膜 XDR 显示屏1；初始分辨率 3456 x 2234 (254 ppi) XDR (极致动态范围) 1000000:1 对比度 XDR 亮度：10... 阅读更多
济南人工智能计算中心 AI 机房（Atlas 900 AI 集群） 计算节点：由大量高性能服务器组成，搭载华为自研的昇腾处理器，提供强大的算力支持。 高速互联网络：采用高速InfiniBand网络，实现节点之间的低延迟、高带宽通信。 存储系统：配置分布式存储，满足海量数据的高速读写需求。 管理调度系统：提供统一的资源管理和任务调度，提升集群的利用效率。 AI 软件... 阅读更多
Apple MacBook Pro 16 M2 Max 为我的 MacBook Pro 16 M2 Max 选择一款显示器 显示屏 Liquid 视网膜 XDR 显示屏 14.2 英寸 (对角线) Liquid 视网膜 XDR 显示屏1；初始分辨率 3024 x 1964 (254 ppi) 16.2 英寸 (对角线) Liquid 视网膜 XDR 显示屏1；初始分辨率 ... 阅读更多
济南人工智能计算中心 菜单 云资源 ModelArts 开发环境 Notebook 创建 Notebook 自定义镜像：llama2 类型：ASCEND ... 阅读更多
算力切分 查询算力切分模式 sudo npu-smi info -t vnpu-mode vnpu-mode : docker 查询算力切分模板信息 sudo npu-smi info -t template-info +---------------------------------------------------------... 阅读更多
What is an agent? “什么是代理？” 几乎每天都会有人问我这个问题。在 LangChain，我们构建工具来帮助开发者构建 LLM 应用程序，特别是那些充当推理引擎并与外部数据和计算源交互的应用程序。这包括通常被称为“代理”的系统。 每个人似乎对代理都有稍微不同的定义。我的定义可能比大多数人更技术性： 💡 代理是一个使用 LLM 来决定应用程序控制流的系统。 即使在这... 阅读更多
创建 Python 工程 evalscope-perf 工程的目录结构 evalscope-perf/ ├── evalscope_perf/ │ ├── __init__.py │ └── main.py ├── README.md ├── LICENSE ├── pyproject.toml └── setup.py evalscope_perf/init.py 没有可... 阅读更多
大模型推理性能压测工具 安装 EvalScope git clone https://github.com/modelscope/evalscope cd evalscope pip install -e . 压测命令的使用 evalscope perf \ --api openai \ --url 'http://127.0.0.1:1025/v1/chat/comp... 阅读更多
华为昇腾 NPU 与英伟达 GPU 生态层级对比: NPU GPU CANN CUDA MindSpore PyTorch MindFormer Transformers M... 阅读更多
设置 API Key export LITELLM_API_KEY=sk-1234 服务端口 Ollama: 11434 LiteLLM: 4000 XInference: 9997 MindIE: 1025 models Ollama curl -s http://localhost:11434/v1/models \ | jq -r '.data[]... 阅读更多
Text Generation Inference text-generation-inference Text Generation Inference TGI 多-LoRA: 部署一次，搞定 30 个模型的推理服务 conda create -n text-generation-inference python=3.9 conda activate text-gener... 阅读更多
AutoTrain Advanced AutoTrain Quickstart 安装 macOS conda create -n autotrain python=3.10 conda activate autotrain pip install autotrain-advanced conda install pytorch torchvision torchaudio -c... 阅读更多
Speculative Decoding Fast Inference from Transformers via Speculative Decoding 初步生成：使用一个小而快速的模型（称为Mq），生成一系列初步的 tokens。这个模型很高效，所以能快速得到结果。 并行评估：接着，使用一个更大的目标模型（称为Mp）来同时评估Mq生成的所有 tokens。Mp会判断... 阅读更多
Reader-LM Google Colab: Reader-LM Tutorial jinaai/reader-lm-1.5b Reader-LM: Small Language Models for Cleaning and Converting HTML to Markdown 专访Jina AI肖涵博士：搜索的未来，藏在一堆小模型里 不能简单地将 HTML 把输... 阅读更多
Cosmopedia: 如何为预训练构建大规模合成数据集 本文档的专注点是如何将样本从 几千 扩展到 数百万，从而使其可用于 从头开始预训练 LLM。深入研究了创建数据集的方法、提示整编的方法及相应的技术栈。 Cosmopedia Cosmopedia 的目的是重现 Phi-1.5 所使用的训练数据。 Cosmopedia 代码 Cosmopedia 数据集 cosmo-1... 阅读更多
MemGPT: Towards LLMs as Operating Systems MemGPT - GitHub Letta Documentation Docker 部署 克隆代码 git clone https://github.com/cpacker/MemGPT 设置环境变量，编辑配置文件 .env Ollama LETTA_LLM_ENDPO... 阅读更多
Abstract(摘要) This report introduces the Qwen2 series, the latest addition to our large language models and large multimodal models. We release a comprehensive suite of foundational and instruction... 阅读更多
Qwen2.5-Coder Technical Report Qwen2.5-Coder Documentation Qwen2.5-Coder Blog Qwen2.5-Coder GitHub HuggingFace Qwen2.5-Coder-7B-Instruct Abstract(摘要) In this report, we introduce the ... 阅读更多
Tab Completion 输入 { "messages": [ { "role": "user", "content": "You are a HOLE FILLER. You are provided with a file containing holes, formatted as ''. Your... 阅读更多
向量数据库存储位置 生成规则 LanceDB 存储位置：~/.continue/index/lancedb UsersjunjianGitHubcontinuedevcontinue-0.9.191-vscodeextensionsvscodeNONEvectordb_OpenAIEmbeddingsProviderbge-base-zh-v1.5.lance Usersjunj... 阅读更多
Langfuse Langfuse GitHub - Langfuse Introducing Langfuse 2.0 LLM 可观察性（LLM Observability）、提示管理（Prompt Management）、LLM 评估（LLM Evaluations）、数据集（Datasets）、LLM 指标（LLM Metrics）和提示游乐场（Prompt Play... 阅读更多
LiteLLM Proxy Server (LLM Gateway) 💥 LiteLLM Proxy Server (LLM Gateway) Hosted LiteLLM Proxy Proxy Config.yaml 安装 pip install 'litellm[proxy]' 编辑配置文件：config.yaml model_list: - model_... 阅读更多
Kong Kong AI Gateway - Semantic AI Gateway to run and secure multi-LLM traffic Kong AI Gateway - Documentation GitHub - Kong 更快地构建生产就绪的 AI 应用程序（对于开发人员） 通过简单更改一行代码，使用现代基础设施构建具有多 LLM 支持和路... 阅读更多
Higress Higress 是基于阿里内部多年的 Envoy Gateway 实践沉淀，以开源 Istio 与 Envoy 为核心构建的云原生 API 网关。 Higress是什么? Higress 博客 多层网关统一成趋势，如何构建全能型网关 如何使用 Higress 快速构建 AI 应用？ 天池大赛Higress插件官方demo详细部署+调试 Higre... 阅读更多
SGLang SGLang is a fast serving framework for large language models and vision language models. It makes your interaction with models faster and more controllable by co-designing the backend runtim... 阅读更多
基于 Qwen2 效率评估计算大模型推理需要的显存.xlsx 这里计算的显存都是指使用 transformers 库进行推理，对于 vLLM，由于 GPU 显存预分配，实际显存使用难以评估。 计算加载模型需要的显存 模型参数（B） 参数使用的位数（bits） 加载需要显存（G） ... 阅读更多
bloop bloop 是用 Rust 编写的快速代码搜索引擎 bloop GitHub 克隆代码 git clone https://github.com/BloopAI/bloop cd bloop bloop Server 指定依赖库版本 cargo update -p qdrant-client --precise 1.5.0 cargo update -p reqw... 阅读更多
安装与配置 安装 访问 Cursor 官网，下载并安装 Cursor。 配置 运行 Cursor，打开 Cursor 设置。 General > Rules for AI 让模型使用中文回复。 Features > Cursor Tab 功能 使用 使用 Codebase Final Codebase Context 使用了 100 个 代码块。 ... 阅读更多
Tabby Demo Blog 安装 Tabby (macOS) brew install tabbyml/tabby/tabby 更新 brew upgrade tabbyml/tabby/tabby 安装 Tabby VSCode 扩展 Tabby VSCode Extension 模型 Models Registry Codestral 的... 阅读更多
聊天窗口 输入框（TipTapEditor） Enter (⏎) 不使用 Codebase Cmd-Enter (⌘ ⏎) 使用 Codebase Alt-Enter (⌥ ⏎) 使用 ActiveFile（打开且激活的文件） Cmd-Backspace (⌘ ⌫) 放弃响应 Shift-Enter (↑ ⏎) 换行 源代码：gui/s... 阅读更多
RerankerRetrievalPipeline 源代码：core/context/retrieval/pipelines/RerankerRetrievalPipeline.ts export default class RerankerRetrievalPipeline extends BaseRetrievalPipeline { private async _retri... 阅读更多
SQLite 数据库设计 CREATE TABLE tag_catalog ( id INTEGER PRIMARY KEY AUTOINCREMENT, dir STRING NOT NULL, branch STRING NOT NULL, artifactId STRING NOT NULL, path STRING NOT NULL, ... 阅读更多
Continue Continue 开发与配置 Continue 源码分析 Transformers.js 支持的模型 模型 语言 类型 URL jina-embeddings-v2-base-zh 中文 Embedding htt... 阅读更多
GraphRAG GraphRAG 项目是一个数据管道和转换套件，旨在利用大型语言模型（LLMs）的力量从非结构化文本中提取有意义的结构化数据。 若要了解更多关于 GraphRAG 以及它如何用于增强您的大型语言模型（LLMs）对您的私有数据进行推理的能力，请访问 Microsoft Research Blog Post。 Welcome to GraphRAG GraphRA... 阅读更多
TypeScript 安装 安装 tsc，它是 TypeScript 的编译器。 npm i -g typescript 查看版本 tsc -v Version 5.5.3 安装 ts-node，它是 TypeScript 的运行时。 npm i -g ts-node 查看版本 ts-node -v v10.9.2 Hello World 使用 tsc --init 命令... 阅读更多
Continue Continue 开发与配置 VS Code Extension 通过配置创建新的 Extension，用于区别于 Continue 。 { "name": "continue", "icon": "media/icon.png", "version": "0.9.218", "displayName": "LNSoft Continue"... 阅读更多
快捷键 常用 显示所有命令 F1, ⇧ ⌘ P 全屏 ⌃ ⌘ F 设置 ⌘ , 键盘快捷方式 ⌘ K ⌘ S ... 阅读更多
Kolors Kolors：用于真实感文本到图像合成的扩散模型的有效训练 Kolors Kolors - GitHub Kolors - HuggingFace Kolors - HuggingFace Spaces 例子 小红帽和大灰狼在森林的小路上相遇 阅读更多
Qdrant 用于下一代人工智能应用的向量搜索引擎 Qdrant（读作：quadrant）是一个向量相似性搜索引擎和向量数据库。它提供了一个生产就绪的服务，具有方便的 API 来存储、搜索和管理点 - 具有附加有效载荷的向量。Qdrant 专为扩展的过滤支持量身定制。它对所有类型的神经网络或基于语义的匹配、分面搜索和其他应用非常有用。 解决方案 运行 Qdrant 镜像 do... 阅读更多
FastEmbed FastEmbed 是一个轻量级、快速的 Python 库，专为嵌入生成而构建。 安装 pip install -Uqq fastembed 支持的嵌入模型 import pandas as pd from fastembed import TextEmbedding supported_models = ( pd.DataFrame(TextE... 阅读更多
Vanna 工作原理 使用检索增强来帮助您使用 LLM 为数据库生成准确的 SQL 查询。 Vanna 的工作过程分为两个简单步骤 - 在您的数据上训练 RAG“模型”，然后提出问题，这些问题将返回 SQL 查询，这些查询可以设置为在您的数据库上自动运行。 vn.train(…) 在您的数据上训练 RAG“模型”。这些方法将添加到参考语料库。 ... 阅读更多
RAG 复杂场景下的工作流程 召回模式（选择数据集） → 混合检索（同时进行语义检索和关键词搜索） → 重排序（合并和归一化检索结果） 召回模式主要是用于选出与用户问题最相关的数据集，在应用内关联了多个数据集时，可以使用N选1、N选M和多路等召回模式。 N 选 1 召回 N 选 M 召回 多路召回 语义检索是当前主流... 阅读更多
Elmo Chat Chrome 扩展程序 Lepton AI 概述 Elmo 是您的 AI 网络副驾驶，可创建摘要、洞察和扩展知识。 免费且无需 GPT/OpenAI 帐户和多语言支持。 功能亮点： ✅ 总结网站：将网络内容转换为快速、简短的摘要。 ✅ 总结 YouTube：通过视频快速洞察和导航。 ✅ 总结 Google Docs：高效创建 Google Docs... 阅读更多
安装 PostgreSQL 下载 macOS packages Download PostgreSQL 安装 Installation Directory: /Library/PostgreSQL/16 Server Installation Directory: /Library/PostgreSQL/16 Data Directory: /Library/PostgreSQ... 阅读更多
GLM-4V-9B GLM-4V-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源多模态版本。 GLM-4V-9B 具备 1120 * 1120 高分辨率下的中英双语多轮对话能力，在中英文综合能力、感知推理、文字识别、图表理解等多方面多模态评测中均表现优异。 GLM-4V-9B HuggingFace GLM-4V-9B Demo GLM-4 总结... 阅读更多
AutoGen AutoGen AutoGen Studio AutoGen Studio 2.0 定义 Agent from autogen import ConversableAgent llm_config = {"model": "gpt-3.5-turbo"} agent = ConversableAgent( name="chatbot", ... 阅读更多
Dify Dify Dify GitHub Dify 架构图 Dify Docs 介绍 Dify 是一款开源的大语言模型(LLM) 应用开发平台。提供从 Agent 构建到 AI workflow 编排、RAG 检索、模型管理等能力，轻松构建和运营生成式 AI 原生应用。你可以基于任何模型自部署类似 Assistants API 和 GPTs 的能力，在灵活和安全的... 阅读更多
Continue Continue Github Continue Docs Blog 介绍 Continue 使您能够在 IDE 中创建自己的 AI 代码助手。使用 VS Code 和 JetBrains 插件保持开发者的流畅体验，这些插件可以连接到任何模型、任何上下文以及任何其他你需要的东西。 轻松理解代码部分 Tab 自动完成代码建议 重构您正在... 阅读更多
开放 Ollama 服务 环境变量 OLLAMA_HOST: Ollama 服务器的 IP 地址（默认 127.0.0.1:11434） OLLAMA_NUM_PARALLEL: 最大并行请求数（默认 1） OLLAMA_MAX_LOADED_MODELS: 最大加载模型数量（默认 1） OLLAMA_KEEP_ALIVE: 模型在内存中保持加载的持续时间（默认... 阅读更多
框架 SGLang SGLang 是一种专为大型语言模型 (LLM) 设计的结构化生成语言。它通过共同设计前端语言和运行时系统，使您与 LLM 的交互更快、更可控。 平台 Dify Dify 是一个 UI 驱动的用于开发大语言模型应用程序的平台，它使原型设计更加容易访问。它支持用户使用提示词模板开发聊天和文本生成应用。此外，Dify 支持使用导入数据集的检索增强生成（RAG），并且能够... 阅读更多
SiliconFlow API 文档 SiliconCloud 高性价比的 GenAI 云服务 SiliconLLM 高性能 LLM 推理引擎 OneDiff 高性能图像生成引擎 模型 & 价格 deepseek-ai/deepseek-v2-chat ¥... 阅读更多
CrewAI 安装 pip install 'crewai[tools]' CrewAI 使用 Ollama 运行本地 LLM .env OPENAI_API_BASE=http://localhost:11434/v1 OPENAI_MODEL_NAME=aya:8b OPENAI_API_KEY=NULL agent.py 版本1 每次执行结果都不一样 from do... 阅读更多
Application scenarios of AI agents（AI代理的应用场景） AI代理是LLM应用的重要场景，构建代理应用将是2024年的重要技术领域。目前我们主要的智能形式有单AI代理，多AI代理，混合AI代理等三种。 Single AI Agent（单一人工智能代理） 在特定任务场景下完成的工作，比如 GitHub Copilot Chat 下的代理工作区，就是根据用... 阅读更多
代码注入：SQL注入：MyBatis 提示词 您是一名 Java 高级软件工程师，主要任务是根据缺陷报告的信息修复软件中的漏洞。 要求 请根据缺陷报告，修复缺陷代码片断的缺陷。 要求修复后的软件不改变原有的功能。 需要给出修复后的代码片段或者修复建议。 缺陷报告 缺陷类别： 一级类： 代码注入 二级类：SQL注入：MyBatis 详细信息： SQL注入是一种数据库攻击手段。攻击... 阅读更多
Phi-3-vision-128k-instruct Phi-3 Vision 是一个轻量级、最先进的开放多模态模型，基于数据集构建，其中包括合成数据和经过过滤的公开网站，重点关注文本和视觉方面的高质量推理密集数据。该模型属于 Phi-3 模型系列，多模式版本可支持 128K 上下文长度（以 Token 为单位）。该模型经历了严格的增强过程，结合了监督微调和直接偏好优化，以确保精确的指令遵... 阅读更多
MiniCPM-Llama3-V 2.5 MiniCPM-Llama3-V 2.5 是 MiniCPM-V 系列的最新版本模型，基于 SigLip-400M 和 Llama3-8B-Instruct 构建，共 8B 参数量，相较于 MiniCPM-V 2.0 性能取得较大幅度提升。MiniCPM-Llama3-V 2.5 值得关注的特点包括： 🔥 领先的性能。 MiniC... 阅读更多
CogVLM2 在许多关键指标上有了显著提升，例如 TextVQA, DocVQA。 支持 8K 文本长度。 支持高达 1344 * 1344 的图像分辨率。 提供支持中英文双语的开源模型版本。 您可以在下表中看到 CogVLM2 系列开源模型的详细信息： 模型名称 cogvlm2-llama3-chat-19B ... 阅读更多
Thoughtworks 技术雷达 Thoughtworks 技术雷达 (Tech Radar) 是一份每半年发布一次的技术报告，涵盖了工具、技术、平台、语言和框架等方面的内容。这一知识成果来自于我们全球团队的经验，重点介绍了您可能想要在项目中探索的内容。 环的含义如下： 1️⃣ 采纳 (Adopt)。我们认为您应该认真考虑使用的点。 2️⃣ 试验 (Trial)。我们认为可以... 阅读更多
简介 SWIFT 支持近200种LLM和MLLM（多模态大模型）的训练、推理、评测和部署。开发者可以直接将我们的框架应用到自己的Research和生产环境中，实现模型训练评测到应用的完整链路。我们除支持了PEFT提供的轻量训练方案外，也提供了一个完整的Adapters库以支持最新的训练技术，如NEFTune、LoRA+、LLaMA-PRO等，这个适配器库可以脱离训练脚本直接使用在自己的自定... 阅读更多
目标 这里探索了借助大型语言模型微调进行命名实体识别的标注。 定义了一套电力领域的命名实体类型： Province: 省份。例如：山东省。 City: 城市。例如：济南市、济南。 Company: 供电公司。例如：长清区供电公司、市中供电中心。 Substation: 供电所。例如：崮山供电所。 Indicator: 指标。例如：投诉、意见。 Date: 日期。例... 阅读更多
目标 这里探索了借助大型语言模型进行命名实体识别的标注，并在缺少相关类型实体的时候可以自动生成。 定义了一套电力领域的命名实体类型： Province: 省份。例如：山东省。 City: 城市。例如：济南市、济南。 Company: 供电公司。例如：长清区供电公司、市中供电中心。 Substation: 供电所。例如：崮山供电所。 Indicator: 指标。例如：投... 阅读更多
初始化Next.js项目 首先，创建一个新的Next.js项目： npx create-next-app next-quiz-app cd next-quiz-app 运行 npm run dev ESLint npm run lint > next-quiz-app@0.1.0 lint > next lint ✔ No ESLint warnings... 阅读更多
总结 Qwen 模型的指令遵循还是差强人意，这里使用的参数应该是 72B 大型语言模型发挥了它的生成能力，会在原文的基础上给你增加内容，如：济南市。 问题变化多样，示例也不可能覆盖所有的情况，写的越多占用的上下文长度越大。 在实验二中 明确说明Date实体类型的值，并没有很好的识别出来，如：3月识别为Month，一季度识别为Quarter，今年识别为Y... 阅读更多
macOS 上安装（M2） conda create -n xinference python=3.10.9 conda activate xinference pip install -U pip pip install xinference # GGML CMAKE_ARGS="-DLLAMA_METAL=on" pip install llama-cpp-python 安装... 阅读更多
安装 LLaMA-Factory git clone https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory python -m venv env source env/bin/activate pip install -e .[metrics] 下载模型 通义千问1.5-4B-Chat git clo... 阅读更多
LangChain ChatTongyi Stream from langchain_core.messages import HumanMessage from langchain_community.chat_models.tongyi import ChatTongyi model = ChatTongyi(model="qwen-turbo", top_p=0.01) gen... 阅读更多
Gradio DataFrame import pandas as pd import gradio as gr def read_csv_from_text2sql(file_path="data/text2sql.csv"): try: df = pd.read_csv(file_path) return df except Except... 阅读更多
Gradio Chatbot DashScope import os import pandas as pd import gradio as gr from http import HTTPStatus from dashscope import Generation from dashscope.api_entities.dashscope_response import Role ... 阅读更多
Llama3 智能助手 Meta AI Responsible Use Guide Trust & Safety Meta Blog GitHub: Meta Llama 3 HuggingChat 模型 Meta-Llama-3-8b: 8B 基础模型 Meta-Llama-3-8b-instruct: 8B 基础模型的指令调优版 Me... 阅读更多
Claude 3 模型 模型 模型名称 价格（MTok） 能力 Opus claude-3-opus-20240229 Input: $15Output: $75 处理复杂的分析、多步骤的长期任务，以及更高阶的数学和编码任务 ... 阅读更多
SQL Chain from datetime import datetime from operator import itemgetter from langchain.chains import create_sql_query_chain from langchain_core.output_parsers import StrOutputParser from langcha... 阅读更多
Extraction from enum import Enum from typing import Optional, Type from langchain.pydantic_v1 import BaseModel, Field class ProvinceEnum(str, Enum): """省、直辖市、自治区""" 山东省 = "山东省" class Ci... 阅读更多
Chat Models Functions & Tools Model Function Calling Tool Calling Python Package ChatOpenAI ✅ ✅ langchain-openai ... 阅读更多
DashScope 模型服务灵积 让大模型能力触达每位开发者 灵积模型服务建立在“模型即服务”（Model-as-a-Service，MaaS）的理念基础之上。 灵积通过灵活、易用的模型API服务，让各种模态模型的能力，都能方便的为AI开发者所用。通过灵积API，开发者不仅可以直接集成大模型的强大能力，也可以对模型进行训练微调，实现模型定制化。 通义千问大型语言模型 ... 阅读更多
OpenAI Function Call (Extraction) 这个方法只有 OpenAI 的模型支持。 from langchain.agents import tool from langchain.chat_models import ChatOpenAI from langchain.tools.render import format_tool_to_openai_func... 阅读更多
LangChain Expression Language (LCEL) 介绍 LangChain 是一个用于开发由大型语言模型（LLM）支持的应用程序的框架。 LangChain 简化了 LLM 应用程序生命周期的每个阶段： 开发（Development）：使用 LangChain 的开源构建块和组件构建您的应用程序。使用第三方集成和模板快速启动。 生产化（Prod... 阅读更多
是时候收集关于你们如何构建软件的数据了。 It’s time to collect data on how you build software Development data engine (开发数据引擎) LLM more helpful with coding (LLM在编码方面更有帮助) Developers use LLM while codi... 阅读更多
Continue Continue Continue Blog Continue Docs Continue - GitHub 注册 deepseek 的开发平台 deepseek 开放平台 DeepSeek API 手册 OpenAI API DeepSeek API 使用与 OpenAI 兼容的 API 格式，通过修改配置，您可以使用 OpenAI ... 阅读更多
用于构建和运行生成式人工智能的最快云平台 注册 Together AI 的开发平台 Together AI Playground 速度非常快 Together AI Inference OpenAI API from openai import OpenAI import os TOGETHER_API_KEY = os.environ.get("TOGE... 阅读更多
LLaMA Factory 安装 pip git clone https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory python -m venv env source env/bin/activate pip install -e .[metrics] conda git clone... 阅读更多
Prompt Engineering Techniques（提示工程技术） In-Context Learning (上下文学习) Standard prompt with instruction (标准提示与指令) So far, you have been stating the instruction explicitly in the prompt: (到目前为止，您... 阅读更多
Natural Language Processing (NLP) 安装依赖库 pip install transformers Conversational blenderbot-400M-distill from transformers.utils import logging logging.set_verbosity_error() from transform... 阅读更多
安装 vLLM # (Optional) Create a new conda environment. conda create -n vllm python=3.9 -y conda activate vllm # Install vLLM with CUDA 12.1. pip install vllm vLLM 帮助 vLLM 兼容 OpenAI 的 RESTful API ... 阅读更多
MLX 介绍 MLX 是一个为 Apple Silicon 芯片上的机器学习研究设计的 array 框架，由 Apple 机器学习研究团队提供。 熟悉的 API：MLX 拥有一个与 NumPy 紧密对应的 Python API。MLX 还拥有功能齐全的 C++、C 和 Swift API，这些 API 也紧密地反映了 Python API。MLX 拥有更高级别的包，如 mlx.nn... 阅读更多
克隆 git clone https://github.com/huggingface/candle cd candle Phi-2 CPU $ cargo run --example phi --release -- --model 2 \ --prompt "A skier slides down a frictionless slope of height 40m ... 阅读更多
机器学习的方法 监督学习（Supervised Learning） 监督学习使用带有标签的训练数据来训练模型。这些标签是预先定义的输出，模型通过学习输入数据与这些输出之间的关系来进行预测。监督学习的任务通常分为两类：分类（预测离散的标签）和回归（预测连续的数值）。常见的监督学习算法包括决策树、逻辑回归、支持向量机（SVM）、神经网络等。监督学习广泛应用于图像识别、语音识别、医疗诊断等领域。 ... 阅读更多
Rust 安装 macOS 安装 rustup，它是 Rust 的版本管理工具。 curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sudo sh 这里加了 sudo 是因为修改配置文件需要权限。 Rustup 元数据和工具链将安装到 Rustup 的主目录，位于：~/.rustup，这可以使用 R... 阅读更多
这里使用了 Kimi 月之暗面 对简历这个场景进行了探索，Kimi 支持 128k 的长上下文，超过20万个汉字。 通过简历评估一下这位算法工程师的能力。 上传简历 根据李秀宁的简历，我们可以对她的技能和经验进行以下评估： 1. 编程技能： 她掌握多种编程语言，包括MATLAB、C、C++、Python，这些都是算法开发中常用的语言。 熟练使用多个开发平台，如MATLAB、Visua... 阅读更多
Microsoft Copilot Microsoft Copilot Studio Microsoft Copilot Studio 概述 Microsoft Power Virtual Agents Microsoft Power Virtual Agents on Azure Microsoft Power Virtual Agents, now part of ... 阅读更多
论文 DeepSeek-Coder: When the Large Language Model Meets Programming – The Rise of Code Intelligence DeepSeek LLM: Scaling Open-Source Language Models with Longtermism LLaMA: Open and Efficien... 阅读更多
NLP Course 1. TRANSFORMER 模型 自然语言处理 NLP 是语言学和机器学习交叉领域，专注于理解与人类语言相关的一切。 NLP 任务的目标不仅是单独理解单个单词，而且是能够理解这些单词的上下文。 以下是常见 NLP 任务的列表： 对整个句子进行分类: 获取评论的情绪 检测电子邮件是否为垃圾邮件 确定句子在... 阅读更多
Open Language Model: OLMo OLMo: Accelerating the Science of Language Models Dataset Models: OLMo Suite Weights: OLMo-7B Code OLMo-Eval open-instruct 开放语言模型 (OLMo) - AI2 LLM 框架旨在提供对... 阅读更多
TinyLlama TinyLlama: The Mini AI Model with a Trillion-Token Punch Just using MLX to fine-tune TinyLlama with LoRA locally on a 8 GB Mac Mini. TinyLlama/TinyLlama-1.1B-Chat-v1.0 输入 <... 阅读更多
将 MLX 微调的模型转换为 GGUF 模型最大的意义是可以融入 GGUF 的生态系统，可以在更多的平台上使用。 LoRA 微调 大模型 Mistral-7B-v0.1 mistralai/Mistral-7B-v0.1 数据集 WikiSQL WikiSQL sqllama/sqllama-V0 修改脚本 mlx-examples/lora/data/wiki... 阅读更多
大模型 Deepseek-Coder-7B deepseek-ai/deepseek-coder-7b-base-v1.5 deepseek-ai/deepseek-coder-7b-instruct-v1.5 数据集 WikiSQL WikiSQL sqllama/sqllama-V0 修改脚本 mlx-examples/lora/data/wikisql.p... 阅读更多
使用 LoRA 和 QLoRA 基于 Mistral-7B 微调的实验 在 MLX 上使用 LoRA / QLoRA 微调 Text2SQL（二）：使用 LoRA 基于 Mistral-7B 微调 在 MLX 上使用 LoRA / QLoRA 微调 Text2SQL（四）：使用 QLoRA 基于 Mistral-7B 微调 LoRA 和 QLoRA 对比 微调 ... 阅读更多
预训练模型 mistralai/Mistral-7B-v0.1 量化 QLoRA 微调需要量化，生成 4 位量化的 Mistral 7B 并默认将其存储在 mlx_model 目录中 python convert.py --hf-path mistralai/Mistral-7B-v0.1 -q mlx_model 目录结构如下： mlx_model ├── config.json... 阅读更多
mlx-community/Mistral-7B-v0.1-LoRA-Text2SQL 安装 mlx-lm pip install mlx-lm 生成 SQL python -m mlx_lm.generate --model mlx-community/Mistral-7B-v0.1-LoRA-Text2SQL \ --max-t... 阅读更多
mlx-community/Mistral-7B-v0.1-LoRA-Text2SQL 本次微调的模型我已经上传到了 HuggingFace Hub 上，大家可以进行尝试。 安装 mlx-lm pip install mlx-lm 生成 SQL python -m mlx_lm.generate --model mlx-community/Mistral-7B-v0.1-LoRA-... 阅读更多
安装 git clone https://github.com/ml-explore/mlx-examples.git cd mlx-examples/lora pip install -r requirements.txt 下载模型 mistralai/Mistral-7B-v0.1 pip install huggingface_hub hf_transfer ex... 阅读更多
UnitMesh Unit Mesh: Asymptotic AI programming architecture pattern 下载《UnitMesh 白皮书》 GitHub: UnitMesh AutoDev - AI 辅助编程 AutoDev-AI 编码流 逆向分析 Github Copilot AutoDev 是一款基于 JetBrains I... 阅读更多
llama.cpp 使用 llama.cpp 构建本地聊天服务 模型量化 量化类型 ./quantize --help Allowed quantization types: 2 or Q4_0 : 3.56G, +0.2166 ppl @ LLaMA-v1-7B 3 or Q4_1 : 3.90G, +0.1585 ppl @ LLaMA-v... 阅读更多
我使用 v2ray 科学上网，并且已经开启了全局模式，所有网络连接都应该通过 v2ray 的代理服务器。但我使用 git 命令行应用发现不能连接 GitHub，但 GitHub Desktop 可以正常使用。 git clone https://github.com/wang-junjian/chatbox Cloning into 'chatbox'... fatal: unable ... 阅读更多
安装 FastChat & vLLM 安装 FastChat FastChat 部署多模型 Qwen (通义千问) 在 MacBook Pro M2 Max 上安装 FastChat 安装 FlashAttention FlashAttention-2 currently supports: Ampere, Ada, or Hopper GPUs (e.g.... 阅读更多
安装 FastChat & vLLM 安装 FastChat FastChat 部署多模型 Qwen (通义千问) 在 MacBook Pro M2 Max 上安装 FastChat pip install "fschat[model_worker,webui]" 安装 FlashAttention Turing GPU T4 不支持 FlashAtten... 阅读更多
wrk HTTP 基准测试工具 安装 git clone https://github.com/wg/wrk.git cd wrk #使用多线程（机器的处理器核数）加速编译， make -j $(nproc) cp wrk /usr/local/bin/ Tabby Server 服务器：NVIDIA T4 16GB X 4 部署 模型：TabbyML/DeepseekC... 阅读更多
主要功能 代码完成（Code completion）：根据提示中输入的代码上下文建议接下来的几行。 代码生成（Code generation）：根据开发人员的自然语言提示生成代码。 代码聊天（Code chat）：允许开发人员与机器人对话，以获得调试、文档、学习新概念和其他与代码相关问题的帮助。 参考资料 JetBrains AI CodeFuse 让研发变得更简... 阅读更多
Sourcegraph Cody Sourcegraph Docs Blog Sourcegraph Cody Copilot vs. Cody: Why context matters for code AI The lifecycle of a code AI completion How we’re thinking about the levels of c... 阅读更多
交互方式 代码自动完成 AI 聊天 核心功能 功能 说明 代码补全 基于海量数据提供实时地代码补全服务，包括行内补全（单行补全）和片段补全（多行补全）。 添加注释 智能为选定的代码生成注释，目前在整个函数级别的生成注释效果较好。 ... 阅读更多
FastChat FastChat 是一个开放平台，用于训练、服务和评估基于大型语言模型的聊天机器人。 FastChat 部署多模型 Qwen (通义千问) FastChat Server 架构图 安装 FastChat 克隆代码 git clone https://github.com/lm-sys/FastChat cd FastChat 创建虚拟环境 py... 阅读更多
我的 GPU：GP106 [GeForce GTX 1060 6GB] 安装 NVIDIA 驱动 查看哪些进程正在使用 NVIDIA 设备 lsof -n -w /dev/nvidia* lsof 是一个在 Unix 和类 Unix 系统（如 Linux）上的命令行工具，用于列出当前系统打开的文件。在这里，”文件” 的概念很广泛，除了常见的文件和目录，还包括网络套接字、设备、管道等。 ... 阅读更多
使用的模型 代码生成 Tabby 使用的是 Deepseek Coder 6.7B 模型。 部署服务器端 基于 PyCharm 使用 Tabby 和 CodeGPT 插件搭建免费的 GitHub Copilot 安装 Visual Studio Code Tabby 安装 Tabby 配置 单击状态栏中的 Tabby 图标，打开 Tabby 配置页面。 参数 ... 阅读更多
使用的模型 代码生成 Tabby 使用的是 Deepseek Coder 6.7B 模型。 AI 聊天 CodeGPT 使用的是 ChatGLM3-6B 模型。这个后面考虑使用 Deepseek Coder 6.7B 来替换。 部署服务器端 基于 PyCharm 使用 Tabby 和 CodeGPT 插件搭建免费的 GitHub Copilot 安装 InteliJ... 阅读更多
使用的模型 代码生成 Tabby 使用的是 Deepseek Coder 6.7B 模型。 AI 聊天 CodeGPT 使用的是 ChatGLM3-6B 模型。这个后面考虑使用 Deepseek Coder 6.7B 来替换。 部署服务器端 Tabby 服务 docker run -d --runtime nvidia --name tabby -p 8080:8080 \ ... 阅读更多
困难重重 😭 服务器是 NVIDIA Tesla T4，系统是 Ubuntu 20.04，从 Kubernetes 集群中分离出来的，因 Tabby 请求 CUDA >= 11.7，需要重新安装新版本的驱动。 下载 NVIDIA Driver CUDA Toolkit Archive 安装 NVIDIA Driver sudo sh NVIDIA-Linux-x86_64... 阅读更多
Tabby Tabby Playground Tabby Docs Tabby Blog GitHub: Tabby There’s An AI For That Run Curl Commands Online Coding LLMs Leaderboard (TabbyML Team) Introducing the Coding LLM Leaderbo... 阅读更多
PrivateGPT 安装 Python 3.11 brew install python@3.11 安装 git clone https://github.com/imartinez/privateGPT && cd privateGPT && \ python3.11 -m venv .venv && source .venv/bin... 阅读更多
DeepSeek Coder DeepSeek Chat DeepSeek Coder: Let the Code Write Itself GitHub: DeepSeek Coder HuggingFace: DeepSeek TheBloke: deepseek-coder-6.7B-instruct-GGUF Ollama: DeepSeek Coder ... 阅读更多
安装 InteliJ IDEA 安装 CodeGPT 打开 IntelliJ IDEA，选择 Settings 菜单，选择 Plugins，搜索 CodeGPT，点击 Install 安装。 配置 CodeGPT 这里访问的 OpenAI 服务是我自己搭建的，使用的是 FastChat + ChatGLM3-6B。 模型 GPT-3.5(4k) Service: Open... 阅读更多
CodeFuse 代码领域大模型 CodeFuse 的使命是开发专门设计用于支持整个软件开发生命周期的大型代码语言模型（Code LLMs），涵盖设计、需求、编码、测试、部署、运维等关键阶段。我们致力于打造创新的解决方案，让软件开发者们在研发的过程中如丝般顺滑。 CodeFuse Blog CodeFuse-13B: A Pretrained Multi-lingual Co... 阅读更多
大模型基础服务架构图 <center> <div class="mermaid"> %%{init: {"flowchart": {"htmlLabels": false}} }%% flowchart TB subgraph tool[聊天工具] direction TB chatgpt-next(ChatGPT Next Web) ... 阅读更多
🔶 大模型 SLM microsoft/phi-2 Qwen/Qwen-1_8B-Chat TinyLlama/TinyLlama-1.1B-Chat-v1.0 LLM THUDM/chatglm3-6b Qwen/Qwen-7B-Chat deepseek-ai/deepseek-llm-7b-chat baichuan-inc/Baichuan2-7B... 阅读更多
FastChat 安装 # 克隆仓库 git clone https://github.com/lm-sys/FastChat cd FastChat # 创建虚拟环境 python -m venv env source env/bin/activate # 安装 pip install --upgrade pip pip install -e ".[model_worker,webui... 阅读更多
NEON & MPS 🆚 CoreML 下载模型（large-v3） models/download-ggml-model.sh large-v3 NEON & MPS 编译 make clean make -j main 帮助 ./main --help usage: ./main [options] file0.wav file1.wav ... optio... 阅读更多
Qwen 快速开始 克隆代码 git clone https://github.com/QwenLM/Qwen.git cd Qwen 创建虚拟环境 python -m venv env source env/bin/activate 安装依赖 pip install -r requirements.txt 创建大模型链接 mkdir Qwen ln -s /User... 阅读更多
MLX Examples MLX MLX Documentation 克隆代码 git clone https://github.com/ml-explore/mlx-examples cd mlx-examples 创建虚拟环境 python -m venv env source env/bin/activate pip install -r llms/phi2/req... 阅读更多
MLX 统一内存：与 MLX 和其他框架的显着区别是统一内存模型。 MLX 中的数组位于共享内存中。 MLX 阵列上的操作可以在任何支持的设备类型上执行，而无需传输数据。 MLX Documentation 创建虚拟环境 mkdir ml-explore && cd ml-explore git clone https://github.com/ml-explore/ml... 阅读更多
Phi-2: The surprising power of small language models microsoft/phi-2 创建虚拟环境 conda create -n huggingface python==3.10.9 conda activate huggingface 安装依赖包 conda install pytorch torchvision -c pyto... 阅读更多
SDXL-Turbo 模型 SDXL-Turbo 代码 Clipdrop SDXL TURBO Real-Time Text-to-Image Generation Stable Diffusion 台灣社群v2 下载代码 git clone https://github.com/Stability-AI/generative-models.git Stability-... 阅读更多
Text Generation Inference Text Generation Inference Swagger UI TGI 介绍 TGI 是一个用于部署和服务大型语言模型（LLM）的工具包。 TGI 为最流行的开源 LLM 提供高性能文本生成，包括 Llama、Falcon、StarCoder、BLOOM、GPT-NeoX 和 T5 。 张量并行性，可在多个 G... 阅读更多
Ollama Embedding models 部署 下载 安装 运行 ollama run llama2 通过 API 访问 curl http://localhost:11434/api/generate -d '{ "model": "llama2", "prompt": "Why is the sky blue?", "... 阅读更多
Copilot for CLI GitHub CLI 在 macOS 安装 GitHub CLI 安装 brew install gh 升级 brew upgrade gh 登录 gh auth login ? What account do you want to log into? GitHub... 阅读更多
llama.cpp 纯 C/C++ 实现 Apple 芯片 ARM NEON, Accelerate, Metal x86 架构 AVX, AVX2, AVX512 混合F16/F32精度 整数量化 2-bit, 3-bit, 4-bit, 5-bit, 6-bit, 8-bit 后端支持 CUDA, Metal, OpenCL GPU 构建 ❶ 克隆 llam... 阅读更多
TensorRT-LLM’s Documentation Triton Tutorials NVIDIA Triton Inference Server Documentation TensorRT-LLM TensorRT-LLM 为用户提供了易于使用的 Python API 来定义大型语言模型 (LLM) 并构建包含最先进优化的 TensorRT 引擎，以便在 NVID... 阅读更多
Seamless Communication ASR: Automatic speech recognition for 96 languages. S2ST: Speech-to-Speech translation from 100 source speech languages into 35 target speech languages. S2TT: Speec... 阅读更多
文档 这里使用的文档是：合作方人员出勤及结算管理信息化支撑规则 一、出勤打卡 出勤打卡包括：正常出勤打卡、出差打卡、外出打卡、加班打卡。 1. 正常出勤打卡：指正常的出勤办公打卡。 （1）全天出勤打卡：上班打卡：8点30分之前打卡。下班打卡：17点30分之后打卡。 （2）半天出勤打卡。上午打卡时间段：8点30分之前、12点之后。下午时间段：13点之前，17点30分之后。 （3）打卡(考... 阅读更多
下载 GPT4All 客户端（macOS） 下载模型 聊天 基于目录构建本地文档集合 本地服务 启用 API 服务器 打开服务聊天窗口 查看本地下载的模型 ll /Users/junjian/Library/Application\ Support/nomic.ai/GPT4All/*.gguf ... 阅读更多
安装 brew update brew install nginx 启动服务 brew services start nginx Docroot is: /opt/homebrew/var/www The default port has been set in /opt/homebrew/etc/nginx/nginx.conf to 8080 so that nginx can ... 阅读更多
该文档详细介绍了 2023年全国行业职业技能竞赛，涵盖了多个技术任务。任务一侧重于语音处理，通过Python代码展示了如何利用腾讯云API进行语音识别和语音合成，包括音频文件的Base64编码转换和请求参数配置，并输出了实际的识别结果。任务二则聚焦于语音模型，阐述了声学模型的初始化、加载预训练模型以及语音识别的整个流程，并提到了模型训练的配置。任务三涉及文本处理，通过requests库抓取网页内容，并利用re、BeautifulSoup和lxml.etree等工具进行网页内容解析和文本提取，同时展示了文本清洗、数据扩充以及使用Stanford CoreNLP进行中文分词、词性标注和命名实体识别。任务四是数据分析与可视化，展示了如何从Excel文件中读取急诊科就诊数据，并计算男女比例、每日就诊人数和各诊室就诊人数，最终通过matplotlib库生成饼状图、柱状图和折线图进行数据可视化。 阅读更多
通过 CPU 服务器访问 GPU 服务器 NGINX 配置文件 sudo vim /etc/nginx/sites-available/default 配置反向代理 server { listen 8888; server_name cpu1; location / { proxy_pass http://cpu1:8300/; } ... 阅读更多
13 号 上午 GPU 服务器突然不能访问了，可以通过 CPU 服务器访问 GPU 服务器。这一周一直在查找问题，这里记录一下过程。 traceroute 路由追踪 GPU 服务器 traceroute gpu1 traceroute to gpu1 (172.16.33.66), 64 hops max, 52 byte packets 1 * * *... 阅读更多
使用 Transformers 的 Pipeline 进行推理 安装依赖包 pip install datasets evaluate transformers[sentencepiece] 英文情感分类 from transformers import pipeline classifier = pipeline("sentiment-analysis") classifier( ... 阅读更多
Chatbot Arena FastChat LMSYS BLOG Use AutoGen for Local LLMs 安装 pip pip install "fschat[model_worker,webui]" 源代码 这种方式安装比较容易调试，适合开发者。 克隆代码 git clone https://github.com/lm-sys/FastC... 阅读更多
数据 weather_texts = [ "😀 今天天气舒适，心情大好。", "😀 今天天气晴朗，阳光明媚。", "😀 今天天气宜人，适合出门游玩。", "😀 今天天气没有下雨，真是太好了。", "😀 今天天气比昨天好多了，真是令人欣喜。", "😀 今天天气晴空万里，蓝天白云，真是美不胜收。", "😀 今天天气温暖如春，空气清新，让人心... 阅读更多
文档 这里使用的文档是：合作方人员出勤及结算管理信息化支撑规则 一、出勤打卡 出勤打卡包括：正常出勤打卡、出差打卡、外出打卡、加班打卡。 1. 正常出勤打卡：指正常的出勤办公打卡。 （1）全天出勤打卡：上班打卡：8点30分之前打卡。下班打卡：17点30分之后打卡。 （2）半天出勤打卡。上午打卡时间段：8点30分之前、12点之后。下午时间段：13点之前，17点30分之后。 （3）打卡(考... 阅读更多
API_KEY 方法一 from fastapi import Security, HTTPException, status from fastapi.security.api_key import APIKeyHeader API_KEY="123456" API_KEY_NAME = "X-API-KEY" api_key_header = APIKeyHeader(name=AP... 阅读更多
这里主要是了解 Dockerfile 中 ARG 指令的作用范围。 总结 FROM 前定义的参数，只能在 FROM 指令中使用，且能够在多阶段中起作用。 ARG BASE_IMAGE=python:3.10.9 FROM ${BASE_IMAGE} AS builder ... FROM ${BASE_IMAGE} ... FROM 后定义的参数，只能作用在本... 阅读更多
OCR 引擎 EasyOCR EasyOCR 支持 80+ 语言。 Abaza = 'abq' Adyghe = 'ady' Afrikaans = 'af' Angika = 'ang' Arabic = 'ar' Assamese = 'as' Avar = 'ava' Azerbaijani = 'az' Belarusian = 'be' Bulgarian = 'bg' Bih... 阅读更多
首页 重定向到 Swagger UI @app.get("/", include_in_schema=False) async def index(): return RedirectResponse('/docs', status_code=303) 使用 route 的 docstring 作为首页内容 @app.get("/", response_class=HTMLR... 阅读更多
两种方法 (file: UploadFile = File(…), mask: Json = Form(default=None)) from pydantic import BaseModel, Json, ValidationError from fastapi import APIRouter, File, UploadFile, HTTPException, Form, Depe... 阅读更多
问题描述 我的 MacBook Pro M2 Max 能够连接上 WiFi，但是无法上网，我进行了以下尝试： 路由器（没有问题）； 重启电脑； 断开 WiFi 重新连接； 解决方案 最后，我在抖音上看到了一个解决方案，我尝试了一下，果然解决了问题。 打开访达，按下Command + Shift + G，输入/Library/Preferences/SystemConfig... 阅读更多
Leaderboards LLM Open LLM Leaderboard Qwen-7B ChatGLM2-6B Embedding 模型 Massive Text Embedding Benchmark (MTEB) Leaderboard sensenova/piccolo-large-zh piccolo是一个通用embedding模型(中文), 由来自商汤科技的通用模型组完... 阅读更多
模型 Taiyi-CLIP-Roberta-102M-Chinese 中文CLIP模型 使用电网的图片测试了一下，效果不理想。 HuggingFace 下载 The pipeline API using pipelines with a local model How to download hugging face sentiment-analysis pipeline t... 阅读更多
DirectPV 安装 DirectPV plugin Krew kubectl krew update kubectl krew install directpv Release 二进制 release=$(curl -sfL "https://api.github.com/repos/minio/directpv/releases/latest" | awk '/tag_name/ ... 阅读更多
🔥 大模型 ChatGPT 讯飞星火 活字通用大模型 🔥 Andrej Karpathy State of GPT 微软2023年Build大会演讲：如何训练和应用GPT State of GPT 笔记 🔥 李沐 论文精读 如何读论文 AlexNet ResNet 零基础多图详解图神经网络（GNN/GCN） GAN Transformer BER... 阅读更多
介绍 Velero 是一款开源工具，用于安全备份和恢复、执行灾难恢复以及迁移 Kubernetes 集群资源和持久卷。 功能 灾难恢复 减少基础设施丢失、数据损坏和/或服务中断时的恢复时间。 数据迁移 通过轻松地将 Kubernetes 资源从一个集群迁移到另一个集群，实现集群可移植性。 数据保护 提供关键数据保护功能，例如计划备份、... 阅读更多
ChatGLM2-6B ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，ChatGLM2-6B 引入了如下新特性： 更强大的性能：基于 ChatGLM 初代模型的开发经验，我们全面升级了 ChatGLM2-6B 的基座模型。ChatGLM2-6B 使用了 GLM 的混合目标函数，经过了... 阅读更多
部署单实例 MySQL 创建 PVC（NFS） mysql-pvc.yaml apiVersion: v1 kind: PersistentVolumeClaim metadata: name: mysql-pv-claim spec: storageClassName: nfs-client accessModes: - ReadWriteOnce resource... 阅读更多
监控组件 Prometheus Prometheus 是一个开源系统监控和警报工具包。 架构图 Grafana Grafana 用于对收集并存储在 Prometheus 数据库中的指标进行分析和交互式可视化。 您可以以 Prometheus 作为数据源，为 Kubernetes 集群创建自定义图表、图形和警报。 Prometheus Operator 概述 Prometheus Op... 阅读更多
在 Kubernetes 集群中部署 ECK（Elastic Cloud Kubernetes） 安装自定义资源定义（Custom Resource Definition, CRD） kubectl create -f https://download.elastic.co/downloads/eck/2.8.0/crds.yaml customresourcedefinition.ap... 阅读更多
PVC 操作流程 Volume 卷的核心是一个目录，其中可能存有数据，Pod 中的容器可以访问该目录中的数据。 所采用的特定的卷类型将决定该目录如何形成的、使用何种介质保存数据以及目录中存放的内容。 使用卷时, 在 .spec.volumes 字段中设置为 Pod 提供的卷，并在 .spec.containers[*].volumeMounts 字段中声明卷在容器中的挂载位置。 e... 阅读更多
How Diffusion Models Work 扩散模型如何工作 Intuition（直觉） Making images useful to a neural network（使图像对神经网络有用） 噪声处理：添加不同的噪声级别到训练数据中。 灵感来源于物理学，你可以想像一滴墨水滴入一杯水中，最初你确切地知道它落在哪里，但随着时间的推移，你看到到扩散到水中，直到消失。 神经... 阅读更多
Building Systems with the ChatGPT API 使用 ChatGPT API 构建系统 Language Models, the Chat Format and Tokens（语言模型、聊天格式和 Tokens） Load OpenAI API key import os import openai import tiktoken from dotenv i... 阅读更多
LangChain for LLM Application Development LangChain 是用于构建 LLM 应用程序的开源框架 LLM 应用程序开发的 LangChain LangChain: Models, Prompts and Output Parsers 安装依赖包 pip install python-dotenv pip install openai ... 阅读更多
介绍 Learn about the training pipeline of GPT assistants like ChatGPT, from tokenization to pretraining, supervised finetuning, and Reinforcement Learning from Human Feedback (RLHF). Dive deeper into... 阅读更多
参考资料 Fine-tuning Fine tuning classification example Model Pricing JSON Lines 阅读更多
ChatGPT Prompt Engineering for Developers 由Isa Fulford（OpenAI）和Andrew Ng（DeepLearning.AI）教授的课程将描述 LLM 的工作原理，提供快速工程的最佳实践，并展示 LLM API 如何用于各种任务的应用程序。 面向开发人员的 ChatGPT 提示工程 Instroduction（介绍） Guidelin... 阅读更多
Whisper 功能 将音频转录成音频所使用的任何语言。 将音频翻译并转录成英文。 文件上传目前限制为 25 MB，并且支持以下输入文件类型：mp3, mp4, mpeg, mpga, m4a, wav, webm. 语音内容 Mira Murati 是一位对人工智能技术充满热情的科技领袖，她的理念和影响对人工智能技术的发展和应用产生了深远的影响。 她认为人工智能技术应该是... 阅读更多
Stable Diffusion 模型 Stable Diffusion v1-5 数据集 LAION-5B 一个由 58.5 亿个 CLIP 过滤的图像-文本对组成的数据集 CLIP Retrieval 工作原理是将文本查询转换为 CLIP 嵌入，然后使用该嵌入来查询剪辑图像嵌入的 knn 索引，在搜索演示中搜索数据集。 Stable Diffusion GUI Diffusi... 阅读更多
多平台构建器 当前构建器实例是驱动程序 docker-container，可以同时指定多个平台。在这种情况下，它会构建一个清单列表，其中包含所有指定架构的镜像。在构建的时候可以并行构建多个架构的镜像。 docker run 当您在使用此镜像时 docker service，Docker 会根据节点的平台选择正确的镜像。 有个缺点：必须发布到 Docker Hub 或者私有仓库，因为 Do... 阅读更多
今天用 Docker 构建镜像，突然就挂了。重启 Docker，发现 Docker 无法启动了。 出现的错误 🐳 Building platen-switch:arm64 [+] Building 0.0s (2/2) FINISHED ... 阅读更多
CPU 服务器信息 lscpu Architecture: x86_64 CPU op-mode(s): 32-bit, 64-bit Byte Order: Little Endian Address sizes: 46 bits physi... 阅读更多
.DS_Store 文件 .DS_Store 是 Desktop Services Store 的缩写。 .DS_Store 是 macOS 操作系统中隐藏的文件，它存储有关文件夹的元数据，例如文件夹中的文件位置、文件夹的显示选项和自定义图标等信息。这些元数据是用来帮助操作系统更快地显示文件夹中的内容，并记住用户的偏好设置。这些文件只是本地的，不会在网络文件共享时传输，因此不会影响其他操作... 阅读更多
这里使用 Ultralytics Serving 作为示例，它是一个基于 FastAPI 和 Ultralytics YOLOv8 的模型推理服务。 选择 Python 镜像 Tag Python Version OS Version Size 3.10 3.10 ... 阅读更多
查看镜像信息 操作系统版本 cat /etc/os-release Debian PRETTY_NAME="Debian GNU/Linux 11 (bullseye)" NAME="Debian GNU/Linux" VERSION_ID="11" VERSION="11 (bullseye)" VERSION_CODENAME=bullseye ID=debian H... 阅读更多
共享软件包缓存的好处是，一旦用户已经下载了软件包的特定版本，它将不会再次下载并存储在单独的缓存中。这节省了磁盘使用量并加快了安装速度，因为它不需要再次下载软件包。 Conda 查看 Conda 当前环境的信息 conda info active environment : base active env location : /opt/miniconda ... 阅读更多
Spark Desk 是讯飞星火认知大模型的英文名称。 👍零样本分类 ❓ “这个手机的功能不好用”这是好评还是差评？ 💬 这个手机的功能不好用，是差评。 👎少样本分类 ❓ 电脑：3C；手机：3C；铅笔： 💬 3C; 👍英语语法更正 ❓ Correct this to standard English: She no went to the market. 💬 She ... 阅读更多
开发文档 Speech to text API reference Audio 查看音频文件信息 file data/podcast_clip.mp3: Audio file with ID3 version 2.4.0, contains: MPEG ADTS, layer III, v1, 64 kbps, 44.1 kHz, Stereo ffprobe ffprobe -hid... 阅读更多
PaddleSpeech 介绍 PaddleSpeech 是基于飞桨 PaddlePaddle 的语音方向的开源模型库，用于语音和音频中的各种关键任务的开发，包含大量基于深度学习前沿和有影响力的模型。 功能 语音识别 语音合成 声音分类 声纹提取 标点恢复 语音翻译 学习 飞桨PaddleSpeech语音技术课程 教程文档 安装 conda cr... 阅读更多
Chain 链允许我们将多个组件组合在一起以创建一个单一的、连续的应用程序。我们可以通过将多个链组合在一起，或者通过将链与其他组件组合来构建更复杂的链。 LLMChain LLMChain 是一个简单的链，它接受一个提示模板，用用户输入格式化它并返回来自 LLM 的响应。 语言模型（text-davinci-003） from langchain.chains import LLMCha... 阅读更多
LangChain 通过可组合性使用 LLM 构建应用程序 介绍 大型语言模型 (LLM) 正在成为一种变革性技术，使开发人员能够构建他们以前无法构建的应用程序。 但是，单独使用这些 LLM 往往不足以创建真正强大的应用程序——当您可以将它们与其他计算或知识来源相结合时，真正的力量就来了。 Documentation 安装 pip install langchain # or cond... 阅读更多
Hugging Face Hugging Face 是所有机器学习任务的大本营。 您可以在这里找到开始一项任务所需的内容：演示、用例、模型、数据集等等！ Models Datasets Spaces 创建和托管很棒的机器学习演示 Documentations Solutions Expert Acceleration Program（专家加速计划）- 加速您的 ML 路线图 从我们... 阅读更多
Hugging Face 上创建 ChatGPT Space 克隆 git clone https://huggingface.co/spaces/wangjunjian/ChatGPT cd ChatGPT 创建应用（聊天机器人） chat.py 这里的 Conversation 记录了所有的对话消息，在提问前，会检查是否超过最大 token 数量，如果超过，会删除第一条与用户的对... 阅读更多
Chat Completion 模型 gpt-3.5-turbo gpt-4 可以做很多事情 起草电子邮件或其他书面文件 编写 Python 代码 回答有关一组文件的问题 创建会话代理 为您的软件提供自然语言界面 一系列科目的导师 翻译语言 模拟视频游戏中的角色等等 API 调用 例子 import os import openai op... 阅读更多
什么是 Embedding？ 文本嵌入用于衡量文本字符串的相关性。嵌入通常用于： 搜索（结果按与查询字符串的相关性排序） 聚类（其中文本字符串按相似性分组） 推荐（推荐具有相关文本字符串的项目） 异常检测（识别出相关性很小的异常值） 多样性测量（分析相似性分布） 分类（其中文本字符串按其最相似的标签分类） 嵌入是浮点数的向量（列表）。两个向量之间的距离衡量它们的... 阅读更多
工具 Examples Playground 了解标记和概率 分词器工具 GPT 比较工具 介绍 概述 OpenAI API 几乎可以应用于任何涉及理解或生成自然语言、代码或图像的任务。提供一系列具有不同功率级别的模型，适用于不同的任务，并且能够微调您自己的自定义模型。这些模型可用于从内容生成到语义搜索和分类的所有领域。 关键概念 Prompts 设计提示本质上是您“编程”模型的方式，通... 阅读更多
Electrical Safety Work Procedures (电力安全工作规程) 数据 专业 题型 题目内容 题目依据条款 选项 正确答案 变电专业 单选题 雷雨天气，需要巡视室外高压设备时，应穿（ ），并不准靠近避雷器和避... 阅读更多
LLMS 大语言模型综述 - A Survey of Large Language Models ChatGPT document.ai LLaMA LLaMA LLaMA: Open and Efficient Foundation Language Models Llama Hub llama.cpp ChatLLaMA ChatLLaMA... 阅读更多
文心一言 👎分类 ❓ 电脑：3C；手机：3C；铅笔： 💬 非常抱歉，我之前的回答有误。 * 电脑是一种3C产品。 * 手机也是一种3C产品。 * 铅笔不是一种3C产品。 如您还有其他问题，欢迎继续向我提问。 👎情感分类 ❓ “这个手机的功能不好用”这是好评还是差评？ 💬 这是一个主观的评价，可以根据个人的使用体验和需求来进行判断。如果这个手机的功能符合个人的需求，那么这个评价可... 阅读更多
AutoGPT 下载 git clone https://github.com/Torantulino/Auto-GPT.git cd Auto-GPT 安装 conda create --name autogpt python=3.9 conda activate autogpt pip install -r requirements.txt 配置 cp .env.tem... 阅读更多
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。 聊天 ChatGLM-6B 下载 克隆 https://github.com/THUDM/ChatGLM-6B.git cd ChatGLM-6B 下载模型 从 Hugging Face Hub 下载模型 git clon... 阅读更多
zsh 中使用单引号（'），不对特殊符号进行解析，使用双引号（"）会对特殊符号进行解析，如：$ docker rmi none alias docker.rmi.none='docker rmi --force $(docker images -q --filter "dangling=true")' 在终端通过 Safari 打开网址 alias open.chatgpt='open ... 阅读更多
Ultralytics Serving Inference service based on Ultralytics 创建虚拟环境 python -m venv venv source venv/bin/activate 安装依赖包 创建 requirements.txt fastapi python-multipart aiofiles onnxruntime ultralytics ... 阅读更多
什么是 REST API？ REST API 也称为 RESTful API，是遵循 REST 架构规范的应用编程接口（API 或 Web API），支持与 RESTful Web 服务进行交互。REST 是表述性状态传递的英文缩写，由计算机科学家 Roy Fielding 创建。 如何实现 RESTful API？ API 要被视为 RESTful API，必须遵循以下标准： 客户... 阅读更多
开发文档 Visual Studio Code Tips and Tricks Python in Visual Studio Code Python testing in Visual Studio Code Docker Getting Started Tutorial 扩展 Jupyter GitHub Copilot GitHub Copilot ... 阅读更多
注册 打开 GitHub Copilot - Your AI pair programmer，可以选择 Copilot for Individuals（Copilot个人版） 进行免费 2 个月的试用，每年 $100 ，可以使用 PayPal 进行支付。 Getting started with GitHub Copilot IDE 集成 VS Code GitHub Copi... 阅读更多
准备数据集 目录结构 data.yaml train: ../train/images val: ../valid/images test: ../test/images nc: 1 names: ['logo'] 压缩成 zip 文件 登录 Ultralytics Hub Projects 创建项目 Datasets 上传数据集 数据集图像 数据集概貌 Tra... 阅读更多
创建工作区 在 Workspaces 侧边栏单击 ”Add Workspace“。 工作区是团队可以协作创建、管理和标记数据集以及训练和部署模型的地方。 创建项目 单击 “Create New Project” 项目的菜单项 Upload（上传数据集） 支持直接上传标注好的数据集。 Annotate（标注） Dataset（数据集） Generate（生成新版本... 阅读更多
Ultralytics Ultralytics YOLOv8 Ultralytics YOLOv8 Docs 构建环境 Ultralytics 镜像 GPU docker pull ultralytics/ultralytics:latest CPU docker pull ultralytics/ultralytics:latest-... 阅读更多
LLaMA LLaMA-13B 在大多数基准上的表现优于 GPT-3（175B），LLaMA-65B 与最好的型号 Chinchilla-70B 和 PaLM-540B 具有竞争力。 LLaMA: Open and Efficient Foundation Language Models 克隆 git clone https://github.com/facebookresearc... 阅读更多
准备音频文件 macOS 上打开 QuickTimePlayer [文件] -> [新建音频录制] 录制 朗读：荷兰发布了一份主题为“宣布即将对先进半导体制造设备采取的出口管制措施”的公告表示，鉴于技术的发展和地缘政治的背景，政府已经得出结论，有必要扩大现有的特定半导体制造设备的出口管制。 停止 保存(test.m4a) 荷兰限制部分型号光刻机出口 中国... 阅读更多
EPEL（Extra Packages for Enterprise Linux）是为企业级Linux操作系统（如CentOS、Red Hat Enterprise Linux等）提供的一个高质量、稳定的软件仓库，包含了许多不包含在标准软件仓库中的软件包。 安装 EPEL 软件仓库 yum -y install epel-release FAQ 不能安装软件 No match for ... 阅读更多
ChatGPT Wrapper ChatGPT Wrapper is an open-source unofficial Power CLI, Python API and Flask API that lets you interact programmatically with ChatGPT. 安装 必要条件 macOS brew install moreutils ... 阅读更多
Apple 芯片上进行硬件加速的框架 Video Toolbox VideoToolbox 是一个低级框架，可提供对硬件编码器和解码器的直接访问。它提供视频压缩和解压缩服务，以及存储在 CoreVideo 像素缓冲区中的光栅图像格式之间的转换。这些服务以会话对象（压缩、解压缩和像素传输）的形式提供。 VideoToolbox还包括一些命令行工具，例如vttool、vtenc、vtdecod... 阅读更多
launchd 一个统一的开源服务管理框架，用于启动、停止和管理守护进程、应用程序、进程和脚本。由 Apple 的 Dave Zarzycki 编写和设计，它随 Mac OS X Tiger 引入并获得许可Apache 许可证。 Daemon vs Agent launchd 区分代理和守护进程。主要区别在于，代理代表登录用户运行，而守护进程代表根用户或您使用 UserName 键指定... 阅读更多
安装 OpenVINO（手动编译） brew install cmake brew install automake brew install --build-from-source libtool brew install --build-from-source libunistring brew install --build-from-source libidn2 brew insta... 阅读更多
GPT 由 OpenAI 训练的大型语言模型，也称为 Generative Pretrained Transformer。 版本 发布时间 模型参数 GPU内存 能力 GPT 2018年 1.17亿 8G 文本自动补全... 阅读更多
DIY自己的软路由系统 LEDE 我买了一个使用 Intel 赛扬处理器的路由器。主要是为了搭梯子，2020年的时候网上编译好的系统不支持 TROJAN 协议，所以我自己使用 LEDE 编译。他的 SSR Plus+ 组件支持 SS/SSR/V2RAY/TROJAN 等协议. Images built after May 31 2020 are based on Ubuntu 18.... 阅读更多
安装 PyTorch sudo conda create --name pytorch python conda activate pytorch conda install pytorch torchvision torchaudio -c pytorch 安装每日构建版本 pip3 install --pre torch torchvision torchaudio --index... 阅读更多
安装 TensorFlow sudo conda create --name tensorflow python conda activate tensorflow # 不指定环境(-n)，默认安装到base环境 sudo conda install -c apple -n tensorflow tensorflow-deps pip install tensorflow-macos pi... 阅读更多
Apple macOS Command find 办公 WPS Chrome 浏览器 Chrome 插件 Awesome Screenshot 屏幕录像 屏幕截图。支持长图 如何在Mac上截取整个网页长图？ Google 翻译 工具 数码测色计使用手册 LICEcap 录制屏幕为动图(GIF) Github LICEcap My Zsh sh -... 阅读更多
今天预订的 MacBook Pro M2Max 16寸 顶配 64G内存 2T硬盘到了，¥36097 。 硬件信息 芯片、内存 system_profiler SPHardwareDataType | head -n 9 Hardware: Hardware Overview: Model Name: MacBook Pro Model Identifi... 阅读更多
Master 节点 查询可用安装包的信息 $ apt-cache madison kubeadm | head kubeadm | 1.26.0-00 | https://mirrors.aliyun.com/kubernetes/apt kubernetes-xenial/main amd64 Packages kubeadm | 1.25.5-00 | https://mirrors... 阅读更多
快手技术 VP 王仲远对于 AI、大模型、深度学习的预测 2021-09-02 CV、Speech、NLP，背后主流的模型基本上都是基于 Transformer。在未来可能各方面的技术边界越来越模糊，事实上现在已经逐渐出现越来越多的多模态技术研究。技术融合变得门槛很低，但大家做的事越来越相像。 重要的研究方向 大模型 怎么让黑盒的深度学习跟知识能够进行融合变成可解释，然后增加常识... 阅读更多
使用 Docker 运行 DL Workbench Run the DL Workbench Locally 拉取镜像 docker pull openvino/workbench:2022.1 运行 docker run -p 0.0.0.0:5665:5665 --name workbench -it openvino/workbench:2022.1 浏览器访问 ht... 阅读更多
研扬 研扬 AI 专属网站 研扬科技 UP 研扬品牌店 UP Squared board/UP2 Intel x86开发板支持win10/ubuntu含散热片 AI Core XM2242神经计算棒Myriad X加速棒UP系列x86开发板M.2接口 AI Core XM2280神经计算棒movidius Myriad X UP2 AI视觉开发套... 阅读更多
EasyEdge 端与边缘 AI 服务平台 使用 文档 EasyEdge 是基于百度飞桨轻量化推理框架 Paddle Lite 研发的端与边缘 AI 服务平台，能够帮助深度学习开发者将自建模型快速部署到设备端。可基于多种深度学习框架、网络结构的模型，快捷转换发布适配多种 AI 芯片与操作系统的端/边缘计算模型，支持纯离线计算/端云协同服务。 硬件平台适配 操作系统 Lin... 阅读更多
安装依赖库 pip install typer python-docx 编写脚本 workload-evaluation.py import os import logging import shutil import random import zipfile import openpyxl import typer from copy import copy from openpy... 阅读更多
模型在使用 TVM 优化编译器框架进行转换时的步骤 from tvm.driver import tvmc model = tvmc.load('resnet50-v2-7.onnx') package = tvmc.compile(model, target="llvm") from tvm.driver import tvmc model = tvmc.load('sign.o... 阅读更多
Ubuntu 下安装依赖包 sudo apt-get update sudo apt-get install -y python3 python3-dev python3-setuptools gcc libtinfo-dev zlib1g-dev build-essential cmake libedit-dev libxml2-dev 获取源代码 git clone --recurs... 阅读更多
NVIDIA Jetson NVIDIA Jetson™ 是世界领先的平台，适用于自主机器和其他嵌入式应用程序。该平台包括 Jetson 模组（外形小巧的高性能计算机）、用于加速软件的 NVIDIA JetPack™ SDK，以及包含传感器、SDK、服务和产品的生态系统，从而加快开发速度。Jetson 与其他 NVIDIA 平台上所用的相同 AI 软件和云原生工作流相兼容，并能为客户提供构建... 阅读更多
onnxsim 本身只提供 constant folding/propagation（即消除结果恒为常量的算子）的能力，而图变换（即合并 conv 和 bn 等等）的能力是由 onnxsim 调用 onnx optimizer 的各种 pass 实现的。constant folding 和图变换同时使用时，很多隐藏的优化机会会被挖掘出来，这也是 onnxsim 优化效果出色的原因之一。例如 ... 阅读更多
融合卷积和批量标准化的原理 PyTorch 卷积与BatchNorm的融合 PyTorch 的实现 def fuse_conv_bn_eval(conv, bn, transpose=False): assert(not (conv.training or bn.training)), "Fusion only for eval!" fused_conv = co... 阅读更多
指定浏览器打开链接 open -a Safari http://stackoverflow.com/ open -a Firefox http://stackoverflow.com/ open -a Chrome http://stackoverflow.com/ 参考资料 Terminal command to open Safari How to open Google ... 阅读更多
下载文件 下载单个文件 curl http://book.d2l.ai/_images/catdog.jpg -o catdog.jpg 下载多个文件 curl https://download.01.org/opencv/2021/openvinotoolkit/2021.1/open_model_zoo/models_bin/1/face-detection-retail-0004/... 阅读更多
性能指标评测工具 该工具使用卷积网络执行推理。性能可以测量两种推理模式： 同步（面向延迟 Latency） 异步（面向吞吐量 Throughput） 帮助信息 -i PATHS_TO_INPUT [PATHS_TO_INPUT ...], --paths_to_input PATHS_TO_INPUT [PATHS_TO_INPUT ...] ... 阅读更多
交叉检查工具 (Cross Check Tool) 可以比较两个连续模型推理的准确性和性能指标，这些推理在两个不同的受支持的英特尔设备上执行或以不同的精度执行。交叉检查工具可以比较每层或整个模型的指标。 查看帮助信息 $ python cross_check_tool.py -h usage: -----------------------------------------------... 阅读更多
深度学习准确性验证框架 例子 进入 accuracy_checker 目录 cd open_model_zoo/tools/accuracy_checker 下载数据集 wget https://www.cs.toronto.edu/~kriz/cifar-10-python.tar.gz tar xvf cifar-10-python.tar.gz -C sample 配置文件结... 阅读更多
IGD（Integrated Graphics Device） 操作系统：Ubuntu 18.04，主机有一张 NVIDIA 的独立显卡 GP106 [GeForce GTX 1060 6GB]，还有 Intel 酷睿处理器 i5 8500 自带的集成显卡（Intel UHD Graphics 630）。为了更充分的使用独立显卡用于深度学习计算，需要把集成显卡用于显示。在这个过程中遇到了各... 阅读更多
NVIDIA 软件栈 GPU Driver NVIDIA 驱动程序下载 Ubuntu 搜索有效的显卡驱动 sudo ubuntu-drivers devices #搜索匹配 sudo apt search nvidia- 安装驱动 sudo apt install nvidia-driver-510 重启系统 sud... 阅读更多
Quick Start Examples Install # clone git clone https://github.com/ultralytics/yolov5 cd yolov5 # create virtual python environments python -m venv yolov5_env source yolov5_env/bin/activate python... 阅读更多
网络性能分析 查看每层的性能测量值，可以获得最耗时的层。 实现方式 通过配置收集指定设备上的性能分析 core = Core() core.set_property(device_name, {"PERF_COUNT": "YES"}) 通过推理请求获得性能分析数据 request = compiled_model.create_infer_request() results = re... 阅读更多
目标检测 激活 OpenVINO 开发环境 source openvino_env/bin/activate 预训练模型 ssd300 来自 PASCAL VOC2007 的 20 个类别：<omz_dir>/data/dataset_classes/voc_20cl_bkgr.txt 下载模型 $ omz_downloader --name ssd300 ####... 阅读更多
同步推理 激活 OpenVINO 开发环境 source openvino_env/bin/activate 预训练模型 alexnet googlenet-v1 来自 ImageNet 的 1000 个类别：<omz_dir>/data/dataset_classes/imagenet_2012.txt 下载模型 $ omz_downloader --name... 阅读更多
Open Model Zoo automation tools omz_downloader 用于访问预训练深度学习公共模型和英特尔训练模型的集合。 omz_converter 使用模型优化器将存储在原始深度学习框架格式中的 Open Model Zoo 模型转换为 OpenVINO 中间表示 (IR)。 omz_quantizer 用于使用训练后优化工具（Post-Training O... 阅读更多
OpenVINO 工作流程 OpenVINO 包含一整套开发和部署工具，本工作流研究从设置和计划解决方案到部署的关键步骤。 🎃 0 计划和设置 ➔ 1 训练模型 ➔ 2 转换和优化 ➔ 3 调整性能 ➔ 4 部署应用程序 0 先决条件：计划和设置 选择您的主机和目标平台，然后选择型号。 确定环境和配置 该工具套件支持 Linux、Windows、macOS* 和 Raspbian*... 阅读更多
OpenVINO Open Visual Inference and Neural network Optimization OpenVINO 安装 Development pip 安装 下载 安装 OpenVINO 开发工具 python -m venv openvino_env Linux source openvino_env/bin/activa... 阅读更多
创建项目 创建目录 mkdir project cd project 创建虚拟环境 python -m venv env source env/bin/activate # 退出命令 deactivate 创建 requirements.txt 文件 fastapi python-multipart aiofiles uvicorn gunicorn 安装需要的库 pip ins... 阅读更多
服务器 CPU 40核，内存 256G，操作系统 Ubuntu 20.04，Python3.9 RESTAPI 基于 FastAPI 实现的文件上传和下载 router = APIRouter(prefix='/file_benchmarking', tags=['Files']) @router.post('/upload/binary/chunk/async_func/as... 阅读更多
CPU 概念 平均负载 单位时间内，系统处于可运行状态和不可中断状态的平均进程数，也就是平均活跃进程数，它和 CPU 使用率并没有直接关系。 当平均负载高于 CPU 数量 70% 的时候，你就应该分析排查负载高的问题了。一旦负载过高，就可能导致进程响应变慢，进而影响服务的正常功能。 70% 这个数字并不是绝对的，最推荐的方法，还是把系统的平均负载监控起来，然后根据更多的历史数据，判断负载的... 阅读更多
使用 FastAPI 实现了文件的上传和下载，部署服务使用了 uvicorn 和 gunicorn+uvicorn 两种方法。 基准测试工具使用的是 wrk 服务器 CPU 40核，内存 256G，操作系统 Ubuntu 20.04，Python3.9 测试流程 使用的测试图片 health.jpg (256kb) 生成测试数据 生成通过 HTTP POST ... 阅读更多
问题 基于之前安装 Python3.8 的经验，运行下面的命令就可以成功安装 Python3.9 和 pip，但是这回失败了。 sudo apt install build-essential python3.9 python3.9-dev -y sudo ln -s /usr/bin/python3.9 /usr/bin/python curl https://bootstrap.pypa... 阅读更多
开放端口设置 配置路径 云服务器 ECS 网络与安全 安全组 安全组规则 入方向 ... 阅读更多
捕获 HTTP 请求的内容 监听端口，用于捕获数据。 nc -l port 发送 HTTP 请求。 curl http://ip:port/ GET 请求 curl http://127.0.0.1:8000/ GET /?name=wjj HTTP/1.1 Host: 127.0.0.1:8000 User-Agent: ... 阅读更多
健康码识别服务使用了 FastAPI 进行开发的，本周主要工作是为了对健康码识别的服务进行性能调优。接口函数使用了 async 关键字，但是内部的实现并没有使用 await。由于改写成异步代码需要时间，这里并没有改写代码，只是删除了 async 关键字。部署服务使用了 uvicorn 和 gunicorn+uvicorn 两种方法。 基准测试工具使用的是 ab 测试流程 ... 阅读更多
wrk wrk 使用的是 HTTP/1.1 安装 需要从 GitHub 上克隆代码自己编译，编译前需要安装 git, gcc。 git clone https://github.com/wg/wrk.git cd wrk #使用多线程（机器的处理器核数）加速编译， make -j $(nproc) cp wrk /usr/local/bin/ 测试 10 个线程，保持打开 100 个并... 阅读更多
今天登录阿里云安装应用出现 404 问题 yum install install httpd-tools -y CentOS-8 - AppStream ... 阅读更多
安装依赖库 pip install typer python-docx 编写生成个人周报的应用 制作个人周报模版 个人周报－{}－{}.xlsx 编写应用 weekly.py import shutil import openpyxl import typer from datetime import datetime, timedelta def get_weekly_info(... 阅读更多
操作 Word 文档 安装依赖库 python-docx pip install python-docx 示例 from docx import Document from docx.shared import Inches document = Document() document.add_heading('Document Title', 0) p = document.ad... 阅读更多
系统 指定本地时区 FROM ubuntu:20.04 LABEL maintainer="wang-junjian@qq.com" ARG TIME_ZONE=Asia/Shanghai RUN DEBIAN_FRONTEND=noninteractive apt-get install tzdata -y && \ ln -fs /usr/share/zonei... 阅读更多
构建镜像 FROM paddlepaddle/paddle:2.2.2-gpu-cuda10.2-cudnn7 LABEL maintainer="wang-junjian@qq.com" RUN apt-get update && apt-get install libjpeg-dev zlib1g-dev -y RUN pip install -i https://m... 阅读更多
今天，我“删库”了…… /data$ ll logs/ rm -rf * 我在根目录查看子目录的信息，确认是想删除的数据，然后顺手执行了 rm -rf * ，杯具产生了…… 拼命补救，没成功…… 查看目录或文件的 inode id $ ls -id / 2 / $ ls -id /usr/ 28966913 /usr/ $ ls -id /usr/bin/bash 28... 阅读更多
使用容器的方式部署 MinIO Standalone docker run --rm \ -p 9000:9000 \ -p 9001:9001 \ --name minio \ -v /data/minio/data:/data \ -e "MINIO_ROOT_USER=admin" \ -e "MINIO_ROOT_PASSWORD=12345678" \ ... 阅读更多
test.json { "stuff": { "that": [1,2,3], "isin": true, "json": "end"}} jq 在命令行运行 jq . <<< '{ "stuff": { "that": [1,2,3], "isin": true, "json": "end"}}' jq . test.json 在vim的命令模式下运行 %!j... 阅读更多
$ df -h Filesystem Size Used Avail Use% Mounted on udev 126G 0 126G 0% /dev tmpfs 26G 4.0M 26G 1% /run /dev/sda2 548G 50G 471G 10% / tmpfs ... 阅读更多
OpenResty 是一款基于 NGINX 和 LuaJIT 的 Web 平台。 拉取 OpenResty 镜像 Ubuntu sudo docker pull openresty/openresty:xenial CentOS sudo docker pull openresty/openresty:centos 查看... 阅读更多
查看 LVM 的相关命令 man lvm lvm --help 查看系统的块设备 $ lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT loop0 7:0 0 43.4M 1 loop /snap/snapd/14549 loop1 7:1 ... 阅读更多
构建 ONNXRuntime-GPU 镜像 编写 requirements.txt $ vim requirements.txt flask connexion[swagger-ui] connexion gunicorn numpy opencv-python scikit-image psutil pynvml onnxruntime-gpu 编写 Dockerfile 需要带 c... 阅读更多
安装 CUDA Toolkit 下载 wget https://developer.download.nvidia.com/compute/cuda/11.6.0/local_installers/cuda_11.6.0_510.39.01_linux.run 安装 $ sudo sh cuda_11.5.1_495.29.05_linux.run =========== = Summ... 阅读更多
容器技术由于其轻量级和可伸缩的优势而被广泛使用。GPU也因为其强大的并行计算能力被用于应用程序加速。在云计算环境下，容器可能需要一块或者多块GPU计算卡来满足应程序的资源需求，但另一方面，容器独占GPU计算卡常常会带来资源利用率低的问题。因此，对于云计算资源提供商而言，如何解决在多个容器之间共享GPU计算卡是一个很有吸引力的问题。本文中我们提出了一种称为GaiaGPU的方法，用于在容器... 阅读更多
安装 到 https://golang.google.cn/dl/ 下载对应操作系统的安装包。 Mac wget https://golang.google.cn/dl/go1.17.7.darwin-amd64.pkg Linux wget https://golang.google.cn/dl/go1.17.7.linux-amd64.tar.gz sudo tar -C /usr... 阅读更多
浏览Markdown sudo apt install lynx sudo apt install pandoc pandoc README.md | lynx -stdin sudo pip install grip sudo apt install lynx grip -b README.md lynx http://localhost:6419/ sudo apt inst... 阅读更多
OpenIL 是一个基于 Buildroot 的开源项目，专为嵌入式工业解决方案而设计。 Buildroot 是一个简单、高效、易用的工具，通过交叉编译生成嵌入式 Linux 系统。 获取 OpenIL git clone https://github.com/openil/openil.git cd openil/ 切换版本 查看版本 $ git tag OpenI... 阅读更多
img 磁盘镜像文件 查看分区表信息 $ fdisk sdcard.img Welcome to fdisk (util-linux 2.34). Changes will remain in memory only, until you decide to write them. Be careful before using the write command. Comm... 阅读更多
我们遇到一个场景，压榨出每一台节点的性能，需要优先调度到资源（CPU、Memory）使用最多的节点上。 了解默认调度 现有的通用调度程序是平台默认提供的调度程序引擎，它可通过三步操作来选择托管 pod 的节点： 过滤节点 根据指定的约束或要求过滤可用的节点。这可以通过名为predicates的过滤函数列表筛选每个节点来完成。 排列过滤后节点列表的优先顺序 实现方式是让每个节点通过一... 阅读更多
安装 lftp sudo apt-get -y install lftp 登录 FTP lftp [-d] [-e cmd] [-p port] [-u user[,pass]] [site] lftp -p 8821 -u sdlrzn download.cambricon.com 执行内部命令 查看 FTP 服务器目录内容 ls 下载文件 get /produ... 阅读更多
安装 Fabric pip3 install fabric 远程执行 Shell 命令脚本（remote_execute_shell_command.py） #!/usr/bin/python import argparse from fabric import Connection, Config # 您要远程操作的计算机，username@ip HOSTS = ['root@... 阅读更多
用户界面 Dashboard Dashboard 是基于网页的 Kubernetes 用户界面。您可以使用 Dashboard 将容器应用部署到 Kubernetes 集群中，也可以对容器应用排错，还能管理集群资源。您可以使用 Dashboard 获取运行在集群中的应用的概览信息，也可以创建或者修改 Kubernetes 资源（如 Deployment，Job，DaemonSet 等等）。例... 阅读更多
删除 Kubernetes 旧版本，安装 Kubernetes 1.21.5。 必备安装 每台服务器都需要 root 登录 su - root 设置时区 timedatectl set-timezone Asia/Shanghai 设置主机名 hostnamectl set-hostname new-hostname 安装 Docker-CE apt-get ... 阅读更多
安装 pip install paddleocr 测试 import cv2 import numpy as np from paddleocr import PaddleOCR ocr = PaddleOCR(use_angle_cls=True) image_path = 'test.jpg' img = cv2.imread(image_path) img_gray = c... 阅读更多
XML 数据 xml_data = '''<?xml version="1.0" encoding="UTF-8"?> <books> <book SN="12460901"> <name>国富论</name> <author nation="English">亚当·斯密</... 阅读更多
安装 Python sudo apt install python3 sudo apt install python3-pip sudo pip3 install --upgrade pip OpenCV sudo pip3 install opencv-python sudo pip3 install opencv-contrib-python 图像 读取图像 import cv2... 阅读更多
file.write() 内容超过 4K 才会写入磁盘 验证代码 import os import tempfile for count in range(1, 4100): content = '0'*count with tempfile.NamedTemporaryFile() as file: print(file.name) fil... 阅读更多
参考资料 什么是 KubeSphere 阅读更多
查看节点资源总量 $ kubectl describe nodes ln1 Name: ln1 ... Capacity: cpu: 40 ephemeral-storage: 574345384Ki hugepages-1Gi: 0 hugepages-2Mi: 0 memory: ... 阅读更多
ifconfig & route $ docker run -d --name centos1 centos $ docker run -it --name centos2 centos bash # yum install net-tools -y # ifconfig eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> ... 阅读更多
规则 添加规则 iptables -t raw -A OUTPUT -p icmp -j TRACE iptables -t raw -A PREROUTING -p icmp -j TRACE 查看规则 # iptables -t raw -L -n --line-numbers Chain PREROUTING (policy ACCEPT) num target pro... 阅读更多
安装 Docker SDK for Python pip install docker 例子 将本地文件或目录添加到容器，生成新的镜像。 put_archive commit import docker import tarfile import tempfile import os def simple_tar(path): f = tempfile.Named... 阅读更多
模型打包成镜像 手工打包 project_dir=platen-switch darknet_model_name=darknet-model-platen-switch cd $project_dir docker run -d --name $darknet_model_name alpine docker cp model/ $darknet_model_name:/ docker ... 阅读更多
Node 标签信息 查看单个节点 $ kubectl get node ln1 -o=jsonpath='{.metadata.labels}{"\n"}' map[beta.kubernetes.io/arch:amd64 beta.kubernetes.io/os:linux kubernetes.io/arch:amd64 kubernetes.io/hostname:ln1 kub... 阅读更多
安装 安装 kubectl curl -LO "https://storage.googleapis.com/kubernetes-release/release/$(curl -s https://storage.googleapis.com/kubernetes-release/release/stable.txt)/bin/linux/amd64/kubectl" chmod +x .... 阅读更多
官方的安装 helm repo add ingress-nginx https://kubernetes.github.io/ingress-nginx helm repo update helm install ingress-nginx ingress-nginx/ingress-nginx 在中国 下载 Ingress Release wget https://gi... 阅读更多
认证机制 API 服务器接收的请求经过认证插件列表，当遇到第一个成功返回用户名、用户ID和组信息给 API 服务器后，将停止剩余的认证调用，进入授权阶段。 ServiceAccount 镜像拉取密钥 向 ServiceAccount 中添加 imagePullSecrets，可以不必对每个 Pod 单独添加 imagePullSecrets。 创建 docker-registry Se... 阅读更多
在删除标签的时候不小心删除了节点。 $ kubectl delete nodes ln6 server-type- node "ln6" deleted Error from server (NotFound): nodes "server-type-" not found 主节点 在 Master 节点创建加入节点用的 Token kubeadm token creat... 阅读更多
ConfigMap 向容器传递命令行参数 在 Docker 中定义命令与参数 下面是 Dockerfile 中的指令 ENTRYPOINT 和 CMD。 指令 解释 ENTRYPOINT 容器启动时调用的命令 CMD 传递给 ENTRYPOINT ... 阅读更多
通过卷在容器之间共享数据 Build [Date HTML Generator] Image 编写 HTML 生成器（date-html-generator.sh） #!/bin/sh mkdir /var/htdocs while : do echo $(date +'%Y-%m-%d %H:%M:%S') Writing to /var/htdocs/index.html ech... 阅读更多
节点亲和性（nodeAffinity） 实现 nodeSelector 一样的功能 编写 YAML 文件（kubia.yaml） apiVersion: apps/v1 kind: Deployment metadata: name: kubia labels: app: kubia spec: selector: matchLabels: app: ... 阅读更多
污点 通过给节点添加污点，可以拒绝 Pod 调度到节点上。 污点样式 <key>=[value]:<effect> value 可以为空 effect NoSchedule, Pod 必须添加容忍度才能调度到这个节点。 PreferNoSchedule, 没有可调度的节点，Pod 会调度到这个节点。（宽松版 NoSche... 阅读更多
Service 为一组功能相同的 Pod 提供固定地址的访问。 集群内部的服务 在集群内部运行多个 Pod 服务。 创建服务 先部署之前的 kubia Deployment (kubia.yaml) apiVersion: apps/v1 kind: Deployment metadata: name: kubia labels: app: kubia spec: s... 阅读更多
基于一个公共的模板运行多个Jobs。 你可以用这种方法来并行执行批处理任务。 使用 Shell 脚本 创建 Job 模板（job-tmpl.yaml） apiVersion: batch/v1 kind: Job metadata: name: process-item-$ITEM labels: jobgroup: jobexample spec: templ... 阅读更多
Job 用于处理离线业务的，运行完成后就终止执行。 运行一个 Pod 对象 编写 Job 的 YAML 文件（job-pi.yaml） bc 命令是 Linux 里的“计算器”；-l 表示使用标准数学库；a(1) 是调用数学库中的 arctangent 函数，计算 atan(1)。 tan(π/4) = 1。所以，4*atan(1)正好就是π，也就是 3.1415926…。 apiVer... 阅读更多
DaemonSet 确保每个节点运行一个 Pod。 使用场景 日志收集 资源监控 网络代理 编写 DaemonSet 的YAML文件（kubia-ds.yaml） apiVersion: apps/v1 kind: DaemonSet metadata: name: kubia spec: selector: matchLabels: app:... 阅读更多
ReplicationController 保证 Pod 对象始终处于期望的运行状态。不管 Pod 因何种原因消失（节点从集群消失或pod从节点中逐出）。 控制器的协调流程 LOOP 通过标签选择器匹配 Pod 比较匹配的数量与期望的副本数量 少了。使用当前的模板创建 Pod 多了。删除超出数量的 Pod 等于。 ... 阅读更多
名字空间 名字空间将对象分割成独立的组，为对象名字提供了作用域，名字在不同的名字空间可以是相同的。名字空间对正在运行的对象不提供任何隔离，名字空间之间是否提供网络隔离取决于 Kubernetes 所使用的网络解决方案。 查看当前集群中的所有名字空间 $ kubectl get namespaces NAME STATUS AGE default ... 阅读更多
注解 注解也是键值对，和标签类似，但没有对象的选择器来进行分组筛选，它可以容纳更多的内容（总共不超过256KB），主要用于工具的使用。Kubernetes 会将一些注解自动添加到对象。 增加（key=value） 添加域名（gouchicao.com）前缀这种格式的注解键是避免键冲突的一个好方法。 $ kubectl annotate pod kubia-manual gouchicao.... 阅读更多
标签 标签是键值对的形式，用于组织 Kubernetes 资源，为对象进行分组。只要标签的 key 在资源内是唯一的，一个资源便可以拥有多个标签。 通过添加两个标签将 Pod 组织为两个维度（基于应用的横向维度和基于版本的纵向维度） 编写带标签的 Pod YAML文件(kubia-manual-labels.yaml) apiVersion: v1 kind: Pod metadat... 阅读更多
通过端口转发（port-forward）可以连接到 Pod，方便测试和调试服务。 创建 Pod 编写 Pod YAML文件(kubia-manual.yaml) apiVersion: v1 kind: Pod metadata: name: kubia-manual spec: containers: - image: wangjunjian/kubia name: ... 阅读更多
Kubernetes 对象 在 Kubernetes 系统中，Kubernetes 对象是持久化的实体。 Kubernetes 使用这些实体去表示整个集群的状态。 apiVersion - 创建该对象所使用的 Kubernetes API 的版本 kind - 想要创建的对象的类别 metadata - 帮助唯一性标识对象的一些数据，包括一个 name 字符串、UID 和可选的... 阅读更多
基于Node构建应用 app.js const http = require('http'); const os = require('os'); console.log("Kubia server starting..."); var handler = function(request, response) { console.log("Received request from... 阅读更多
查看集群节点 kubectl get nodes NAME STATUS ROLES AGE VERSION gpu1 Ready <none> 227d v1.18.3 gpu2 Ready <none> 31d v1.18.3 ln1 Ready master 370d v1.18.3... 阅读更多
证书一年过期了 kubectl get nodes Unable to connect to the server: x509: certificate has expired or is not yet valid 查看API服务器的证书日期 方法1 openssl x509 -in /etc/kubernetes/pki/apiserver.crt -noout -... 阅读更多
man manual 的缩写。在线参考手册的接口 man man ...... 下表显示了手册的 章节 号及其包含的手册页类型。 1 可执行程序或 shell 命令 2 系统调用(内核提供的函数) 3 库调用(程序库中的函数) 4 特殊文件(通常位于 /dev) 5 文件格式和规范，如 /etc/passwd 6 游戏 ... 阅读更多
构建应用 Scheduler Extender git clone https://github.com/AliyunContainerService/gpushare-scheduler-extender.git && cd gpushare-scheduler-extender docker build -t gouchicao/gpushare-scheduler-ex... 阅读更多
工程目录 model-package-release/ ├── Dockerfile ├── Dockerfile.ubuntu ├── main.sh └── .ssh ├── id_rsa ├── id_rsa.pub └── known_hosts main.sh #!/usr/bin/sh # 模型和配置文件 FILE_CONFIG=config.yam... 阅读更多
数据集打包目录结构 ai-project/ ├── labelimg │ ├── 1.jpg │ ├── 1.xml │ ├── 2.jpg │ ├── 2.xml │ ├── 3.jpg │ ├── 3.xml │ ├── 4.jpg │ └── 4.xml ├── classes.txt ├── data.yaml ├── images │ ├── t... 阅读更多
Thonny 源代码 下载 直接连接 MicroPython 设备进行开发 连接 MicroPython 设备进行开发 1. 选择解释器 菜单：运行 -> 选择解释器 2. 打开设备上的文件 菜单：文件 -> 打开 工具栏：打开 单击 MicroPython设备 按钮后，可以看到设备上的文件和目录，选择相应的文件打开。 3. 开发 在编辑... 阅读更多
Fritzing 源代码 下载 Fritzing Part ESP8266 ESP32 参考资料 Desktop NeoPixel Clock ESP8266 NodeMCU LoLin Fritzing Part of an ESP32 CircuitPython and Python Wiring 阅读更多
编码 macOS base64 file Linux -w, –wrap=COLS wrap encoded lines after COLS character (default 76). Use 0 to disable line wrapping base64 -w0 file 解码 base64 -d 问题 YWRtaW4= 是 admin 的... 阅读更多
macOS XQuartz 安装 brew cask install xquartz 验证 xclock xeyes 不使用XAuth $ ssh -Y username@hostname (base) username@hostname:~$ gedit 使用XAuth 查找XAuth的位置 $ w... 阅读更多
终端登录时显示给用户的欢迎消息，无论是通过远程 SSH 登录还是直接通过 TTY 或终端，是 motd 的一部分，即 Message Of The Day 守护程序。 通过修改 /etc/update-motd.d 目录中的 /etc/motd 文件或脚本，可以自定义 motd 消息以适合每个用户或管理员的个性化需求。 附加 motd 消息 sudo sh -c 'echo "Hello ... 阅读更多
Helm 帮助您管理 Kubernetes 应用程序 —— Helm Charts 帮助您定义、安装和升级即使是最复杂的 Kubernetes 应用程序。 安装 Helm $ curl -fsSL -o get_helm.sh https://raw.githubusercontent.com/helm/helm/master/scripts/get-helm-3 $ chmod ... 阅读更多
下载软件及依赖安装包 要下载的软件必须是未安装的；不使用downloaddir指定保存目录，下载的软件包将会保存到系统默认缓存目录。 yum install docker-ce --downloadonly --downloaddir=docker-ce 列出软件 列出当前安装的和可安装的最新版本 yum list docker-ce 已安装的软件包 docker-c... 阅读更多
容器的本质是一种特殊的进程 Linux Namespace - 空间隔离 Linux Cgroups - 资源限制 chroot - 切换进程的根目录 Linux Namespace Linux Cgroups - Linux Control Group 作用：限制一个进程组能够使用的资源上限，包括 CPU、内存、磁盘、网络带宽等等。 查看Cgroups限制的资源各类... 阅读更多
配置 Camera $ sudo raspi-config 3 Interface Options Configure connections to peripherals P1 Camera Enable/disable connection to the Raspberry Pi Camera Yes reboot 显存 保证显存 >= 128 ... 阅读更多
树莓派4 硬件概述 烧录系统 wget https://downloads.raspberrypi.org/rpd_x86/images/rpd_x86-2021-01-12/2021-01-11-raspios-buster-i386.iso dd if=2021-01-11-raspios-buster-i386.iso of=/dev/sdc bs=10M ReSpeaker ... 阅读更多
WS2812B 灯带 一个集控制电路与发光电路于一体的智能外控LED光源。可单独寻址数字 LED 灯。 每个像素都有自己的颜色和亮度。 您可以单独控制它们,并将其设置成任何颜色。 256 灰色级别可调节和 16777216 彩色 24 位全彩显示。 硬件清单 NodeMCU ESP32 WS2812B 灯带 面包板 3条杜邦线 USB数据线 电路图 ESP... 阅读更多
安装 brew install putty FAQ 1、Updating Homebrew… 卡住 $ brew install putty Updating Homebrew... 方法1：直接关闭brew每次执行命令时的自动更新 $ vim ~/.bash_profile export HOMEBREW_NO_AUTO_UPDATE=true ... 阅读更多
FileZilla - 开源, 跨平台 Electerm - 开源, 跨平台 WinSCP - 免费, Windows 参考资料 SSH (Secure Shell) SecureCRT Transmit 阅读更多
脚本 INPUT_DIR='' OUTPUT_DIR='' _prompt='██' #find返回的文件列表在macOS系统上不能使用for循环进行迭代。 img_files=$(find $INPUT_DIR -type f \ -iname '*.jpg' -o \ -iname '*.jpeg' -o \ -iname '*.png' -o \ -iname '*... 阅读更多
架构图 安装 Remote Install SSH server Local Install OpenSSH compatible SSH client Install Visual Studio Code Install Remote Development extension pack 连接远程主机 在VS Code中， 按F1，选择Rem... 阅读更多
编辑 注释或取消注释 Command+/ 格式化文档 Option+Shift+f 选择 多列选择 Option+Shift，按住鼠标左键拖动 多选 Option，按住鼠标左键拖动 转到 转到行号 Ctrl+g 转到文件 Command+p 导航 后退 Ctrl+- 前进 Shift+Ctrl+- 视图 自动换行 Option+z... 阅读更多
Python 3 文档 CPython GitHub 语言 变量 变量的赋值，只是表示让变量指向了某个对象，并不表示拷贝对象给变量；而一个对象，可以被多个变量所指向。 可变对象（列表，字典，集合等等）的改变，会影响所有指向该对象的变量。 对于不可变对象（字符串、整型、元组等等），所有指向该对象的变量的值总是一样的，也不会改变。但是通过某些操作（+= 等等）更新不可... 阅读更多
HTTP Status Code 418 I’m a teapot import requests url = "https://movie.douban.com/cinema/later/beijing/" page = requests.get(url) print(page.status_code) 418 在头信息中加入 User-Agent 来解决。在 Safari 浏览器... 阅读更多
配置每个NVIDIA GPU节点上的Docker 增加"default-runtime": "nvidia" $ sudo vim /etc/docker/daemon.json { "registry-mirrors": ["https://75oltije.mirror.aliyuncs.com"], "default-runtime": "nvidia", "run... 阅读更多
产品智能联动配置 登录腾讯云物联网开发平台控制台 智能电灯 光照传感器 场景智能联动 在微信中打开腾讯连连小程序，通过选择添加智能－自动智能。 设置条件和任务 通过光照值设置了两个联动任务 参考资料 腾讯云物联网开发平台入门 阅读更多
构建光照传感器 硬件 NodeMCU ESP8266 光照度传感器 面包板 杜邦线 USB数据线 NodeMCU 的管脚图 电路图 光照传感器 物联网开发平台 平台使用流程 ① 登录腾讯云物联网开发平台控制台，进入公共实例 ③ 创建产品 选择智能家居，新建产品：光照传感器。 ④ 定义数据模板 选择数据模板，通过导入自定义数据模板。 ... 阅读更多
构建智能电灯 硬件 NodeMCU ESP8266 三色LED模块 继电器（开关） 面包板 杜邦线 USB数据线 NodeMCU 的管脚图 智能电灯的电路图 智能电灯 物联网开发平台 腾讯云物联网开发平台默认开通了一个公共实例，可以免费接入1000个设备，在实例中您可创建项目、产品和设备并进行管理。 平台使用流程 ① 登录腾讯云物联网开发平台控... 阅读更多
准备 硬件 NodeMCU(ESP32) 开发板 数据线，一头是 USB-A 接口，另一头是 Micro-USB 接口。 软件 MicroPython PINOUT 搭建 MicroPython 开发环境 运行 esptool.py read_mac 命令，确认连接成功。 $ esptool.py read_mac... 阅读更多
准备 硬件 NodeMCU 开发板 数据线，一头是 USB-A 接口，另一头是 Micro-USB 接口。 软件 MicroPython PINOUT 搭建 MicroPython 开发环境 安装工具 安装烧录工具 esptool pip3 install esptool 运行 esptool.... 阅读更多
快捷键 Ctrl+r 快速查找历史命令 Ctrl+l 清理控制台屏幕 移动光标 Ctrl+a 移动光标到行首 Ctrl+e 移动光标到行尾 Alt+Left Arrow 移动光标到上一个单词 Alt+Right Arrow 移动光标到下一个单词 删除字符 Ctrl+u 删除光标之前的内容 Ctrl+k 删除光标之后的内容 Ctrl+w 删除光... 阅读更多
在当前shell下一行执行多条命令(;) cd /etc/ssh ; cat ssh_config ; pwd ; du -sh /etc/ssh/ssh_config 创建shell脚本 vim ssh_config-info.sh #!/bin/bash cd /etc/ssh cat ssh_config pwd du -sh /etc/ssh/ssh_config shel... 阅读更多
抽取视频的关键帧，保存为zip文件。 目录结构 . ├── keyframes │ ├── race │ │ ├── race-0001.jpg │ │ ├── race-0002.jpg │ │ └── race-0096.jpg │ └── race.zip └── videos └── race.mp4 自动化脚本 _prompt=... 阅读更多
安装 sudo apt-get install vsftpd 配置文件 vim /etc/vsftpd.conf 查看配置文档详细资料 man vsftpd.conf 匿名登录 修改vsftpd.conf配置项 anonymous_enable=YES 重启服务 sudo systemctl restart vsftpd 存放资料 /srv/ftp 参考资料 H... 阅读更多
指定端口 ssh -p <port> user@hostname 密钥登录 默认 私钥文件在 macOS 的客户端位置是 /Users/wjj/.ssh/id_rsa，公钥文件存放在服务器端的位置是 /home/user/.ssh/authorized_keys。 指定 ssh -i <identity_file> user@hostname 阅读更多
-c, --create Create a new archive. Arguments supply the names of the files to be archived. -x, --extract, --get Extract files from an archive. -z, --gzip, --gunzip, --ungzip Filter the... 阅读更多
准备 yolov5 yolov5/ ├── detect.py ├── Dockerfile ├── hubconf.py ├── LICENSE ├── models │ ├── common.py │ ├── experimental.py │ ├── export.py │ ├── __init__.py │ ├── yolo.py │ ├── yolov5l.... 阅读更多
拷贝一批文本文件(10000)到目录 cp time: 0.470s 当文件更新了或者缺少时才拷贝。(-u) 速度最快 cp -u labels/*/*.txt datasets/yolo/sign/labels/ xargs time: 30.003s ls labels/*/*.txt | xargs -I {} cp {} dat... 阅读更多
du - 估计文件空间使用量 -s, --summarize display only a total for each argument -h, --human-readable print sizes in human readable format (e.g., 1K 234M 2G) 查看当前文件夹所有文件占用的空间 du -sh 15G . ... 阅读更多
快捷键 Shift+p 按CPU使用率排序 Shift+m 按内存使用率排序 1 显示每个逻辑CPU的状态 查看指定进程 top -p $pid 查看1号进行 top -p 1 top -p1 top - 22:58:02 up 323 days, 12:09, 2 users, load average: 0.64, 0.61, 0... 阅读更多
安装 版本 vim vim-gtk (KDE) vim-gtk3 (GNOME) vim-tiny (最小功能) 查看安装的 vim 版本 apt list --installed | grep vim yum list installed | grep vim 安装带图形界面的版本 macOS MacVim Ubuntu sudo apt install vim... 阅读更多
在文件之间建立链接 ln [OPTION]... [-T] TARGET LINK_NAME ln [OPTION]... TARGET ln [OPTION]... TARGET... DIRECTORY ln [OPTION]... -t DIRECTORY TARGET... 文件或目录的软链接（类似指针） 创建 ln -s /dat... 阅读更多
更改文件所有者和组 chown [OPTION]... [OWNER][:[GROUP]] FILE... 修改文件或目录的所有者 sudo chown root filename -rw-rw-r-- 1 root wjj 0 Jan 15 02:35 filename 修改文件或目录的组 sudo chown :root filename -rw... 阅读更多
服务端 apt-mirror下载软件包 安装apt-mirror sudo apt-get install apt-mirror -y #修复FAQ1 sudo curl -fsSL https://raw.githubusercontent.com/Stifler6996/apt-mirror/master/apt-mirror > apt-mirror ... 阅读更多
服务端 拉取PyPIServer镜像 docker pull pypiserver/pypiserver:latest 部署PyPIServer 只用于客户端下载（用作缓存加速） docker run -d --restart=always --name pypiserver -p 8080:8080 \ -v /data/pypi-packages/:/data/pa... 阅读更多
安装与卸载 安装 快速安装 curl -fsSL https://get.docker.com | sh - Install Docker Engine 卸载 apt apt-get remove --auto-remove docker yum yum remove docker docker-common d... 阅读更多
修改端口号 /etc/apache2/ports.conf sudo nano /etc/apache2/ports.conf # If you just change the port or add more ports here, you will likely also # have to change the VirtualHost statemen... 阅读更多
Dockerfile FROM ubuntu:20.04 LABEL maintainer="wang-junjian@qq.com" #auto install tzdata(opencv depend) ENV DEBIAN_FRONTEND=noninteractive RUN sed -i s@/archive.ubuntu.com/@/mirrors.aliyun.com/@g... 阅读更多
FROM nvidia/cuda:11.1-cudnn8-devel-ubuntu20.04 AS builder LABEL maintainer="wang-junjian@qq.com" #E: Failed to fetch https://developer.download.nvidia.cn/compute/cuda/repos/ubuntu2004/x86_64/by-ha... 阅读更多
NVIDIA CUDA 单步构建 下载onnxruntime源代码 git clone --recursive https://github.com/microsoft/onnxruntime.git 拉取容器（编译环境） docker pull nvidia/cuda:11.1-cudnn8-devel-ubuntu20.04 ... 阅读更多
开发 编写脚本 hello.lua function descriptor() return { title = "Hello World"; version = "1.0"; author = "WangJunjian"; url = 'www.wangjunjian.com'; shortdesc =... 阅读更多
FFmpeg 格式转换 -y(覆盖输出文件) ffmpeg -y -i input.mp4 output.avi 生成gif(低质量) -pix_fmt(像素格式) -s(设置帧大小WxH) ffmpeg -y -i input.mp4 -pix_fmt rgb8 -r 10 -s 320x240 output.gif ffmpeg -y -i in... 阅读更多
操作不记录在历史记录中 有选择性地进行记录（操作命令前面加空格就不记录） 当前会话临时生效 HISTCONTROL=ignorespace 持久化设置，可以修改配置文件：.bash_profile 或 .bashrc。执行source命令后，设置生效。你也可以退出后重新登录。 $ nano .bashrc export HISTCONTROL=ign... 阅读更多
构建可用的JupyterLab和TensorBoard 启动YOLOv5容器 docker run --ipc=host --runtime nvidia -it -p 8888:8888 \ -v ${dataset_dir}:/usr/src/app/project \ ultralytics/yolov5:latest 安装版本1的Tensor... 阅读更多
查找文件 -name 或 -iname(大小写不敏感) find . -name "*.pyc" -m(最近多长时间修改) min, 分钟 time, 哪天 0(24小时) 1(24-48小时) 2(48-72小时) 显示 /var/log 目录下最近 10分钟内修改的文件 $ find /var/log -mmin -10 /var/log/messages ... 阅读更多
搜索文件内容 搜索一个文件 grep 'text' hello.txt 忽略字母大小写(-i) grep -i 'text' hello.txt 搜索多个文件 grep 'text' hello.txt hi.txt 搜索当前目录下所有文件 grep 'text' * 搜索当... 阅读更多
查看图像信息 $ file test.jpg test.jpg: JPEG image data, JFIF standard 1.02, resolution (DPI), density 96x96, segment length 16, Exif Standard: [TIFF image data, big-endian, direntries=7, orientation=uppe... 阅读更多
字符串 分隔符号可以自由更换 $ echo "Hi, John." | sed 's/Hi/HI/g' HI, John. $ echo "Hi, John." | sed 's#Hi#HI#g' HI, John. $ echo "Hi, John." | sed 's-Hi-HI-g' HI, John. 单引号’ $ echo "'s', 'm', 'l', 'x'" | sed ... 阅读更多
下载多个文件 空格分割 wget https://upload.wikimedia.org/wikipedia/commons/1/13/Intel_CPU_Core_i7_6700K_Skylake_perspective.jpg https://images-na.ssl-images-amazon.com/images/I/51iVSqLIBWL._AC_.jpg ... 阅读更多
可读的方式显示文件大小 # -h, --human-readable with -l and/or -s, print human readable sizes (e.g., 1K 234M 2G) ls -lh ll -h 显示目录的所有子目录的内容 # -R, --recursive list subdirectories recursively ls -lR ll -R 按时间... 阅读更多
选择要依赖的操作系统 docker run -it -v `pwd`/offline:/offline ubuntu:20.04 bash 以下是容器内操作 进入映射的下载目录 cd /offline 下载Docker安装包 wget https://download.docker.com/linux/ubuntu/dists/focal/pool/stable/amd64... 阅读更多
安装了Ubuntu系统后，默认ssh不允许使用密码进行root登录，通过如何配置可以实现允许。 登录root $ su - root 查看ssh配置文件中的PermitRootLogin项 $ nano /etc/ssh/sshd_config # Authentication: #LoginGraceTime 2m #PermitRootLogin prohibit-pas... 阅读更多
操作系统 Linux内核版本 uname $ uname -r 4.18.0-147.5.1.el8_1.x86_64 /proc/version $ cat /proc/version Linux version 4.18.0-147.5.1.el8_1.x86_64 (mockbuild@kbuilder.bsys.centos.org) (gc... 阅读更多
通过网游加速器 网易UU加速器 Steam++ 在路径上增加 .cnpmjs.org 正常下载：git clone https://github.com/microsoft/onnxruntime.git 加速下载：git clone https://github.com.cnpmjs.org/microsoft/onnxruntime.git 查找当前位置距离最快的 Gi... 阅读更多
加速 pip 下载安装包的速度。下面使用的是来自于阿里云的镜像源：https://mirrors.aliyun.com/pypi/simple/ 国内可用的pip镜像源 阿里云 https://mirrors.aliyun.com/pypi/simple/ 清华大学 https://pypi.tuna.tsinghua.edu.cn/sim... 阅读更多
导入包 >>> import os >>> import shutil 文件 拷贝文件 目录路径可以是目录名 >> shutil.copy('/home/python/main.py', '/home/python/main.py.bak') >> shutil.copy('/home/python/main.py'... 阅读更多
配置 Kubernetes 镜像源 apt-get update && apt-get install -y apt-transport-https curl https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg | apt-key add - cat <<EOF >/etc/apt/sourc... 阅读更多
登录 root 用户 su - root 一键安装 apt-get install -y kubelet=1.18.3-00 kubeadm=1.18.3-00 kubectl=1.18.3-00 拉取需要的基础镜像 kube_apiserver_v=v1.18.3 kube_controller_manager_v=v1.18.3 kube_scheduler_v=v1.18.3 ... 阅读更多
在 Master 节点创建加入节点用的 Token kubeadm token create --print-join-command W1106 05:52:12.234596 1947512 configset.go:202] WARNING: kubeadm cannot validate component configs for API groups [kubelet.config... 阅读更多
在 Ubuntu20.04 系统上使用4张GPU卡基于容器训练模型。 准备数据 project ├── data.yaml #数据集配置文件 ├── models #网络模型（可以使用下面的脚本自动生成） │ ├── yolov5s.yaml #Small │ ├── yolov5m.yaml #Medium │... 阅读更多
在一台新安装的 Ubuntu20.04 系统上安装 NVIDIA GPU 驱动。 安装 gcc make 工具 $ sudo apt-get install gcc make 禁用系统默认驱动 nouveau 编辑配置文件 $ sudo nano /etc/modprobe.d/blacklist-nouveau.conf blacklist nouveau op... 阅读更多
加速 Docker Hub 镜像拉取速度。 这里以阿里云镜像源：https://75oltije.mirror.aliyuncs.com 为例进行配置。 $ sudo nano /etc/docker/daemon.json { "registry-mirrors": ["https://75oltije.mirror.aliyuncs.com"] } ## 另一种方法()... 阅读更多
在国内使用官方的镜像源安装 Ubuntu 应用非常慢，通常配置国内的镜像源来加快速度，如阿里云。 这里以阿里云镜像源为例，替换掉官方源。 使用 http://mirrors.aliyun.com/ubuntu/ 替换 http://cn.archive.ubuntu.com/ubuntu/，需要查看一下文件 /etc/apt/sources.list，要替换的可能是 http... 阅读更多
Kubernetes集群为了不影响性能要禁用交换分区。 查看交换区信息 $ swapon --show 临时禁用 /proc/swaps 中的交换分区（系统重启后会失效） $ sudo swapoff -a 启用 /etc/fstab 中的所有交换区 $ sudo swapon -a 禁用交换分区（系统重启后也有效） $ sudo sed -i '/swap/s/^/#... 阅读更多
之前在文件/etc/resolv.conf中设置了，过段时间总是自动恢复默认值。（注释中写的很详细，是不可编辑的由系统自动生成的文件） /etc/resolv.conf # This file is managed by man:systemd-resolved(8). Do not edit. # # This is a dynamic resolv.conf file for ... 阅读更多
今天同事安装了一台新的服务器Ubuntu20.04，但用户名和主机名不是我想要的，这里尝试了直接修改Linux文件的方式。 登录root用户 $ su - root 修改用户信息 /etc/passwd # nano /etc/passwd username:x:1000:1000:username:/home/username:/bin/bash /etc/shadow ... 阅读更多
在 Ubuntu20.04 上安装 nvidia-docker2 配置 apt 仓库(repository) $ curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | \ sudo apt-key add - $ distribution=$(. /etc/os-release;echo $ID$VERSION_I... 阅读更多
在 Ubuntu20.04 上安装 Docker 安装 Docker $ curl -fsSL https://get.docker.com | sh - Install Docker Engine on Ubuntu（官方安装文档） 把用户名(username)加入到 docker 组，这样以后在非 root 用户下不用每次操作都 sudo。 $ sudo userm... 阅读更多
安装 Apt-Cacher-NG $ sudo apt install apt-cacher-ng $ sudo systemctl enable apt-cacher-ng $ sudo service apt-cacher-ng start Configuration instructions Statistics report and configuration page ... 阅读更多
You’ll find this post in your _posts directory. Go ahead and edit it and re-build the site to see your changes. You can rebuild the site in many different ways, but the most common way is to run je... 阅读更多
下载最新的 Harbar Release wget -c https://github.com/goharbor/harbor/releases/download/v2.1.3/harbor-offline-installer-v2.1.3.tgz tar -zxvf harbor-offline-installer-v2.1.3.tgz cd harbor 生成证书（用于支持 HTTP... 阅读更多
Ubuntu 服务端 安装服务端 sudo apt install nfs-kernel-server 查看服务状态 sudo systemctl status nfs-server 查看开启的NFS协议 sudo cat /proc/fs/nfsd/versions -2 +3 +4 +4.1 +4.2... 阅读更多
分区 列出块设备信息 lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT loop0 7:0 0 71.3M 1 loop /snap/lxd/18772 loop1 7:1 0 55.4M 1 loop /snap/core18/1944 loop2 7:2 0 31.1M 1 loop /snap/... 阅读更多
训练自己的数据集 标注数据 LabelImg #标注后的目录结构 project └── labelimg ├── 20190128155421222575013.jpg ├── 20190128155421222575013.xml ├── 20190128155703035712899.jpg ├── 20190128155703035712899.xm... 阅读更多
PASCAL VOC(Visual Object Classes) 格式 格式 每张图片对应一个xml标注文件。 object 标注的对象，一张图片可以有1个或者多个 name 类别名 bndbox 标注的边框（使用的坐标信息） difficult 目标是否难以识别（0表示容易识别） 0001.xml <annotation> ... 阅读更多
查看系统的时区 $ ll /etc/localtime lrwxrwxrwx. 1 root root 35 2月 18 2020 /etc/localtime -> ../usr/share/zoneinfo/UTC 列出有效的时区 $ timedatectl list-timezones Africa/Abidjan ...... America/New_York ........ 阅读更多
生成身份验证密钥 ssh-keygen -t rsa，在~/.ssh/目录下生成私匙id_rsa和公匙id_rsa.pub两个文件。 $ ssh-keygen -t rsa Generating public/private rsa key pair. Enter file in which to save the key (/home/username/.ssh/id_rsa):... 阅读更多
构建YOLOv4容器 编写Dockerfile FROM nvidia/cuda:10.0-cudnn7-devel-ubuntu18.04 LABEL maintainer="wang-junjian@qq.com" #auto install tzdata(opencv depend) ENV DEBIAN_FRONTEND=noninteractive RUN apt-g... 阅读更多
拉取镜像 Detectron sudo docker pull gouchicao/detectron:latest 创建工程（COCO格式） └── helmet 工程目录 ├── images 样本图片目录 ├── helmet_train.json 训练的样本标注信息 ├── helmet_val.json 验证的样本标注信... 阅读更多
本地安装 Installing the Jupyter Software JupyterLab classic Jupyter Notebook 云端环境 Binder Binder 例子 Binder 文档 Google Colab Google 提供的 Colaborat... 阅读更多
基于 Darknet 的容器化产品 模型训练工程化 darknet 模型部署服务器 darknet-serving 模型训练工程化 darknet 训练前的数据准备 工程目录结构 project/ # 工程根目录 ├── cfg # 配置目录 │ └── voc.names ... 阅读更多
编译darknet git clone https://github.com/pjreddie/darknet cd darknet/ make 创建工程 工程目录结构 ├── darknet53.conv.74 基于imagenet的预训练模型 └── open-close 工程目录 ├── backup 存储模型训练时权... 阅读更多
安装五笔输入法 CentOS yum remove ibus yum install ibus ibus-table yum install ibus ibus-table-wubi Ubuntu apt purge ibus apt install ibus ibus-table apt install ibus ibus-table-wubi ... 阅读更多
Ubuntu 修改IP $ sudo nano /etc/netplan/00-installer-config.yaml # This is the network config written by 'subiquity' network: ethernets: eno1: addresses: - 172.16.33.1/24 gatew... 阅读更多
JDK-MCR(MATLAB Compiler Runtime) FROM openjdk:latest LABEL maintainer="wang-junjian@qq.com" MAINTAINER Wang Junjian RUN apt-get update && apt-get install -y curl wget unzip xorg #Install... 阅读更多
Registry 配置hosts sudo nano /etc/hosts 10.10.10.10 HOSTNAME 运行registry docker pull registry:2 sudo docker run -d \ -p 5000:5000 \ -v /home/ailab/docker-registry:/var/lib/registry \ ... 阅读更多
安装VNC服务 sudo apt-get install x11vnc 配置VNC x11vnc -storepasswd 启动VNC服务 x11vnc -forever -shared -rfbauth ~/.vnc/passwd 连接VNC服务 打开splotlight，搜索［屏幕共享］，运行。输入IP:5900 参考资料 Mac 远程桌面 ubuntu16.04 ... 阅读更多
Ubuntu 安装、卸载SSH服务 sudo apt-get install openssh-server sudo apt-get remove openssh-server 启动、停止、重启SSH服务 sudo service ssh start sudo service ssh stop sudo service ssh restart ... 阅读更多