Unlimited OCR 2 上手指南 · 是什么、怎么跑、什么时候用HTML
面向工程师的 Unlimited OCR 2 上手指南:先按三条路线选型,再给出 Transformers 直跑与 SGLang 服务化的完整命令、参数速查表和症状排错表,最后用六类适用场景、五个别用场景与一天验收清单,帮你判断整本文档要不要上这套方案。
面向工程师的 Unlimited OCR 2 上手指南:先按三条路线选型,再给出 Transformers 直跑与 SGLang 服务化的完整命令、参数速查表和症状排错表,最后用六类适用场景、五个别用场景与一天验收清单,帮你判断整本文档要不要上这套方案。
面向已部署 / 计划部署 AI 助手(如 WorkBuddy、ChatGPT Enterprise、Claude、内部 Copilot 等)的企业 覆盖:治理 · 部署架构 · 数据防护 · 访问控制 · 合规审计 · 落地路线图
- 原则:把发给 AI 的每句话当公开
- 分级 · 脱敏 · 最小权限 · 审计可追溯
- 贴合《个人信息保护法》《数据安全法》
1. 总体原则与定位
企业用 AI 不是"禁不禁"的问题,而是"在哪里用、用什么数据、谁能看"的问题。
核心结论(来自社区实践与一线技术文章共识):企业用 AI 确实存在数据泄露风险,但风险主要源于架构选型与治理缺失,而非 AI 技术本身。通过私有化部署、RAG 权限隔离、严密的脱敏与审计,可构建"数据不出域"的安全闭环。
📌 四条铁律:
- 假设公开:发给 AI 的内容视为可能公开,绝不粘贴凭证 / 完整 PII / 未脱敏商业机密。
- 最小必要:只发送完成任务所需的最少数据,敏感字段在发送前脱敏或剔除。
- 越敏感越本地:敏感度越高,处理越应留在内网 / 自托管模型。
- 可审计:每一次 AI 调用、数据交互、工具执行都可溯源。
2. 组织治理框架
技术只占三分之一,治理决定成败。建议建立三层治理结构:
2.1 组织
简介
SWIFT 支持近200种LLM和MLLM(多模态大模型)的训练、推理、评测和部署。开发者可以直接将我们的框架应用到自己的Research和生产环境中,实现模型训练评测到应用的完整链路。我们除支持了PEFT提供的轻量训练方案外,也提供了一个完整的Adapters库以支持最新的训练技术,如NEFTune、LoRA+、LLaMA-PRO等,这个适配器库可以脱离训练脚本直接使用在自己的自定流程中。
安装
git clone https://github.com/modelscope/swift.git
cd swift
pip install -e '.[llm]'
支持的模型类型(model_type)
['chinese-alpaca-2-13b-16k', 'chinese-alpaca-2-13b', 'chinese-alpaca-2-7b-64k', 'chinese-alpaca-2-7b-16k', 'chinese-alpaca-2-7b', 'chinese-alpaca-2-1_3b', 'chinese-llama-2-13b-16k', 'chinese-llama-2-13b', 'ch
# (Optional) Create a new conda environment.
conda create -n vllm python=3.9 -y
conda activate vllm
# Install vLLM with CUDA 12.1.
pip install vllm
vLLM 帮助 vLLM 兼容 OpenAI 的 RESTful API 服务器。 可选参数: -h, --help 显示此帮助信息并退出 --host HOST 主机名 --port PORT 端口号 --allow-credentials 允许凭证 --allowed-origins ALLOWED_ORIGINS 允许的来源 --allowed-methods ALLOWED_METHODS 允许的方法 --allowed-headers ALLOWED_HEADERS 允许的头部 --api-key API_KEY 如果提供,服务器将要求在头部中呈现此密钥。 --served-model-name SERVED_MODEL_NAME 在API中使用的模型名称。如果没有指定,模型名称将与huggingface名称相同。 --lora-modules LORA_MODULES [LORA_MODULES ...] LoRA模块配置,格式为名称=路径。可以指定多个模块。
[TensorRT-LLM][TensorRT-LLM]
TensorRT-LLM 为用户提供了易于使用的 Python API 来定义大型语言模型 (LLM) 并构建包含最先进优化的 TensorRT 引擎,以便在 NVIDIA GPU 上高效地执行推理。 TensorRT-LLM 还包含用于创建执行这些 TensorRT 引擎的 Python 和 C++ 运行时的组件。
# TensorRT-LLM uses git-lfs, which needs to be installed in advance.
apt-get update && apt-get -y install git git-lfs
git clone https://github.com/NVIDIA/TensorRT-LLM.git
cd TensorRT-LLM
git submodule update --init --recursive
git lfs install
git lfs pull
make -C docker release_build
测试结果
模型 & 精度 & 显存 & 速度
部署单实例 MySQL
创建 PVC(NFS)
mysql-pvc.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: mysql-pv-claim
spec:
storageClassName: nfs-client
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 20Gi
创建 Deployment mysql-deployment.yaml apiVersion: apps/v1 kind: Deployment metadata: name: mysql spec: selector: matchLabels: app: mysql strategy: type: Recreate template: metadata: labels: app: mysql spec: containers: - image: mysql:5.
准备数据集
目录结构

data.yaml
train: ../train/images
val: ../valid/images
test: ../test/images
nc: 1
names: ['logo']
压缩成 zip 文件
Projects
创建项目

Datasets
上传数据集

数据集图像

数据集概貌

Train
选择数据集

选择模型

选择训练参数

Google Colab 训练模型
使用上图的 API key 替换 PASTE_API_KEY_HERE

Done

Models

模型训练的性能指标

模型测试

模型部署

参考资料
创建工作区
在 Workspaces 侧边栏单击 ”Add Workspace“。
工作区是团队可以协作创建、管理和标记数据集以及训练和部署模型的地方。
创建项目
单击 “Create New Project”

项目的菜单项

Upload(上传数据集)
支持直接上传标注好的数据集。

Annotate(标注)

Dataset(数据集)

Generate(生成新版本数据集)

1️⃣ Source Images

2️⃣ Train/Test Split

3️⃣ Preprocessing

4️⃣ Augmentation

5️⃣ Generate

Versions(数据集版本)

单击“Export”,可以导出不同格式的数据集。

单击“Start Training”,可以进行训练,能够进行3次免费训练。

Deploy(预测或部署)

基于 Python 的推理示例
pip install roboflow
OpenVINO 工作流程
OpenVINO 包含一整套开发和部署工具,本工作流研究从设置和计划解决方案到部署的关键步骤。
🎃 0 计划和设置 ➔ 1 训练模型 ➔ 2 转换和优化 ➔ 3 调整性能 ➔ 4 部署应用程序

0 先决条件:计划和设置
选择您的主机和目标平台,然后选择型号。
确定环境和配置
该工具套件支持 Linux*、Windows*、macOS* 和 Raspbian* 等操作系统。虽然表示形式和代码与目标设备和操作系统无关,但是您可能需要在特定环境中创建部署程序包。
支持的部署设备 Supported Model Formats 优先选用 FP16,它是最普遍的且性能最佳。 Supported Input Precision 优先选用 U8,它是最普遍的。
基于Node构建应用
app.js
const http = require('http');
const os = require('os');
console.log("Kubia server starting...");
var handler = function(request, response) {
console.log("Received request from " + request.connection.remoteAddress);
response.writeHead(200);
response.end("You've hit " + os.hostname() + "\n");
};
var www = http.createServer(handler);
www.listen(8080);
Dockerfile
FROM node:16-slim
ADD app.js /app.js
ENTRYPOINT ["node", "app.js"]
构建
docker build -t wangjunjian/kubia .
运行 docker run -d -p 8080:8080 wangjun
安装与卸载
安装
curl -fsSL https://get.docker.com | sh -
卸载
apt-get remove --auto-remove docker
yum remove docker docker-common docker-selinux docker-engine
指定显卡(NVIDIA_VISIBLE_DEVICES)
#指定单张GPU卡
docker run --runtime=nvidia -d -e NVIDIA_VISIBLE_DEVICES=0 gouchicao/yolov5:train
#指定多张GPU卡,多个逗号隔开。
docker run --runtime=nvidia -d -e NVIDIA_VISIBLE_DEVICES=0,1 gouchicao/yolov5:train
#NVIDIA_VISIBLE_DEVICES默认值是all
docker run --runtime=nvidia -d gouchicao/yolov5:train
重启策略 方法 启动容器时通过参数指定 #如果容器停止总是重新启动。如果手动停止,则仅在Docker守护程序重启或手动重启容器本身时才重启。
登录 root 用户
su - root
一键安装
apt-get install -y kubelet=1.18.3-00 kubeadm=1.18.3-00 kubectl=1.18.3-00
拉取需要的基础镜像 kube_apiserver_v=v1.18.3 kube_controller_manager_v=v1.18.3 kube_scheduler_v=v1.18.3 kube_proxy_v=v1.18.3 pause_v=3.2 etcd_v=3.4.3-0 coredns_v=1.6.
在 Master 节点创建加入节点用的 Token
kubeadm token create --print-join-command
W1106 05:52:12.234596 1947512 configset.go:202] WARNING: kubeadm cannot validate component configs for API groups [kubelet.config.k8s.io kubeproxy.config.k8s.io]
kubeadm join 172.16.33.157:6443 --token xxx.yyyyyy --discovery-token-ca-cert-hash sha256:zzzzzzzzzzzzzzzzzzzzzz
Worker 节点登录 root 用户
su - root
一键安装
apt-get install -y kubelet=1.18.3-00 kubeadm=1.18.3-00 kubectl=1.18.3-00
拉取 Worker 节点需要的基础镜像 kube_proxy_v=v1.18.3 docker pull kubesphere/kube-proxy:${kube_proxy_v} docker tag kubesphere/kube-proxy:${kube_proxy_v} k8s.gcr.
下载最新的 Harbar Release
wget -c https://github.com/goharbor/harbor/releases/download/v2.1.3/harbor-offline-installer-v2.1.3.tgz
tar -zxvf harbor-offline-installer-v2.1.3.tgz
cd harbor
生成证书(用于支持 HTTPS 访问)
在生产环境中,请始终使用HTTPS,您应该从CA获得证书。 在测试或开发环境中,您可以生成自己的CA。
生成CA证书 生成CA证书私钥 openssl genrsa -out ca.key 4096 Generating RSA private key, 4096 bit long modulus (2 primes) .............................................................................................................................................++++ ..............................................................................................
基于 Darknet 的容器化产品
模型训练工程化 [darknet]
project/ # 工程根目录
├── cfg # 配置目录
│ └── voc.names # 标签名
├── images # 样本
│ ├── ...
│ └── ...
├── labels # YOLO标注格式
│ ├── ...
│ └── ...
└── test # 训练完后用于测试(非必须)
├── ...
└── ...
platen-switch/
├── cfg
│ └── voc.names
├── images
│ ├── IMG_9255.JPG
│ ├── IMG_9263.JPG
│ ├── IMG_9266.JPG
│ └── IMG_9280.JPG
├── labels
│ ├── IMG_9255.txt
│ ├── IMG_9263.txt
│ ├── IMG_9266.txt
│ └── IMG_9280.txt
└── test
├── IMG_9256.JPG
└── IMG_9271.JPG
运行darknet容器 将工程目录作为挂载点绑定到容器 # 使用您的工程绝对路径设置变量 project_dir
JDK-MCR(MATLAB Compiler Runtime)
FROM openjdk:latest
LABEL maintainer="wang-junjian@qq.com"
MAINTAINER Wang Junjian
RUN apt-get update && apt-get install -y curl wget unzip xorg
#Install MATLAB runtime
RUN mkdir /mcr-install && cd /mcr-install && \
wget -nv http://ssd.mathworks.com/supportfiles/downloads/R2018b/deployment_files/R2018b/installers/glnxa64/MCR_R2018b_glnxa64_installer.zip && \
unzip MCR_R2018b_glnxa64_installer.zip && \
./install -mode silent -agreeToLicense yes && \
rm -Rf /mcr-install
ENV LD_LIBRARY_PATH /usr/local/MATLAB/MATLAB_Runtime/v95/runtime/glnxa64:/usr/local/MATLAB/MATLAB_Runtime/v95/bin/glnxa64:/usr/local/MATLAB/MATLAB_Runtime/v95/sys/os/glnxa64:/usr/local/MATLAB/MATLAB_Runtime/v95/extern/bin/glnxa64
CMD /bin/sh
Registry
配置hosts
sudo nano /etc/hosts
10.10.10.10 HOSTNAME
运行registry
docker pull registry:2
sudo docker run -d \
-p 5000:5000 \
-v /home/ailab/docker-registry:/var/lib/registry \
--restart=always \
--name docker-registry \
registry:2
修改Docker配置
sudo nano /etc/docker/daemon.json
{
"live-restore": true,
"group": "dockerroot",
"insecure-registries": ["HOSTNAME:5000"]
}
重启Docker Engine
sudo systemctl restart docker
推送镜像
sudo docker tag hello-world:latest HOSTNAME:5000/hello-world:latest
sudo docker push HOSTNAME:5000/hello-world:latest
Registry UI
没有找到匹配的文章