构建镜像
FROM paddlepaddle/paddle:2.2.2-gpu-cuda10.2-cudnn7
LABEL maintainer="wang-junjian@qq.com"
RUN apt-get update && apt-get install libjpeg-dev zlib1g-dev -y
RUN pip install -i https://mirrors.aliyun.com/pypi/simple/ \
numpy fastapi paddleocr opencv-python
EXPOSE 20000
WORKDIR /inference-serving
ADD . ./
CMD ["python", "app.py"]
官方推荐：非安培架构的GPU，推荐使用CUDA10.2，性能更优。
自己构建 paddlepaddle 镜像
通过官方的 Docker Hub 没有找到 runtime 版本，想着节省几个G的空间，于是考虑自己来构建。
今天，我“删库”了......
/data$ ll logs/
rm -rf *
我在根目录查看子目录的信息，确认是想删除的数据，然后顺手执行了 rm -rf * ，杯具产生了......
拼命补救，没成功......
查看目录或文件的 inode id
$ ls -id /
2 /
$ ls -id /usr/
28966913 /usr/
$ ls -id /usr/bin/bash
28967390 /usr/bin/bash
参考资料
使用容器的方式部署 MinIO
Standalone
docker run --rm \
-p 9000:9000 \
-p 9001:9001 \
--name minio \
-v /data/minio/data:/data \
-e "MINIO_ROOT_USER=admin" \
-e "MINIO_ROOT_PASSWORD=12345678" \
minio/minio server /data --console-address ":9001"
API: http://172.17.0.2:9000 http://127.0.0.1:9000
Console: http://172.17.0.2:9001 http://127.0.0.1:9001
Documentation: https://docs.min.io
单机分布式 # 创建4个目录 mkdir -p /data/minio/erasure-code/data{1..
test.json
{ "stuff": { "that": [1,2,3], "isin": true, "json": "end"}}
jq
在命令行运行
jq . <<< '{ "stuff": { "that": [1,2,3], "isin": true, "json": "end"}}'
jq . test.json
在vim的命令模式下运行
%!jq .
python json.tool
在命令行运行
python -m json.tool <<< '{ "stuff": { "that": [1,2,3], "isin": true, "json": "end"}}'
python -m json.tool test.json
在vim的命令模式下运行
%!python -m json.tool
在线格式化 Format JSON JSON Formatter JSON Formatter, Validator, Vi
$ df -h
Filesystem Size Used Avail Use% Mounted on
udev 126G 0 126G 0% /dev
tmpfs 26G 4.0M 26G 1% /run
/dev/sda2 548G 50G 471G 10% /
tmpfs 126G 0 126G 0% /sys/fs/cgroup
/dev/sda1 511M 7.9M 504M 2% /boot/efi
/dev/sdb1 2.0T 4.7G 1.9T 1% /data
字母小写转大写
$ df -h | tr [:lower:] [:upper:]
FILESYSTEM SIZE USED AVAIL USE% MOUNTED ON
UDEV 126G 0 126G 0% /DEV
TMPFS 26G 4.0M 26G 1% /RUN
/DEV/SDA2 548G 50G 471G 10% /
TMPFS 126G 0 126G 0% /SYS/FS/CGROUP
/DEV/SDA1 511M 7.9M 504M 2% /BOOT/EFI
/DEV/SDB1 2.0T 4.7G 1.9T 1% /DATA
$ df -h | tr a-z A-Z
字母大写转小写
$ df -h | tr [:upper:] [:lower:]
$ df -h | tr A-Z a-z
OpenResty 是一款基于 NGINX 和 LuaJIT 的 Web 平台。
拉取 OpenResty 镜像
sudo docker pull openresty/openresty:xenial
sudo docker pull openresty/openresty:centos
查看镜像的标签 $ sudo docker inspect openresty/openresty:centos | jq '.[].Config.Labels' { "maintainer": "Evan Wies <evan@neomantra.net>", "org.label-schema.build-date": "20210915", "org.label-schema.license": "GPLv2", "org.label-schema.name": "CentOS Base Image", "org.label-schema.schema-version": "1.0", "org.label-schema.
查看 LVM 的相关命令
man lvm
lvm --help
查看系统的块设备 $ lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT loop0 7:0 0 43.4M 1 loop /snap/snapd/14549 loop1 7:1 0 43.3M 1 loop /snap/snapd/14295 loop2 7:2 0 76.3M 1 loop /snap/lxd/22407 loop3 7:3 0 61.9M 1 loop /snap/core20/1328 loop4 7:4 0 55.5M 1 loop /snap/core18/2253 loop5 7:5 0 55.5M 1 loop /snap/core18/2284 loop7 7:7 0 94.5M 1 loop /snap/go/9028 loop8 7:8 0 94.5M 1 loop /snap/go/8839 loop9 7:9 0 76.3M 1 loop /snap/lxd/22358 loop10 7:10 0 61.9M 1 loop /snap/core20/1270 sda 8:0 0 558.9G 0 disk ├─sda1 8:1 0 512M 0 part /boot/efi └─sda2 8:2 0 558.
构建 ONNXRuntime-GPU 镜像
编写 requirements.txt
$ vim requirements.txt
flask
connexion[swagger-ui]
connexion
gunicorn
numpy
opencv-python
scikit-image
psutil
pynvml
onnxruntime-gpu
编写 Dockerfile 需要带 cudnn 库的 CUDA 作为基镜像 $ vim Dockerfile FROM nvidia/cuda:11.4.0-cudnn8-runtime-ubuntu20.04 LABEL maintainer="wang-junjian@qq.com" RUN rm /etc/apt/sources.list.d/cuda.list /etc/apt/sources.list.d/nvidia-ml.list && \ sed -i 's/archive.ubuntu.com/mirrors.aliyun.com/g' /etc/apt/sources.
安装 CUDA Toolkit
下载
wget https://developer.download.nvidia.com/compute/cuda/11.6.0/local_installers/cuda_11.6.0_510.39.01_linux.run
安装 $ sudo sh cuda_11.5.1_495.29.05_linux.run =========== = Summary = =========== Driver: Installed Toolkit: Installed in /usr/local/cuda-11.5/ Samples: Installed in /home/lnsoft/, but missing recommended libraries Please make sure that - PATH includes /usr/local/cuda-11.5/bin - LD_LIBRARY_PATH includes /usr/local/cuda-11.5/lib64, or, add /usr/local/cuda-11.5/lib64 to /etc/ld.so.
容器技术由于其轻量级和可伸缩的优势而被广泛使用。GPU也因为其强大的并行计算能力被用于应用程序加速。在云计算环境下，容器可能需要一块或者多块GPU计算卡来满足应程序的资源需求，但另一方面，容器独占GPU计算卡常常会带来资源利用率低的问题。因此，对于云计算资源提供商而言，如何解决在多个容器之间共享GPU计算卡是一个很有吸引力的问题。本文中我们提出了一种称为GaiaGPU的方法，用于在容器间共享GPU存储和GPU的计算资源。GaiaGPU会将物理GPU计算卡分割为多个虚拟GPU并且将虚拟GPU按需分配给容器。同时我们采用了弹性资源分配和动态资源分配的方法来提高资源利用率。实验结果表明GaiaGPU平均仅带来1.015%的性能损耗并且能够高效的为容器分配和隔离GPU资源。
编译 GaiaGPU 服务
配置 git 加速
$ git config --global url."https://github.com.cnpmjs.org".insteadOf "https://github.com"
$ vim /etc/profile
export GOPROXY=https://goproxy.cn,direct
export GO111MODULE=on
$ source /etc/profile
vCUDA Controller $ git clon
安装
到 https://golang.google.cn/dl/ 下载对应操作系统的安装包。
Mac
wget https://golang.google.cn/dl/go1.17.7.darwin-amd64.pkg
Linux
wget https://golang.google.cn/dl/go1.17.7.linux-amd64.tar.gz
sudo tar -C /usr/local/ -xzf go1.17.7.linux-amd64.tar.gz
Ubuntu
sudo apt install golang
配置
$ sudo vim /etc/profile
PATH=$PATH:/usr/local/go/bin
#Go代理配置(解决墙的问题)
export GOPROXY=https://goproxy.cn,direct
export GO111MODULE=on
$ source /etc/profile
查看 Go 版本信息
$ go version
go version go1.17.7 linux/amd64
参考资料
浏览Markdown
sudo apt install lynx
sudo apt install pandoc
pandoc README.md | lynx -stdin
sudo pip install grip
sudo apt install lynx
grip -b README.md
lynx http://localhost:6419/
sudo apt install pandoc
pandoc README.md -t plain | less
浏览HTML
sudo apt install w3m
w3m index.html
sudo apt install lynx
sudo apt install pandoc
pandoc index.html | lynx -stdin
sudo pip install grip
grip -b index.html
参考资料
OpenIL 是一个基于 Buildroot 的开源项目，专为嵌入式工业解决方案而设计。
Buildroot 是一个简单、高效、易用的工具，通过交叉编译生成嵌入式 Linux 系统。
获取 OpenIL
git clone https://github.com/openil/openil.git
cd openil/
切换版本
查看版本
$ git tag
OpenIL-201705
OpenIL-201708
OpenIL-201712
OpenIL-201803
OpenIL-201805
OpenIL-201808
OpenIL-201810
OpenIL-201901
OpenIL-201904
OpenIL-201908
OpenIL-v1.10-202012
OpenIL-v1.10-202012-EAR
OpenIL-v1.11-202104
OpenIL-v1.11-RC2
OpenIL-v1.6.1-201909
OpenIL-v1.6.2-201911
OpenIL-v1.7-202001
OpenIL-v1.7-202001-update
OpenIL-v1.8-202005
OpenIL-v1.8.1-202009
OpenIL-v1.8.2-202009
OpenIL-v1.9-202009
切换版本
git branch OpenIL-v1.8-202005
img 磁盘镜像文件
查看分区表信息 $ fdisk sdcard.img Welcome to fdisk (util-linux 2.34). Changes will remain in memory only, until you decide to write them. Be careful before using the write command. Command (m for help): p Disk sdcard.img: 2.19 GiB, 2348810240 bytes, 4587520 sectors Units: sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disklabel type: dos Disk identifier: 0x00000000 Device Boot Start End Sectors Size Id Type sdcard.img1 * 131072 393215 262144 128M c W95 FAT32 (LBA) sdcard.
我们遇到一个场景，压榨出每一台节点的性能，需要优先调度到资源（CPU、Memory）使用最多的节点上。
了解默认调度
现有的通用调度程序是平台默认提供的调度程序引擎，它可通过三步操作来选择托管 pod 的节点：
过滤节点
根据指定的约束或要求过滤可用的节点。这可以通过名为predicates的过滤函数列表筛选每个节点来完成。
排列过滤后节点列表的优先顺序
实现方式是让每个节点通过一系列优先级函数，以为其分配从 0 到 10 的一个分数。0 代表不适合的节点，10 则代表最适合托管该 pod。调度程序配置还可以为每个优先级函数使用简单的权重（正数值）。每个优先级函数提供的节点分数乘以权重（大多数优先级的默认权重为 1），然后将每个节点从所有优先级获得的分数相加。管理员可以使用这个权重属性，为一些优先级赋予更高的重要性。
选择最适合的节点
节点按照分数排序，系统选择分数最高的节点来托管该 pod。如果多个节点的分数相同，则随机选择其中一个。
配置调度策略 编写调度策略文件，配置优先级。 配置参与打分项及权重。这里使用了 MostRequestedPriority，优先使用占用 CPU 和 Memory 多的节点。 sudo vim /etc/kubernetes/scheduler-policy-config.
安装 lftp
sudo apt-get -y install lftp
登录 FTP
lftp [-d] [-e cmd] [-p port] [-u user[,pass]] [site]
lftp -p 8821 -u sdlrzn download.cambricon.com
执行内部命令
查看 FTP 服务器目录内容
ls
下载文件
get /product/GJD/MLU270/1.7.604/Ubuntu18.04/Driver/neuware-mlu270-driver-dkms_4.9.8_all.deb
下载目录
mirror remote local
mirror MLU270 MLU270
执行本地系统命令
local pwd
local ls
local rm -r MLU270
参考资料
安装 Fabric
pip3 install fabric
远程执行 Shell 命令脚本（remote_execute_shell_command.py） #!/usr/bin/python import argparse from fabric import Connection, Config # 您要远程操作的计算机，username@ip HOSTS = ['root@192.168.0.1', 'root@192.168.0.2'] PASSWORDS = ['admin', 'admin'] if name == 'main': parser = argparse.ArgumentParser() parser.add_argument('-c', '--command', type=str, help='execute shell command.') args = parser.parse_args() if not args.command: args.command = 'uname -a' print('➜ Execute shell command: ', args.
用户界面 Dashboard
Dashboard 是基于网页的 Kubernetes 用户界面。您可以使用 Dashboard 将容器应用部署到 Kubernetes 集群中，也可以对容器应用排错，还能管理集群资源。您可以使用 Dashboard 获取运行在集群中的应用的概览信息，也可以创建或者修改 Kubernetes 资源（如 Deployment，Job，DaemonSet 等等）。例如，您可以对 Deployment 实现弹性伸缩、发起滚动升级、重启 Pod 或者使用向导创建新的应用。
部署 Dashboard
安装 Dashboard
kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v2.4.0/aio/deploy/recommended.yaml
过几分钟后您将看到 kubernetes-dashboard 名字空间下会有 Pod 运行。
删除 Kubernetes 旧版本，安装 Kubernetes 1.21.5。
必备安装
每台服务器都需要
root 登录
su - root
设置时区
timedatectl set-timezone Asia/Shanghai
设置主机名
hostnamectl set-hostname new-hostname
安装 Docker-CE
apt-get -y update
apt-get -y install apt-transport-https ca-certificates curl software-properties-common
# 安装GPG证书
curl -fsSL https://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | apt-key add -
# 写入软件源信息
add-apt-repository "deb [arch=amd64] https://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"
# 更新并安装
apt-get -y update
apt-get -y install docker-ce docker-ce-cli containerd.io
安装
pip install paddleocr
测试
import cv2
import numpy as np
from paddleocr import PaddleOCR
ocr = PaddleOCR(use_angle_cls=True)
image_path = 'test.jpg'
img = cv2.imread(image_path)
img_gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
img_gray1 = img_gray[:,:, np.newaxis]
img_gray3 = np.concatenate([img_gray1, img_gray1, img_gray1], axis=-1)
texts = ocr.ocr(img_gray3)
for text in texts:
"""
box 坐标1 坐标2
坐标4 坐标3
"""
box = text[0]
t = text[1][0]
score = text[1][1]
可视化（图像上画出文本和得分） import os import shutil import cv2 import numpy as np import uuid from PIL import ImageFo
没有找到匹配的文章