92 篇文章带有标签 “docker”

2020年11月4日星期三

使用YOLOv5训练自定义数据集

在 Ubuntu20.04 系统上使用4张GPU卡基于容器训练模型。

准备数据

project
├── data.yaml           #数据集配置文件
├── models              #网络模型（可以使用下面的脚本自动生成）
│   ├── yolov5s.yaml    #Small
│   ├── yolov5m.yaml    #Medium
│   ├── yolov5l.yaml    #Large
│   └── yolov5x.yaml    #XLarge
├── images              #图片
│   ├── train           #训练集
│   │   ├── 000001.jpg
│   │   ├── 000002.jpg
│   │   └── 000003.jpg
│   └── val             #验证集
│       ├── 000010.jpg
│       └── 000011.jpg
├── labels              #YOLO格式的标注
│   ├── train           #训练集
│   │   ├── 000001.txt
│   │   ├── 000002.txt
│   │   └── 000003.txt
│   └── val             #验证集
│       ├── 000010.txt
│       └── 000011.txt
├── test                #测试图片
└── output              #推理后的标注图片

构建环境

拉取镜像

$ docker pull ultralytics/yolov5:latest

运行容器

$ docker run --ipc=host --runtime=nvidia -it --name project_name-yolov5 \
    -v project_dir:/usr/src/app/project ultralytics/yolov5:latest

2020-11-04 00:00

2020年11月2日星期一

配置Docker镜像源

加速 Docker Hub 镜像拉取速度。

这里以阿里云镜像源：https://75oltije.mirror.aliyuncs.com 为例进行配置。

$ sudo nano /etc/docker/daemon.json
{
  "registry-mirrors": ["https://75oltije.mirror.aliyuncs.com"]
}

## 另一种方法()
cat << EOF >/etc/docker/daemon.json
{
  "registry-mirrors": ["https://75oltije.mirror.aliyuncs.com"]
}
EOF

重启 Docker daemon 服务

$ sudo systemctl restart docker

参考资料

2020-11-02 00:00

docker mirror china sysadmin networking registry

2020年10月18日星期日

在Ubuntu上安装nvidia-docker2

在 Ubuntu20.04 上安装 nvidia-docker2

配置 apt 仓库(repository)

$ curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | \
  sudo apt-key add -
$ distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
$ curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | \
  sudo tee /etc/apt/sources.list.d/nvidia-docker.list

更新安装包的列表

$ sudo apt-get update

安装 nvidia-docker2

$ sudo apt-get install -y nvidia-docker2

安装后可以查看 nvidia runtime 配置

$ nano /etc/docker/daemon.json
{
    "runtimes": {
        "nvidia": {
            "path": "nvidia-container-runtime",
            "runtimeArgs": []
        }
    }
}

2020-10-18 00:00

docker nvidia gpu ubuntu containers installation cuda linux

2020年10月17日星期六

在Ubuntu上安装Docker

在 Ubuntu20.04 上安装 Docker

安装 Docker

$ curl -fsSL https://get.docker.com | sh -

Install Docker Engine on Ubuntu（官方安装文档）

把用户名(username)加入到 docker 组，这样以后在非 root 用户下不用每次操作都 sudo。

$ sudo usermod -aG docker username

需要退出用户会话，重新登录方可生效。

卸载Docker

删除Docker及其依赖

$ sudo apt-get remove --auto-remove docker

删除所有数据

$ sudo rm -rf /var/lib/docker

2020-10-17 00:00

docker ubuntu installation containers linux sysadmin command-line

2020年9月12日星期六

安装Harbor

下载最新的 Harbar Release

wget -c https://github.com/goharbor/harbor/releases/download/v2.1.3/harbor-offline-installer-v2.1.3.tgz
tar -zxvf harbor-offline-installer-v2.1.3.tgz
cd harbor

生成证书（用于支持 HTTPS 访问）

在生产环境中，请始终使用HTTPS，您应该从CA获得证书。在测试或开发环境中，您可以生成自己的CA。

生成CA证书生成CA证书私钥 openssl genrsa -out ca.key 4096 Generating RSA private key, 4096 bit long modulus (2 primes) .............................................................................................................................................++++ ..............................................................................................

2020-09-12 00:00

docker harbor ubuntu registry https ssl containers devops deployment private-registry

2020年7月30日星期四

使用RetinaNet算法训练自定义数据集

训练自己的数据集

标注数据

LabelImg

#标注后的目录结构
project
└── labelimg
    ├── 20190128155421222575013.jpg
    ├── 20190128155421222575013.xml
    ├── 20190128155703035712899.jpg
    ├── 20190128155703035712899.xml
    ├── 20190129091126392737624.jpg
    └── 20190129091126392737624.xml

构建镜像

拉取

$ sudo docker pull gouchicao/keras-retinanet:latest

手动构建

FROM gouchicao/tensorflow:2.2.0-gpu-jupyter-opencv4-pillow-wget-curl-git-nano
LABEL maintainer="wang-junjian@qq.com"
WORKDIR /
RUN mkdir -p /root/.keras/models/ && \
    wget -O /root/.keras/models/ResNet-50-model.keras.h5 https://github.com/fizyr/keras-models/releases/download/v0.0.1/ResNet-50-model.keras.h5
RUN git clone --depth 1 --recurse-submodules https://github.com/gouchicao/keras-retinanet.git
WORKDIR /keras-retinanet/keras-retinanet
# 提前安装指定版本 keras==2.3.1 解决错误 TypeError: type object got multiple values for keyword argument 'training'
RUN pip install keras==2.3.1 && \
    pip install . && \
    python setup.py build_ext --inplace
WORKDIR /keras-retinanet

2020-07-30 00:00

目标检测 retinanet tensorflow keras docker tensorboard deep-learning computer-vision python gpu

2020年6月6日星期六

构建YOLOv4容器应用在自定义数据集上

构建YOLOv4容器

编写Dockerfile

FROM nvidia/cuda:10.0-cudnn7-devel-ubuntu18.04
LABEL maintainer="wang-junjian@qq.com"

#auto install tzdata(opencv depend)
ENV DEBIAN_FRONTEND=noninteractive

RUN apt-get update && apt-get install -y \
    git wget nano \
    libopencv-dev python3-opencv \
    && rm -rf /var/lib/apt/lists/*

#set your localtime
RUN ln -fs /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

WORKDIR /
// ...

构建容器

docker build -t darknet:latest-gpu-yolov4 .

创建工程工程目录结构 ├── yolov4.conv.137 预训练模型 ├── darknet └── project 工程目录 ├── backup 存储模型训练时权重值 ├── cfg 配置目录 │ ├── train.

2020-06-06 00:00

目标检测 yolo yolov4 darknet docker nvidia gpu deep-learning computer-vision containers

2019年9月1日星期日

使用Detectron在自定义数据集上训练MaskRCNN

拉取镜像 Detectron

sudo docker pull gouchicao/detectron:latest

创建工程（COCO格式）

└── helmet　　　　　　　　　　工程目录
    ├── images　　　　　　　 样本图片目录
    ├── helmet_train.json　训练的样本标注信息
    ├── helmet_val.json　　验证的样本标注信息
    ├── test               测试图片目录
    ├── predict            预测图片目录
    ├── model　　　　　　　　模型目录
    └── e2e_mask_rcnn_R-101-FPN_2x.yaml  网络配置文件

运行容器 Detectron，挂载工程目录。

sudo docker run -it --runtime=nvidia --name detectron-helmet \
                -v /helmet-project-realpath:/detectron/project \
                gouchicao/detectron:latest

修复BBOX_XFORM_CLIP错误

nano /detectron/detectron/utils/env.py

yaml_load = lambda x: yaml.load(x, Loader=yaml.Loader)

工程设置配置数据集 nano /detectron/detectron/datasets/dataset_catalog.

2019-09-01 00:00

目标检测 detectron mask-rcnn docker machine-learning computer-vision instance-segmentation tutorial

2019年7月9日星期二

基于Darknet框架的YOLOv3算法开发的模型训练和部署的容器化产品

基于 Darknet 的容器化产品

模型训练工程化 [darknet]
模型部署服务器 [darknet-serving]

模型训练工程化 [darknet]

训练前的数据准备

project/            # 工程根目录
├── cfg             # 配置目录
│   └── voc.names   # 标签名
├── images          # 样本
│   ├── ...
│   └── ...
├── labels          # YOLO标注格式
│   ├── ...
│   └── ...
└── test            # 训练完后用于测试（非必须）
├── ...
└── ...

举例：这里以platen-switch为例

platen-switch/
├── cfg
│   └── voc.names
├── images
│   ├── IMG_9255.JPG
│   ├── IMG_9263.JPG
│   ├── IMG_9266.JPG
│   └── IMG_9280.JPG
├── labels
│   ├── IMG_9255.txt
│   ├── IMG_9263.txt
│   ├── IMG_9266.txt
│   └── IMG_9280.txt
└── test
├── IMG_9256.JPG
└── IMG_9271.JPG

运行darknet容器将工程目录作为挂载点绑定到容器 # 使用您的工程绝对路径设置变量 project_dir

2019-07-09 00:00

目标检测 darknet yolo yolov3 docker containers machine-learning computer-vision deployment

2019年3月5日星期二

Dockerfile JDK-MCR(MATLAB Compiler Runtime)

JDK-MCR(MATLAB Compiler Runtime)

FROM openjdk:latest
LABEL maintainer="wang-junjian@qq.com"

MAINTAINER Wang Junjian

RUN apt-get update && apt-get install -y curl wget unzip xorg

#Install MATLAB runtime
RUN mkdir /mcr-install && cd /mcr-install && \
    wget -nv http://ssd.mathworks.com/supportfiles/downloads/R2018b/deployment_files/R2018b/installers/glnxa64/MCR_R2018b_glnxa64_installer.zip && \
    unzip MCR_R2018b_glnxa64_installer.zip && \
    ./install -mode silent -agreeToLicense yes && \
    rm -Rf /mcr-install

ENV LD_LIBRARY_PATH /usr/local/MATLAB/MATLAB_Runtime/v95/runtime/glnxa64:/usr/local/MATLAB/MATLAB_Runtime/v95/bin/glnxa64:/usr/local/MATLAB/MATLAB_Runtime/v95/sys/os/glnxa64:/usr/local/MATLAB/MATLAB_Runtime/v95/extern/bin/glnxa64

CMD /bin/sh

2019-03-05 00:00

docker dockerfile java jdk matlab mcr deployment tutorial

2019年2月20日星期三

搭建 Private Docker Registry

Registry

配置hosts

sudo nano /etc/hosts

10.10.10.10    HOSTNAME

运行registry

docker pull registry:2

sudo docker run -d \
    -p 5000:5000 \
    -v /home/ailab/docker-registry:/var/lib/registry \
    --restart=always \
    --name docker-registry \
    registry:2

修改Docker配置

sudo nano /etc/docker/daemon.json

{
    "live-restore": true,
    "group": "dockerroot",
    "insecure-registries": ["HOSTNAME:5000"]
}

重启Docker Engine

sudo systemctl restart docker

推送镜像

sudo docker tag hello-world:latest HOSTNAME:5000/hello-world:latest
sudo docker push HOSTNAME:5000/hello-world:latest

Registry UI

2019-02-20 00:00

docker registry private-registry devops deployment tutorial

2018年12月26日星期三

基于容器的负载均衡

HAProxy

编写 HAProxy 配置文件 nano haproxy.cfg global log 127.0.0.1 local0 maxconn 4096 chroot /usr/local/sbin daemon nbproc 4 pidfile /usr/local/sbin/haproxy.

2018-12-26 00:00

haproxy 负载均衡 docker load-balancing containers devops

92 篇文章带有标签 “docker”

2020年11月4日 星期三

2020年11月2日 星期一

2020年10月18日 星期日

2020年10月17日 星期六

2020年9月12日 星期六

2020年7月30日 星期四

2020年6月6日 星期六

2019年9月1日 星期日

2019年7月9日 星期二

2019年3月5日 星期二

2019年2月20日 星期三

2018年12月26日 星期三