36 篇文章带有标签 “ubuntu”

2024年1月8日星期一

NVIDIA Driver 安装

困难重重 😭

服务器是 NVIDIA Tesla T4，系统是 Ubuntu 20.04，从 Kubernetes 集群中分离出来的，因 Tabby 请求 CUDA >= 11.7，需要重新安装新版本的驱动。

CUDA Toolkit Archive

sudo sh NVIDIA-Linux-x86_64-535.129.03.run

就两步就完成了，简单吧 😄

实际安装过程 😭

安装驱动

sudo sh NVIDIA-Linux-x86_64-535.129.03.run

日志查看错误信息

2024-01-08 00:00

2023年7月3日星期一

使用 StorageClass 动态创建 NFS 持久卷

PVC 操作流程

Volume

卷的核心是一个目录，其中可能存有数据，Pod 中的容器可以访问该目录中的数据。所采用的特定的卷类型将决定该目录如何形成的、使用何种介质保存数据以及目录中存放的内容。

使用卷时, 在 .spec.volumes 字段中设置为 Pod 提供的卷，并在 .spec.containers[*].volumeMounts 字段中声明卷在容器中的挂载位置。

emptyDir 卷的存储介质（例如磁盘、SSD 等）是由保存 kubelet 数据的根目录（通常是 /var/lib/kubelet）的文件系统的介质确定。 Kubernetes 对 emptyDir 卷或者 hostPath 卷可以消耗的空间没有限制，容器之间或 Pod 之间也没有隔离。

PersistentVolume

持久卷（PersistentVolume，PV）是集群中的一块存储，可以由管理员事先创建，或者使用存储类（Storage Class）来动态创建。持久卷是集群资源，就像节点也是集群资源一样。PV 持久卷和普通的 Volume 一样，也是使用卷插件来实现的，只是它们拥有独立于任何使用 PV 的 Pod 的生命周期。

PV 对象是由运维人员事先创建在 Kubernetes 集群里待用的。

PersistentVolumeClaim 持久卷声明（PersistentVolumeClaim，PVC

2023-07-03 00:00

kubernetes nfs storageclass persistentvolume persistentvolumeclaim mongodb storage ubuntu persistent-storage

2023年1月3日星期二

安装Kubernetes 1.26.0

Master 节点

查询可用安装包的信息

$ apt-cache madison kubeadm | head
kubeadm |  1.26.0-00 | https://mirrors.aliyun.com/kubernetes/apt kubernetes-xenial/main amd64 Packages
kubeadm |  1.25.5-00 | https://mirrors.aliyun.com/kubernetes/apt kubernetes-xenial/main amd64 Packages

切换 root 用户

su - root

更新

apt -y update
apt -y install docker-ce docker-ce-cli containerd.io
apt -y install kubelet=1.26.0-00 kubeadm=1.26.0-00 kubectl=1.26.0-00

安装 Kubernetes $ kubeadm reset -f $ kubeadm init --kubernetes-version=1.26.0 --image-repository=registry.aliyuncs.

2023-01-03 00:00

kubernetes kubeadm containerd docker ubuntu cluster-setup kubectl devops containers installation

2022年5月3日星期二

Ubuntu 上将 NVIDIA GPU 切换为 Intel 集成显卡 IGD

IGD（Integrated Graphics Device）

操作系统：Ubuntu 18.04，主机有一张 NVIDIA 的独立显卡 GP106 [GeForce GTX 1060 6GB]，还有 Intel 酷睿处理器 i5 8500 自带的集成显卡（Intel UHD Graphics 630）。为了更充分的使用独立显卡用于深度学习计算，需要把集成显卡用于显示。在这个过程中遇到了各种各样的问题：

鼠标和键盘失灵。
登录 X Window 时，输入正确的密码不能登录。

BIOS 设置

显卡设置

IGD 内置图形显示集成显卡
PEG 独立PCI Express接口图形显卡

选择 IGD，保存退出。

配置 X Window 显示显卡设备信息 lspci lspci -k | grep -EA3 'VGA|3D|Display' | | | | | - Only VGA is not good enough, | | | | | because Nvidia mobile adapters | | | | | are shown as 3D and some AMD | | | | | adapters are shown as Display. | | | | --------- Print 3 lines after the regexp match.

2022-05-03 00:00

ubuntu gpu nvidia intel x11 driver hardware troubleshooting

2022年3月30日星期三

Install Python3.9 in Ubuntu20.04

问题

基于之前安装 Python3.8 的经验，运行下面的命令就可以成功安装 Python3.9 和 pip，但是这回失败了。

sudo apt install build-essential python3.9 python3.9-dev -y
sudo ln -s /usr/bin/python3.9 /usr/bin/python
curl https://bootstrap.pypa.io/get-pip.py | sudo python -

Traceback (most recent call last):
  File "/home/lnsoft/wjj/get-pip.py", line 33324, in <module>
    main()
  File "/home/lnsoft/wjj/get-pip.py", line 135, in main
    bootstrap(tmpdir=tmpdir)
  File "/home/lnsoft/wjj/get-pip.py", line 111, in bootstrap
    monkeypatch_for_cert(tmpdir)
  File "/home/lnsoft/wjj/get-pip.py", line 92, in monkeypatch_for_cert
    from pip._internal.commands.install import InstallCommand
  File "<frozen zipimport>", line 259, in load_module
  File "/tmp/tmpcw3afq6v/pip.zip/pip/_internal/commands/__init__.py", line 9, in <module>
  File "<frozen zipimport>", line 259, in load_module
  File "/tmp/tmpcw3afq6v/pip.zip/pip/_internal/cli/base_command.py", line 15, in <module>
  File "<frozen zipimport>", line 259, in load_module
  File "/tmp/tmpcw3afq6v/pip.zip/pip/_internal/cli/cmdoptions.py", line 23, in <module>
  File "<frozen zipimport>", line 259, in load_module
  File "/tmp/tmpcw3afq6v/pip.zip/pip/_internal/cli/parser.py", line 12, in <module>
  File "<frozen zipimport>", line 259, in load_module
  File "/tmp/tmpcw3afq6v/pip.zip/pip/_internal/configuration.py", line 26, in <module>
  File "<frozen zipimport>", line 259, in load_module
  File "/tmp/tmpcw3afq6v/pip.zip/pip/_internal/utils/logging.py", line 27, in <module>
  File "<frozen zipimport>", line 259, in load_module
  File "/tmp/tmpcw3afq6v/pip.zip/pip/_internal/utils/misc.py", line 39, in <module>
  File "<frozen zipimport>", line 259, in load_module
  File "/tmp/tmpcw3afq6v/pip.zip/pip/_internal/locations/__init__.py", line 14, in <module>
  File "<frozen zipimport>", line 259, in load_module
  File "/tmp/tmpcw3afq6v/pip.zip/pip/_internal/locations/_distutils.py", line 9, in <module>
ModuleNotFoundError: No module named 'distutils.cmd'

2022-03-30 16:00

ubuntu python3.9 pip installation linux distutils apt python

2022年3月17日星期四

Dockerfile 实践

系统

指定本地时区

FROM ubuntu:20.04
LABEL maintainer="wang-junjian@qq.com"

ARG TIME_ZONE=Asia/Shanghai
RUN DEBIAN_FRONTEND=noninteractive apt-get install tzdata -y && \
    ln -fs /usr/share/zoneinfo/$TIME_ZONE /etc/localtime && \
    echo $TIME_ZONE > /etc/timezone

/etc/localtime 修改时区
/etc/timezone 描述本机所属时区
timedatectl 显示修改好的效果参考资料
linux时区（/etc/localtime和/etc/timezone）
在 Linux 中查看你的时区

Python 开发环境构建 Python, OpenCV 开发环境的镜像 FROM ubuntu:20.04 LABEL maintainer="wang-junjian@qq.com" # 设置 apt 源（阿里云），设置完必须 update。 RUN sed -i 's/archive.ubuntu.com/mirrors.aliyun.

2022-03-17 16:00

docker dockerfile python opencv pip apt timezone ubuntu

2022年2月7日星期一

在Linux上安装CUDA Toolkit

安装 CUDA Toolkit

下载

wget https://developer.download.nvidia.com/compute/cuda/11.6.0/local_installers/cuda_11.6.0_510.39.01_linux.run

安装 $ sudo sh cuda_11.5.1_495.29.05_linux.run =========== = Summary = =========== Driver: Installed Toolkit: Installed in /usr/local/cuda-11.5/ Samples: Installed in /home/lnsoft/, but missing recommended libraries Please make sure that - PATH includes /usr/local/cuda-11.5/bin - LD_LIBRARY_PATH includes /usr/local/cuda-11.5/lib64, or, add /usr/local/cuda-11.5/lib64 to /etc/ld.so.

2022-02-07 16:00

linux cuda nvidia driver installation nvidia-smi gpu ubuntu

2021年4月8日星期四

SSH 登录欢迎信息

终端登录时显示给用户的欢迎消息，无论是通过远程 SSH 登录还是直接通过 TTY 或终端，是 motd 的一部分，即 Message Of The Day 守护程序。通过修改 /etc/update-motd.d 目录中的 /etc/motd 文件或脚本，可以自定义 motd 消息以适合每个用户或管理员的个性化需求。

附加 motd 消息 sudo sh -c 'echo "Hello World!" > /etc/motd' 退出后重新登录 $ ssh username@hostname Welcome to Ubuntu 20.04 LTS (GNU/Linux 5.4.0-53-generic x86_64) * Documentation: https://help.ubuntu.com * Management: https://landscape.canonical.com * Support: https://ubuntu.com/advantage System information as of Thu 29 Apr 2021 08:16:49 AM UTC System load: 7.85 Processes: 1046 Usage of /: 62.1% of 548.

2021-04-08 16:00

ssh motd linux ubuntu sysadmin login

2021年2月24日星期三

Install NVIDIA device plugin for Kubernetes

配置每个NVIDIA GPU节点上的Docker

增加"default-runtime": "nvidia"

$ sudo vim /etc/docker/daemon.json
{
    "registry-mirrors": ["https://75oltije.mirror.aliyuncs.com"],
    "default-runtime": "nvidia",
    "runtimes": {
        "nvidia": {
            "path": "nvidia-container-runtime",
            "runtimeArgs": []
        }
    }
}

重启服务

sudo systemctl restart docker

设置每个节点的污点

GPU 节点

kubectl taint node gpu1 nvidia.com/gpu:NoSchedule
kubectl taint node gpu2 nvidia.com/gpu:NoSchedule

CPU 节点 kubectl taint node ln2 node-type=production:NoSchedule kubectl ta

2021-02-24 16:00

kubernetes nvidia gpu docker helm ubuntu kubectl nvidia-docker2 device-plugin

2021年1月15日星期五

vim实践

安装

版本

vim
vim-gtk (KDE)
vim-gtk3 (GNOME)
vim-tiny (最小功能)

查看安装的 vim 版本

apt list --installed | grep vim
yum list installed | grep vim

安装带图形界面的版本

macOS MacVim

Ubuntu

sudo apt install vim-gtk3

运行

vim -g
gvim

查看可用插件

vim --version
打开 vim，输入命令 :version

四种模式

正常模式
插入模式
- 进入方式
  - i 光标当前位置进入
  - Shift+i 光标所在行的开头位置进入
  - a 光标当前位置下一个字符进入
  - Shift+a 光标所在行的行尾位置进入
  - o 光标所在行下插入空行
  - Shift+o 光标所在行上插入空行
- 退出
  - 按esc键
命令模式
- 进入方式
  - : 设置命令
  - / 向下搜索
  - ? 向上搜索
- 退出
  - 按两次esc键
可视模式
- 进入方式
  - v 字符
  - Shift+v 行
  - Ctrl+v 块
- 操作
  - d 删除选择
  - y 复制
  - Shift+i 块插入 (输入插入字符后，按两次esc键。)
- 退出
  - 按两次esc键

文件

:q 没有修改直接退出
:q! 放弃修改退出
:w 保存
:wq 保存退出
- :wq filename 保存退出
ZZ 保存退出

:!command 运行shell命令
- :!ls -l 查看当前目录列表
- :!ifconfig 查看本地IP地址

2021-01-15 16:00

linux vim editor command-line cli bash configuration tips macos ubuntu

2021年1月14日星期四

命令ln

在文件之间建立链接

    ln [OPTION]... [-T] TARGET LINK_NAME
    ln [OPTION]... TARGET
    ln [OPTION]... TARGET... DIRECTORY
    ln [OPTION]... -t DIRECTORY TARGET...

文件或目录的软链接（类似指针）

创建

ln -s /data/apt-mirror/mirror/archive.ubuntu.com/ubuntu /var/www/ubuntu

查看

$ ll /var/www/ubuntu
lrwxrwxrwx 1 root root 49 Jan 15 00:23 /var/www/ubuntu -> /data/apt-mirror/mirror/archive.ubuntu.com/ubuntu/

删除

unlink

unlink /var/www/ubuntu

rm /var/www/ubuntu

参考资料

Linux Delete Symbolic Link ( Softlink )

2021-01-14 16:00

linux ln command-line cli filesystem symlink shell ubuntu tips

2021年1月13日星期三

命令chown

更改文件所有者和组

    chown [OPTION]... [OWNER][:[GROUP]] FILE...

修改文件或目录的所有者

sudo chown root filename

-rw-rw-r-- 1 root wjj    0 Jan 15 02:35 filename

修改文件或目录的组

sudo chown :root filename

-rw-rw-r-- 1 root root    0 Jan 15 02:35 filename

修改文件或目录的所有者和组

sudo chown wjj:wjj filename

-rw-rw-r-- 1 wjj:wjj    0 Jan 15 02:35 filename

sudo chown -R root:root test

参考资料

Chown Command in Linux (File Ownership)

2021-01-13 16:00

linux chown command-line cli filesystem permissions user-management shell ubuntu tips

2021年1月12日星期二

基于Apt-Mirror创建私有Ubuntu存储库

服务端

apt-mirror下载软件包

安装apt-mirror

sudo apt-get install apt-mirror -y
#修复FAQ1
sudo curl -fsSL https://raw.githubusercontent.com/Stifler6996/apt-mirror/master/apt-mirror > apt-mirror

配置mirror.list sudo nano /etc/apt/mirror.list ############# config ################## set base_path /data/apt-mirror #set mirror_path $base_path/mirror #set skel_path $base_path/skel #set var_path $base_path/var #set cleanscript $var_path/clean.sh #set defaultarch <running host architecture> #set postmirror_script $var_path/postmirror.

2021-01-12 16:00

linux ubuntu apt apt-mirror apache repository mirror private-registry package-management devops

2021年1月9日星期六

Apache HTTP Server实践

修改端口号

/etc/apache2/ports.conf

sudo nano /etc/apache2/ports.conf

# If you just change the port or add more ports here, you will likely also
# have to change the VirtualHost statement in
# /etc/apache2/sites-enabled/000-default.conf

Listen 8081
......
......

/etc/apache2/sites-enabled/000-default.conf

sudo nano /etc/apache2/sites-enabled/000-default.conf

<VirtualHost *:8081>
......
......
</VirtualHost>

重启服务

sudo systemctl restart apache2

参考资料

2021-01-09 16:00

linux apache webserver http command-line configuration ubuntu tips

2021年1月8日星期五

Dockerfile OpenCV4 Ubuntu20.04

Dockerfile

FROM ubuntu:20.04
LABEL maintainer="wang-junjian@qq.com"

#auto install tzdata(opencv depend)
ENV DEBIAN_FRONTEND=noninteractive

RUN sed -i s@/archive.ubuntu.com/@/mirrors.aliyun.com/@g /etc/apt/sources.list
RUN apt-get update && apt-get install -y \
    python3 python3-pip \
    libglib2.0-dev libgl1-mesa-glx \
    && rm -rf /var/lib/apt/lists/*

RUN ln -s /usr/bin/python3 /usr/bin/python && \
    ln -s /usr/bin/pip3 /usr/bin/pip
RUN pip install --no-cache-dir -i https://mirrors.aliyun.com/pypi/simple/ \
    opencv-python opencv-contrib-python

#set your localtime
RUN ln -fs /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

WORKDIR /

CMD bash

2021-01-08 16:00

docker dockerfile opencv ubuntu computer-vision image-processing python containers tips

2021年1月7日星期四

Building ONNX Runtime

NVIDIA CUDA

单步构建

下载onnxruntime源代码

git clone --recursive https://github.com/microsoft/onnxruntime.git

拉取容器（编译环境）

docker pull nvidia/cuda:11.1-cudnn8-devel-ubuntu20.04

运行容器

docker run -it --name build-onnxruntime-gpu --runtime nvidia \
    -v $(pwd)/onnxruntime:/onnxruntime -w /onnxruntime \
    nvidia/cuda:11.1-cudnn8-devel-ubuntu20.04

更新apt镜像源

sed -i 's/archive.ubuntu.com/mirrors.aliyun.com/g' /etc/apt/sources.list
apt-get update

安装依赖包

apt-get install language-pack-en git cmake python3 python3-pip -y

修改语言环境

locale-gen en_US.UTF-8
update-locale LANG=en_US.UTF-8

更新pip镜像源

pip3 config set global.index-url https://mirrors.aliyun.com/pypi/simple/

2021-01-07 16:00

linux ubuntu gpu cuda docker onnx onnxruntime nvidia deep-learning build-from-source

2020年12月1日星期二

在Ubuntu上下载docker和nvidia-docker2离线安装包

选择要依赖的操作系统

docker run -it -v `pwd`/offline:/offline ubuntu:20.04 bash

以下是容器内操作

进入映射的下载目录

cd /offline

下载Docker安装包

wget https://download.docker.com/linux/ubuntu/dists/focal/pool/stable/amd64/docker-ce_19.03.14~3-0~ubuntu-focal_amd64.deb
wget https://download.docker.com/linux/ubuntu/dists/focal/pool/stable/amd64/docker-ce-cli_19.03.14~3-0~ubuntu-focal_amd64.deb
wget https://download.docker.com/linux/ubuntu/dists/focal/pool/stable/amd64/containerd.io_1.3.9-1_amd64.deb

下载nvidia-docker2包装包配置安装源 apt-get install gnupg curl -s -L https://nvidia.github.

2020-12-01 16:00

docker ubuntu nvidia-docker2 offline installation nvidia gpu containers sysadmin

2020年11月6日星期五

配置Kubernetes镜像源

配置 Kubernetes 镜像源

apt-get update && apt-get install -y apt-transport-https
curl https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg | apt-key add - 
cat <<EOF >/etc/apt/sources.list.d/kubernetes.list
deb https://mirrors.aliyun.com/kubernetes/apt/ kubernetes-xenial main
EOF
apt-get update

参考资料

2020-11-06 16:00

kubernetes ubuntu mirror china sysadmin networking

2020年11月5日星期四

Kubernetes集群搭建Master节点

su - root

一键安装

apt-get install -y kubelet=1.18.3-00 kubeadm=1.18.3-00 kubectl=1.18.3-00

拉取需要的基础镜像 kube_apiserver_v=v1.18.3 kube_controller_manager_v=v1.18.3 kube_scheduler_v=v1.18.3 kube_proxy_v=v1.18.3 pause_v=3.2 etcd_v=3.4.3-0 coredns_v=1.6.

2020-11-05 16:00

kubernetes docker ubuntu cluster master-node containers sysadmin deployment

2020年11月4日星期三

Kubernetes集群加入Worker节点

在 Master 节点创建加入节点用的 Token

kubeadm token create --print-join-command
W1106 05:52:12.234596 1947512 configset.go:202] WARNING: kubeadm cannot validate component configs for API groups [kubelet.config.k8s.io kubeproxy.config.k8s.io]
kubeadm join 172.16.33.157:6443 --token xxx.yyyyyy     --discovery-token-ca-cert-hash sha256:zzzzzzzzzzzzzzzzzzzzzz

Worker 节点登录 root 用户

su - root

一键安装

apt-get install -y kubelet=1.18.3-00 kubeadm=1.18.3-00 kubectl=1.18.3-00

拉取 Worker 节点需要的基础镜像 kube_proxy_v=v1.18.3 docker pull kubesphere/kube-proxy:${kube_proxy_v} docker tag kubesphere/kube-proxy:${kube_proxy_v} k8s.gcr.

2020-11-04 16:00

kubernetes docker ubuntu cluster worker-node containers sysadmin deployment

36 篇文章带有标签 “ubuntu”

2024年1月8日 星期一

2023年7月3日 星期一

2023年1月3日 星期二

2022年5月3日 星期二

2022年3月30日 星期三

2022年3月17日 星期四

2022年2月7日 星期一

2021年4月8日 星期四

2021年2月24日 星期三

2021年1月15日 星期五

2021年1月14日 星期四

2021年1月13日 星期三

2021年1月12日 星期二

2021年1月9日 星期六

2021年1月8日 星期五

2021年1月7日 星期四

2020年12月1日 星期二

2020年11月6日 星期五

2020年11月5日 星期四

2020年11月4日 星期三

2024年1月8日星期一

2023年7月3日星期一

2023年1月3日星期二

2022年5月3日星期二

2022年3月30日星期三

2022年3月17日星期四

2022年2月7日星期一

2021年4月8日星期四

2021年2月24日星期三

2021年1月15日星期五

2021年1月14日星期四

2021年1月13日星期三

2021年1月12日星期二

2021年1月9日星期六

2021年1月8日星期五

2021年1月7日星期四

2020年12月1日星期二

2020年11月6日星期五

2020年11月5日星期四

2020年11月4日星期三