44 篇文章带有标签 “command-line”

2021年1月18日星期一

命令cp

拷贝一批文本文件(10000)到目录

time: 0.470s
当文件更新了或者缺少时才拷贝。(-u)
速度最快

cp -u labels/*/*.txt datasets/yolo/sign/labels/

xargs

time: 30.003s

ls labels/*/*.txt | xargs -I {} cp {} datasets/yolo/sign/labels/

find -exec

time: 32.521s

find labels/ -type f -iname '*.txt' -exec cp {} datasets/yolo/sign/labels/ \;

for

time: 41.259s

for i in `ls labels/*/*.txt`; do cp $i datasets/yolo/sign/labels/; done

参考资料

2021-01-18 16:00

linux cp file command-line scripting performance

2021年1月17日星期日

命令du

du - 估计文件空间使用量

    -s, --summarize display only a total for each argument
    -h, --human-readable print sizes in human readable format (e.g., 1K 234M 2G)

查看当前文件夹所有文件占用的空间

du -sh

15G	.

查看当前文件夹下的一级目录和文件占用的空间

du -sh *

14G	ailab
178M	software
4.0K	test.txt
33M	tmp

2021-01-17 16:00

linux du disk system-info command-line storage

2021年1月16日星期六

命令top

快捷键

Shift+p 按CPU使用率排序
Shift+m 按内存使用率排序
1 显示每个逻辑CPU的状态

查看指定进程

top -p $pid

查看1号进行

top -p 1
top -p1

top - 22:58:02 up 323 days, 12:09,  2 users,  load average: 0.64, 0.61, 0.38
Tasks:   1 total,   0 running,   1 sleeping,   0 stopped,   0 zombie
%Cpu(s):  7.2 us,  1.8 sy,  0.0 ni, 90.3 id,  0.0 wa,  0.5 hi,  0.2 si,  0.0 st
MiB Mem :   3780.8 total,    400.2 free,   1749.6 used,   1631.0 buff/cache
MiB Swap:      0.0 total,      0.0 free,      0.0 used.   1939.3 avail Mem 

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU  %MEM     TIME+ COMMAND
    1 root      20   0  178540   7680   3792 S   0.0   0.2   7:50.54 systemd

2021-01-16 16:00

linux top system-info monitoring performance processes command-line

2021年1月15日星期五

vim实践

安装

版本

vim
vim-gtk (KDE)
vim-gtk3 (GNOME)
vim-tiny (最小功能)

查看安装的 vim 版本

apt list --installed | grep vim
yum list installed | grep vim

安装带图形界面的版本

macOS MacVim

Ubuntu

sudo apt install vim-gtk3

运行

vim -g
gvim

查看可用插件

vim --version
打开 vim，输入命令 :version

四种模式

正常模式
插入模式
- 进入方式
  - i 光标当前位置进入
  - Shift+i 光标所在行的开头位置进入
  - a 光标当前位置下一个字符进入
  - Shift+a 光标所在行的行尾位置进入
  - o 光标所在行下插入空行
  - Shift+o 光标所在行上插入空行
- 退出
  - 按esc键
命令模式
- 进入方式
  - : 设置命令
  - / 向下搜索
  - ? 向上搜索
- 退出
  - 按两次esc键
可视模式
- 进入方式
  - v 字符
  - Shift+v 行
  - Ctrl+v 块
- 操作
  - d 删除选择
  - y 复制
  - Shift+i 块插入 (输入插入字符后，按两次esc键。)
- 退出
  - 按两次esc键

文件

:q 没有修改直接退出
:q! 放弃修改退出
:w 保存
:wq 保存退出
- :wq filename 保存退出
ZZ 保存退出

:!command 运行shell命令
- :!ls -l 查看当前目录列表
- :!ifconfig 查看本地IP地址

2021-01-15 16:00

linux vim editor command-line cli bash configuration tips macos ubuntu

2021年1月14日星期四

命令ln

在文件之间建立链接

    ln [OPTION]... [-T] TARGET LINK_NAME
    ln [OPTION]... TARGET
    ln [OPTION]... TARGET... DIRECTORY
    ln [OPTION]... -t DIRECTORY TARGET...

文件或目录的软链接（类似指针）

创建

ln -s /data/apt-mirror/mirror/archive.ubuntu.com/ubuntu /var/www/ubuntu

查看

$ ll /var/www/ubuntu
lrwxrwxrwx 1 root root 49 Jan 15 00:23 /var/www/ubuntu -> /data/apt-mirror/mirror/archive.ubuntu.com/ubuntu/

删除

unlink

unlink /var/www/ubuntu

rm /var/www/ubuntu

参考资料

Linux Delete Symbolic Link ( Softlink )

2021-01-14 16:00

linux ln command-line cli filesystem symlink shell ubuntu tips

2021年1月13日星期三

命令chown

更改文件所有者和组

    chown [OPTION]... [OWNER][:[GROUP]] FILE...

修改文件或目录的所有者

sudo chown root filename

-rw-rw-r-- 1 root wjj    0 Jan 15 02:35 filename

修改文件或目录的组

sudo chown :root filename

-rw-rw-r-- 1 root root    0 Jan 15 02:35 filename

修改文件或目录的所有者和组

sudo chown wjj:wjj filename

-rw-rw-r-- 1 wjj:wjj    0 Jan 15 02:35 filename

sudo chown -R root:root test

参考资料

Chown Command in Linux (File Ownership)

2021-01-13 16:00

linux chown command-line cli filesystem permissions user-management shell ubuntu tips

2021年1月9日星期六

Apache HTTP Server实践

修改端口号

/etc/apache2/ports.conf

sudo nano /etc/apache2/ports.conf

# If you just change the port or add more ports here, you will likely also
# have to change the VirtualHost statement in
# /etc/apache2/sites-enabled/000-default.conf

Listen 8081
......
......

/etc/apache2/sites-enabled/000-default.conf

sudo nano /etc/apache2/sites-enabled/000-default.conf

<VirtualHost *:8081>
......
......
</VirtualHost>

重启服务

sudo systemctl restart apache2

参考资料

2021-01-09 16:00

linux apache webserver http command-line configuration ubuntu tips

2021年1月2日星期六

命令ffmpeg

FFmpeg

格式转换 -y(覆盖输出文件)

ffmpeg -y -i input.mp4 output.avi

生成gif(低质量) -pix_fmt(像素格式) -s(设置帧大小WxH)

ffmpeg -y -i input.mp4 -pix_fmt rgb8 -r 10 -s 320x240 output.gif
ffmpeg -y -i input.mp4 -pix_fmt rgb8 -r 10 -vf 'scale=320:-1' output.gif

生成gif(高质量) -ss(开始时间偏移) -t(持续时间)

ffmpeg -i input.mp4 -vf "fps=10,scale=320:-1:flags=lanczos,split[s0][s1];[s0]palettegen[p];[s1][p]paletteuse" -loop 0 output.gif
ffmpeg -y -ss 5 -t 5 -i input.mp4 -vf "fps=10,scale=320:-1:flags=lanczos,split[s0][s1];[s0]palettegen[p];[s1][p]paletteuse" -loop 0 output.gif

每秒抽取一张图片 -r(设置帧速率)

ffmpeg -i input.mp4 -r 1 -s 1024x768 -f image2 input-%03d.jpeg

2021-01-02 16:00

linux ffmpeg gpu nvidia video docker command-line image-processing batch-processing tips

2021年1月1日星期五

命令history

操作不记录在历史记录中

有选择性地进行记录（操作命令前面加空格就不记录）

当前会话临时生效

HISTCONTROL=ignorespace

持久化设置，可以修改配置文件：.bash_profile 或 .bashrc。执行source命令后，设置生效。你也可以退出后重新登录。

$ nano .bashrc
export HISTCONTROL=ignorespace
$ source .bashrc

所有的操作不记录

HISTSIZE=0

只在当前会话中起作用，要想持久化请参考上面的设置。

删除历史记录中的某行

history -d linenumber

清除历史记录

history -c

参考资料

2021-01-01 16:00

linux bash command-line shell history configuration cli tips

2020年12月28日星期一

命令find

查找文件

-name 或 -iname(大小写不敏感)

find . -name "*.pyc"

-m(最近多长时间修改)

min, 分钟
time, 哪天 0(24小时) 1(24-48小时) 2(48-72小时)

显示 /var/log 目录下最近 10分钟内修改的文件

$ find /var/log -mmin -10
/var/log/messages

以详细信息显示 /var/log 目录下最近 24小时内修改的文件

$ find /var/log -mtime 0 -ls
 33575669      4 drwxr-xr-x  15  root     root         4096 7月 29 06:33 /var/log
 34131780    164 -rw-------   1  root     root       166061 7月 29 10:20 /var/log/messages

显示 /var/log 目录下最近 [0 - 24小时] 修改的文件

find /var/log -mtime -1

显示 /var/log 目录下最近 [24 - 48小时] 修改的文件

find /var/log -mtime 1

显示 /var/log 目录下最近 [48 - ] 修改的文件

find /var/log -mtime +1

-size(文件大小) 显示当前目录下超过 40M的文件 $ find .

2020-12-28 16:00

linux command-line find file-search sysadmin tutorial shell

2020年12月27日星期日

命令grep

搜索文件内容

搜索一个文件

grep 'text' hello.txt

忽略字母大小写(-i)

grep -i 'text' hello.txt

搜索多个文件

grep 'text' hello.txt hi.txt

grep 'text' *

搜索当前目录（包含子目录 -R）下所有文件

grep -R 'text' *

匹配搜索

搜索 pip 配置文件的路径 -R(遍历) -n(行号) -H(文件名)

grep "index-url" ~/.config -RnH

/home/lnsoft/.config/pip/pip.conf:2:index-url = https://mirrors.aliyun.com/pypi/simple/

搜索 pip 配置文件的路径(增加过滤)

find ~ -name pip* | xargs -i grep "index-url" {} --color -nH

/home/lnsoft/.config/pip/pip.conf:2:index-url = https://mirrors.aliyun.com/pypi/simple/

只匹配字符串，不使用正则表达式。

find . | grep -F .run

2020-12-27 16:00

linux command-line grep text-processing search sysadmin tutorial shell

2020年12月22日星期二

图像格式转换、尺寸调整

查看图像信息

$ file test.jpg
test.jpg: JPEG image data, JFIF standard 1.02, resolution (DPI), density 96x96, segment length 16, Exif Standard: [TIFF image data, big-endian, direntries=7, orientation=upper-left, xresolution=98, yresolution=106, resolutionunit=2, software=Adobe Photoshop CS Windows, datetime=2013:03:18 11:45:34], baseline, precision 8, 750x499, frames 3

ImageMagick

ImageMagick是一个用于查看、编辑位图文件以及进行图像格式转换的开放源代码软件套装。它可以读取、编辑超过100种图像格式。

安装

Ubuntu

sudo apt-get install imagemagick

macOS

brew install imagemagick

格式转换

convert test.jpg test.png

灰度

convert -colorspace gray input_file output_file

2020-12-22 16:00

linux imagemagick image-processing command-line batch-processing tutorial shell

2020年12月21日星期一

命令sed

字符串

分隔符号可以自由更换

$ echo "Hi, John." | sed 's/Hi/HI/g'
HI, John.
$ echo "Hi, John." | sed 's#Hi#HI#g'
HI, John.
$ echo "Hi, John." | sed 's-Hi-HI-g'
HI, John.

单引号' $ echo "'s', 'm', 'l', 'x'" | sed 's/'"'"'s'"'"', '"'"'m'"'"', '"'"'l'"'"', '"'"'x'"'"'/'"'"'s'"'"', '"&#39

2020-12-21 16:00

linux command-line sed text-processing regex sysadmin tutorial shell

2020年12月20日星期日

命令wget

下载多个文件

空格分割

wget https://upload.wikimedia.org/wikipedia/commons/1/13/Intel_CPU_Core_i7_6700K_Skylake_perspective.jpg https://images-na.ssl-images-amazon.com/images/I/51iVSqLIBWL._AC_.jpg

来自文件(-i)

wget -i urls.txt

后台下载(-b)

wget -i urls.txt -b

指定输出目录

wget -i urls.txt -P output

断点续传(-c --continue)

wget -c https://github.com/goharbor/harbor/releases/download/v2.1.3/harbor-offline-installer-v2.1.3.tgz

2020-12-20 16:00

linux command-line wget download sysadmin tutorial shell networking

2020年12月19日星期六

命令ls

可读的方式显示文件大小

# -h, --human-readable with -l and/or -s, print human readable sizes (e.g., 1K 234M 2G)
ls -lh
ll -h

# -R, --recursive list subdirectories recursively
ls -lR
ll -R

按时间进行排序

按时间降序显示当前目录

# -l use a long listing format; -t sort by modification time, newest first
ls -lt
ll -t

按时间升序显示当前目录

# -r --reverse reverse order while sorting
ls -lrt
ll -rt

按大小进行排序

按大小降序显示当前目录

# -S sort by file size, largest first
ls -lS
ll -S

按大小升序显示当前目录

ls -lrS
ll -rS

统计目录下文件数量

统计当前目录下的文件数量

ls -l | grep "^-" | wc -l

ls -l | grep "^d" | wc -l

统计当前目录下（包含子目录）的文件数量 ls -lR | grep

2020-12-19 16:00

linux command-line ls sysadmin tutorial shell

2020年11月29日星期日

SSH允许使用密码进行root登录

安装了Ubuntu系统后，默认ssh不允许使用密码进行root登录，通过如何配置可以实现允许。

登录root

$ su - root

查看ssh配置文件中的PermitRootLogin项

$ nano /etc/ssh/sshd_config
# Authentication:

#LoginGraceTime 2m
#PermitRootLogin prohibit-password
#StrictModes yes
#MaxAuthTries 6
#MaxSessions 10

修改ssh配置文件中的PermitRootLogin项：PermitRootLogin yes

$ sed -i 's/#PermitRootLogin prohibit-password/PermitRootLogin yes/g' /etc/ssh/sshd_config

查看ssh配置文件中的PermitRootLogin项

nano /etc/ssh/sshd_config
# Authentication:

#LoginGraceTime 2m
PermitRootLogin yes
#StrictModes yes
#MaxAuthTries 6
#MaxSessions 10

重启sshd服务

systemctl

$ systemctl restart sshd

2020-11-29 16:00

linux ssh security authentication sysadmin configuration command-line

2020年11月9日星期一

GitHub加速

通过网游加速器

在路径上增加 .cnpmjs.org

正常下载：git clone https://github.com/microsoft/onnxruntime.git

加速下载：git clone https://github.com.cnpmjs.org/microsoft/onnxruntime.git

查找当前位置距离最快的 GitHub IP

运行测速脚本 gh-check

curl -fsSL  https://gist.githubusercontent.com/lilydjwg/93d33ed04547e1b9f7a86b64ef2ed058/raw/134c1971ad95930aaec4cf93c8509f0f4927c03c/gh-check \
    | python3 -

文件 hosts 路径

Windows

C:\Windows\System32\drivers\etc\hosts

Mac OS X

/etc/hosts

Linux

/etc/hosts

修改 hosts 文件

199.232.69.194 github.global.ssl.fastly.net
140.82.112.4 github.com

下载

git clone https://github.com/microsoft/onnxruntime.git

2020-11-09 16:00

github acceleration china networking git proxy command-line

2020年10月30日星期五

Linux系统禁用交换分区

Kubernetes集群为了不影响性能要禁用交换分区。

查看交换区信息

$ swapon --show

临时禁用 /proc/swaps 中的交换分区（系统重启后会失效）

$ sudo swapoff -a

启用 /etc/fstab 中的所有交换区

$ sudo swapon -a

禁用交换分区（系统重启后也有效）

$ sudo sed -i '/swap/s/^/#/' /etc/fstab

查看是否禁用交换分区（什么也不显示代表成功）

$ swapon

参考资料

关闭交换区

2020-10-30 16:00

linux ubuntu swap kubernetes sysadmin memory command-line

2020年10月28日星期三

Linux系统上修改用户名

今天同事安装了一台新的服务器Ubuntu20.04，但用户名和主机名不是我想要的，这里尝试了直接修改Linux文件的方式。

登录root用户

$ su - root

修改用户信息

/etc/passwd

# nano /etc/passwd
username:x:1000:1000:username:/home/username:/bin/bash

/etc/shadow

# nano /etc/shadow
username:D78/D2/DdYW.FVG.GlqDlZsZ4sK21gSxhDooqWlJtCVl3oUbDUTKtGxBWkCE3E/Oha40kjDrk0pBbsvT4TwtzuH61vYmnJ/GY.bAHWbVv1:18545:0:99999:7:::

/etc/group

# nano /etc/group
adm:x:4:syslog,username
cdrom:x:24:username
sudo:x:27:username
dip:x:30:username
plugdev:x:46:username
lxd:x:116:username
username:x:1000:

修改HOME路径

# mv /home/old_username /home/new_username

修改主机名 /etc/hostname # nano /etc/hostname hos

2020-10-28 16:00

linux ubuntu user-management hostname sysadmin command-line

2020年10月16日星期五

在Ubuntu上安装Docker

在 Ubuntu20.04 上安装 Docker

安装 Docker

$ curl -fsSL https://get.docker.com | sh -

Install Docker Engine on Ubuntu（官方安装文档）

把用户名(username)加入到 docker 组，这样以后在非 root 用户下不用每次操作都 sudo。

$ sudo usermod -aG docker username

需要退出用户会话，重新登录方可生效。

卸载Docker

删除Docker及其依赖

$ sudo apt-get remove --auto-remove docker

删除所有数据

$ sudo rm -rf /var/lib/docker

2020-10-16 16:00

docker ubuntu installation containers linux sysadmin command-line

44 篇文章带有标签 “command-line”

2021年1月18日 星期一

2021年1月17日 星期日

2021年1月16日 星期六

2021年1月15日 星期五

2021年1月14日 星期四

2021年1月13日 星期三

2021年1月9日 星期六

2021年1月2日 星期六

2021年1月1日 星期五

2020年12月28日 星期一

2020年12月27日 星期日

2020年12月22日 星期二

2020年12月21日 星期一

2020年12月20日 星期日

2020年12月19日 星期六

2020年11月29日 星期日

2020年11月9日 星期一

2020年10月30日 星期五

2020年10月28日 星期三

2020年10月16日 星期五

2021年1月18日星期一

2021年1月17日星期日

2021年1月16日星期六

2021年1月15日星期五

2021年1月14日星期四

2021年1月13日星期三

2021年1月9日星期六

2021年1月2日星期六

2021年1月1日星期五

2020年12月28日星期一

2020年12月27日星期日

2020年12月22日星期二

2020年12月21日星期一

2020年12月20日星期日

2020年12月19日星期六

2020年11月29日星期日

2020年11月9日星期一

2020年10月30日星期五

2020年10月28日星期三

2020年10月16日星期五