Python 与机器学习,在服务器使用过程中,常用的 Linux 命令包括哪些?

Python
41
0
0
2024-11-14
标签   机器学习

本博客旨在分享在实际开发过程中,开发者需要了解并熟练运用的 Linux 操作系统常用命令。Linux 作为一种操作系统,与 Windows 或 MacOS 并驾齐驱,尤其在服务器和开发环境中占据重要地位。Linux 命令,简而言之,就是指导计算机执行特定操作的指令。

在 Linux 系统中,每个用户都会在 home 目录下拥有一个私人目录,用于存储个人文件和配置。Linux 提供了丰富的命令集,用于文件管理、系统信息查询、软件安装等多样化任务。掌握这些命令对于开发者来说至关重要,能够有效提高工作效率。

在这里插入图片描述

以下是我平时经常使用的一些命令的总结:

1. 基本命令(熟记于心)

# 将当前工作目录切换到 "/home/yetingyun/linux_demo" 这个目录。
cd /home/yetingyun/linux_demo

# 切换到当前目录的上一级目录
cd ..

# pwd 的全称为 "print working directory"(打印工作目录)。查看当前用户所在的工作目录的绝对路径。
pwd

# 查看当前目录下的文件和子目录
ls

# 显示当前登录用户的用户名
whoami

# 查看已有的 conda 环境。用 conda 创建新的 Python 环境,激活进入该环境。以及有可能删除该环境。
conda info --env
conda create -n PyTorch2.0 python=3.9.18
conda activate PyTorch2.0
conda remove -n PyTorch2.0 --all

# 安装 Jupyter Notebook 以及管理 conda 环境(kernel)的插件
conda install jupyter
conda install nb_conda

# 查找并显示某个可执行程序的完整路径
which python
# 查看当前环境的 Python 版本
python -V

# 使用 GNU Screen 工具。Screen 是一个全屏窗口管理器,它允许用户在单个物理终端上运行多个终端会话。
# 这个命令用于列出当前用户的所有屏幕会话。每个会话都有一个唯一的编号和名称。
screen -ls
# 这个命令用于创建一个新的屏幕会话,并给这个会话命名为 "cmd01"。在这个会话中,用户可以运行任何命令,包括启动 Python 程序。
screen -S cmd01
# 这个命令用于重新连接到名为 "cmd01" 的屏幕会话。如果这个会话正在运行,用户可以继续在这个会话中进行操作。
screen -r cmd01
# ...... 切换到指定 conda 环境和文件路径,运行 Python 程序。这里可能是要切换到指定的 conda 环境,然后切换到特定的文件路径,最后运行 Python 程序。这通常可以通过 conda activate 环境名,cd 路径,python 文件名.py 等命令来完成。
# 这是 Screen 的一个快捷键组合,用于暂时断开当前的屏幕会话,并将控制权返回给本地终端。这样,用户可以在本地终端中执行其他命令,而不会影响屏幕会话中的程序运行。
快捷键 Ctrl A + D
# 这个命令用于强制终止指定的进程。-9 选项表示使用 SIGKILL 信号,该信号将立即终止进程,不给进程任何清理资源或保存数据的机会。
kill -9 进程号

# 编辑并更新用户的 bash 配置文件(.bashrc)
vi ~/.bashrc
# i 进入编辑模式;esc 退出编辑模式 ... 对该文件里的内容进行编辑,然后保存文件并退出编辑器。只想退出而不保存修改,可直接输入 :q!。
:wq
source ~/.bashrc

# pip 和 conda 相关的查看版本、更新版本、安装第三方库以及清除缓存的操作
pip --version
python -m pip install --upgrade pip
pip install matplotlib==3.6.0 -i http://pypi.douban.com/simple --trusted-host pypi.douban.com
pip cache purge

conda --version
conda update conda
conda install matplotlib
conda clean --all

# 一个用于查询和控制 NVIDIA GPU 设备的命令行工具。它可以显示关于 NVIDIA GPU 的详细信息,如温度、功耗、显存使用情况等。这个命令可以帮助用户了解 GPU 的状态,以便进行性能调优或故障排查。
nvidia-smi
# 一个用于查看 Linux 发行版信息的命令。它会显示当前系统的发行版名称、版本号和其他相关信息。在这个例子中,它用于查看 Ubuntu 系统的版本。
lsb_release -a
# 一个用于查看操作系统详细信息的命令。它会显示 /etc/os-release 文件中的内容,该文件包含了操作系统的名称、版本号和其他相关信息。这个命令可以用来获取更详细的操作系统信息。
cat /etc/os-release

# 解压缩 ZIP 文件
unzip project.zip

# 在当前目录下创建一个名为 "test_01" 的目录。如果该目录已经存在,将会显示一个错误消息。
mkdir test_01

# 将一个或多个源文件或目录复制到指定的目标文件或目录。
cp [选项] 源文件 目标文件

# 为文件或目录重命名,或将文件或目录移动到其他位置。
mv [options] source dest
mv [options] source directory

# 删除文件或目录
rm [options] name...
# 删除指定目录下的所有文件及目录,无需逐一确认,直接执行命令行操作。
rm -rf /home/yetingyun/linux_demo/

# 向 IP 地址为 140.82.113.3 的主机发送 ICMP 回显请求数据包,并等待接收到对应的回显应答数据包。如果能够成功接收到应答数据包,说明与该主机的网络连接正常;如果无法接收到应答数据包,可能表示网络连接存在问题。
ping 140.82.113.3

# 创建一个新的空文件。如果指定的文件已经存在,那么 touch 命令将更新该文件的访问和修改时间。
touch linux_demo.py

# 识别文件类型
file linux_demo.py
file Anaconda3-5.3.0-Linux-x86_64.sh

# 查看用户执行过的命令历史记录
history

2. 查看硬盘信息

# 显示文件系统的磁盘空间使用情况
df -lh

# 显示系统中所有的磁盘和分区信息
lsblk
# 显示块设备的名称,例如 sda、sdb 等。显示了块设备是否为旋转设备(如机械硬盘)或非旋转设备(如固态硬盘)。如果值为 1,则表示该设备是旋转设备;如果值为 0,则表示该设备是非旋转设备。
lsblk -o NAME,ROTA

# 查看指定目录(在这个例子中是 "/home/yetingyun/project")的磁盘使用情况。
du -h /home/yetingyun/project

3. CPU 监控

vmstat 1:这个命令用于监控 CPU 的使用情况,单位为秒。它会每秒输出一次系统的状态信息,包括进程、内存、块设备等。可以使用以下命令来运行它:

vmstat 1

top:这个命令用于实时监控系统的进程状态,包括 CPU 使用率、内存占用等信息。

top
top -d 1

getconf LONG_BIT:这个命令用于查看系统的 CPU 位数。它会返回一个数字,表示系统的 CPU 是 32 位还是 64 位。

getconf LONG_BIT

free -m:这个命令用于查看系统的内存使用情况。它会显示总内存、已用内存和可用内存等信息。

free -m

cat /proc/cpuinfo | grep -c processor:这个命令用于查看系统的 CPU 核数。它会输出系统中处理器的数量;cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq -c。这个命令用于查看系统的 CPU 的型号。

cat /proc/cpuinfo | grep -c processor

cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq -c

这些命令可以帮助你监控和管理 Linux 系统的性能和资源使用情况。你可以根据需要选择适合的命令来进行监控和分析。

4. 监控内存

free -m

cat /proc/meminfo
awk '/MemTotal|MemFree|MemAvailable|SwapTotal|SwapFree/ {print $1": " $2/1024 " MB"}' /proc/meminfo

这些命令都是用于查看 Linux 系统中的内存和交换空间使用情况的。

  1. free -m:这个命令会显示系统的总内存、已用内存、空闲内存、缓存和缓冲区内存等信息,单位是 MB。
  2. cat /proc/meminfo:这个命令会显示系统内存的详细信息,包括总内存、可用内存、缓存和缓冲区等。
  3. awk '/MemTotal|MemFree|MemAvailable|SwapTotal|SwapFree/ {print 1": "

5. 文件查找

find /path -name 'aa.txt':这个命令用于在指定路径(/path)下查找文件名为 aa.txt 的文件。例如,如果你想在 /home/user 目录下查找名为 test.txt 的文件,可以使用以下命令:

find /home/user -name 'test.txt'

find /path -size +20M:这个命令用于在指定路径(/path)下查找大于 20M 的文件。例如,如果你想在 /home/user 目录下查找大于 50M 的文件,可以使用以下命令:

find /home/user -size +50M

ls -l | grep '.txt':这个命令用于在当前目录下查找以 .txt 结尾的文件。首先,ls -l 命令会列出当前目录下的所有文件和文件夹的详细信息,然后通过管道符 | 将结果传递给 grep '.txt' 命令,后者会筛选出包含 .txt 的文件名。

find . -name '.txt' | xargs grep 'aa':这个命令用于在当前目录及其子目录下查找文件名包含 .txt 且内容中包含 aa 的文件。首先,find . -name '.txt' 命令会找出所有文件名包含 .txt 的文件,然后通过管道符 | 将结果传递给 xargs grep 'aa' 命令,后者会在这些文件中搜索包含 aa 的内容。

grep 'aaa' a.txt b.txt:这个命令用于在多个文件中搜索包含 aaa 的内容。在这个例子中,它会在 a.txt 和 b.txt 这两个文件中搜索包含 aaa 的内容。

6. 文件解压缩

压缩文件: tar -czf tar_文件名 目录,该命令用于将指定的目录压缩为一个 tar 文件。其中,-c 表示创建新的归档文件,-z 表示使用 gzip 进行压缩,-f 指定输出的文件名。例如,要将 /home 目录压缩为 aa.tar.gz 文件,可以使用以下命令:

tar -czf aa.tar.gz /home

列出压缩文件列表:tar -tzf tar_文件名,该命令用于列出压缩文件中的内容列表。其中,-t 表示列出归档文件中的内容,-z 表示使用 gzip 解压缩,-f 指定输入的文件名。例如,要列出 aa.tar.gz 文件中的内容列表,可以使用以下命令:

tar -tzf aa.tar.gz

解压文件:tar -xvzf tar_文件名,该命令用于解压缩 tar 文件到当前目录。其中,-x 表示解压缩归档文件,-v 表示显示详细信息,-z 表示使用 gzip 解压缩,-f 指定输入的文件名。例如,要解压缩 aa.tar.gz 文件到当前目录,可以使用以下命令:

tar -xvzf aa.tar.gz

这些命令是常用的 Linux 命令,用于处理 tar 文件的压缩和解压缩操作。通过使用适当的选项和参数,可以方便地创建、查看和解压缩 tar 文件。

7. 其他

这个命令的基本原理和作用是:

ps -ef | grep 应用名
  1. ps -efps 是一个用于查看系统中进程状态的命令,-ef 参数表示显示所有进程的详细信息。
  2. |:管道符,用于将前一个命令的输出作为后一个命令的输入。
  3. grep 应用名grep 是一个用于文本搜索的命令,它会在输入中查找包含指定字符串(这里是“应用名”)的行。

综合起来,这个命令的作用是在系统中查找与指定应用名相关的进程,并显示它们的详细信息。

这个命令是用于查看当前系统中所有进程的详细信息,并按照内存使用量(RSS)进行降序排序。

ps aux --sort -rss

解析如下:

  • ps:这是一个用于报告当前系统的进程状态的命令。
  • aux:这是 ps 命令的选项,a 表示显示所有用户的进程,u 表示以用户为主的格式输出,x 表示显示没有控制终端的进程。
  • --sort -rss:这是 ps 命令的参数,--sort 表示对输出结果进行排序,-rss 表示按照内存使用量(RSS)进行降序排序。

所以,这个命令的作用就是查看当前系统中所有进程的详细信息,并按照内存使用量从高到低进行排序。

📚️ 相关链接: