nvidia-smi 可以实时查看 GPU 的占用情况。要实时监控 GPU 使用情况，你可以使用以下几种方法：

1. 直接使用 nvidia-smi 命令

你可以使用以下命令，每隔一秒刷新一次显示：

1
watch -n 1 nvidia-smi

这将每秒钟刷新一次 nvidia-smi 输出，让你实时看到 GPU 的使用情况。

2. 使用 nvidia-smi 的查询模式

nvidia-smi 也支持查询模式，可以监控特定的指标。以下是一个示例，监控 GPU 的利用率、显存使用情况和温度：

1
nvidia-smi --query-gpu=timestamp,name,pci.bus_id,temperature.gpu,utilization.gpu,utilization.memory,memory.total,memory.free,memory.used --format=csv -l 1

这条命令每秒钟输出一次 GPU 的使用情况，并以 CSV 格式显示。

3. 使用 nvidia-smi dmon 模式

nvidia-smi 还提供了一个守护进程监控模式，可以实时监控 GPU 的使用情况：

1
nvidia-smi dmon

这个命令会以表格形式显示实时的 GPU 使用情况。

4. 使用 nvidia-smi pmon 模式

nvidia-smi 的进程监控模式 (pmon) 可以显示每个 GPU 上的进程使用情况：

1
nvidia-smi pmon -i 0

这个命令会显示 GPU 0 上每个进程的 GPU 使用情况。

示例

watch -n 1 nvidia-smi

1
watch -n 1 nvidia-smi

输出会每秒钟刷新一次：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
Every 1.0s: nvidia-smi

Thu Jul  8 13:14:57 2023
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 460.32.03    Driver Version: 460.32.03    CUDA Version: 11.2     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  Tesla P40           On   | 00000000:00:1E.0 Off |                  Off |
|  0%   29C    P8    16W / 250W |      0MiB / 22919MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
| No running processes found                                                 |
+-----------------------------------------------------------------------------+

nvidia-smi --query-gpu

1
nvidia-smi --query-gpu=timestamp,name,pci.bus_id,temperature.gpu,utilization.gpu,utilization.memory,memory.total,memory.free,memory.used --format=csv -l 1

输出会每秒钟更新一次，并以 CSV 格式显示：

1
2
timestamp, name, pci.bus_id, temperature.gpu, utilization.gpu [%], utilization.memory [%], memory.total [MiB], memory.free [MiB], memory.used [MiB]
2023/07/08 13:15:00.000, Tesla P40, 00000000:00:1E.0, 29, 0 %, 0 %, 22919 MiB, 22919 MiB, 0 MiB

通过这些方法，你可以实时监控你的 GPU 使用情况，确认 ollama 运行的 qwen 模型是否在使用你的显卡。