2023年12月7日发(作者：)

dcgm-exporter指标详解

DCGM Exporter 是一种用于收集和导出 NVIDIA Data Center GPU

管理器(DCGM) 指标的工具。DCGM 是一套用于监视和管理 NVIDIA

GPU 的软件包，它提供了丰富的 GPU 监控指标，并允许用户通过

API 访问这些指标。DCGM Exporter 则是基于 Prometheus

Exporter 的一个插件，它可以将 DCGM 指标导出为 Prometheus 可以接收的格式，从而实现对 GPU 的实时监控和报警。

DCGM Exporter 提供了丰富的指标，用于监控 GPU 的各个方面，下面我们将逐一介绍几个常用的指标。

1. GPU 温度指标（gpu_temperature）：这是一个重要的指标，用于监控 GPU 的温度。通过监控 GPU 的温度，可以及时发现是否存在过热问题，从而采取相应的措施，以保护 GPU 的安全运行。

2. GPU 使用率指标（gpu_utilization）：这个指标可以反映 GPU

的使用情况，包括 GPU 的计算使用率和内存使用率。通过监控 GPU

的使用率，可以了解 GPU 是否正常工作，是否存在资源利用不当的情况。

3. GPU 错误指标（gpu_errors）：这个指标用于监控 GPU 的错误情况，包括内存错误、计算错误等。通过监控 GPU 的错误情况，可以及时发现并解决 GPU 的故障问题，避免对系统的影响。

4. 系统负载指标（system_load）：这个指标用于监控系统的负载情况，包括 CPU 的使用率、内存的使用率等。通过监控系统的负载情况，可以了解系统的整体性能，以及是否存在资源紧张的情况。

5. GPU 性能指标（gpu_performance）：这个指标用于监控 GPU 的性能情况，包括计算性能、内存带宽等。通过监控 GPU 的性能情况，可以了解 GPU 的性能水平，以及是否存在性能瓶颈的情况。

除了以上几个指标，DCGM Exporter 还提供了许多其他的指标，用于监控 GPU 的各个方面。用户可以根据自己的需求选择合适的指标进行监控。

使用 DCGM Exporter 需要先安装 DCGM 和 Prometheus，然后将

DCGM Exporter 部署到服务器上，并配置相应的指标。一旦配置完成，DCGM Exporter 就会自动收集 GPU 的指标，并将其导出为

Prometheus 可以接收的格式。

用户可以通过 Prometheus 的 Web 界面或者 API 来访问这些指标，从而实现对 GPU 的实时监控和报警。用户可以根据自己的需求设置报警规则，当 GPU 的指标超过一定阈值时，就会触发报警。

总结一下，DCGM Exporter 是一种非常有用的工具，它可以帮助用户实时监控和报警 GPU 的各个指标。通过监控 GPU 的温度、使用率、错误情况等指标，用户可以及时发现并解决 GPU 的故障问题，保证 GPU 的安全和稳定运行。同时，用户还可以通过监控系统的负载情况和 GPU 的性能情况，了解系统的整体性能和是否存在性能瓶颈的情况。希望通过本文的介绍，能够帮助读者更好地了解和使用

DCGM Exporter。