管理显卡使用

注意

只有 Olares 管理员可以更改显卡使用模式。这样可以确保系统范围内的资源得到最优化管理，避免用户之间的资源需求冲突。

Olares 为你提供了强大、灵活的显卡管理功能，让你充分释放 GPU算力，加速大模型推理、图像/视频生成及游戏等高负载任务。不论显卡位于单节点还是跨节点分布，都可在同一界面集中管理。

本文档帮你了解并配置显卡分配模式，发挥硬件最大效能。

支持的显卡

Olares 仅支持 NVIDIA 显卡，且要求架构为 Turing 或更新（Turing、Ampere、Ada Lovelace、Blackwell）。

• 快速判断：消费级显卡支持 GTX/RTX 16 系列及以上。
• 其他型号：对照 兼容显卡表。
• 型号未知：可运行 lspci | grep -i nvidia 查询显卡架构代码。

性能提醒

即使显卡架构受支持，显存过小也可能导致部分 AI 应用无法运行。请确认显卡拥有足够的显存以满足需求。

显卡分配模式

Olares 提供三种分配方式，可按场景灵活选择。

时间分片模式

在此模式下，单张显卡按时间分片分配给多个应用。

• 任一时刻仅一个应用占用全部算力与可用显存。
• 其余应用进入等待队列，其显存内容（如 CUDA 上下文等）可被临时换出至系统内存。

默认显卡分配

显卡默认处于时间分片模式。未被分配 GPU 资源的应用将自动加入时间分片显卡队列。若系统无可用时间分片显卡，应用会在启动超时后被暂停。此时，需先为应用分配显卡（如设置显卡为时间分片模式，或为应用分配显存）后，可手动恢复应用运行。

应用独占模式

在此模式下，每张显卡的计算能力和显存将分配至单个应用。

• 应用在运行时可使用显卡全部的算力和显存。
• 在这个模式下运行的应用会获得最佳性能。

显存分片模式

在此模式下，每张显卡的显存被划分为固定配额，分配给多个指定应用。

• 需为每个应用手动设定配额。
• 各配额之和不得超过对应显卡的物理显存。（暂不支持超订阅）
• 获配额的应用可并行运行，且仅能使用自身配额。

多显卡分配

• 三种模式均支持为同一应用分配多张显卡。Olares 仅将多张显卡分配到应用所在的容器，不做显存/算力的融合；能否利用多卡取决于应用/框架本身。
• 在多节点环境中，同一应用不可跨节点同时分配多张显卡。

查看显卡状态

1. 进入 设置 > GPU。GPU 列表显示每个显卡的型号、所在节点、总显存及当前分配模式。
2. 点击单个显卡以进入其详情页。

注意

如果你的 Olares 集群中只有一块 GPU，进入 GPU 页面将直接跳转至详情页；若有多块 GPU，则会显示 GPU 列表。

配置 GPU

在 GPU 详情页面中，可通过 GPU 模式 下拉菜单选择所需模式。不同模式下的配置项略有差异：

• 时间分片：
  1. 在 GPU 模式下拉菜单中选择该模式。
  2. 如有多个 GPU，可在绑定应用窗口，点击 + 添加应用，手动将应用绑定到该 GPU。

• 应用独占：
  1. 在 GPU 模式下拉菜单中选择该模式。
  2. 在选择独占应用下拉框中选择目标应用。
  3. 点击确认。
• 显存分片：
  1. 在下拉菜单中选择该模式。
  2. 在分配显存窗口，点击 + 添加应用。
  3. 选择目标应用，并指定分配给该应用的显存大小（以 GB 为单位）。
  4. 如需为其他应用分配显存，可重复以上操作，然后点击确认。

解除绑定

• 绑定应用后，如需释放显卡资源，可在相应的显卡模式下手动执行解绑操作。
• 切换某张显卡的分配模式时，显卡在该模式下分配的所有应用将被解除绑定，同时应用容器会重启。

了解更多

• 监控 Olares 中的显卡使用情况