关于 GPU 显存开销和功耗的问题：

专用显存 8 G，动态显存 32 G，若程序占用显存在 8 G 以下，那么 GPU 就能满功耗跑，速度较快

若程序占用显存大于 8 G，会动态分配内存作为显存，即最大支持 40 G 显存开销的程序

但同时会导致 GPU 功耗仅 30 W，计算速率极低，其核心就是 PCI 总线和显存的带宽存在巨大差异

内存同 GPU 交互的 PCI 总线带宽远小于专用显存带宽，因而会严重阻碍计算速度

最终效果：GPU 利用率 100 %，功耗极低，计算效率极慢

因而，尽可能保证程序的显存开销小于 8 G 以保证较快的运行速度，或者直接上服务器运行