老板让做这个需求，但是个人对应用的场景比较疑惑？
预期是在 K8S 上，将卡根据算力和显存维度划分，分给不同的租户。
现在的大模型随随便便吃几十个 G 的显存，做推理时会考虑用虚拟化后的卡么？
或者不是大模型场景，什么样的用户需求会使用到虚拟化后的小小卡呢？

视频转码，小模型在线推理之类的会用到。

pc.haimacloud.com/

开发机，小模型（ CV ）推理。

目的是 最大化 售卖算力 本质和 12306 卖火车票一样的. a-b + b-c = a-c

阿里云 GPU 去年这会儿 T4 每小时几毛钱，春节后就涨了 10 倍，还不是因为租的人太多了

现在 AI 开源项目大都需要 GPU 运行，语音识别，逻辑推理，图片生成。。。

现代操作系统和应用程序基本都抛弃了没有 GPU 加速的硬件了，你用 qxl 显卡跑一下 electron 或者 flutter 就知道有多难受了

不能一上来就是大模型把，想想没有大模型之前，GPU 都用来做什么

云游戏

当我没说

像其他人说的，CV 小模型是我这边遇到的场景，一张卡上可以跑多个 CV 小模型提供不同的业务价值。

可以看看去年刚开源的 HAMi 项目，防止重复造轮子

多了。大企业用小机跑 Citrix ，然后用户用远程桌面来做设计。

虚拟化说到底还是为了提高使用率吧，独占 gpu 使用率太低了

kubevirt ?

好像说了废话，当我没说

有
不过应该是效果不是很好
还是不同类型卡直通绑定比较好

是不是大模型场景，如果是大模型场景，那么必然要显卡虚拟化，并且 nvidia 等各个显卡厂家都是支持不同粒度的虚拟化用来避免资源浪费。
显卡没虚拟化
第一、gpu 独占，gpu 使用率第
第二、导致资源孤岛，不同 team 的任务开发，训练、推理每一步所消耗的 gpu 是不一样的，而 gpu 资源没有池化，无法利用。

不是大模型场景，推理任务是很快的，往往任务都可以在一张显卡上完成，只要做好调度就可以了。

云工作站

GPU 虚拟化的作用是把 GPU 或者显卡共享给多个不同的租户。在嵌入式的汽车领域的跨域融合（一般是 Type1 类型的虚拟化系统，在一个板子上运行多个虚机），服务器领域有 GPU 算力共享的虚机，，还有软件研发前期验证也可能用到虚拟机（芯片厂的硬件流片前，没有硬件），还有就是桌面虚拟化（本地虚拟机运行桌面共享的 GPU 加速，远程桌面 GPU 加速），想到的是这些。

云游戏

gpu-manager cGPU qGPU mGPU 几年前的东西了...