虽然是搞互联网的，但是对硬件这块确实没啥研究，所以想请大佬们帮忙推荐下配置，目前在京东上看了朴赛装的机器，券后 27849 ，不知道是否有坑，求指教

主要是本地推理，最大跑13B模型，目前考虑的cpu 14900kf、内存128g、显卡4090

如果你不太确定想怎么玩大模型，其实可以花点小钱租台顶配机器跑跑感觉有点意思的项目，玩一段时间后你自然就知道怎么选择了。

本地只能跑跑推理和 7B lora 训练。更大规模的训练可以选择租 A100我的配置是：GPU：4090D 虽然是 dog 版，但是目前 4090D 的性价比是比 4090 高的。板 U 内存：B550I + 5800X + 2 *32G 以前攒的，跑大模型对 CPU 要求不高，内存要注意有一些步骤，比如 lora 合并、量化会使用内存，如果内存太小可能就跑不起来，64G 是需要的。电源散热机箱：根据自己需求配把。主要成本还是显卡。

主要是在于你想要怎么大模型，我预估是做 inference ，不太可能 fine-tuning 。这样的话主要是根据你需要跑的模型大小是否能放进显存。最好是提前调研下需要在什么精度下跑什么模型。

顺带一提：我比较极限，把以上配置塞进了 SSUPD 里，一个 15L 体积的机箱。

你这个配置可以 AI 出图 吗，2K 的图一个小时出 30 张行嘛？

超微 7048GR + 4×2080ti(22GB) FYI

没必要自己买。vultr 租一个就行。按需使用，小时付费。

我去年部署的 13900KF + 128G + 4090 ，大概一共两万内搞定全白配色之前试过租云服务器，最大的硬伤就是每次开机用起来太麻烦了，可能是因为用的小平台，大平台如 aliyun 之类的又太贵。

想法类似

啥时间买的，啥配置。我差不多的配置花了三万。

4090 显存不够吧，13B 的大模型如果 INT4 还好，如果 INT8 基本就需要 13-16G 显存了，fp 精度直接 30G+了扛不住

塔式 T640 加 GPU 显卡 套件, 价格便宜量又足.

大模型主要瓶颈在内存访问速度，直接上 mac 然后 llama.cpp, 大于 13B 的也能玩因为 13B 简单玩几次就腻烦了，参数越高性能越好

现在最新驱动有 fallback 回共享显存的选项，跑应该是能跑吧，只不过速度会减慢不少。

老哥跑的啥模型，多大参数

如果是玩，mac 更经济一些mixtral 8x7b 也能跑

你不是在开玩笑，这配置说经济是吧。

有没有实际跑过？我之前测过 m1 上跑那速度实在无法忍，还只是 6b 的模型

借楼问问，现在有没有什么大模型，可以用于看外语片的时候，能够根据音频出中文字幕的。

你这价钱可以 colab pro 32 年的服务

自己玩的话没啥问题，速度还行47b 的规模

windows 自带实时字母，勉强能用

字母->字幕

pro 是 100 个计算单元，用不了多久吧

之前在 m1 pro 上跑过 7b 的模型，感觉速度一般

47b 8bit ？感觉挺好