分享个人与小微企业AI本地部署三万起步的低成本高性价比装机方案,整套配置性能强悍还被粉丝玩出创意改造,核心内容看这里:

基础硬件配置上,用的是华硕WS C621E SAGE工作站主板,支持双路CPU、12个内存插槽(最高1.5T)和7个显卡插槽,搭两颗英特尔至强铂金8168处理器,双CPU组合48核96线程,性价比超给力~内存按模型选,32B模型64G/96G够了,70B得96G/128G;硬盘常用1T+2T拼成3T存储。

显卡方案选的是4张RTX 5060Ti 16G,总显存64G,花费才单张4090 48G的三分之二,能流畅跑32B高精度模型和70B Q4模型,还兼顾办公、剪辑、建模和游戏,配专用机箱和延长线就能解决散热问题~

粉丝良哥的实操超有意思!他想本地部署70B模型,预算紧张先定了64G内存+4张5060Ti+3T固态,结果64G显存跑70B有点吃力,换双4090超预算,Tesla V100S又不兼容游戏,最后他脑洞大开——用显卡延长线+定制显卡支架箱,把显卡从4张加到5张,显存80G就能流畅跑70B啦~

创意升级思路绝了!良哥后续还想装满7张显卡(112G显存)+192G内存,打造性能猛兽~现在硬件已到货,支架箱正在制作,坐等成品效果~这套改造思路给预算有限的小伙伴提供了新方向呢

本站所有文章资讯、展示的图片素材等内容均为注册用户上传(部分报媒/平媒内容转载自网络合作媒体),仅供学习参考。 用户通过本站上传、发布的任何内容的知识产权归属用户或原始著作权人所有。如有侵犯您的版权,请联系我们反馈本站将在三个工作日内改正。