🔧 AI 本地化部署 · 第2篇硬件怎么选
显存 内存 硬盘 别乱花钱
一说到本地跑模型,就开始有人讲显卡型号、显存带宽、推理框架。
其实对你来说,只需要搞明白三件事:显存决定能跑多大模型,内存决定跑不跑得动,硬盘决定能存几个。
🔧 三个关键指标
① 显存(GPU 内存)。这是最关键的。模型要装进显存才能跑得快。粗略参考:8GB 显存能跑 7-8B 参数的量化模型;12-16GB 能跑 14B;24GB 能跑 32B 左右。
② 内存(RAM)。至少要 16GB,建议 32GB。如果纯 CPU 跑(没独显),内存需求会更高。
③ 硬盘。模型文件都很大。7B 量化模型约 4-5GB,14B 约 9GB,32B 约 20GB。建议留 100GB 以上空间。
💻 按预算分三档
入门档(能用就行):有 8GB 显存的游戏本,或 16GB 内存的新款笔记本。能跑 7-8B 模型,日常问答、文档总结够用。
实用档(推荐):显存 12-16GB 的机器。能跑 14B 模型,中文表现明显更好,处理长文档更稳。
专业档(公司用):显存 24GB 以上的工作站,或租云服务器。能跑 32B 级别,接近入门云端模型的水平。
别掉进的三个坑坑一:只看显存不看实际可用。系统会占用一部分显存,标称 8GB 实际可用可能只有 7GB。坑二:忽略散热。笔记本长时间满载会降频,速度掉一半是常事。坑三:为了跑大模型硬上老显卡。老架构显卡虽然显存大,但速度慢到无法用。宁可跑小模型跑得流畅。💰 先别急着买
如果你只是想试试,先用现有电脑跑 7B 量化模型。够用就不用花钱。
如果现有的机器跑不动,再考虑升级。很多时候「换 32GB 内存」几百块就能解决问题,比换显卡便宜得多。
本期小结:硬件不用买最好的,买能跑起你需要的模型的。先试再买,别为用不上的性能付费。🔧 AI 本地化部署 · 第2篇 / 共 6 篇
下一篇:模型怎么挑——参数大小 量化 中文能力