随着chatglm2-6b,llama-7b等模型的开源,早就想要在消费级显卡,独立体验一下部署模型的感觉,尽管在一些商用云平台上部署实践过,总是觉得缺少点什么,而且它们是按小时收费。 尤其是阿里的通义千问7B开源,是时候装一个属于自己的AI主机了。

经过多方资料检索,在B站看到有网友早在之前已经进行了实践,因此照着他们给的教程,自己组装一台低成本的AI玩具电脑,用来安装体验大模型。特别感谢up主: 龟骑士09-组装一台自己的千元级GPU炼丹主机,盖伦TA哥-踩坑tesla m40显卡,作为电脑小白给其他小白一点提醒,赏花赏月赏Up主-使用tesla计算卡P40搭建chatglm本地问答库提供的教程。本着开源的精神,我也将我实践的过程,以及可能遇到的坑,记录下来,帮助需要的朋友少走弯路。此外,特别感谢咸鱼雷电工作室电脑专家对我的技术指导,很朴实的老哥!

本人软件开发,但是没有接触过硬件,之前也没有装过机,这次属于是第一次装机。第一次装机,可以先看看装机教程,b站上面有很多,推荐至少需要完整仔细的看一遍装机的整个流程

配件清单

我采用的配置,完全基于up主-龟骑士所提供的清单而来,结合up主-盖伦TA哥视频内容,购买华南主板的时候,一定要先咨询下客服,是否支持above 4g decoding选项,我就遇到过一个商家明确回复不支持的。换一个商家就行了,提前问好,免得反复折腾。

我的电脑装于9月初,价格可能会有所浮动,配件清单及价格参考如下

配件名称规格价格备注
华南金牌x99 AD3大板/510需要提前向商家问好bios是否支持above 4g decoding
长城7000DS电源600W229接线是直出的,建议换成 插拔的线。 后续扩展会好点
E5 2673 V3/65
冰曼6热管CPU散热器170058
三星 1066Mhz 美光 850016G * 244
ssd固态 sata3.0240G57
亮机卡 512M21
EATX开放式机箱26
Tesla P40显卡24G1008买之前问下商家,之前是否有人实践过,如果不支持,商家会告诉你的。也可以看评论,有些人会留言用于ai炼丹啥啥的。
Tesla P40显卡散热3D涡轮风扇78

合计花费: 2100左右

安装注意事项

  • 开放式机箱上的孔位,与主板设计的孔位对不上,需要自己用钉子钉孔安装铜柱。我只另外钉了三个孔,还有两个孔用的机箱上的。并没有将主板的所有孔位都固定住。
  • 第一次装机,可以先把CPU,内存,显卡 安装好,其他都暂时先不装,然后先开机试一试,如果点不亮,就不用来回折腾,直接把主板退回给商家。插上电源后,没有反应不要慌,主板有个开机键。我在装机的时候,第一次没点亮,CPU开机后始终是99,主板未运行,各种折腾,害怕砸自己手里。面对一个个看不懂的电子元件,那是一种无力感,就像猿人面对现代科技的无力感,让人沮丧。 这是可以联系淘宝售后,一步步排查。最差也可以寄回去检修,千万不要闷声砸自己手里。我是折腾后,申请的售后,检修后重新给我寄了个新的过来,不知道是自己操作不当,还是它本身的质量问题;(我第一次在取CPU那个保护盖板的时候,太小心了,结果紧张反而掉了一下到CPU芯片阵脚上面,当然这个千万不要跟售后说)。
  • 主板本身有一个CPU散热器支架,冰曼散热器也带了一个支架。按照正常逻辑,应该用产品匹配的那个,因此我用了冰曼自带的支架,最终导致的结果就是散热器没安装好,CPU过热自己关机。它的现象就是,开机后能正常点亮,运行一会后主板99并断电,此时再次开机,无法正常启动bios。 过一会再次开机,可以正常进入bios,运行一会后又自动关机。(再次特别感谢咸鱼*雷电工作室电脑专家对我提供的无偿技术指导)这里有几个知识点是我万没想到的:
    • CPU散热器是必备的,没有散热器,CPU温度飙升的特别快,并且会导致主板断电;
    • 正常安装的散热器与CPU是紧密贴合的,不会松松垮垮,松松垮垮代表散热器没有正常安装;
  • bios的above 4g decoding选项,主要是用于显卡寻址,不是什么高大上的功能,好像很多主板都有。但是有个注意事项,开启了above 4g decoding后,亮机卡可能显示不了图形界面,在安装系统之前需要关闭。安装系统之后,开启above 4g,如果是windows系统,由于其有图形界面,也不能直接通过HDMI接口输出,但是linux系统依然可以直接输出。使用Tesla P40,主要使用远程主机的方案进行使用。向日葵或者内网ssh远程,我使用的后者。
  • teslaP40的双8pin转单8pin供电,可以直接通过电源自带的两个串行的Pcie6+2 Pin插进去,得到8Pin供电,问了下电源商家,满载250W是可以带动的。

安装结果

  • 安装系统centos7+cuda11.7
  • 平时通过ssh远程连接使用
  • 配合小米智能插座+米家APP,实现远程服务器;
  • teslaP40外接的涡轮风冷散热,声音还是有点大。 安静的环境下,会觉得有点吵,但是如果在说话或者放歌的情况下,风扇的声音就会被忽略。 还是无法将其当成一个普通的家用电脑用。

请添加图片描述

总结

  • 装机有风险,动手需谨慎。我在装机之前,还是低估了这个事情的难度,折腾的过程比想象中要大,毕竟谁也不想自己挣的血汗钱打水漂。这里也帮雷电工作室电脑专家打个广告,有类似需求,可以咸鱼搜索他,靠谱的。
  • 我目前在上面体验了chatglm2-6b,chinese-llama2,qwen-7b-chat,whisper语音识别,modelscope语音中英语音合成,感觉还有很多有趣的东西在等着,玩点时髦的。折腾虽然辛苦,但是是值得的。后续有空了也把踩坑的经历记录下来,帮助有需要的人,共同进步。
Logo

CSDN联合极客时间,共同打造面向开发者的精品内容学习社区,助力成长!

更多推荐