深度学习主机攒机小记

五月中下旬的时候,GTX1080的公布和发售直接刺激了我攒一台深度学习主机的欲望,攒机对于我来说已经相隔十多年,大学时候的第一台PC就是攒出来的,其实也就是在5000元的预算内,去电脑城里找商家组装了一台台式机,美其名曰DIY。

虽然已经锁定显卡,但是对于其他的搭配还是很模糊,只是需要“好CPU”,“大内存", “大硬盘", 于是开始google “深度学习电脑”,“深度学习服务器”,“深度学习PC”, “深度学习主机”,“深度学习机器”,“深度学习工作站”这些关键词,并很快锁定了这篇文章《如何搭建一台深度学习服务器》作为主要参考:

硬件选择:基本思路是单显卡机器,保留升级空间

......

CPU选择:
在深度学习任务中,CPU并不负责主要任务,单显卡计算时只有一个核心达到100%负荷,所以CPU的核心数量和显卡数量一致即可,太多没有必要,但是处理PCIE的带宽要到40。

主板选择:
需要支持X99架构,支持PCIe3.0,还要支持4通道DDR4内存架构。如果要搞四显卡并行,PCIE带宽支持要达到40,并且支持4-Way NVIDA SLI技术。

内存:
达到显存的二倍即可,当然有钱的话越大越好。

电源问题:一个显卡的功率接近300W,四显卡建议电源在1500W以上,为了以后扩展,选择了1600W的电源。

机箱散热:
因为各种部件相当庞大,需要有良好散热功能的大机箱,选择了Tt Thermaltake Core V51机箱,标配3个12cm风扇。未来如果需要还可以加装水冷设备。

......

最后的硬件配置:
CPU: Intel X99平台 i7 5960K
内存: DDR4 2800 32G(8G*4)
主板: GIGABYTE X99-UD4
显卡: GTX Titan X
硬盘: SSD+普通硬盘

按照这篇文章的配置,在淘宝查了一下相关价格,这个配置大概20000+的水平,如果作者再搞个4路显卡并行,绝对土豪。不过这里面的i7 5960K很少见,应该对应的是i7 5960X。

对于我来说,主要是围绕着GTX1080来配置深度学习服务器,不过这个时候上文所说的一些概念还比较模糊,于是以一个游戏玩家的身份跑了一趟电脑城,当我向商家说明来意,要配置一个GTX1080主机时,商家除了纷纷表示GTX1080货源紧缺,需要预定外,也有的会在打完几个电话后告诉我有现货但需要加价,极端的一个例子是华硕的公版GTX1080当时加到了6900。不过几乎无一例外,他们给的配置清单基本上是这样的:

CPU: Intel i7 6700K
内存: DDR4 32G(8G*4)
主板: 华硕Z170-P or Z170-AR
显卡: GTX 1080
硬盘: SSD+普通硬盘
......

加上其他配件,大概12000+的样子。当然,我只是通过市场调研一下,并不急于入手,于是回到家里,继续google。

i7-6700K 是去年发布的6代酷睿i系列处理器,它最大的变化是 “14nm工艺+新架构(Skylake),对于老态龙钟的Haswell有着工艺和架构的双'料'改进!新架构意味着同频性能更强,新工艺意味着功耗更低”。另外i7-6700K是“四核心八线程、8MB三级缓存,CPU频率基准4.0GHz、最高4.2GHz,总线支持十六条PCI-E 3.0,内存支持双通道DDR4-2133、DDR3L-1600”。特别注意这里的PCIE 3.0,总计只有16条,这个就很有局限了。同样它所支持Z170等系列主板,无论在显卡支持数量和最大内存容量上都不如X99的可扩展性强。譬如这里的华硕Z170主板,必须是Z170-A或者在Z170-AR才能支持双路显卡,稍差一点的Z170-P仅支持一个显卡。内存插槽上,Z170多是4个,而X99一般都是8个。

于是将目光又一次转向了X99平台,重新审视了i7-5960X, i7-5930K, i7-5820k这几个两年前英特尔发布的22纳米工艺的Haswell-E系列的CPU。下面这幅图其实一目了然:

5960x5930x5820

注意其中的PCIE-3.0个数,5960x和5930k都是40,而5820K只有28,这样的话“具备完整的40条PCI-E的i7-5960X和i7-5930K可以以“x16+x8+x8+x8”的带宽分配方式组建四路的SLI或者CrossFire,而“小弟”i7-5820K最多只能组建“x16+x8”或“x8+x8+x8”的双路或者三路显卡并联系统。”

显然,在可扩展性上,5960x和5930k更好,不过在价格上自然也有区分,目前淘宝上5960x大概7000左右,5930k在4000左右,5820k在2700左右。

对于我来说,还没有打算做多路显卡并联,但是为了可扩展性,所以初步选择了5390k或者5820K作为CPU备选。但是最大的问题还是GTX1080的货源问题,淘宝天猫上全是预定,托朋友关系咨询当地技嘉总代,拿GTX1080必须搭配其他显卡销售,不过有个很优惠的价格可以拿到 GTX Titan X ,为此还在微博上咨询了一下是选择GTX1080还是GTX Titan X,李沐M和其他几个同学的回答基本让我确定等待GTX1080。另外李沐大神有几篇关于GPU的文章,不过都是超级土豪的,感兴趣的同学可以参考。

之前曾google到一篇GTX1080机器的文章:国产首款GTX 1080游戏PC开售,不过当时对这些配置还无感,调研了一番回头再看的时候,发现雷霆世纪所推的这款GTX1080主机性价比超高,可惜这个主机第一轮预定完之后到目前为止一直显示无货:

CPU:Intel i7-6800K(6核12线程)
主板:华硕X99-E
显卡:GTX 1080
SSD:三星SM951 256G(M.2接口)
电源:海韵X-850 850W(80 PLUS全模组)
机箱:迎广805C红 中塔式机箱(铝合金,双面钢化玻璃侧透)
散热:采融B81 V2黑色雷霆定制版(纯铜底、6热管、PMW风扇)
内存:自行购买(DDR4)
系统:预装Windows 10测试版系统

这套配置里面提到了i7-6800K,查了一下,是最近Intel刚刚推出的发烧级桌面处理器Broadwell-E系列中的一员:

6800k

网上有评论i7-6800k是i7-5820k的升级版,虽然同样支持X99架构主板,但是同样的问题也是PCIE-3.0个数只有28个。不过同为升级版,不差钱的同学可以考虑将上文中i7-5960X的配置替换为Broadell-E系列里的旗舰产品i7-6950X,10核心20线程顶级配置,淘宝报价目前在15000左右。

雷霆世纪这款GTX1080主机虽然很诱惑,但是一直显示无货,不过在浏览相关的产品的时候发现另一款 “The one 2 Plus自由版” ,除了没有显卡,主板型号略微有点差异外,其他配置和上一款GTX1080机器基本相同,当然都没有内存。此时恰逢京东618期间的活动,价格比原价7488还低了600,6888可以搞定,稍微淘宝了一下相关的配件价格,粗略计算自己配的话大概需要8500+,所以马上付定金预定。当时的页面显示,6.26号付全款,6.28号之后按付款顺序发货。

所以必须等了,不过这期间一个朋友通过种种努力在当地技嘉总代帮我搞定了一块非公版GTX1080显卡:技嘉GTX1080 G1 GAMING ,于是,在拿到显卡的当天,发了一条微博:为信仰充值。之后又在淘宝上买来了4条16G内存条和一块4T硬盘(组SSD+普通硬盘),外加显示器和鼠标硬盘,这套所谓的GTX1080深度学习主机配置是这样的:

CPU:英特尔(Intel)酷睿六核i7-6800K 2011-V3接口 盒装CPU处理器
主板:华硕(ASUS)X99-A/USB 3.1 主板 (Intel X99/LGA 2011-v3)
显卡:技嘉GTX1080 G1 GAMING 非公版
硬盘:三星 SM951 M.2 256G SSD + 西部数据 WD40EZRZ 4T台式机硬盘(蓝盘64M)
内存:64G 金士顿骇客Fury DDR4 2400 16G单条 * 4
机箱:迎广(IN WIN)805c红 ATX中塔式机箱 黑紅色 铝合金/钢化玻璃/双面侧透(U2*2+U3*1+U3.1*1)
电源:海韵(Seasonic)额定850W X-850 电源(80PLUS金牌/全模组/全日系电容/支持SLI/支持背线)
散热器:采融 B81 V2(黑色)

总计15000多一点:主要配置(6888)+ 显卡(5000)+ 4条内存(1800,最近内存涨得比较猛)+ 硬盘(780)+ 显示器(800)。前几天终于拿到主机,并找来雷霆售后师傅帮我把散热、内存、显卡、硬盘安装调试好,系统预装的是Windows10试用版,当然,很快它就会被Ubuntu取代,最后上几张图:

296275349

614287776

1743460326

274517047

参考资料:

如何搭建一台深度学习服务器:http://www.r-bloggers.com/lang/chinese/2042
GPU集群折腾手记——2015:http://mli.github.io/gpu/2016/01/17/build-gpu-clusters/
Nvidia新的Pascal值不值得买(升级):http://mli.github.io/2016/06/14/new-pascal/
如何配置一台适用于深度学习的工作站:https://www.zhihu.com/question/33996159
Which GPU(s) to Get for Deep Learning: http://timdettmers.com/2014/08/14/which-gpu-for-deep-learning/
A Full Hardware Guide to Deep Learning:http://timdettmers.com/2015/03/09/deep-learning-hardware-guide/
Building a Deep Learning (Dream) Machine:http://graphific.github.io/posts/building-a-deep-learning-dream-machine/
Reddit: gtx1080 vs 1070 for machine learning?

注:原创文章,转载请注明出处及保留链接“我爱自然语言处理”:http://www.52nlp.cn

本文链接地址:深度学习主机攒机小记 http://www.52nlp.cn/?p=9081

深度学习主机攒机小记》上有48条评论

  1. anonymous

    如果只是想要40条PCIE,可以考虑i7-4820K和LGA2011的X79主板,不过貌似已经停产,而且只支持DDR3

    [回复]

    52nlp 回复:

    这个确实考虑过,不过这个CPU淘宝上报价太乱了,后来有搭配好的全套,就算了。

    [回复]

    winstar 回复:

    40Lane 最新版cpu 性价比最高的是 Xeon E5 v1620 v4, 最新技术14nm,3.5GHZ

    [回复]

    winstar 回复:

    补充下,该u价格淘宝 2050,算是能找到的14nm技术的最便宜的了

    [回复]

  2. andy huang

    z9pe-d8
    e5-2670
    ddr3内存
    cpu和内存都是洋垃圾,配好64g内存,32核心处理器,4000左右能拿下来。
    记得多看洋垃圾

    [回复]

  3. wwz

    您好
    这个配件买好后,自己安装有难度吗,尤其CPU装到主板上

    [回复]

    52nlp 回复:

    根据个人情况而定,如果你比较熟悉DIY,全套配件自己搞也行,如果不熟悉,请个安装师傅搞更好.

    PS: 我这套机器由于是在京东雷霆世纪买的,到手时除了散热、内存、显卡、第二块硬盘没有安装外,其他他们都搞好了。

    [回复]

  4. winstar

    和楼主同样的追求,不同的道路。折腾两月,机器配置如下:
    cpu: Xeon E5 v1620 v4 14nm 3.5GHz 4核8线程
    内存:海盗船8G*2 2400MHz
    显卡:华硕GTX1070 公版(为了将来做SLI,无论兼容性还是PCIe插槽占用,都是公版最合适,so最终回到公版)
    主板:华硕X99EWS (真正支持4路SLI的超强主板,新货很贵,闲鱼入的2手)
    电源:海韵X1250 1200W (也是2手货,目前用起来看没啥问题)
    硬盘:240G intel SSD + 希捷2T 混合硬盘 + 120G 三星老硬盘(以前老笔记本淘汰下来的,本来做移动硬盘用的,现在重新上PC跑ubuntu)
    机箱:比较看中散热+静音,同时又必须支持EATX主板+8个PCIe槽口,最终选定Tt F51 静音版(很超值)
    显示器:2手收了台dell u2515h,2k屏

    总计下来:1.5万左右

    [回复]

    52nlp 回复:

    牛逼,看来你动手能力很强

    [回复]

    pipi 回复:

    请问双卡搞深度学习也是要sli桥接的对吗?两张卡一个主卡作为控制?

    [回复]

    kangtian0 回复:

    装的什么系统?
    Ubuntu安装是不是有问题?
    想用用深度学习,环境还没搭好,
    特别是软件环境。

    [回复]

    anonymous 回复:

    E5 v1620 v4在哪买的?是盒装正版吗?

    [回复]

  5. 六六六

    我没这么多钱折腾了,今年只换了10系显卡
    配置是
    e3 1230v2+2*8g ddr3 1600+128G pro ssd+WD绿盘3T+GTX1070微星红龙

    其实我之前也考虑过5820k或者是6800k的组合的,不过确实资金上都是我自费的,太吃力

    作者是学校老师还是什么的?应该是报账采购的吧

    [回复]

    52nlp 回复:

    不是

    [回复]

  6. Freeman

    你的配置里i7-6800K没有核芯显卡,X99主板也没有集成显卡,所以显示和计算都是用GTX 1080吧,这样会不会有问题,尤其是装驱动的时候,GPU单独用来做deep learning会不会更好?

    [回复]

    52nlp 回复:

    集成显卡的影响可有忽略不计吧

    [回复]

  7. Freeman

    现在您的配置中没有集成显卡,所以您说的影响是?

    [回复]

    52nlp 回复:

    我的意思是在有了独立显卡之后,无论是否有集成显卡影响都很小吧

    [回复]

    Freeman 回复:

    所以您的1080是既用来显示器显示,也用做深度学习计算咯?把GPU专门用来做计算会不会更好?

    [回复]

    52nlp 回复:

    我觉得你太纠结这个问题了,如果纯粹考虑计算,你可以考虑那些专用于计算的显卡;事实上,这里显示对于计算的影响很小很小。

    Freeman 回复:

    了然,非常感谢您的解答!

  8. noooop

    E5-2650 2 GHz-2.8 GHz 八核十六线程 PCI Express 3.0 * 40 淘宝 235
    E5-2660 2.2 GHz-3 GHz 八核十六线程 PCI Express 3.0 * 40 淘宝 450
    E5-2670 2.6 GHz-3.3 GHz 八核十六线程 PCI Express 3.0 * 40 淘宝 320
    E5-2680 2.7 GHz-3.5 GHz 八核十六线程 PCI Express 3.0 * 40 淘宝 780

    上双路或者四路要啥自行车

    [回复]

  9. youwei ren

    4条内存该是2800吧。不知道多少人是我这样,受文章影响攒了一台主机,想想还有点小激动。。

    [回复]

    52nlp 回复:

    这段时间内存涨价太快了,双十一攒机确实是一个机会,谢谢

    [回复]

  10. stan wong

    不错 也在考虑配置主机中 在等ZEN出来看看 平时就用Theano验证一下逻辑正确与否,我的还是笔记本显卡GT630M,cudnn无法支持,哎

    [回复]

  11. 马继昌

    博主,您好。请问您的Ubuntu系统安装成功了吗?我在安装Ubuntu的时候出现了the inpu timing not supported by the monitor display.....。你在安装的时候有遇到过这样的问题吗。 机器配置与你的同样,系统为win10企业版。

    [回复]

    52nlp 回复:

    当然安装了,这个坑确实踩过,可以参考这个系列的续集:http://www.52nlp.cn/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E4%B8%BB%E6%9C%BA%E7%8E%AF%E5%A2%83%E9%85%8D%E7%BD%AE-ubuntu-16-04-nvidia-gtx-1080-cuda-8

    1)一开始安装就踩了一个坑,选择”Install Ubuntu”回车后过一会儿屏幕显示“输入不支持”,google了好多方案,最终和ubuntu对显卡的支持有关,需要手动添加显卡选项: nomodeset,使其支持Nvidia系列显卡,参考:安装ubuntu黑屏问题的解决 or How do I set ‘nomodeset’ after I’ve already installed Ubuntu?

    [回复]

    马继昌 回复:

    大神,没想到看见了你的回复,很感谢。从机器买回来到现在2天了,一直在搞安装。真的万分感谢,这个安装大坑您一定要拉小弟一把,先谢谢你了。经过几天的摸索,初步确定的问题,和您描述的一样,Ubuntu系统的安装包与英伟达的显卡驱动不支持,所以才会出现“输入不支持”,也试过很多版本的Ubuntu,不知道您安装的是哪个版本的Ubuntu系统,包括U盘启动,硬盘启动,然并卵。很想与您进一步交流,我也是不小心上了GTX1080的船,恰巧又上了机器学习的船,一步步的选择注定我们要相识,我的微信:15822086959。同时也欢迎闲的蛋疼+兴趣的同仁,并有志于机器学习和linux系统的同仁建立联系、交流问题,帮助别人提升自己,谢谢。

    [回复]

    52nlp 回复:

    抱歉,比较忙,没有时间加微信给你指导了。

    马继昌 回复:

    另外,请问一下大神,您的显示器和显卡是用的HDMI的线缆吗?

    [回复]

    52nlp 回复:

    是的

    马继昌 回复:

    按照您说的,在选择“install Ubuntu”后,需要进入对Ubuntu的编辑模式,手动添加N卡驱动选项。我按“e”和“F6”均进不了Ubuntu的编辑界面,请问您当时是如何进入这个编辑模式的。拜托了。

    [回复]

    马继昌 回复:

    大神,又经过一番倒腾,现在已经成功显示了ubuntu的安装界面,但是在安装中途提示:不能在指定位置安装启动引导程序。请问您在安装的时候,这个问题是怎么解决的呢?先谢谢你了。

    [回复]

    马继昌 回复:

    那请问博主,我安装好Ubuntu后,重启仍然进入黑屏。已经编辑了启动模式,在Quite splash 后面添加了nomodeset,按F10后,先是紫色屏幕,然后黑屏,紧接着就是 “输入格式不支持”。这个现象您当时遇到过吗,怎么解决的。
    显卡GTX1080和显示器是HDMI连接。

    [回复]

    52nlp 回复:

    抱歉,貌似没有遇到。多Google,多折腾折腾,其实也没坏处。

    马继昌 回复:

    谢谢大神指导,已经解决了黑屏现象,成功安装Ubuntu。

    [回复]

    52nlp 回复:

    搞定就好,没帮什么忙

    [回复]

  12. lxawu

    楼主,“The one 2 Plus自由版”主机, 用七彩虹igame 1070卡跑深度学些如何?

    [回复]

    52nlp 回复:

    一般的需求应该都是可以的

    [回复]

  13. xu

    求问我这个配置如何?
    主板:华硕 X99-E WS/USB
    显卡:索泰 GTX1080至尊PLUS OC 1860MHz ✖️4
    cpu: i7-5930K 2011-V3接口
    机箱:海盗船 900D
    电源:海盗船 AX1500i
    散热:九州风神大霜塔
    内存:芝奇AEGIS系列 DDR4 2400频率 16G ✖️2
    SSD:浦科特 M8PeG 512G M.2 NVMe固态硬盘

    话说我在网上看到说没法四路1080?
    另外有必要上水冷吗?

    [回复]

    52nlp 回复:

    主板和cpu都满足条件,没法4路的原因是什么呢?配置很棒了,不差钱就上水冷。

    [回复]

发表评论

电子邮件地址不会被公开。 必填项已用*标注