西数超哥博客中国IDC圈讯 12月11日-13日，由中国IDC产业年度大典组委会主办，中国IDC圈、CloudBest承办的以“赋能企业数字化转型”为主题的第十三届中国IDC产业年度大典（简称“IDCC2018”）在北京国家会议中心隆重召开。
13日上午，IDCC2018分论坛，数据中心技术创新论坛正式召开！本次论坛邀请了行业内知名大咖和技术专家为大家带来当今数据中心技术创新内容的分享。
会上，3M中国数据中心资深技术专家李堃为大家带来了《数据中心浸没液冷技术回顾和展望》的主题演讲。以下为演讲实录（未经本人核实）：
谢谢主持人，各位专家，各位朋友大家上午好，我是来自3M公司的李堃。开始之前我简单介绍一下3M公司，因为这两天在门口的展台，好多朋友在说，3M跟卖口罩的和空气净化器、净水器的是不是一家公司？告诉大家，是一家公司。3M不仅有这些，我们还有很多其他创新方面的工作。
这是3M公司基本的信息，成立于1902年，总部在美国明尼苏达圣保罗市，研发费用不详细说了，业务遍布200多个国家和地区，全球有9万多员工。3M公司将近7万种产品，那3M公司到底是做什么的？这个问题太大，也太难回答了。我们在整个技术这一块有46个核心技术平台，我们今天介绍的浸没液，是在氟材料里的，其他领域里碰到3M的东西也不用奇怪，因为我们的东西太多了，有时候我们自己也不清楚到底有多少东西。
给大家分享两个信息，第一个是TOP500榜单，如果是计算机圈的很多朋友会比较清楚，每年榜单会发布两次，1993年是美国和德国超级计算及专家，按计算机的能力做一个排名。今年2018年11月份排名，排名第一性能最强的是IBM的Summit，我们国家的太湖之光和天河2A排在第三、第四名，我们国家超算能力在世界上的排名还是很可以的。另外一个榜单是GREEN500，通过对超级计算及的能耗指标，就是说每瓦的电力带给我多少计算能力，多少算力，会得出一个能效的排名。这个榜单里能效排名第一名是日本的公司Shoubu system B，他们是最高的。为什么提到这个榜单呢？在这个能效指标里，超算用的冷却方式就是浸没液，浸没式的媒介用的也是3M的。
最右边这张照片是比较古老的超级计算及，在当时属于计算能力最强，也可以说是划时代的应用。这是美国超级计算及之父西蒙研发出来的，1985年当时的功率是250千瓦左右，当时的风冷已经没法解决散热问题了，所以当时创意式的用浸没方式的液冷降温，当时用的媒介也是3M公司的这款液体。
很多朋友第一次听到液冷，会有这个想法，液冷和水冷是什么关系？液冷是不是水冷？我们数据中心应用到现在，很多已经接触到了，知道是什么差异。在液冷方面我们选择的材料蛮多的，除了大家最常见的水这种材料之外，还硅油、矿物油、氟化液。下面的表格里可以看出来，在这么多可以做液体应用的材料里，从热传导系数来讲，包括硅油、矿物油和氟化液，一些性能指标和水差的蛮多的。
在空调系统里用的是水，但是我们自己在直接浸没里不能用水，大家对水有深入了解的话会知道，水溶性溶液本身可以看成是绝缘体，这种非常好的材料为什么不能跟服务器直接接触呢？水或者水溶液里面有杂质就变成了导体，电器元件跟导体接触就会带来灾难性的后果。我们寻求接触或者液冷的时候，我们对水又爱又恨，没办法，我们只能找一些妥协的方案。比如说油性物质或者氟化液，我们增加系统的管径，目的是增大流速，增加换热面积。还有一种方法利用相变，相变的时候也会给系统带来比较好的换热效果。
刚才我们提到液冷的应用，今天我重点分享一下氟化液方面的应用。可以看到，在大的方向来讲我们可以归结为两类，一种是单相式，一种是双相式。应用层面也有两种，浸没式和管路循环。在一些冷板里也有氟化液的使用，在机柜里，把管路引到里面，里面填充的是氟化液，用的是单相的。服务器会放在浸没腔里，大家在门口展台也可以看到类似的装置。这是两项，把液体和外面的板块中间会有一个氟化液管路连接，会形成一个封闭的管路，这跟空调箱的冷冻水相近，通过循环泵提供动力。冷却之后的氟化液进入浸没腔，和服务器换热之后形成高温氟化液，再进入到换热器里进行换热，形成这样一个循环。
换热器里是冷却水，可以接到外围的冷源，我们服务器的温度或者采用氟化液的方式，这边的温度要求不像传统的机房空调要求浸水温度那么苛刻，所以浸水温度就被释放掉了。
在两相式可以看出来也分为两类，管路循环在有的资料或者个别实验和研究中有热管，也是把里面的媒介做一个相变，带来比较高的传热效率。另外就是浸没式的，大家可以在3M展示台看到演示机。我们服务器浸泡在浸没腔里，服务器运转的时候会发热，如果温度超过了氟化液的沸点，氟化液就会发生汽化，由于重力作用，汽化气体会上升到浸没腔上部，上面有盘管，接的也是冷却水。这个冷却水和单相浸没冷却水有相似之处，这样就把水温解放出来了。这样带来一个便利，我用冷却它就能在祖国大江南北都使用，我用32度就可以了，足以把上面的蒸汽冷却下来，这样就能带来更多的节能效果。
讲一下3M的发展历程，可以看得出来，我们最早应用的氟化液不是新的产品，我们的应用也不是新的应用。从1958年两相直接喷淋冷却到80年代用的卡车冷却元件，1985年超级计算机里单相冷却循环用的是FC77产品，另外两相被动式浸没模型，以及2014年服务器原型演示，这个也是获得了美国托马斯爱迪生发明奖，因为这对数据中心冷却系统来讲提出了一个全新的应用方案。
昨天我们在现场也有朋友来问，比较火的比特币挖矿机的应用。比特币的系统跟我们有差异，它的能耗主要是电费，实际上对结冻要求更高。比特币矿机的应用实际上是蛮久的，2012年就开始用了，这几年用下来，不管比特币的价格高低，但是对他们来讲这个系统给他们带来了实实在在能耗方面的节约，基本上可以做到1.02、1.03的极限，对他们来讲还是很有吸引力的，前面也提到了浸没式超算系统的应用。
这个单相的是国内某大型互联网公司实际机房里的应用，他们的服务器就是浸泡在里面的。它的原理是在最前端，IT设备，包括浸没腔，其实就是一个换热器。另外有来个循环，整个系统比我们传统的空调系统简化了非常多。简化的同时也会带来比较好的便利，对系统来讲可以看出来，因为系统的特点，因为氟化液的特点，以及系统设置的方案，不再受地域的限制，因为任何地方不会提出来说不能用冷却塔。不管是闭式的还是开式的，都要用水，还有用干冷器，干冷器比冷却塔的温度会差一点，这样在北方用是没问题的，在南方用，你的初投资、占地会更大一些，用水方面做了更多的节约。
在机房冷却系统能耗指标来看，通过我们自己实验室的验证，包括理论计算以及合作伙伴自己实际用下来，整个节能效果非常显著。从空调系统这一块，节能至少80%—90%，而且这是可以实际测出来的，这对整个运维带来的收益非常大，因为空调系统在整个运维系统里占到40%左右。
这是两相式的，这张表上大家可以看出来，空气、风冷强制交换的系数0.01，上面单相式的液冷是1，两相式的是10，从系数来看，是百倍的关系，风冷和两相式的是千倍的关系，当然还有其他的抵消，包括氟化液和水相比，比热、传热系数带来的不利因素。即使考虑那些不利因素，从理论计算来讲也可以得出来非常可观的，对我们来讲传热效率的提升。
被动两相原型机，这是在美国实验室自己实实在在做出来的，2014年获得了托马斯爱迪生的发明奖，在这里比较直接的就是服务器，上面是蒸汽区，就是刚才提到的冷却盘管，这是干式冷却器或者冷却塔的形式。我们原型机验证了几个技术方面的理论，一个是长期浸泡的沸腾运行，液体流失的控制，其实坦白讲就是目前着重解决的技术点，再一个就是热拔插结构，还有信号传输的影响，因为金殿时间的关系就不再展开了。热拔插结构是可以的，另外还有PUE的理论值，这个坦白来讲已经到极限了。
刚才提到了在两相式的应用，2012年11月，第一代比特币挖矿机，2013年10月份是第二代，第三代在2015年，每平米计算机差不多是35千瓦，用的就是7100，这个7100和展台里用的氟化液是同一款。比特币通过这么多年的应用，也可以对我们所谓理论方面有一个实证。
前面提到单相和两相，如果我们做一个总结或者做一个对比，单相用的氟化液是高沸点的浸没介质，流失控制比较简单，因为上面许多那么多蒸汽，对应内部压力也小一些，介质污染比较少，没有质聚集的过程，器材兼容性易于管控，传热效率和功率密度比较有限。
两相的，内部不需要循环泵额外动力消耗，介质易受萃取产物污染，因为氟化液不停被汽化，这就意味着你纯净的氟化液往上走，有可能有杂质集聚到器件角落的地方，所以对角落散热方面会有一些影响，实际应用我们也会加上过滤，减少这方面的影响，它更适合用于高密度方面，所以优势比较明显。
大家比较关注氟化液有多少可以选择，以及部件温度范围是不是有不同型号可以选择。我们氟化液里面目前有两个品牌，三个系列的化学成份，沸点是34度—174度。外面用的7100是61度，一般适用于来相，174度是用到单相的，沸点比较高。
这是展示了氟化液应用优点，相比传统来讲我们有哪些优势或者好处呢？提升每一个效率，刚才也做过对比。3M氟化液，尤其是两项的最高可以做到250千瓦，PUE相宜传统的自然冷却到1.1，或者系统比较老的会更差一些，这个对比是非常明显的。我们把整个发热源浸泡在液体里，所以温度会比较均匀。不懂厂家设置的芯片，以及到后面随着技术的发展，芯片密度越来越高的时候，我们也会根据芯片的特点，通过流体模拟做到比较好的效果，能够消除局部的热点。
再来就是消除了线路短路的隐患，我们浸泡在液体里，液体是非导体，所以就不会担心水管走到机房里千小心、万小心，尽量不要进。机房穿过的一些区域也是特别注意，把防漏的检测做得非常小心、完备。
另外机房里面，把精密空调拿掉了，因为所有的机器都可以浸泡在浸没腔里，比如说噪声也会控制得比较好，这样我们的建筑面积都会得到比较好的改善。最后就是消防的问题，目前数据中心机房要考虑到灭火的问题，氟化液本身就是不燃的，而且1230又可以作为灭火的材料系统在用，这本身在防火方面，消防方面带来了额外的便利。
因为把服务器浸泡在里面，所以空调系统里没有这么多的管路、接口，对运维和安装也会带来比较大的便利。很多客户或者决策层就会比较关注，这个计算模型到底怎么样，经济如何？我们在美国实验室请了设计团队做了计算，可以看出来，我们这是基于30兆瓦的模型，这边是液冷和风冷投资方面的对比，195M美金，风冷却是348M美金。这边是运行成本，当然了这个数据来源于美国，另外系统架构也是采用没够常用的，跟国内的指标存在着一点差异，我们也是希望后续有实际的模型，结合自己国内的，做更精准的参考。
3M公司主要的核心，尤其是数据相关的，我们作为卖氟化液的身份，能做的还是比较有限，我们也是在自己技术的基础上提供一些思路给各位同行、朋友，也希望我们能在国家大的节能政策倡导下，大的能源消耗压力的环境下，跟在座的各位同行、前辈能够给数据中心的建设，做一些节能方面的应用，谢谢大家。
【中国IDC圈原创 未经授权禁止转载】
