俗语说得好：海水退潮之后，才知道谁没穿裤子。但历史的教训往往证明残酷的事实：结果站在浪里的所有人，全部都没有穿裤子，且也统统没有 30 公分。
处理器业界的年度盛事 IEEE HotChips，才刚在今年 8 月以全部线上活动型式结束了第 32 届，连挤 4 年牙膏的 IBM 与英特尔总算换了一条全新牙膏，真是可喜可贺。
但另一方面，分别在云端服务和终端硬件执人工智能牛耳的 Google 与 nVidia，却也学到了“挤牙膏”精髓，前者让 2018 年就问世的第三代 TPU，从 2018 年 Google I/O 讲到 2020 HotChips，后者在 HotChips 发表的内容，完全承袭 GTC 2000 的简报，唯一差别只有把华为 Ascend 910 人工智能处理器和英特尔支援 BF16 格式的“新型 Xeon”Cooper Lake-P 拖出来狠狠打一顿。
总之，我们来瞧瞧 HotChips 32 的 Google 第三代 TPU 与 nVidia A100。
讲了三年总算勉强讲完的 Google TPU v3
Google 这间公司最令人称许之处，在于恐怖的“前瞻执行力”，每当众人还在清谈“技术趋势”之际，就突然石破天惊的昭示天下：你们还在嘴炮的东西，我们早就应用到实际产品。诸多丰功伟业的最知名案例，莫过于 2013 年底，Google 爆炸性公开“规划部署已达 3 年”的 B4 资料中心广域网络，开大规模商业化软件定义网络（SDN）之先河。
早在 2015 年就投入内部应用的 Google TPU，更是近年来的经典案例，接着 Google 也很迅速推陈出新，2017 年推出深度学习第二代 TPU，第三代 TPU 更早在 2018 Google I/O 就亮相了。
但 Google 也随即“挤牙膏之神”上身，2019 年 HotChips 31 教程仅提到部分资讯，到 2020 年才公开细节全貌。
我们都有充分的理由相信，第四甚至第五代 TPU，不是早就上线服役也该早在路上了。
2019 年比较对手是 nVidia V100，结果 2020 年看不到第四代 TPU 较量 V100，让人感觉有点奇怪。
TPU v3 概观可视为 TPU v2 的双倍放大版，散热系统从气冷改为液冷，也是主板最显眼的特色。
TPU v3 仍旧着重持续提升内存带宽（+30%）与容量（加倍），拜液冷之赐，时脉也有成长（+30%）。
TPU v3 的指令集架构是 332 位元长的超长指令集（VLIW），VLIW 指令包内总计有 2 个纯量指令、4 个向量指令（其中 2 个是内存载入／回存）、2 个矩阵（Matrix）指令、6 个立即值（Immediate）与一个杂项（Misc）应用。
强化多芯片连结总线，打造更大规模的“人工智能超级电脑”，更是 TPU v3 的重头戏，也就是上图那个“4x Nodes”。
同样一片系统主板装 4 颗 TPU，TPU v3 组成的“人工智能超级电脑”，拥有前代 8 倍以上效能、8 倍内存容量、4 倍芯片数量与 4 倍的最大装置设定数，可切割成 256 个独立运算平台分租给客户。
顺便一提，现今已知关于 Google TPU 的专利多达 50 份，亦不乏详细描述第三代 TPU 的内部架构细节，也是众多有志进军人工智能芯片的冒险者，抽丝剥茧的研究对象。
但这对使用 Google Cloud AI 的用户，甚至大多数 Google 部门来说，其实并不重要，他们只要用得爽快、不需要“为了喝牛奶自己盖一座牧场”就够了。
靠 GPU 基本盘稳扎稳打的 nVidia A100
nVidia 以泛用化 GPU 为基础，站稳高效能运算市场，并将触角逐渐延伸到人工智能和自驾车辆等新兴应用领域，使 2020 年夏天市值连续超车英特尔和三星，证实外界多么看好“皮衣教主”昭示天下的“美好未来”。无论个人电脑与高效能运算领域，从“电竞笔电非有 Max-Q 不可”现象到超级电脑 Top500 清单满满的 nVidia GPU，优势地位看似牢不可破。
nVidia 旗舰 GPU 也随着制程演进而持续“恐龙化”，Ampere 世代之首 A100 是一颗台积电 7 奈米制程、540 亿晶体管的巨兽，像更多执行单元、更大内存子系统带宽、一直更新的 DGX 超级电脑等，是各位也都耳熟能详，甚至早就令人哈欠连连的“标准剧情”了。
关于人工智能应用，nVidia A100 最重要的特色，莫过于自行定义的 TF32（Tensor Float 32）浮点数格式。讲白了就是“截长补短”，既然 Google BF16 牺牲掉 FP32 的精度，维持动态范围不变，那就让精度和 FP16 一样吧，神奇的 19 位元长度 TF32 就这样诞生了，兼具 FP32 的动态范围和 FP16 的精度。nVidia 之所以这样大费周章创造新格式，根本目的不外乎要降低内存带宽和容量需求，和 Google 发明 BF16 如出一辙。
理所当然的，TF32 在 A100 一定跑得很快，因所需带宽仅为前代 V100 一半或三分之一，更能喂饱嗷嗷待哺的庞大 Tensor Core。
但这件事的背后，隐隐约约透露 nVidia 长期领先 AMD（ATI）的根本原因与基本思维：内存带宽，这件事早从 2004 年 NV40（GeForce 6 系列）内存控制器内建压缩传输机能，相关技术持续演进并陆续申请专利，就已埋下了种子。过去十几年来，AMD 或 ATI 的 GPU，需要更多内存带宽，才能实现同等级的效能水准，绝对不是偶然。
大概整批带枪投靠英特尔的前 AMD 团队过去吃了不少闷亏，这次替英特尔重新打造 Xe 绘图架构时，也很刻意提到“End-To-End Compression”，只是不知道会不会不小心踩到 nVidia 的专利地雷。
当 GPU 踏入高效能运算和人工智能，“每笔运算可平均分配到的内存带宽，持续稳定的下滑中”，更让提高运算效能这件事，绝非区区增加几个特化指令与扩张执行单元，即可迎刃而解，更需搞定带宽这件事，一旦带宽不足，就发挥不出完整的运算效能。
听说 nVidia 下一代 GPU“Hopper”将改弦易辙，改走多芯片 Chiplet“包水饺”路线，也许 nVidia 在多芯片连结架构部分，将带来让人感到惊奇的技术突破也说不定，让人对明年 HotChips 33 多抱持一分期待。
人工智能热潮的消退：先讲求不要饿死再求发展
话说回来，我们就不得不探究一个大哉问：为何越来越多芯片厂商开始“挤牙膏”？要么不是受摩尔第二定律诅咒，产品技术难以短期内飞跃性提升，要么就是讲再多对我也没任何实质好处，还不如少讲一点闷声发大财。
不过这几年，难道人工智能芯片不是很夯的话题吗？2017 年 HotChips 29，不就是从主题演讲到议程，从泛用处理器、GPU、ASIC 到 FGPA，统统“人工智能满天下”？如此沉默，对公司的未来妥当吗？
很遗憾的，人工智能芯片从 2018 年起，以中国相关领域新创公司为首，热潮急速退烧，像中国 DEEPHi（深鉴科技）被 FPGA 巨头赛灵思收购，已经算是最好的退场。
即使美国企业亦不可免俗，就算公司不会倒，也不保证产品线不会收掉。像这些年来痴迷自驾车和人工智能，耗费数百亿美元“生气乱买公司”的英特尔，2018 年宣布中止 Xeon Phi 产品线，决定整个砍掉重练，由 2017 年底来自 AMD 的 Raja Koduri 重建货真价实的 GPU。2019 年底以 20 亿美元购并以色列 Habana Labs 并在隔年 2 月停止 NNP-T1000（代号 Spring Crest，还宣称跟百度合作），也意味着 2016 年用 3.5 亿美元买下的 Nervana 形同弃儿，英特尔人工智能平台事业群负责人、Nervana 联合创办人 Naveen Rao 随即离职，一点都不让人意外。
英特尔连续公开栽了两次（实际上应该更多），事后诸葛的后见之明与背后补刀的内幕爆料，均朝向“做出来的东西根本不能用，也无法符合软件开发者和潜在客户的需求”。
所以这也是当人工智能渐渐在 HotChips 退烧后，为何 Google 和 nVidia 可站在台上活好好的主因：Google 很清楚自身需要，快速演进三代（应该更多）的 TPU 就是为了自家 Google Cloud AI 和其他服务量身订做（苹果塞在自己芯片内的 NPU 也是一样状况）。nVidia 则是拥有庞大 GPU 市占率、累积十多年的 CUDA 与高效能运算的“基本盘”足以先养活自己，日后再慢慢发展。
反观之前那票一窝蜂狂冲“人工智能新大陆”的勇者，又有几间有本钱和能耐，先不求饿死，再讲求和客户携手并进的共同胜利？讲更白一点，你会相信中国那些开发数位货币挖矿芯片的厂商，被迫转型做出来的人工智能芯片，可以迅速得到指标性客户的青睐？
天下任何一间求生存的企业，无不企求有所谓的“现金母牛”和忠实客户，才为稳定营运的基础。我们可以猜猜看，明年 HotChips 33 还剩下哪些幸存者，有那条命继续站上人工智能相关议程舞台，如果那时武汉肺炎疫情已划下句点，那就更好了。
（首图来源：shutterstock）
延伸阅读：
- Hot Chips 之后，IBM 与 Intel 的处理器新开奖日
- 从首次线上直播的 Hot Chips 32，回顾摩尔定律的钝化与“双 I”挤牙膏近代史
