在日本 GTC 大会上面，NVIDIA 首席执行官黄仁勋不忘穿着他的招牌披风，一边秀出新产品以及与日本伙伴的成果。今日 (9/13) NVIDIA 宣布新的 GPU Tesla T4，以及采用 Tesla T4 的推论平台 TensorRT，以及搭配的推论软件。
尽管没有像在台湾的 GTC 大会努力用价格换算效能的方式，用台语说 NVIDIA 是很便宜的选择，黄仁勋以采用 NVIDIA 最新 Tesla T4，16 颗只占一个机柜，耗电 2 kW，能胜任语音、自然语言处理、影音需求。相比之下传统资料中心，有 200 个 CPU服务器，同样运算效能需耗电 60 kW，占的空间更大。
▲ NVIDIA GPU Tesla T4。(Source：NVIDIA)
NVIDIA 的 AI 推论平台TensorRT 超大规模平台包含一套完整的硬件与软件，并针对强大、高效率推论进行优化，平台的关键元素包含：
- NVIDIA Tesla T4 GPU：搭载 320 个 Turing Tensor 核心以及 2,560 个 CUDA 核心，支援 FP32、FP16、INT8 以及 INT4 具弹性且多精度功能的突破性效能。封装成一颗功耗仅 75 瓦且省电又小巧的 PCIe 板型，能轻易部署到大多数服务器中，而 FP16 的尖峰效能可达到 65 teraflop、INT8 可达到 130 teraflop、INT4 则达到 260 teraflop。
- NVIDIA TensorRT 5：这款推论优化器与运转时间引擎 (runtime engine) 支援 Turing Tensor 核心，并针对多精度作业附载扩充一套神经网络最佳化。
- NVIDIA TensorRT 推论服务器：这款容器化微型服务器软件让应用程序在资料中心生产环境下运用各种 AI 模型。透过 NVIDIA GPU 云 容器可以免费注册下载此软件，不仅可以最大化资料中心的吞吐量以及 GPU 使用率，还支援所有热门的 AI 模型与框架，并能整合 Kubernetes 与 Docker。
▲ 有了 AI，才有可能让黄仁勋在舞台变身成 Michael Jackson。(Source：NVIDIA)
Nvidia 还宣布开发版 Jetson AGX Xavier的开发工具 Devkit，已经开放购买。Jetson AGX Xavier 能用在工厂的自动化开发上面，已经有多个日本企业如Fanuc (发那科)、Komatsu(小松制作所)、Musashi Seimitsu (武藏精密工业) 以及 Kawada Technologies (川田) 在内的日本大厂将利用 Jetson AGX Xavier 开发他们的自动化应用。
▲ 强调是世界首款 Edge AI 电脑 Jetson AGX Xavier，同时也释出 Devkit。(Source：NVIDIA)
(首图来源：NVIDIA)
