特斯拉（Tesla）于 CVPR 2021 大会上宣布，推出专用于训练自动辅助驾驶与自动驾驶功能的深度神经网络超级电脑；该丛集使用 720 个节点，每个节点搭载 8 个 NVIDIA A100 Tensor 核心 GPU（共 5,760 个 GPUs），实现 1.8 exaflops 的运算效能。
特斯拉在本次大会上也揭露自家自驾车的训练过程。在训练过程中，特斯拉以“影子模式（Shadow mode）”运行的深度神经网络，在不实际控制车辆的情况下，会在汽车的行驶过程中悄悄进行感知并做出预测。此时这些预测内容与错误或误判的情况会被记录下来，接着，特斯拉的工程师使用这些执行个体，建立一个复杂且多元场景的训练资料集，让深度神经网络（DNN）更加完善。
为此，特斯拉收集了约一百万个以 36 FPS 录制的十秒钟画面，累计出高达 1.5PB 的资料量。接着，深度神经网络在资料中心反复执行这些场景，直到未出现任何错误。最后，再将训练完的深度学习神经网络送回车辆，并再次展开这个过程。
▲ GPU 丛集是特斯拉垂直整合自动驾驶的其中一部分。（Source：NVIDIA）
特斯拉人工智能部门资深总监 Andrej Karpathy 表示，这种以大量资料来训练深度神经网络的方式，需要使用“庞大的运算量”，这也是为什么特斯拉使用高效能的 A100 GPU 来建立和部署当前的超级电脑。
NVIDIA 则说明，采用 NVIDIA Ampere 架构的 A100 GPU，其效能表现较前一代提升 20 倍，且可以分割多达七个 GPU 执行个体，并依照不断变化的需求进行调整。GPU 丛集是特斯拉垂直整合自动驾驶的其中一部分，其透过超过百万辆在路上行驶的汽车来完善和建立新功能，并持续改进。
据悉，特斯拉目前部署的深度神经网络结构，可以让二十名工程师同时在一个网络上工作，并区隔不同的功能以进行同步开发。接着，这些深度神经网络能以较过去快速反复运算的速度还要更快的方式，运行训练资料集。
Karpathy 指出，电脑视觉是特斯拉进行研发及实现自动辅助驾驶的基本要素。要让它真正发挥作用，就得训练一个大型的神经网络并进行大量实验。这正是特斯拉在运算领域投入许多心力和资金的原因。
（首图来源：特斯拉）
