为实现更强大的人工智能(AI),Meta Platform 表示,其研究团队建造了一台全新,名为 AI Research SuperCluster(SRC)的 AI 超级电脑;目前已用于自然语言处理(NLP)、视觉运算等模型训练。Meta Platform 更强调,SRC 已是当今世上运算最快的超级电脑之一,而在今年中期完全建置之后,将成为世上最快的超级电脑。
Meta Platform 近日在部落个文章中宣布此一消息,指出 Meta 长期致力于 AI 的投资,而为了实现更大量的语言、语音或是视觉训练,即需要更高效能的运算基础设施。为此,Meta Platform 联手 NVIDIA、Penguin Computing、Pure Storage等合作伙伴,共同开发新一代 AI 超级电脑。
据悉,RSC 共有 760 个 NVIDIA DGX A100 系统做为其运算节点,总共有 6,080 个 GPU,使得 SRC 的运算效能大增。根据初期测试显示,其在进行视觉运算时,工作速度较之前的 AI 运算系统提升 20 倍,运行 NVIDIA NCCL 的速度则提升 9 倍以上,且在训练大规模的语言模型上则提升三倍。这也意味着 SRC 可在三周内完成拥有数百亿参数的模型,而之前的系统需花费九周的时间。
Meta Platform 指出,其研究团队目前正在使用这台超级计算机训练 AI 模型,进行自然语言处理和电脑视觉研究;目标是希望 SRC 有朝一日能在 1 艾字节的数据集上训练包含超过 1 兆个参数的模型,1 艾字节大约相当于 3.6 万年的高清影片。
Meta Platform 也强调,尽管 SRC 已开始运行,不过其仍在开发中,Meta 将努力提升 SRC 中的 GPU 数量,预计从现有的从 6,080 个增加到 16,000 个,这将使 AI 训练性能提高 2.5 倍以上。当今年夏天 SRC 完全建置完成后,将成为世上最快的 AI 超级电脑。
- Introducing the AI Research SuperCluster — Meta’s cutting-edge AI supercomputer for AI research
(首图来源:Meta Platform)