Cerebras刚刚宣布了公司的关键时刻，这是全球最广泛的自然语言处理 (NLP) AI 模型在单一设备中的最重要的学习计划，开发和制造世界上最大的加速器芯片 CS-2晶圆级引擎。
Cerebras 在单个芯片上访问 200 亿个工作负载参数
Cerebras 训练的人工智能模型爬升到了一个独特而非凡的 200 亿参数。Cerebras 无需跨多个加速器扩展工作负载即可完成此操作。Cerebras 的胜利对于机器学习至关重要，因为与以前的模型相比，软件需求的基础设施和复杂性有所降低。Cerebras 在单个芯片中使用 200 亿参数的 NLP 模型的好处使该公司能够减少在训练数千个 GPU、硬件和扩展要求方面的开销。反过来，该公司可以消除在芯片上划分各种模型的任何技术困难。该公司表示，这是“NLP 工作负载中最痛苦的方面之一，[...] 需要数月才能完成”。
这是一个量身定制的问题，不仅对于每个处理过的神经网络、GPU 规格，以及结合所有组件的整个网络来说都是不寻常的，研究人员在第一部分训练之前必须注意这些问题。培训也是单独的，不能在多个系统上使用。
在 NLP 中，更大的模型被证明更准确。但传统上，只有少数几家公司拥有必要的资源和专业知识来完成分解这些大型模型并将它们分散到数百或数千个图形处理单元的艰苦工作。结果，很少有公司可以训练大型 NLP 模型——这对于行业的其他人来说太昂贵、太耗时且无法使用。今天，我们很自豪能够普及 GPT-3XL 1.3B、GPT-J 6B、GPT-3 13B 和 GPT-NeoX 20B，使整个 AI 生态系统能够在几分钟内建立大型模型并在单个 CS- 2.
— Andrew Feldman，Cerebras Systems 首席执行官兼联合创始人
目前，我们已经看到系统在使用较少参数的情况下表现异常出色。Chinchilla 就是一个这样的系统，它不断超过 GPT-3 和 Gopher 的 700 亿个参数。然而，Cerebras 的成就非常重要，因为研究人员将发现他们将能够在其他人无法计算和创建的新 Wafer Scale Engine-2 上逐渐精细的模型。