这个新的人工智能模型在超级计算机上运行，在 105 层上拥有 5300 亿个参数。
“每个模型副本跨越 280 个 NVIDIA A100 GPU，在一个节点内具有 8 路张量切片，以及跨节点的 35 路管道并行性，”微软和 Nvidia 在一篇博客文章中说。
研究人员一直在 15 个数据集上训练模型，涵盖 3390 亿个令牌。两家公司表示，这凸显了更大的 AI 模型可以通过较少的训练来理解。然而，两人承认他们不得不处理一个常见的人工智能问题——偏见。
两家公司指出：“虽然巨型语言模型正在推进语言生成的最新技术水平，但它们也存在偏见和毒性等问题。”
“我们对 MT-NLG 的观察是，该模型从训练数据中提取了刻板印象和偏见。微软和英伟达致力于解决这个问题。”
视频培训突破
这并不是微软和英伟达今年发布的第一个重大人工智能公告。早在 5 月，该合作伙伴关系就通过利用多模式转换器在视频培训方面取得了重大突破。
在一篇题为“用于视频表示学习的参数高效多模态转换器”的论文中，研究人员讨论了他们如何将多模态转换器的大小减少 97%，以改进 30 秒视频剪辑的 AI 训练（以 480 帧采样，每秒 16 帧）。这是对现有模型的重大改进，可以处理 10 秒或更短的视频序列。
正文完
