微软研究院 MEB AI for Bing 是有史以来最复杂的模型之一

680次阅读
没有评论
微软研究院 MEB AI for Bing 是有史以来最复杂的模型之一

Microsoft Research 正在测试有助于改进 Bing 搜索结果的神经网络机器学习模型。近年来,微软有争议地接近 OpenAI,并通过独家许可使用 GPT-3 模型。这包括5 月份推出的Power FX AI解决方案。

微软对 GPT-3 的兴趣反映了越来越多地使用基于转换器的深度学习模型。更多的组织正在使用这些模型,因为它们可以更好地理解语义关系。

微软在关联基于 Transformer 的深度学习时发现的问题之一是,关系中的细微差别通常超出了模型。

微软研究院现在已经创建了一个神经网络,几乎与 GPT-3 的功能相匹配。它拥有 1350 亿个参数,是有史以来最大的通用 AI 模型。根据研究团队的一篇论文,该模型已经在 Bing 中运行。

作为有史以来最复杂的人工智能之一,它接近 GPT-3 可以处理的 1750 亿个参数。

MEB

微软将 AI 模型命名为 MEB(Make Every Feature Binary),并在 Bing 搜索引擎中使用它。具体来说,它会分析用户的搜索词并帮助找到最相关的网站。它通过利用其他机器学习算法来提高生产力,从而获得最佳结果。

“MEB 作为基于 Transformer 的深度学习模型的搜索相关性的补充,之所以如此有效,一个原因是它可以将单个事实映射到特征,从而使 MEB 能够更细致地理解单个事实。例如,许多深度神经网络 (DNN) 语言模型在填写这句话的空白时可能会过度泛化:“(blank) can fly”。由于大多数 DNN 训练案例的结果是“鸟类可以飞”,因此 DNN 语言模型可能只会用“鸟类”这个词来填补空白。

正文完
 
评论(没有评论)