『科技头条』微软改进了谷歌的BERT NLP模型

微软人工智能研究人员今天说,他们已经创建了一个多任务深度神经网络(MT-DNN),它结合了谷歌的BERT人工智能,以实现最先进的结果。 MT-DNN能够从通用语言理解评估(GLUE)基准中为9项NLP任务中的7项设定新的高性能标准。

同样使用BERT的MT-DNN模型于1月由微软A I研究人员首次引入,并在几个自然语言任务上取得了最先进的性能,并设定了新的GLUE基准..

实现最先进结果的方法使用了多任务学习和知识蒸馏方法,这是谷歌的杰弗里·辛顿和AI首席执行官杰夫·迪恩在2015年首次引入的。 根据今天发表的一篇博客文章,微软计划在6月份在GitHub上开放MT-DNN模型,用于学习文本表示。

“对于每个任务,我们训练一个不同的MT-DNN(教师)的集合,其性能优于任何单一模型,然后通过多任务学习训练一个MT-DNN(学生),从这些集合教师中提取知识,”论文摘要“通过知识蒸馏改进多任务深层神经网络以促进自然语言理解”。

去年秋天,来自变形金刚(BERT)的双向编码器表示被谷歌开放。 谷歌声称,一个最先进的语言模型可以在30分钟内使用BERT和一个云T PU。

这则新闻发生在微软(Micros of t)在其Bing搜索引擎背后公开了一种算法之后的一天,谷歌(Google)推出了Translatotron,这是一种端到端的翻译工具,可以采用原扬声器的声音语调。

在Build,微软展示了企业如何使用语义机器技术为员工创建AI助理,Bot框架获得了更多多轮对话的升级,Azure认知服务和Azure机器学习服务得到了升级。 一个新的人工智能和机器人平台也在有限预览中推出,用于互操作性人工智能的ONNX伙伴关系引入了Nvidia和英特尔硬件优化,以获得更快的推理..

在I/O,谷歌展示了使用它的设备上机器学习驱动的谷歌助手的感觉,并推出了Android应用程序开发人员与谷歌助手连接的工具。 还宣布了MLKit及其云T PU服务的升级。

本文来源网络由诺记吧(www.nokibar.com)整理发布,转载文章系出于传递更多信息之目的,不希望被转载的可与我们联系,我们将立即进行删除处理。

未经允许不得转载:诺记吧 » 『科技头条』微软改进了谷歌的BERT NLP模型

赞 (0) 打赏

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏