苹果开发全新AI框架,让用户亲身参与数据标记自动化

  • 时间:
  • 浏览:1

像苹果774 5Siri另一个 的当时人助理通过自然语言命令来完成任务。然而,它们的底层组件通常依赖于监督机器学习算法,那些算法也能 几滴 手工注释的训练数据。为了减少派发那些数据的时间和精力,苹果774 5的研究人员开发了一个 框架,利用用户参与下的信号,来自动创建增强数据的标签。亲戚亲戚朋友的报告中表示,当使用诸如多任务学习和结构知识库验证等策略时,带注释的数据显著提高了生产深度学习系统的准确性。

“亲戚亲戚朋友儿认为,这是首次使用用户参与信号来帮助大规模生成序列标记任务的训练数据,并可应用于实际设置中,在几乎没法 人工注释数据的情况汇报下加快新功能的部署,”研究人员在一篇待出版的论文中写道。“此外,用户参与信号可不也能帮助亲戚亲戚朋友儿从数字助理自身的错误中吸取教训,从而确定 其也能 改进的地方。”

研究人员使用了一系列启发式办法来识别,可不也能表明积极参与或消极参与的行为。其涵盖些包括点击内容来进一步参与(积极的表态),长时间听一首歌(另一个 积极的表态),可能打断智有益于手提供的内容,手动确定 不同的内容(消极的表态)。那些信号被确定 性地以“隐私保护办法”获取,以自动生成基本的具有真实性的注释,时会它们与人类注释者提供的粗粒度标签相结合。

为了将粗粒度标签和推断出的细粒度标签合并到人工智能模型中,论文的企业企业协作设计了一个 多任务学习框架,将粗粒度和细粒度实体标签作为一个 任务避免。此外,它们还合并了一个 由实体及其关系组成的结构知识库验证器。假设预测“something”作为一个 音乐标题,“the Beatles”作为一个 音乐艺术家,亲戚亲戚朋友儿可不也能查询“Play something by the Beatles”,验证器将展开对一级标签的备选方案的查找,并将它们发送到一个 组件,该组件将对预测重新排序,并返回最佳备选方案。

研究人员利用一个 独立的测试集来评估多任务模型所执行的任务,亲戚亲戚朋友从生产系统中随机抽取样本,并对基础的真实标签手工标注。亲戚亲戚朋友表示,在21次模型运行中,打上去的230万个训练示例,与所有数量的人工注释数据的基线相比,“一致地”降低了预测任务中的粗粒度实体错误率。此外,亲戚亲戚朋友还报告说,当有相对几滴 的人工注释数据(300000个示例)时,打上去弱监督的细粒度数据会产生更大的影响。最后,亲戚亲戚朋友报告说,对于任何顶级模型假设通过知识库验证器的例子,细粒度实体错误率下降了共要3000%。

在另一个 实验中,团队试图确定 用户意图的更细微标注,不是会增加系统确定 正确操作的可能。亲戚亲戚朋友派发了共要300000个“播放音乐”命令,其中涵盖对多个乐队、艺术家和歌曲的引用,并通过一个 涵盖其框架的系统将其发送出去,后来 ,亲戚亲戚朋友要求注释者将系统返回的响应分为“满意”或“不满意”。研究人员报告说,增强后的系统产生的结果相对任务错误率降低了24.64%。

亲戚亲戚朋友将继续探索要怎样利用当时人用户的参与行为来提升个性化。

“亲戚亲戚朋友儿观察到,亲戚亲戚朋友儿的模型改进了用户最终接收的结果,特别是对于涵盖困难或不寻常语言模式的请求,”论文企业企业协作写道。“之类,增强后的系统可不也能正确避免诸如‘你能播放Miley Cyrus新专辑中的Malibu吗’和‘播放Kendrick Lamar的Humble’之类的查询。此外,增强后的模型还能识别出用户在遇到真正的语言歧义时更有可能引用的实体。之类,在Play one by Metallica中,one能不是一个 非实体标记(意为播放Metallica的任何歌曲),也可不也能特指Metallica一首名为One的歌。可能大多数用户在说‘Play One by Metallica’时总要听Metallica乐队的‘One’这首歌,可是亲戚亲戚朋友儿的模型会根据用户参与注释的数据来预测‘One’到底指那些,从而更好地捕捉用户群体的趋势和偏好。”

此前,有一篇论文描述了苹果774 5的人工智能开发工具Overton,该工具的模型避免了“数十亿”个查询。另外,苹果774 5最近研究了用户不是更喜欢与“健谈”的人工智有益于手交谈。