同乐城备用网站
  咨询电话:15141139167

同乐城188

Google开源TF排名:用于分类学习的可扩展张量流库

    原始标题:Google开源TF排名:用于分类学习的可扩展张量流Kurefeng A

    原始标题:Google开源TF排名:用于分类学习的可扩展张量流库

    雷锋人工智能技术评论:最近,Google AI发布了最新的成就TF-Ranking,这是一个用于学习排名应用的可扩展TensorFlow库。TF-Ranking(TF-Ranking)快速且易于使用,并且可以创建高质量的排名模型。对于那些有兴趣构建基于真实世界数据(如web搜索或新闻推荐)的排名系统的人来说,TF-Ranking可以用作健壮和可伸缩的解决方案。

    排序是为了最大化整个列表的效用而对项目列表进行排序的过程。它可以应用于搜索引擎,推荐系统,机器翻译,对话系统,甚至计算生物学。在诸如此类的应用中(以及其他许多应用中),研究人员经常使用一系列有监督的机器学习技术,称为顺序学习。在许多情况下,这些排序学习技术将应用于大规模数据集,其中TensorFlow可伸缩性成为优势。然而,目前TensorFlow还不能直接支持学习排序。此外,没有其他开放源码库专门用于大规模应用顺序学习技术。

    现在,Google AI宣布了开源的TF-Ranking(http://github.com/.orflow/ranking),这是一个可扩展的测序学习TensorFlow库。正如Google最近的论文(http://arxiv.org/abs/1812.00073)中所描述的,TF-Ranking提供了一个统一的框架,该框架包括一组最先进的排序学习算法,并支持成对和列表式损失函数、多项目评分、排序度量优化和无偏排序。

    TF-Ranking(TF-Ranking)快速易用,可以创建高质量的排序模型。统一的框架使机器学习的研究人员、实践者和爱好者能够在单个库中评估和选择一系列不同的排序模型。此外,Google AI团队坚信一个有用的开源库,关键不仅在于提供合理的缺省值,而且在于授权用户开发定制模型。为此,它们提供了灵活的API,允许用户在API中定义和插入自定义损失函数、评分函数和度量。

    现有算法和指标支持

    排序学习算法的目标是最小化项目列表中定义的损失函数,以优化任何给定请求的分类。TF-Ranking支持在前面的工作(http://en.wikipedia.org/wiki/._to_rank#Approaches)中描述的各种标准点式、成对式和列表式损失函数。这确保了使用TF-Ranking库的研究人员能够再现和扩展以前的基线,并且他们的请求能够被明智地选择。此外,TF-Ranking还可以处理稀疏特征(如原始文本),并通过嵌入扩展到数亿个训练实例。因此,任何有兴趣构建基于真实世界数据的排名系统的人,例如网络搜索或新闻推荐,都可以使用TF-Ranking作为健壮和可伸缩的解决方案。

    经验评估是所有机器学习或信息检索研究的重要组成部分。为了确保与以往工作的兼容性,TF-Ranking支持许多常用的排名评估指标,包括平均互惠排名(MRR,http://en.wikipedia.org/wiki/Disco.d_cum.ve_.)和标准化折扣累积增益(NDCG,http://en.wikipedia.org/wiki/.d_cum.ve_.),这也使得培训更加c方便研究人员。请参阅Tensor.(开源TensorFlow可视化仪表板)上的这些度量。

    基于张量板上显示的训练步骤(X轴)的NDCG(Y轴)指示符的示例显示了训练期间指示符的总体进度。在仪表板上可以直接比较不同方法,并根据指标选择最佳模型。

    多项目评分

    TF-Ranking支持一种新的评分机制,其中多个项目可以联合评分。这是传统评分机制的扩展,只能对单个项目进行独立评分。多项目评分的挑战之一是难以推断哪些项目必须分组并按子组进行评分。然后,每个条目的累计分数将被用于排序。TF-Ranking提供一个List-In-List-Out(LILO)API,将所有这些逻辑放入导出的TF模型中。

    TF-Ranking库支持从传统的单项评分扩展而来的多项评分体系结构。

    正如Google AI在最近的工作(http://arxiv.org/abs/1811.04415)中所展示的,在公共LETOR基准测试中,多项目评分的性能与最先进的排序学习模型如RankNet、MART和LambdaMART相比具有竞争力。

    排序评价指标的优化

    排名学习的一个重要研究挑战是排名评价指标的优化(如前面提到的NDCG和MR)。虽然这些指标可以比标准分类指标(如曲线下面积(AUC))更好地衡量分拣系统的性能,但不幸的是,它们要么不连续,要么平滑。因此,很难对这些评价指标的标准随机梯度下降进行优化。

    在最近的工作(http://ai.google/./pubs/pub47258)中,Google AI提出了一种新方法,Lambda Loss,它为评价指标的优化排序提供了统一的概率框架。在该框架下,通过期望最大化过程,设计并优化由评价指标驱动的损失函数。TF-Ranking图书馆集成了评价指标优化的最新成果,提供了Lambda Loss的实施。Google AI表示,TF-Ranking有望激励和促进未来在排名评价指标优化这一重要领域的进一步研究。

    无偏序学习

    以前的研究(http://ai.google/./pubs/pub45286)已经表明,给定项目排序列表,用户更可能关注以前的结果而忽略它们之间的相关性。这一发现引起了研究者对无偏序学习的兴趣,并导致了无偏评价和基于训练实例的重复加权的无偏学习算法的发展。

    开启TF排名的使用

    TF-Ranking实现了TensorFlow Estimator接口,通过封装培训、评估、预测和导出服务,极大地简化了机器学习编程。

    TF-Ranking完美地整合了丰富的TensorFlow生态系统。如上所述,您可以使用Tensorboard来可视化诸如NDCG和MR之类的排名评估指标,并使用这些评估指标来选择最佳模型检查点。一旦模型准备好,就可以使用TensorFlow服务(http://www..orflow.org/serving/)轻松地将其部署到生产中。

    如果您对尝试TF-Ranking感兴趣,可以访问Google AI的GitHub存储库(http://github.com/.orflow/ranking)并参考教程示例(http://github.com/.orflow/ranking/tree/master/.orflow_ranking/.)。

    通过http://ai.googleblog.com/2018/12/tf-ranking-scalable-.orflow-library.html雷锋人工智能技术评论编译器。雷锋网