阿里开源深度学习框架面向广告推荐搜索场景
AI 前线导读: 11 月 28 日,阿里巴巴旗下大数据营销平台阿里妈妈宣布开源深度学习框架 XDL。这是阿里巴巴首次公开的深度学习框架,也是业界首个面向高维稀疏数据场景的深度学习开源框架,突破了现有深度学习开源框架大都面向图像、语音等低维稠密数据而设计的现状。
更多干货内容请关注微信公众号“AI 前线”(ID:ai-front)
双 11,阿里巴巴集中展示了其商业操作系统,半个月之后,阿里巴巴宣布将其中一大重要业务板块——阿里妈妈的重要技术框架——X-Deep Learning(XDL)进行开源。据称,这也是该商业操作系统中最具商业价值的业务板块之一。
作为阿里巴巴旗下的大数据营销平台,阿里妈妈基于自身广告业务,自主研发了深度学习框架 XDL,并已经大规模部署应用在核心生产场景。
面向高维稀疏业务场景,提升广告、推荐、搜索效率
随着深度学习的风靡,阿里妈妈发现,已有的开源框架很难满足其广告场景的规模性及生产迭代要求,自研面向工业应用的分布式深度学习框架随即被提上了日程。
于是,XDL 应运而生,旨在解决具有高维稀疏性的业务场景中面临的问题。XDL 针对阿里妈妈业务数据高维稀疏的场景特点进行了优化,自 2016 年下半年开始逐步部署到阿里妈妈的业务系统,至 2017 年初全面完成了生产化。以阿里妈妈定向广告为例,XDL 框架助力了业务场景所有核心算法的深度学习创新,当年,以 XDL 为基础的深度学习算法升级带来的广告收入提升超过百亿。
高维稀疏性既是阿里妈妈业务场景的重要特征,也是互联网的众多核心应用场景(如广告 / 推荐 / 搜索等)的特征,覆盖了大多数互联网企业的数据应用模式。对于难以与 BAT 研发能力比肩的众多互联网公司而言,工业级深度学习框架 XDL 及内置算法方案的开源,将助力各大公司的技术升级,大大提升广告 / 推荐 / 搜索场景的精准性,缩短技术迭代周期。
不仅是广告场景,互联网其它的核心场景如推荐、搜索等,也具有典型的高维稀疏数据特性,例如微博、抖音、今日头条等都属于该范畴内。因此,XDL 在这些场景中也具有非常高的通用性,这为开源提供了基础。不管是以广告、推荐、搜索为代表业务的企业级用户,还是对此感兴趣的个人用户,都可以加入到开源计划当中。
值得一提的是,在阿里巴巴 XDL 开源之前,业界的深度学习开源框架基本是面向图像、语音处理等场景数据而设计,这与整个人工智能领域的研究重点有关,图像和语音是率先取得理论突破的场景,但在工业级互联网场景中实现大突破还属首次。
开放与易用性
据阿里妈妈透露,XDL 框架从设计之初,就具备了足够的开放性和易用性,开源是水到渠成的一步。
XDL 创造性地采用了桥接的架构(Bridging)设计理念,重点打造面向工业级应用的分布式规模能力,单机能够处理的计算则引用现有开源框架。这种桥接的架构,使得 XDL 跟业界的开源社区是无缝对接的,例如用户可以非常方便地在 XDL 框架上应用基于 Tensorflow 或者 Pytorch 编写的最先进开源深度学习算法。
此外,对于已经在使用其它开源框架的企业或者个人用户,也可以在原有系统基础上轻松进行扩展,获得 XDL 带来的高维稀疏数据场景下的分布式能力。
系统化解决方案将分批发布
除了核心的 XDL 训练框架外,阿里妈妈透露将全面开源面向高维稀疏�
- 原文作者:知识铺
- 原文链接:https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%98%BF%E9%87%8C%E5%BC%80%E6%BA%90%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E6%A1%86%E6%9E%B6%E9%9D%A2%E5%90%91%E5%B9%BF%E5%91%8A%E6%8E%A8%E8%8D%90%E6%90%9C%E7%B4%A2%E5%9C%BA%E6%99%AF/
- 版权声明:本作品采用知识共享署名-非商业性使用-禁止演绎 4.0 国际许可协议进行许可,非商业转载请注明出处(作者,原文链接),商业转载请联系作者获得授权。
- 免责声明:本页面内容均来源于站内编辑发布,部分信息来源互联网,并不意味着本站赞同其观点或者证实其内容的真实性,如涉及版权等问题,请立即联系客服进行更改或删除,保证您的合法权益。转载请注明来源,欢迎对文章中的引用来源进行考证,欢迎指出任何有错误或不够清晰的表达。也可以邮件至 sblig@126.com