推荐系统中稀疏特征的优化表示方法
张俊林 导读: 推荐或者 CTR 预估任务有一个很突出的特点：存在海量稀疏特征。海量意味着数量巨大，稀疏意味着即使在很大的训练数据里，大量特征出现频次也非常低，这往往是由于引入了大量 ID 类特征带来的。对于 DNN 排序系统，是否能够找到好的特征 Embedding 表达方式，对于系统效果是至关重要的。 虽然说，如何更好地表……
一文让你彻底理解准确率精准率召回率真正率假正率
ROC/AUC作为机器学习的评估指标非常重要，也是面试中经常出现的问题（80%都会问到）。其实，理解它并不是非常难，但是好多朋友都遇到了一个相同的问题，那就是： 每次看书的时候都很明白，但回过头就忘了，经常容易将概念弄混。 还有的朋友面试之前背下来了，但是一紧张大脑一片空白全忘了，导……
伴鱼技术机器学习预测服务设计篇
作者： 陈易生 原文： https://tech.ipalfish.com/blog/2021/08/24/palfish-prediction-service-design/ 前言 在伴鱼，我们在多个在线场景使用机器学习提升用户的使用体验。例如，在伴鱼绘本中，我们根据用户的帖子浏览记录，为用户推荐他们感兴趣的帖子。 在线预测是机器学习模型发挥作用的临门一脚，重要性不言而喻。在伴鱼，我们搭建了机器学习预测服务（以下简称预测服务），统一地处……
几十亿数据查询秒返回性能优化实战
公司的数据平台已迭代三个版本，从头开始遇到很多常见的难题，终于有时间整理一些完善的文档，在此分享以供所需的朋友。 在此篇幅中偏重于 ES 的优化，关于 HBase，Hadoop 的设计优化有很多文章可以参考，不再赘述。 需求说明 项目背景： 在一业务系统中，部分表每天的数据量过亿，已按天分表，但业……
卷积有多少种一文读懂深度学习中的各种卷积
作者: Kunlun Bai 机器之心编译 参与：熊猫 我们都知道卷积的重要性，但你知道深度学习领域的卷积究竟是什么，又有多少种类吗？研究学者 Kunlun Bai 近日发布一篇介绍深度学习的卷积文章，用浅显易懂的方式介绍了深度学习领域的各种卷积及其优势。鉴于原文过长，机器之心选择其中部分内容进行介绍，2、4、5、9、11……
程序员必知必会的零拷贝技术
写在前面 本篇文章我们学习Linux IO中的零拷贝技术，最后的参考链接中介绍的非常好，大家都可以看一下 传统IO过程 考虑这样一个过程：我们从磁盘中读取一个文件数据，然后将数据通过网络传输到另一个机器。对用户来说可能就是简单的理解为两步操作。 File.read(fileDesc, buf, len); Socket.send(socket, buf, len); 但是，如果我们看传输中涉及的内核……
今日头条搜索品质优化端到端篇
叶航 字节跳动技术质量 稿 导览 为了提升头条端上的搜索性能体验，我们从19年3/4双月开始投入专门的人力做品质优化，通过这段时间的持续投入，搜索整体的性能体验有了明显的提升，基本上与竞品对齐。中间踩过很多坑，也收获了一些经验，这里做一个总结分享，欢迎大家拍砖交流～ 为了方便阅读，整体的介……
去哪儿网库存搜索在高并发场景下的探索
作者介绍： 李佳奇 2014年加入去哪儿网机票事业部，担任Java工程师；曾负责旅行交通技术工作，完成了基于库存的搜索交易系统的全流程打通和改造；现从事机票主系统技术开发工作，致力于完善系统模型，改进开发流程，落地推广优秀技术等； 一、背景 1.1系统功能 Qunar 机票作为 Qunar 的核心业务之一，每天……
微信看一看内容理解与推荐
第一篇：微信「看一看」 推荐排序技术揭秘 第二篇：详文解读微信「看一看」多模型内容策略与召回 在微信AI背后，技术究竟如何让一切发生？我们将为你一一道来。今天我们将放送 微信AI技术专题系列“微信看一看背后的技术架构详解” 的第三篇——《微信看一看内容理解》。 内容理解与推荐 相信对于不少人而……
机器学习特征工程全过程
1 特征工程是什么？ 有这么一句话在业界广泛流传：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。那特征工程到底是什么呢？顾名思义，其本质是一项工程活动，目的是最大限度地从原始数据中提取特征以供算法和模型使用。通过总结和归纳，人们认为特征工程包括以下方面： 特征处理是……
