2022年3月15日
问题1:Bert模型中,根号dk的作用 QK进行点击之后,值之间的方差会较大,也就是大小差距会较大;如果直接通过Softmax操作,会导致大的更大,小的更小;进行缩放,会使参数更平滑,训练效果更好。 问题2:Bert模型中多头的作用 多次attention综合的结果至少能够起到增强模型……
阅读全文
2022年3月15日
转载自 https://likun.pm/blog/3259.html 1、微信上每天会建立200W-300W个群(含3人及以上的对话),其中40%的群在7天内直接死掉,只有30%的能够活过一个月。 2、群活跃的用户比例往往只有10% 3、人们组建的大部分社群,都是被浪费的,迅速消亡的。 4、由事件驱动而组建的群生命周期很短,多为3-7天。由关系驱……
阅读全文
2022年3月15日
爱钓鱼的桌子哥,资深架构师 先后工作于滴滴、百度、字节跳动等国内一线互联网大厂,从事基础架构相关工作。带领团队设计与构建了大规模的分布式存储系统、分布式消息中间件、分布式数据库,对分布式架构设计、系统高可用体系构建、基础中间件架构都有丰富的经验。 1、消息中间件在生产系统中的使用 下图……
阅读全文
2022年3月15日
百度信息流业务QAs团队 稿 导读: 信息流产品为了给大家提供千人千面的内容推荐,后端构建了一个庞大、复杂的推荐系统,整个系统包括上百个模块,上百个策略算法以及模型,并且这个系统以极高速的效率迭代,日均上线近百个需求;这样庞大的系统如何做到这样高速稳定的迭代呢? 这里离不开 PM、RD、Q……
阅读全文
2022年3月15日
AUC在机器学习领域中是一种模型评估指标。根据维基百科的定义,AUC(area under the curve)是ROC曲线下的面积。所以,在理解AUC之前,要先了解ROC是什么。而ROC的计算又需要借助混淆矩阵,因此,我们先从混淆矩阵开始谈起。 混淆矩阵 假设,我们有一个任务:给定一些患者的样本,构……
阅读全文
2022年3月15日
作者: OPPO 算法工程师,搜索方向;北京科技大学本硕,统计学毕业,在学期间曾经发表 6 篇论文,其中 4 篇 SCI。CS 的陋室号主 搜索是一个系统,大小不好说,但肯定是五脏俱全,我做的比较多的就是 query 理解和分析,这次给大家重点讨论一下这块内容。 久违的懒人目录: query 理解的目的。 例子。 query 理解的内容。 query 理……
阅读全文
2022年3月15日
作者:allanpan,腾讯 IEG 后台开发工程师 两万字长文从虚拟内存、I/O 缓冲区,用户态&内核态以及 I/O 模式等等知识点全面而又详尽地剖析 Linux 系统的 I/O 底层原理,分析了 Linux 传统的 I/O 模式的弊端,进而引入 Linux Zero-copy 零拷贝技术的介绍和原理解析,将零拷贝技术和传统的 I/O 模式进行区分和对比,帮助读者理……
阅读全文
2022年3月15日
分享嘉宾: 王连臣,58同城TEG搜索推荐部高级算法工程师 整理出品: 张劲, AICUG人工智能社区 系列分享: 深度语义模型 BERT 在 58 同城搜索的实践 深度学习在 58 同城租房搜索排序中的实践 导读: 行为序列化已然成为用户兴趣建模的主流方式,本次议题主要介绍序列化建模在首页推荐场景的实践,提出了适配业……
阅读全文
2022年3月15日
文章作者:石塔西 内容来源:小石的数据科学之旅@知乎专栏 出品社区:DataFun 注:欢迎投稿「行知」专栏,让您的行业知识,为行业者知。 本文是对阿里的论文《Image Matters: Visually modeling user behaviors using Advanced Model Server》 https://arxiv.org/abs/1711.06505 的解读。 初读此文的标题和摘要,又有image,又有CTR,我以为是一种新型的CNN+M……
阅读全文
2022年3月15日
分享嘉宾:申站 知乎 算法工程师 编辑整理:许宴铭 出品平台:DataFunTalk 导读: 大家好,我是申站,知乎搜索团队的算法工程师。今天给大家分享下知乎搜索中文本相关性和知识蒸馏的工作实践,主要内容包括: 知乎搜索文本相关性的演进 BERT在知乎搜索的应用和问题 知识蒸馏及常见方案 知乎搜索在……
阅读全文