十年技术老兵总结的自我修炼之路
赵健博，快手大数据架构团队的负责人 工作十年，跳槽三次，四份工作 毕业后加入百度 我是在北京邮电大学就读的本科，毕业后被保送到了中国科学院计算技术研究所，硕士期间主要从事的是计算机系统结构与操作系统的相关研究。上学时对 Linux Kernel 非常痴迷，也做些有意思的小项目，研究生毕业后，还想着继续做这块的……
沈剑分布式事务原来可以这么玩
多个数据要同时操作，如何保证数据的完整性，以及一致性？ 答：事务，是常见的做法。 举个 栗子： 用户下了一个订单，需要修改余额表，订单表，流水表，于是会有类似的伪代码： start transaction; CURD table t_account; any Exception rollback; CURD table t_order; any Exception rollback; CURD table t_flow; any Exception rollback; commit; 如果对余额表，订单表，流水表的SQL操作全部成功，则全部提交 如果任何一个出现问……
大规模特征向量检索算法总结
编辑整理 梁尔舒 向量检索基本概念 向量从表现形式上就是一个一维数组。我们需要解决的问题是使用下面的公式度量距离寻找最相似的 K 个向量。 欧式距离： 两点间的真实距离，值越小，说明距离越近； 余弦距离：就是两个向量围成夹角的 cosine 值，cosine 值越大，越相似； 汉明距离：一般作用于二值化向量，二值……
同城搜索引擎中相似字符串查找那些事儿
来源： 58技术 丁斌 导读 本文主要介绍如何基于Levenshtein和Damerau Levenshtein自动机技术高效地解决在搜索引擎系统中相似字符串快速查找问题的技术原理和操作实践。文中创造性地提出一种Damerau Levenshtein自动机的有效构建算法，并创造性地给出了利用……
分布式高性能集群线上常见问题
转载自 ： 杉枫 量变引起质变，这个情况在分布式redis集群下发生的极其明显，当用redis集群规模很小、存取数据很小时，基本上不会遇到任何问题，但是当我们集群规模为数T，并且存在很多业务读写集群各种各样问题都会发生。 线上遇到过一个业务突然tp99飙升，并且性能持续变差，性能看着一点……
使用嵌入来做个性化的搜索推荐来自
作者：Mihajlo Grbovic 编译：ronghuaiyang 英文原文： https://medium.com/airbnb-engineering/listing-embeddings-for-similar-listing-recommendations-and-real-time-personalization-in-search-601172f7603e 导读： 这是Airbnb的一篇经典文章的解读，使用房屋的嵌入来做搜索推荐，这篇文章也是KDD2018的best paper，思路很清楚：把房屋用嵌入向量来表示，两个技巧：全局正样本和市场内负采样，很有效，离线评估指标：预……
京东超大规模联邦学习探索实践
分享嘉宾：杜宝坤 京东 资深算法专家 编辑整理：侯雅新 出品平台：DataFunTalk 导读： 对于AI飞速发展的今天来说，大规模的多维度、高质量的数据是其成功的关键要素，也是制约其进一步发展的重要瓶颈。随着大家对数据的重要性与隐私性的认知程度的不断提升，跨组织的数据的合作越来越谨慎，相关……
如何支持亿级用户分流实验实验平台在爱奇艺的实践
作者： 数据智能团队 爱奇艺技术产品团队 01 背景 随着互联网公司的产品和业务越来越多样，利用数据来驱动业务决策成为必然， 而AB实验正是以数据指标来判断产品功能和运营策略迭代效果的方法和工具，其可以在保证样本同时性和同质性基础上，对比两个或多个实验组在同一应用场景下的效果。 以上边的实验为例……
腾讯内容平台系统的架构实践
作者 | 孙子荀（授权） 编辑 | 小智 随着云结合微服务架构切实的提高了生产效率；深度学习不断深入内容处理的各个领域促进生产力的发展。 在消息系统，数据仓库，计算框架，存储系统等基础架构层建设逐步提升的基础上，大型互联网公司进一步提出了业务基础设施的需求。在基础架构和上层业务之间急需一个中台……
史上最全面总结预训练模型
作者： JayLou 娄杰 预训练模型(Pre-trained Models,PTMs) 的出现将 NLP 带入了一个全新时代。2020 年 3 月 18 日，邱锡鹏老师发表了关于 NLP 预训练模型的综述《Pre-trained Models for Natural Language Processing: A Survey》, 这是一篇全面的综述，系统地对 PTMs 进行了归纳分类。 本文以此篇综述论文为主要参考，通过借鉴不同的归……
