新秀的优雅解读
作为2018年自然语言处理领域的新秀，BERT做到了过去几年NLP重大进展的集大成，一出场就技惊四座碾压竞争对手，刷新了11项NLP测试的最高纪录，甚至超越了人类的表现，相信会是未来NLP研究和工业应用最主流的语言模型之一。本文尝试由浅入深，为各位看客带来优雅的BERT解读。 NL……
包含标签 人工智能 的文章
一文读懂深度学习从神经元到
作者： \* 世恩、风引、调参 一个神经网络结构通常包含输入层、隐藏层、输出层。输入层是我们的 features (特征)，输出层是我们的预测 (prediction)。神经网络的目的是拟合一个函数 f*：features -> prediction。在训练期间，通过减小 prediction 和实际 label 的差异的这种方式，来更改网络参数，……
万字解读预训练模型最新综述
Datawhale学术 作者：太子长琴，Datawhale意向成员 如何在有限数据下训练出高效的深度学习模型？本文深入研究了 预训练的前世今生，并带领读者一起回顾 PTM取得的最新突破，与未来的研究方向（文末附90分钟解读视频）。 利用深度学习自动学习特征已经逐步取代了人工构建特征和统计方……
高频面试题参数更新训练扩充样本等
请介绍几种常用的参数更新方法。 梯度下降：在一个方向上更新和调整模型的参数，来最小化损失函数。 随机梯度下降（Stochastic gradient descent，SGD）对每个训练样本进行参数更新，每次执行都进行一次更新，且执行速度更快。 为了避免SGD和标准梯度下降中存在的问题，一个改进方法为小批……
年月底字节跳动岗位抖音面试题分享
问题1：Bert模型中，根号dk的作用 QK进行点击之后，值之间的方差会较大，也就是大小差距会较大；如果直接通过Softmax操作，会导致大的更大，小的更小；进行缩放，会使参数更平滑，训练效果更好。 问题2：Bert模型中多头的作用 多次attention综合的结果至少能够起到增强模型……
一图胜千言解读阿里的
文章作者：石塔西 内容来源：小石的数据科学之旅@知乎专栏 出品社区：DataFun 注：欢迎投稿「行知」专栏，让您的行业知识，为行业者知。 本文是对阿里的论文《Image Matters: Visually modeling user behaviors using Advanced Model Server》 https://arxiv.org/abs/1711.06505 的解读。 初读此文的标题和摘要，又有image，又有CTR，我以为是一种新型的CNN+M……
深度学习在同城首页推荐排序上的实践
分享嘉宾: 王连臣，58同城TEG搜索推荐部高级算法工程师 整理出品: 张劲， AICUG人工智能社区 系列分享： 深度语义模型 BERT 在 58 同城搜索的实践 深度学习在 58 同城租房搜索排序中的实践 导读： 行为序列化已然成为用户兴趣建模的主流方式，本次议题主要介绍序列化建模在首页推荐场景的实践，提出了适配业……
搜索与推荐中的深度学习匹配之搜索篇
作者： 黄冠 讲真，很久没看过能让我这么兴奋的资料了，这个tutorial https://www.comp.nus.edu.sg/~xiangnan/sigir18-deep.pdf 简直就像一个博士论文，能让我对这个方向有足够深入的了解。而我最近又恰好从事这个方向，恰好也是落地到搜索引擎和推荐系统中，刚看到这个tutorial的时候，简直开心得不要不要的。 本篇blog的纲要： part-1 搜索和推荐……
机器学习中的隐私保护
分享嘉宾：郭夏玮 第四范式 资深研究员 编辑整理：蒋瑞尧 内容来源：第四范式 | 先荐 出品平台：DataFun 导读： 近年来，随着 GDPR 通用数据保护条例出台以及一些互联网公司数据隐私泄漏等事件的发生，数据隐私的保护问题在行业应用中备受关注。与数据密切相关的机器学习算法的安全性成为一个巨大挑战。本文……
萨摩耶云深度迁移学习技术在金融风控中的应用
分享嘉宾：朱晓海 萨摩耶云 编辑整理：Hoh Xil 内容来源：作者授权发布 出品平台：DataFunTalk 导读： 迁移学习利用数据、模型之间的相似性，在不同领域之间进行知识迁移。深度学习技术与迁移学习思想的融合，又极大扩展了传统迁移学习技术的能力边界，给包括金融风控在内的各个场景带来了更多的……
