https://index.zshipu.com/geek/tags/NLP/ Recent content in NLP on 知识铺的博客 Hugo -- gohugo.io zh-CN Tue, 15 Mar 2022 11:52:40 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%BB%86%E7%B2%92%E5%BA%A6%E5%AE%9E%E4%BD%93%E5%88%86%E7%B1%BB%E8%AE%BA%E6%96%87%E7%BB%BC%E8%BF%B0%E4%BA%8C/ Tue, 15 Mar 2022 11:52:40 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%BB%86%E7%B2%92%E5%BA%A6%E5%AE%9E%E4%BD%93%E5%88%86%E7%B1%BB%E8%AE%BA%E6%96%87%E7%BB%BC%E8%BF%B0%E4%BA%8C/ 作者： 龚俊民(昵称： 除夕) 学校： 新南威尔士大学 单位：Vivo AI LAB 算法实习生 方向： 自然语言处理和可解释学习 知乎： https://www.zhihu.com/people/gong-jun-min-74 前言：把分类粒度变细是亚里士多德在《形而上学》中的“给世间万物的存在基于语言来分层和分类”的进一步体现。我们只把世间万物的存在划分成人名，机构，位置，时间这些类别远远不 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%8A%80%E6%9C%AF%E5%9C%A8%E9%87%91%E8%9E%8D%E8%B5%84%E7%AE%A1%E9%A2%86%E5%9F%9F%E7%9A%84%E8%90%BD%E5%9C%B0%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 11:39:46 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%8A%80%E6%9C%AF%E5%9C%A8%E9%87%91%E8%9E%8D%E8%B5%84%E7%AE%A1%E9%A2%86%E5%9F%9F%E7%9A%84%E8%90%BD%E5%9C%B0%E5%AE%9E%E8%B7%B5/ 分享嘉宾：李渔 熵简科技 联合创始人 编辑整理：Hoh 内容来源：DataFunTalk 导读： 在数字化浪潮的大背景下，金融资管行业的先行者正在积极探索将人工智能、大数据等先进技术用于构建面向未来的智能化投资研究平台。本文将从金融资管领域对于数据智能的需求入手，详细介绍自然语言处理技术在金 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%90%BA%E7%A8%8B%E6%B7%B1%E8%80%95%E5%86%85%E5%AE%B9%E8%83%8C%E6%99%AF%E4%B8%8B%E6%90%BA%E7%A8%8B%E5%A6%82%E4%BD%95%E5%81%9A%E6%99%AF%E9%85%92%E4%BC%98%E8%B4%A8%E5%86%85%E5%AE%B9%E7%9A%84%E6%8C%96%E6%8E%98/ Tue, 15 Mar 2022 11:25:50 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%90%BA%E7%A8%8B%E6%B7%B1%E8%80%95%E5%86%85%E5%AE%B9%E8%83%8C%E6%99%AF%E4%B8%8B%E6%90%BA%E7%A8%8B%E5%A6%82%E4%BD%95%E5%81%9A%E6%99%AF%E9%85%92%E4%BC%98%E8%B4%A8%E5%86%85%E5%AE%B9%E7%9A%84%E6%8C%96%E6%8E%98/ 作者简介：莱灵图髯客，携程高级算法工程师，主要负责自然语言处理领域相关工作，对半监督学习、自然语言生成、实体识别、文本分类及检索等领域有浓厚兴趣。 一、背景介绍 伴随信息时代的快速发展，消费者的消费观念趋于理性、客观，对产品本身的质量要求也越来越高。在用户难以直接接触到产品的情况下， https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%8C%BB%E7%96%97%E5%81%A5%E5%BA%B7%E9%A2%86%E5%9F%9F%E7%9A%84%E7%9F%AD%E6%96%87%E6%9C%AC%E8%A7%A3%E6%9E%90%E6%8E%A2%E7%B4%A2%E4%BA%8C/ Tue, 15 Mar 2022 10:42:30 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%8C%BB%E7%96%97%E5%81%A5%E5%BA%B7%E9%A2%86%E5%9F%9F%E7%9A%84%E7%9F%AD%E6%96%87%E6%9C%AC%E8%A7%A3%E6%9E%90%E6%8E%A2%E7%B4%A2%E4%BA%8C/ 丁香园大数据 NLP 文章发表于： 2019-12-31 医疗健康领域的短文本解析探索（一） 谈谈医疗健康领域的 Phrase Mining 前言 再来简单回顾一下之前内容，上一篇《 医疗健康领域的短文本解析探索（一）》我们简单的介绍了目前工业界常用的 concept/phrase 的自动化抽取和评估的方法，之后我们又介绍了两种结构化电子病历的方法，第一种构建 MeSH 语义树， https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%90%8C%E5%9F%8E%E4%B8%AD%E6%96%87%E5%88%86%E8%AF%8D%E6%8A%80%E6%9C%AF%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E7%AF%87/ Tue, 15 Mar 2022 10:13:36 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%90%8C%E5%9F%8E%E4%B8%AD%E6%96%87%E5%88%86%E8%AF%8D%E6%8A%80%E6%9C%AF%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E7%AF%87/ 在之前的 《中文分词技术及在58搜索的实践》 一文中，我们沿着分词技术的发展介绍了几种有代表性的分词方法，主要包括词典分词、词典和统计结合的分词和基于统计模型的分词（CRF）。本篇将继续之前的脉络，介绍NLP领域当前更流行的一些方法，它们能处理NLP领域的大部分问题而并不局限于中文分 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%B4%9D%E5%A3%B3%E7%BD%91%E8%B4%9D%E5%A3%B3%E6%90%9C%E7%B4%A2%E4%B8%BA%E4%BB%80%E4%B9%88%E8%83%BD%E7%9F%A5%E9%81%93%E4%BD%A0%E6%83%B3%E4%BD%8F%E5%93%AA/ Tue, 15 Mar 2022 10:00:04 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%B4%9D%E5%A3%B3%E7%BD%91%E8%B4%9D%E5%A3%B3%E6%90%9C%E7%B4%A2%E4%B8%BA%E4%BB%80%E4%B9%88%E8%83%BD%E7%9F%A5%E9%81%93%E4%BD%A0%E6%83%B3%E4%BD%8F%E5%93%AA/ 在NLP（自然语言处理）中，NER（命名实体识别）是很多应用的关键一步，江湖地位毫无争议,它的研究主体一般包括3大类(实体类、时间类和数字类)和7小类(人名、地名、机构名、时间、日期、货币和百分比)命名实体。贝壳找房作为中国最大的居住服务平台，有丰富的数据和合适的场景，所以该技术 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%97%B6%E4%BB%A3%E7%9A%84%E5%88%9B%E6%96%B0%E5%BA%94%E7%94%A8%E7%AF%87%E5%9C%A8%E5%90%84%E9%A2%86%E5%9F%9F%E7%9A%84%E5%BA%94%E7%94%A8%E8%BF%9B%E5%B1%95/ Tue, 15 Mar 2022 09:55:22 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%97%B6%E4%BB%A3%E7%9A%84%E5%88%9B%E6%96%B0%E5%BA%94%E7%94%A8%E7%AF%87%E5%9C%A8%E5%90%84%E9%A2%86%E5%9F%9F%E7%9A%84%E5%BA%94%E7%94%A8%E8%BF%9B%E5%B1%95/ Bert 给人们带来了大惊喜，不过转眼过去大约半年时间了，这半年来，陆续出现了与Bert相关的不少新工作。 最近几个月，在主业做推荐算法之外的时间，我其实一直比较好奇下面两个问题： 问题一：Bert原始的论文证明了：在GLUE这种综合的NLP数据集合下，Bert预训练对几乎所有类型的NLP任 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B7%B1%E5%BA%A6%E5%A5%BD%E6%96%87%E5%B9%B4%E5%BA%94%E7%94%A8%E5%92%8C%E5%95%86%E4%B8%9A%E5%8C%96%E8%B0%83%E6%9F%A5%E6%8A%A5%E5%91%8A/ Tue, 15 Mar 2022 09:28:47 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B7%B1%E5%BA%A6%E5%A5%BD%E6%96%87%E5%B9%B4%E5%BA%94%E7%94%A8%E5%92%8C%E5%95%86%E4%B8%9A%E5%8C%96%E8%B0%83%E6%9F%A5%E6%8A%A5%E5%91%8A/ 近年来，自然语言处理技术已经取得了长足进步，成为应用范围最广泛，也是最为成熟的 AI 技术之一。但实际上，自然语言处理技术在商业化应用上却鲜有突破性进展，真正成功或者能够完美满足人们日常生活需求的产品并不多。 回首 2018 年，自然语言处理领域不乏进展和惊喜，比如谷歌提出的 BERT 模型打破 11 项世界纪录 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%8A%80%E6%9C%AF%E5%9C%A8%E5%BE%AE%E5%8D%9A%E6%B5%81%E4%B8%AD%E7%9A%84%E5%BA%94%E7%94%A8/ Tue, 15 Mar 2022 09:24:54 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%8A%80%E6%9C%AF%E5%9C%A8%E5%BE%AE%E5%8D%9A%E6%B5%81%E4%B8%AD%E7%9A%84%E5%BA%94%E7%94%A8/ 分享嘉宾：董兴华 新浪微博 文章整理：凌铭 内容来源：DataFunTalk 导读： 新浪微博截止2019.9统计的数据，月活跃用户数为4.97亿，日活跃用户数为2.16亿，其中约94%为移动端用户，今天会和大家分享新浪微博在 feed 流中遇到的 NLP 问题和解决思路。主要包括： ❶ 难点与现存问题 ❷ 标签系 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%B2%BE%E9%80%89%E5%BC%80%E6%BA%90%E9%A1%B9%E7%9B%AE%E6%9E%84%E5%BB%BA%E5%90%91%E9%87%8F%E5%BA%94%E7%94%A8%E7%A8%8B%E5%BA%8F%E5%AD%98%E5%82%A8%E5%BA%93%E5%A4%9A%E8%AF%AD%E8%A8%80%E8%AF%AD%E6%96%99%E5%BA%93/ Tue, 15 Mar 2022 09:24:50 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%B2%BE%E9%80%89%E5%BC%80%E6%BA%90%E9%A1%B9%E7%9B%AE%E6%9E%84%E5%BB%BA%E5%90%91%E9%87%8F%E5%BA%94%E7%94%A8%E7%A8%8B%E5%BA%8F%E5%AD%98%E5%82%A8%E5%BA%93%E5%A4%9A%E8%AF%AD%E8%A8%80%E8%AF%AD%E6%96%99%E5%BA%93/ 文末免费送电子书：七月在线干货组最新 升级的《2021最新大厂AI面试题》免费送！ 项目一： vectorai 一个用于构建基于向量的应用程序的平 Vector AI是一个框架，旨在使构建基于生产级矢量的应用程序的过程尽可能快速，轻松地进行。与json文档一起创建，存储，操纵，搜索和分析向量，以增强神经搜索，语义搜 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%AE%97%E6%B3%95%E5%B7%A5%E7%A8%8B%E5%B8%88%E8%82%A9%E4%B8%8A%E6%89%9B%E6%98%AF%E8%84%91%E5%AD%90%E4%B8%8D%E6%98%AF%E7%9A%AE%E7%90%83%E6%9C%80%E6%96%B0%E9%9D%A2%E8%AF%95%E9%A2%98/ Tue, 15 Mar 2022 09:24:26 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%AE%97%E6%B3%95%E5%B7%A5%E7%A8%8B%E5%B8%88%E8%82%A9%E4%B8%8A%E6%89%9B%E6%98%AF%E8%84%91%E5%AD%90%E4%B8%8D%E6%98%AF%E7%9A%AE%E7%90%83%E6%9C%80%E6%96%B0%E9%9D%A2%E8%AF%95%E9%A2%98/ 文末彩蛋：七月在线干货组最新升级的《名企AI面试100题》免费送！ 01 个人情况 本人是非计算机专业，毕业之后机缘巧合进入算法岗位， 跟七月结缘是计算机专业的学长推荐的七月的题库。 原工作中主要接触的是传统的机器学习算法，NLP也只是浅层了解，面试时发现仅有传统机器学习算法是不够的， 所以报 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%8F%B2%E4%B8%8A%E6%9C%80%E5%85%A8%E9%9D%A2%E6%80%BB%E7%BB%93%E9%A2%84%E8%AE%AD%E7%BB%83%E6%A8%A1%E5%9E%8B/ Tue, 15 Mar 2022 09:20:45 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%8F%B2%E4%B8%8A%E6%9C%80%E5%85%A8%E9%9D%A2%E6%80%BB%E7%BB%93%E9%A2%84%E8%AE%AD%E7%BB%83%E6%A8%A1%E5%9E%8B/ 作者： JayLou 娄杰 预训练模型(Pre-trained Models,PTMs) 的出现将 NLP 带入了一个全新时代。2020 年 3 月 18 日，邱锡鹏老师发表了关于 NLP 预训练模型的综述《Pre-trained Models for Natural Language Processing: A Survey》, 这是一篇全面的综述，系统地对 PTMs 进行了归纳分类。 本文以此篇综述论文为主要参考，通过借鉴不同的归 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%AE%9E%E4%BD%93%E9%93%BE%E6%8E%A5%E5%9C%A8%E5%B0%8F%E5%B8%83%E5%8A%A9%E6%89%8B%E5%92%8C%E7%9A%84%E5%AE%9E%E8%B7%B5%E5%BA%94%E7%94%A8/ Tue, 15 Mar 2022 09:19:00 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%AE%9E%E4%BD%93%E9%93%BE%E6%8E%A5%E5%9C%A8%E5%B0%8F%E5%B8%83%E5%8A%A9%E6%89%8B%E5%92%8C%E7%9A%84%E5%AE%9E%E8%B7%B5%E5%BA%94%E7%94%A8/ OPPO数智技术 稿 1 问题背景 精准直达的知识问答能力对营造小布“懂知识、更懂你”的形象非常重要。在语音助手场景，经常会出现一词多义或者口语化表达等问题。例如:李白出装，李白的诗，播放李白。第一李白是指游戏角色，第二个是指诗人李白，第三个是指歌曲李白。如何精确识别用户所指、给出正确的 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%98%BF%E9%87%8C%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86%E5%9C%A8%E5%BC%80%E6%94%BE%E6%90%9C%E7%B4%A2%E4%B8%AD%E7%9A%84%E5%BA%94%E7%94%A8/ Tue, 15 Mar 2022 09:17:59 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%98%BF%E9%87%8C%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86%E5%9C%A8%E5%BC%80%E6%94%BE%E6%90%9C%E7%B4%A2%E4%B8%AD%E7%9A%84%E5%BA%94%E7%94%A8/ 阿里云 云栖社区 自然语言智能（NLP） 自然语言智能研究实现人与计算机之间用语言进行有效通信。它是融合语言学、心理学、计算机科学、数学、统计学于一体的科学。它涉及到自然语言和形式化语言的分析、抽取、理解、转换和产生等多个课题。 人工智能可以分为几个阶段 计算智能，指依靠计算强大的算力和海 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%99%BE%E5%88%86%E7%82%B9%E8%AE%A4%E7%9F%A5%E6%99%BA%E8%83%BD%E5%AE%9E%E9%AA%8C%E5%AE%A4%E6%99%BA%E8%83%BD%E6%A0%A1%E5%AF%B9%E7%9A%84%E6%8A%80%E6%9C%AF%E5%8E%9F%E7%90%86%E5%92%8C%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 09:13:30 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%99%BE%E5%88%86%E7%82%B9%E8%AE%A4%E7%9F%A5%E6%99%BA%E8%83%BD%E5%AE%9E%E9%AA%8C%E5%AE%A4%E6%99%BA%E8%83%BD%E6%A0%A1%E5%AF%B9%E7%9A%84%E6%8A%80%E6%9C%AF%E5%8E%9F%E7%90%86%E5%92%8C%E5%AE%9E%E8%B7%B5/ 认知智能实验室 百分点科技稿 编者按: 大数据时代下各种文本信息爆炸，传统的文本分析处理工作逐渐被计算机取代。文本数据量越大，其中所包含的错误的总数也越多，通过校对工作来纠正文本中的错误显得尤其重要。传统的校对主要依赖人工，通过人来发现和纠正文本中的错误，人工校对效率低、强度大、周期长 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%8D%8E%E4%B8%BA%E4%BA%91%E7%BB%86%E7%B2%92%E5%BA%A6%E6%96%87%E6%9C%AC%E6%83%85%E6%84%9F%E5%88%86%E6%9E%90%E5%8F%8A%E5%BA%94%E7%94%A8/ Tue, 15 Mar 2022 09:08:42 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%8D%8E%E4%B8%BA%E4%BA%91%E7%BB%86%E7%B2%92%E5%BA%A6%E6%96%87%E6%9C%AC%E6%83%85%E6%84%9F%E5%88%86%E6%9E%90%E5%8F%8A%E5%BA%94%E7%94%A8/ 分享嘉宾：李明磊博士 华为云 NLP算法专家 编辑整理：付一韬 出品平台：DataFunTalk 导读： 随着移动互联网的普及，网络上每天产生大量的文本数据，蕴含着巨大的有价值信息。情感分析作为自然语言处理中的一个重要研究方向。在实践中有着广泛的应用，如商品评论分析、政治、金融、旅游等领域中 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E4%BB%8E%E5%88%B0%E6%A8%A1%E5%9E%8B%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86%E4%B8%AD%E7%9A%84%E9%A2%84%E8%AE%AD%E7%BB%83%E6%8A%80%E6%9C%AF%E5%8F%91%E5%B1%95%E5%8F%B2/ Tue, 15 Mar 2022 09:08:40 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E4%BB%8E%E5%88%B0%E6%A8%A1%E5%9E%8B%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86%E4%B8%AD%E7%9A%84%E9%A2%84%E8%AE%AD%E7%BB%83%E6%8A%80%E6%9C%AF%E5%8F%91%E5%B1%95%E5%8F%B2/ Bert最近很火，应该是最近最火爆的AI进展，网上的评价很高，那么Bert值得这么高的评价吗？我个人判断是值得。那为什么会有这么高的评价呢？是因为它有重大的理论或者模型创新吗？其实并没有，从模型创新角度看一般，创新不算大。但是架不住效果太好了，基本刷新了很多NLP的任务的最好性能 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%85%B3%E9%94%AE%E7%9F%AD%E8%AF%AD%E6%8A%BD%E5%8F%96%E5%8F%8A%E4%BD%BF%E7%94%A8%E7%9A%84%E6%8A%80%E6%9C%AF%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 09:08:33 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%85%B3%E9%94%AE%E7%9F%AD%E8%AF%AD%E6%8A%BD%E5%8F%96%E5%8F%8A%E4%BD%BF%E7%94%A8%E7%9A%84%E6%8A%80%E6%9C%AF%E5%AE%9E%E8%B7%B5/ AI 算法团队 zacbai 平安寿险 PAI 一、 全文框架概览 一、关键短语抽取简介 关键短语抽取 (keyphrase extraction)，指从文章中提取典型的、有代表性的短语，期望能够表达文章的关键内容。 关键短语抽取对于文章理解、搜索、分类、聚类都很重要。而高质量的关键短语抽取算法，还能有效助力构建知识图谱。 常见的关键短 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%8C%BB%E7%96%97%E5%81%A5%E5%BA%B7%E9%A2%86%E5%9F%9F%E7%9A%84%E7%9F%AD%E6%96%87%E6%9C%AC%E8%A7%A3%E6%9E%90%E6%8E%A2%E7%B4%A2%E4%B8%80/ Tue, 15 Mar 2022 09:08:27 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%8C%BB%E7%96%97%E5%81%A5%E5%BA%B7%E9%A2%86%E5%9F%9F%E7%9A%84%E7%9F%AD%E6%96%87%E6%9C%AC%E8%A7%A3%E6%9E%90%E6%8E%A2%E7%B4%A2%E4%B8%80/ 丁香园大数据 NLP 文章发表于： 2019-09-02 前言 简单的回顾一下，上一回我们说到短语挖掘（Phrase Mining），对非结构化文本中抽取出高质量的名词短语，用于解决专业领域的专业词典不足的问题。我们提到了韩家炜老师的三部曲 TopMine，segphrase 和 AutoPhrase，其用到的主要方法 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E7%90%86%E8%A7%A3%E9%9A%BE%E5%9C%A8%E5%93%AA%E5%84%BF/ Tue, 15 Mar 2022 09:08:23 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E7%90%86%E8%A7%A3%E9%9A%BE%E5%9C%A8%E5%93%AA%E5%84%BF/ 文章作者：刘知远 清华大学 副教授 内容来源：NLP日知录@知乎专栏 导读： 在微博和知乎上关注自然语言处理（NLP）技术的朋友，应该都对#NLP太难了#、#自然语言理解太难了#两个话题标签不陌生，其下汇集了各种不仅难煞计算机、甚至让人也发懵的费解句子或歧义引起的笑话。然而，这些例子只是让 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%96%B0%E7%A7%80%E7%9A%84%E4%BC%98%E9%9B%85%E8%A7%A3%E8%AF%BB/ Tue, 15 Mar 2022 09:05:46 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%96%B0%E7%A7%80%E7%9A%84%E4%BC%98%E9%9B%85%E8%A7%A3%E8%AF%BB/ 作为2018年自然语言处理领域的新秀，BERT做到了过去几年NLP重大进展的集大成，一出场就技惊四座碾压竞争对手，刷新了11项NLP测试的最高纪录，甚至超越了人类的表现，相信会是未来NLP研究和工业应用最主流的语言模型之一。本文尝试由浅入深，为各位看客带来优雅的BERT解读。 NL https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%AB%98%E9%A2%91%E9%9D%A2%E8%AF%95%E9%A2%98%E5%8F%82%E6%95%B0%E6%9B%B4%E6%96%B0%E8%AE%AD%E7%BB%83%E6%89%A9%E5%85%85%E6%A0%B7%E6%9C%AC%E7%AD%89/ Tue, 15 Mar 2022 09:05:45 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%AB%98%E9%A2%91%E9%9D%A2%E8%AF%95%E9%A2%98%E5%8F%82%E6%95%B0%E6%9B%B4%E6%96%B0%E8%AE%AD%E7%BB%83%E6%89%A9%E5%85%85%E6%A0%B7%E6%9C%AC%E7%AD%89/ 请介绍几种常用的参数更新方法。 梯度下降：在一个方向上更新和调整模型的参数，来最小化损失函数。 随机梯度下降（Stochastic gradient descent，SGD）对每个训练样本进行参数更新，每次执行都进行一次更新，且执行速度更快。 为了避免SGD和标准梯度下降中存在的问题，一个改进方法为小批 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%B9%B4%E6%9C%88%E5%BA%95%E5%AD%97%E8%8A%82%E8%B7%B3%E5%8A%A8%E5%B2%97%E4%BD%8D%E6%8A%96%E9%9F%B3%E9%9D%A2%E8%AF%95%E9%A2%98%E5%88%86%E4%BA%AB/ Tue, 15 Mar 2022 09:05:43 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%B9%B4%E6%9C%88%E5%BA%95%E5%AD%97%E8%8A%82%E8%B7%B3%E5%8A%A8%E5%B2%97%E4%BD%8D%E6%8A%96%E9%9F%B3%E9%9D%A2%E8%AF%95%E9%A2%98%E5%88%86%E4%BA%AB/ 问题1：Bert模型中，根号dk的作用 QK进行点击之后，值之间的方差会较大，也就是大小差距会较大；如果直接通过Softmax操作，会导致大的更大，小的更小；进行缩放，会使参数更平滑，训练效果更好。 问题2：Bert模型中多头的作用 多次attention综合的结果至少能够起到增强模型 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%8A%80%E6%9C%AF%E6%94%B9%E8%BF%9B%E7%9A%84%E5%9C%A8%E6%96%87%E6%9C%AC%E5%88%86%E7%B1%BB%E4%B8%AD%E7%9A%84%E5%BA%94%E7%94%A8/ Tue, 15 Mar 2022 09:05:21 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%8A%80%E6%9C%AF%E6%94%B9%E8%BF%9B%E7%9A%84%E5%9C%A8%E6%96%87%E6%9C%AC%E5%88%86%E7%B1%BB%E4%B8%AD%E7%9A%84%E5%BA%94%E7%94%A8/ 作者：杨森 01 导读 语音是58同城用户之间的重要沟通媒介，58同城C端用户和B端用户之间可以通过电话（隐私通话）、网络音视频通话（微聊）建立连接，这些场景下产生的语音数据有巨大的挖掘价值。本次议题主要分享语义标签的文本挖掘技术，首先介绍使用主动学习技术解决冷启动时样本少的问题，然后对 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E4%B8%AD%E6%96%87%E7%94%A8%E4%BB%80%E4%B9%88%E4%B8%AD%E6%96%87%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86%E7%9A%84%E5%AE%8C%E6%95%B4%E6%9C%BA%E5%99%A8%E5%A4%84%E7%90%86%E6%B5%81%E7%A8%8B/ Tue, 15 Mar 2022 09:05:18 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E4%B8%AD%E6%96%87%E7%94%A8%E4%BB%80%E4%B9%88%E4%B8%AD%E6%96%87%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86%E7%9A%84%E5%AE%8C%E6%95%B4%E6%9C%BA%E5%99%A8%E5%A4%84%E7%90%86%E6%B5%81%E7%A8%8B/ 虽然同为人类自然语言，但是由于英文和中文其语言自身的特点，导致中文和英文分词是有差别的。 很多读者在后台留言，提到了结巴分词，并要求我们出一些关于中文自然语言处理的内容。所以本禅师就找到了这方面很有研究的宿永杰。 宿永杰现就职于某知名互联网公司担任数据挖掘工程师，CSDN 博客专家，P https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%8C%BB%E7%96%97%E5%81%A5%E5%BA%B7%E9%A2%86%E5%9F%9F%E7%9A%84%E7%9F%AD%E6%96%87%E6%9C%AC%E8%A7%A3%E6%9E%90%E6%8E%A2%E7%B4%A2%E4%B8%89%E6%96%87%E6%9C%AC%E7%BA%A0%E9%94%99/ Tue, 15 Mar 2022 09:05:14 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%8C%BB%E7%96%97%E5%81%A5%E5%BA%B7%E9%A2%86%E5%9F%9F%E7%9A%84%E7%9F%AD%E6%96%87%E6%9C%AC%E8%A7%A3%E6%9E%90%E6%8E%A2%E7%B4%A2%E4%B8%89%E6%96%87%E6%9C%AC%E7%BA%A0%E9%94%99/ 医疗健康领域的短文本解析探索（二） 医疗健康领域的短文本解析探索（一） 谈谈医疗健康领域的 Phrase Mining 前言 最近在优化 dxy 帖子召回问题，我们之前在 医疗健康领域的短文本解析探索（一） 提到了 phrase mining 抽取粗粒度名词，在 医疗健康领域的短文本解析探索（二） 提到实体链接相关方案，但是用户在输入搜索内容时，很可能 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%9C%88%E6%97%A5%E6%9C%88%E6%97%A5%E8%85%BE%E8%AE%AF%E7%AE%97%E6%B3%95%E5%AE%9E%E4%B9%A0%E9%9D%A2%E8%AF%95%E9%A2%98/ Tue, 15 Mar 2022 09:04:40 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%9C%88%E6%97%A5%E6%9C%88%E6%97%A5%E8%85%BE%E8%AE%AF%E7%AE%97%E6%B3%95%E5%AE%9E%E4%B9%A0%E9%9D%A2%E8%AF%95%E9%A2%98/ 添加微信：julyedufu77，回复 “ 7 ”，领取最新升级版《名企AI面试100题》电子书！！ 本文目录： 问题8：介绍下bert位置编码和transformer的区别，哪个好，为什么？ 问题9：sigmod函数的缺点，为什么会产生梯度消失？不是以0为中心的话，为什么会收敛慢。 问题10 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9B%BE%E6%96%87%E5%B9%B6%E8%8C%82%E5%B8%A6%E4%BD%A0%E4%BA%86%E8%A7%A3%E4%BE%9D%E5%AD%98%E5%8F%A5%E6%B3%95%E5%88%86%E6%9E%90/ Tue, 15 Mar 2022 09:02:33 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9B%BE%E6%96%87%E5%B9%B6%E8%8C%82%E5%B8%A6%E4%BD%A0%E4%BA%86%E8%A7%A3%E4%BE%9D%E5%AD%98%E5%8F%A5%E6%B3%95%E5%88%86%E6%9E%90/ 作者: 龚俊民(昵称: 除夕) 学校: 新南威尔士大学 单位：Vivo AI LAB 算法实习生 方向: 自然语言处理和可解释学习 知乎: https://www.zhihu.com/people/gong-jun-min-74 前言： 上一期我们讲了成分句法分析，它相当于考虑广义上的嵌套关系的命名实体识别。这一次我们来说一说依存句法分析，它相当于文本结构化任务中，与命名实体识别经常在一起的实体关 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E5%9C%A8%E6%90%9C%E7%B4%A2%E5%B9%BF%E5%91%8A%E4%BB%BB%E5%8A%A1%E4%B8%AD%E7%9A%84%E5%BA%94%E7%94%A8/ Tue, 15 Mar 2022 09:02:29 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E5%9C%A8%E6%90%9C%E7%B4%A2%E5%B9%BF%E5%91%8A%E4%BB%BB%E5%8A%A1%E4%B8%AD%E7%9A%84%E5%BA%94%E7%94%A8/ 分享嘉宾：高凯明 360算法专家 编辑整理：Hoh Xil 内容来源：DataFun AI Talk 出品社区：DataFun 注：欢迎转载，转载请注明出处。 360搜索广告成立于2012年，到今年是第8个年头了。 今天分享的内容分为两部分，第一部分是搜索广告和广告召回。我会介绍搜索广告的业务逻辑，以及召回模块 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%A8%A1%E5%9E%8B%E7%9A%84%E4%BA%A7%E5%93%81%E5%8C%96/ Tue, 15 Mar 2022 09:02:20 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%A8%A1%E5%9E%8B%E7%9A%84%E4%BA%A7%E5%93%81%E5%8C%96/ 作者：Pratik Bhavsar 编译：ronghuaiyang 导读: 模型训练只是产品化中的很小的一个环节。 问题描述 💰 最近，我一直在巩固在不同 ML 项目中工作的经验。我将从我最近的 NLP 项目的角度来讲述这个故事，对短语进行分类 — 一个多类单标签问题。 NLP 的 Central embedder 结构 团队结构 👪 搭建人工智能团队是相当棘手的。如 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%B0%88%E8%B0%88%E5%8C%BB%E7%96%97%E5%81%A5%E5%BA%B7%E9%A2%86%E5%9F%9F%E7%9A%84/ Tue, 15 Mar 2022 08:59:53 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%B0%88%E8%B0%88%E5%8C%BB%E7%96%97%E5%81%A5%E5%BA%B7%E9%A2%86%E5%9F%9F%E7%9A%84/ 丁香园大数据 NLP。发表日期： 2019-05-05 前言 短语挖掘（ Phrase Mining）的目的在于从大量的文本语料中提取出高质量的短语，是 NLP 领域中基础任务之一。短语挖掘主要解决专业领域的专业词典不足的问题，减少人工整理成本，如图所示 Phrase Mining 在以下几个任务中非常重要。 jieba 分词是中文分词领域比较好的工具[1,2]， https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%B0%B7%E6%AD%8C%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86%E6%A8%A1%E5%9E%8B%E5%9F%BA%E4%BA%8E/ Tue, 15 Mar 2022 08:58:49 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%B0%B7%E6%AD%8C%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86%E6%A8%A1%E5%9E%8B%E5%9F%BA%E4%BA%8E/ 一、前言 最近谷歌搞了个大新闻，公司AI团队新发布的BERT模型，在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩：全部两个衡量指标上全面超越人类，并且还在11种不同NLP测试中创出最佳成绩，包括将GLUE基准推至80.4％（绝对改进7.6％），MultiNLI准确度达 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E4%BA%9A%E9%A9%AC%E9%80%8A%E7%95%85%E9%94%80%E4%B9%A6%E7%9A%84%E5%88%86%E6%9E%90%E6%8E%A8%E8%8D%90%E7%B3%BB%E7%BB%9F%E8%AF%84%E8%AE%BA%E5%88%86%E7%B1%BB%E5%92%8C%E4%B8%BB%E9%A2%98%E5%BB%BA%E6%A8%A1/ Tue, 15 Mar 2022 08:56:05 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E4%BA%9A%E9%A9%AC%E9%80%8A%E7%95%85%E9%94%80%E4%B9%A6%E7%9A%84%E5%88%86%E6%9E%90%E6%8E%A8%E8%8D%90%E7%B3%BB%E7%BB%9F%E8%AF%84%E8%AE%BA%E5%88%86%E7%B1%BB%E5%92%8C%E4%B8%BB%E9%A2%98%E5%BB%BA%E6%A8%A1/ 作者：Ellen Tang 编译：ronghuaiyang 导读 本文介绍了对亚马逊畅销书的NLP分析，并通过这些分析为客户产生了价值。 背景信息和目标 与所有其他零售公司一样，亚马逊努力解决客户评论中存在的欺诈和质量差的问题，并开发系统来识别公正和可靠的信息，以获得更好的客户体验。该分析试图将自 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%BB%B4%E6%BB%B4%E6%8A%80%E6%9C%AF%E6%BB%B4%E6%BB%B4%E8%AF%AD%E9%9F%B3%E4%BA%A4%E4%BA%92%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E7%90%86%E8%A7%A3%E6%8E%A2%E7%B4%A2%E4%B8%8E%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 08:54:34 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%BB%B4%E6%BB%B4%E6%8A%80%E6%9C%AF%E6%BB%B4%E6%BB%B4%E8%AF%AD%E9%9F%B3%E4%BA%A4%E4%BA%92%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E7%90%86%E8%A7%A3%E6%8E%A2%E7%B4%A2%E4%B8%8E%E5%AE%9E%E8%B7%B5/ 桔妹导读： 滴滴是一个让出行变得更美好的公司，语音交互作为出行领域最安全，最自然的交互方式在滴滴内部有着广泛的应用前景，目前滴滴语音交互已经应用在智能外呼，司机端，地图，车机系统多个领域中。语音交互离不开自然语言理解，用户说的每一句话都应该得到正确的理解和反馈，自然语言理解技术让语 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%8A%80%E6%9C%AF%E5%9C%A8%E5%AF%B9%E8%AF%9D%E7%B3%BB%E7%BB%9F%E4%B8%AD%E7%9A%84%E5%BA%94%E7%94%A8%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 08:54:06 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%8A%80%E6%9C%AF%E5%9C%A8%E5%AF%B9%E8%AF%9D%E7%B3%BB%E7%BB%9F%E4%B8%AD%E7%9A%84%E5%BA%94%E7%94%A8%E5%AE%9E%E8%B7%B5/ 作者：桑海龙 AICUG人工智能社区 浏览器不支持该媒体的播放 :( 导读： 在58同城C端用户和B端商家IM微聊在线沟通场景下，我们应用对话机器人打造了商家智能聊天助手，对话机器人通过与C端用户沟通获取商机反馈给B端商家。在人机对话过程中我们需要识别出电话、地址、时间、服务对象等商机信息。 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%98%BF%E9%87%8C%E5%A6%88%E5%A6%88%E5%93%81%E7%89%8C%E5%B9%BF%E5%91%8A%E4%B8%AD%E7%9A%84%E7%AE%97%E6%B3%95%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 08:53:57 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%98%BF%E9%87%8C%E5%A6%88%E5%A6%88%E5%93%81%E7%89%8C%E5%B9%BF%E5%91%8A%E4%B8%AD%E7%9A%84%E7%AE%97%E6%B3%95%E5%AE%9E%E8%B7%B5/ 分享嘉宾：肖国锐 阿里 高级算法专家 编辑整理：陈道昌 内容来源：DataFun AI Talk 出品社区：DataFun 导读： 本次分享的主题为阿里妈妈品牌广告中的 NLP 算法实践，主要内容包括： 1. 品牌广告业务模式与技术架构的简要介绍 2. NLP 算法在品牌搜索广告中的实践，以两个具体的算法问题展开：品牌意图识别和短 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E4%B9%9F%E8%83%BD%E7%94%A8%E4%BA%8E%E4%BB%BB%E5%8A%A1%E4%B8%80%E6%96%87%E7%AE%80%E8%BF%B0%E6%96%87%E6%9C%AC%E5%88%86%E7%B1%BB%E4%BB%BB%E5%8A%A1%E7%9A%84%E4%B8%AA%E6%A8%A1%E5%9E%8B/ Tue, 15 Mar 2022 08:14:43 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E4%B9%9F%E8%83%BD%E7%94%A8%E4%BA%8E%E4%BB%BB%E5%8A%A1%E4%B8%80%E6%96%87%E7%AE%80%E8%BF%B0%E6%96%87%E6%9C%AC%E5%88%86%E7%B1%BB%E4%BB%BB%E5%8A%A1%E7%9A%84%E4%B8%AA%E6%A8%A1%E5%9E%8B/ 本文介绍了用于文本分类任务的 7 个模型，包括传统的词袋模型、循环神经网络，也有常用于计算机视觉任务的卷积神经网络，以及 RNN + CNN。 本文是我之前写过的一篇基于推特数据进行情感分析的文章（ https://ahmedbesbes.com/sentiment-analysis-on-twi https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%A2%86%E5%9F%9F%E7%9A%84%E6%97%B6%E4%BB%A3%E8%AF%8D%E5%B5%8C%E5%85%A5%E5%B7%B2%E6%AD%BB%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E5%BD%93%E7%AB%8B/ Tue, 15 Mar 2022 08:14:26 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%A2%86%E5%9F%9F%E7%9A%84%E6%97%B6%E4%BB%A3%E8%AF%8D%E5%B5%8C%E5%85%A5%E5%B7%B2%E6%AD%BB%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E5%BD%93%E7%AB%8B/ 选自the Gradient，作者：Sebastian Ruder，机器之心编译。 计算机视觉领域常使用在 ImageNet 上预训练的模型，它们可以进一步用于目标检测、语义分割等不同的 CV 任务。而在自然语言处理领域中，我们通常只会使用预训练词嵌入向量编码词汇间的关系，因此也就没有一个能用于整体模型的预训 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%90%84%E5%A4%A7%E7%A0%94%E7%A9%B6%E9%99%A2%E5%85%B1%E5%9C%BA%E7%AE%97%E6%B3%95%E5%B2%97%E9%9D%A2%E7%BB%8F/ Tue, 15 Mar 2022 02:58:45 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%90%84%E5%A4%A7%E7%A0%94%E7%A9%B6%E9%99%A2%E5%85%B1%E5%9C%BA%E7%AE%97%E6%B3%95%E5%B2%97%E9%9D%A2%E7%BB%8F/ 本文涵盖了腾讯微信事业群模式识别中心，PCG 和 TEG 事业群，阿里达摩院，蚂蚁金服，百度研究院，京东研究院，头条 AI Lab，滴滴 AI Lab，微软亚洲研究院，微软工程院以及联想研究院等等多个公司 NLP 算法岗面试内容，其实面试内容都大差不差，从大的来说就包含四块内容，下面我也就这四块做一个简要的说 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9B%9E%E9%A1%BE%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0%E5%9C%A8%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86%E4%B8%AD%E7%9A%84%E5%BA%94%E7%94%A8/ Tue, 15 Mar 2022 01:35:22 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9B%9E%E9%A1%BE%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0%E5%9C%A8%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86%E4%B8%AD%E7%9A%84%E5%BA%94%E7%94%A8/ 分享嘉宾： 黄民烈** ** 清华大学计算机系副教授，博士生导师 编辑整理： 邓力 内容来源： 《Reinforcement Learning in Natural Language Processing》 出品社区： DataFun 注：欢迎转载，转载请注明出处。 本文首先介绍了强化学习的概念和相关知识，以及与监督学习的区别，然后就强化学习在自然语言处理应用中的挑 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E4%B8%AD%E6%96%87%E5%88%86%E8%AF%8D%E6%8A%80%E6%9C%AF%E5%8F%8A%E5%9C%A8%E6%90%9C%E7%B4%A2%E7%9A%84%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 01:29:08 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E4%B8%AD%E6%96%87%E5%88%86%E8%AF%8D%E6%8A%80%E6%9C%AF%E5%8F%8A%E5%9C%A8%E6%90%9C%E7%B4%A2%E7%9A%84%E5%AE%9E%E8%B7%B5/ 文本、语言作为记录和传播信息的重要载体，对它高效的理解一直是人们关注的问题。自现代电子计算机出现后，计算机在很多事情上做得比人还好，计算机与语言处理的相遇就出现了自然语言处理（Natural Language Process, NLP）技术。NLP通俗的理解就是利用计算机对文本进行分析、加工。 中文语言处理则是针对 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%99%BE%E5%BA%A6%E4%B8%AD%E6%96%87%E7%BA%A0%E9%94%99%E6%8A%80%E6%9C%AF/ Tue, 15 Mar 2022 01:14:40 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%99%BE%E5%BA%A6%E4%B8%AD%E6%96%87%E7%BA%A0%E9%94%99%E6%8A%80%E6%9C%AF/ 分享嘉宾：付志宏 百度资深研发工程师 编辑整理：李润顺 内容来源：Baidu Brain & DataFun AI Talk《百度中文纠错技术》 出品社区：DataFun 注：欢迎转载，转载请注明出处。 本次分享聚焦于自然语言处理的一个传统问题－文本纠错，首先介绍文本纠错的相关背景及目前的主流技术，然后重点分享百度在文本纠 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E4%B8%87%E5%AD%97%E9%95%BF%E6%96%87%E5%B8%A6%E4%BD%A0%E8%A7%A3%E8%AF%BB%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E7%9A%84%E5%90%84%E7%B1%BB%E6%A8%A1%E5%9E%8B/ Tue, 15 Mar 2022 01:14:29 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E4%B8%87%E5%AD%97%E9%95%BF%E6%96%87%E5%B8%A6%E4%BD%A0%E8%A7%A3%E8%AF%BB%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E7%9A%84%E5%90%84%E7%B1%BB%E6%A8%A1%E5%9E%8B/ 文章作者：陈桂敏（Derek） 腾讯 导读：NLP，让人与机器的交互不再遥远；深度学习，让语言解析不再是智能系统的瓶颈。本文尝试回顾NLP发展的历史，解读NLP升级迭代过程中一些重要而有意思的模型，总结不同任务场景应用模型的思路，对NLP未来发展趋势发表自己的看法。笔者经验有限，如有 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%85%BE%E8%AE%AF%E9%9F%B3%E4%B9%90%E9%9F%B3%E4%B9%90%E5%91%BD%E5%90%8D%E5%AE%9E%E4%BD%93%E8%AF%86%E5%88%AB%E6%8A%80%E6%9C%AF/ Mon, 14 Mar 2022 23:44:17 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%85%BE%E8%AE%AF%E9%9F%B3%E4%B9%90%E9%9F%B3%E4%B9%90%E5%91%BD%E5%90%8D%E5%AE%9E%E4%BD%93%E8%AF%86%E5%88%AB%E6%8A%80%E6%9C%AF/ 分享嘉宾：Kevin 腾讯音乐 算法工程师 编辑整理：韦国迎 天虹 出品平台：DataFunTalk 导读： 命名实体识别（Named Entity Recognition，简称NER）是自然语言处理中的热点研究方向之一，目的是识别文本中的命名实体，并将其归纳到相应的实体类型中。命名实体识别也是NLP最重要 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%99%BE%E5%BA%A6%E6%8A%80%E6%9C%AF%E5%9C%A8%E6%99%BA%E8%83%BD%E6%8B%9B%E8%81%98%E4%B8%AD%E7%9A%84%E5%BA%94%E7%94%A8%E7%A0%94%E7%A9%B6/ Mon, 14 Mar 2022 21:30:46 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%99%BE%E5%BA%A6%E6%8A%80%E6%9C%AF%E5%9C%A8%E6%99%BA%E8%83%BD%E6%8B%9B%E8%81%98%E4%B8%AD%E7%9A%84%E5%BA%94%E7%94%A8%E7%A0%94%E7%A9%B6/ 分享嘉宾：秦川博士 百度人才智库实验室(TIC) 人工智能研究员 编辑整理：于晓涛 农银金科 出品平台：DataFunSummit 导读： 人才是企业发展的核心竞争力，人才管理更是企业最具竞争力的武器。传统招聘中，面临着招聘成本高，效率低等问题，将NLP技术运用在智能招聘领域可以有效地提升企业 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E4%B8%80%E4%BA%9B%E7%9A%84%E9%9D%A2%E8%AF%95%E9%97%AE%E9%A2%98/ Mon, 14 Mar 2022 18:17:05 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E4%B8%80%E4%BA%9B%E7%9A%84%E9%9D%A2%E8%AF%95%E9%97%AE%E9%A2%98/ 作者：Pratik Bhavsar 编译：ronghuaiyang 导读: 在NLP的面试中提问频率非常高的问题。 练习 NLP 是一回事，破解面试是另一回事。对 NLP 人员的面试与一般的数据科学非常不同。在短短几年内，由于迁移学习和新的语言模型，这些问题已经完全改变了。我个人经历过，随着时间的推移，NLP 面试变得 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%AE%97%E6%B3%95%E5%B7%A5%E7%A8%8B%E5%B8%88%E7%9A%84%E5%AD%A6%E4%B9%A0%E6%88%90%E9%95%BF%E5%92%8C%E5%AE%9E%E6%88%98%E7%BB%8F%E9%AA%8C/ Mon, 14 Mar 2022 17:50:45 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%AE%97%E6%B3%95%E5%B7%A5%E7%A8%8B%E5%B8%88%E7%9A%84%E5%AD%A6%E4%B9%A0%E6%88%90%E9%95%BF%E5%92%8C%E5%AE%9E%E6%88%98%E7%BB%8F%E9%AA%8C/ 我们本次分享主要分为六个小节，分别为： 1.NLP解决什么问题； 2.NLP算法发展简史； 3.检索式问答系统的语义匹配模型； 4.任务型对话系统背后的算法实例； 5.创业公司NLP工程师的工作职责； 6.NLP算法工程师面试注意事项； 其中前两个小节主要大概讲述一下NLP这个学科它解决了什么 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%91%BD%E5%90%8D%E5%AE%9E%E4%BD%93%E8%AF%86%E5%88%AB%E8%AE%BA%E6%96%87%E7%BB%BC%E8%BF%B0%E4%B8%80/ Mon, 14 Mar 2022 17:46:34 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%91%BD%E5%90%8D%E5%AE%9E%E4%BD%93%E8%AF%86%E5%88%AB%E8%AE%BA%E6%96%87%E7%BB%BC%E8%BF%B0%E4%B8%80/ 作者: 龚俊民(昵称: 除夕) 学校: 新南威尔士大学 单位：Vivo AI LAB 算法实习生 方向: 自然语言处理和可解释学习 知乎: https://www.zhihu.com/people/gong-jun-min-74 亚里士多德在《形而上学》中认为，对于存在，最重要的问题，就是给世间万物的存在基于语言来分层和分类。从神说要有光起，到基友给你取了个外号叫狗蛋。你会发现，创造与命名，在历 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9B%9E%E9%A1%BE%E5%9C%A8%E7%BD%91%E7%BB%9C%E6%96%87%E5%AD%A6%E9%A2%86%E5%9F%9F%E7%9A%84%E5%BA%94%E7%94%A8/ Mon, 14 Mar 2022 17:46:14 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9B%9E%E9%A1%BE%E5%9C%A8%E7%BD%91%E7%BB%9C%E6%96%87%E5%AD%A6%E9%A2%86%E5%9F%9F%E7%9A%84%E5%BA%94%E7%94%A8/ 配套PPT下载，请识别底部二维码关注社区公众号，后台回复【 上海NLP 】 分享嘉宾： 马宇峰** 阅文信息 内容挖掘平台技术负责人** 编辑整理： 赵世瑜 内容来源： DataFun AI Talk《NLP在阅文内容挖掘平台的应用场景与落地实践》 出品社区： DataFun 注：欢迎转载，转载请注明出处。 一、业务背景 网络文学的发展已 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%A4%9A%E5%AA%92%E4%BD%93%E5%86%85%E5%AE%B9%E7%90%86%E8%A7%A3%E5%9C%A8%E7%BE%8E%E5%9B%BE%E7%A4%BE%E5%8C%BA%E7%9A%84%E5%BA%94%E7%94%A8%E5%AE%9E%E8%B7%B5/ Mon, 14 Mar 2022 17:45:27 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%A4%9A%E5%AA%92%E4%BD%93%E5%86%85%E5%AE%B9%E7%90%86%E8%A7%A3%E5%9C%A8%E7%BE%8E%E5%9B%BE%E7%A4%BE%E5%8C%BA%E7%9A%84%E5%BA%94%E7%94%A8%E5%AE%9E%E8%B7%B5/ 分享嘉宾：付超 美图 资深视觉算法工程师 编辑整理：翁梦娟 出品平台：DataFunTalk 导读： 移动互联网时代，图像和短视频等多媒体内容爆发，基于计算机视觉的AI算法是多媒体内容分析的基础。在美图社区智能化发展的过程中，视频和图像分类打标、去重以及质量评估的结果，在推荐、搜索以及人工审 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%B9%B4%E6%9C%88%E4%B8%AD%E6%97%AC%E7%99%BE%E5%BA%A6%E5%B2%97%E4%BD%8D%E9%9D%A2%E8%AF%95%E9%A2%98%E5%88%86%E4%BA%AB%E4%BA%8C/ Mon, 14 Mar 2022 16:42:17 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%B9%B4%E6%9C%88%E4%B8%AD%E6%97%AC%E7%99%BE%E5%BA%A6%E5%B2%97%E4%BD%8D%E9%9D%A2%E8%AF%95%E9%A2%98%E5%88%86%E4%BA%AB%E4%BA%8C/ 问题6：NLG的评估指标有哪些 BLEU (Bilingual Evaluation Understudy) ROUGE (Recall Oriented Understudy for Gisting Evaluation) BLEU是机器翻译中使用最广泛的评估指标，可以看成是精确率，公式如下： ROUGE可以看作是召回率，有以下几种： ROUGE-N：计算 n-gram 的召回率，即算出候选译文和参考译文重合的 n-gram 个数占参考译文的比例； ROUGE-L：计算最长公共子序 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86%E5%9F%BA%E7%A1%80%E4%B8%8A%E4%B8%8B%E6%96%87%E8%AF%8D%E8%A1%A8%E5%BE%81%E5%85%A5%E9%97%A8%E8%A7%A3%E8%AF%BB/ Mon, 14 Mar 2022 16:40:38 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86%E5%9F%BA%E7%A1%80%E4%B8%8A%E4%B8%8B%E6%96%87%E8%AF%8D%E8%A1%A8%E5%BE%81%E5%85%A5%E9%97%A8%E8%A7%A3%E8%AF%BB/ 原文自： 大快搜索 公众号 自然语言处理的基础涉及到对词的表征。华盛顿大学计算机科学与工程教授 Noah Smith（史諾亞）近日在 arXiv 发布了一篇入门介绍论文，由浅入深通俗易懂地介绍了自然语言处理中对词的处理和表示方法。 摘要：这篇介绍论文的目的是讲述如何让计算机处理语言的故事。这是自然语言处理（N https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9B%BE%E8%A7%A3%E5%BD%93%E5%89%8D%E6%9C%80%E5%BC%BA%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E6%98%AF%E5%A6%82%E4%BD%95%E6%94%BB%E5%85%8B%E8%BF%81%E7%A7%BB%E5%AD%A6%E4%B9%A0%E7%9A%84/ Mon, 14 Mar 2022 16:40:30 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9B%BE%E8%A7%A3%E5%BD%93%E5%89%8D%E6%9C%80%E5%BC%BA%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E6%98%AF%E5%A6%82%E4%BD%95%E6%94%BB%E5%85%8B%E8%BF%81%E7%A7%BB%E5%AD%A6%E4%B9%A0%E7%9A%84/ 作者：Jay Alammar 机器之心编译 参与：Panda 前段时间，谷歌发布了基于双向 Transformer 的大规模预训练语言模型 BERT，该预训练模型能高效抽取文本信息并应用于各种 NLP 任务，该研究凭借预训练模型刷新了 11 项 NLP 任务的当前最优性能记录。技术博主 Jay Alammar 近日发文通过图解方式生动地讲解了 BERT 的架构和方法基础。 2018 年是 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%83%85%E6%84%9F%E5%88%86%E6%9E%90%E6%8A%80%E6%9C%AF%E5%9C%A8%E7%BE%8E%E5%9B%A2%E7%9A%84%E6%8E%A2%E7%B4%A2%E4%B8%8E%E5%BA%94%E7%94%A8/ Mon, 14 Mar 2022 16:40:23 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%83%85%E6%84%9F%E5%88%86%E6%9E%90%E6%8A%80%E6%9C%AF%E5%9C%A8%E7%BE%8E%E5%9B%A2%E7%9A%84%E6%8E%A2%E7%B4%A2%E4%B8%8E%E5%BA%94%E7%94%A8/ 作者：任磊 佳昊 金刚等 美团技术团队 2021年5月，美团NLP中心开源了迄今规模最大的基于真实场景的中文属性级情感分析数据集ASAP，该数据集相关论文被自然语言处理顶会NAACL2021录用，同时该数据集加入中文开源数据计划千言，将与其他开源数据集一起推动中文信息处理技术的进步。 本文 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%B4%9D%E5%A3%B3%E6%89%BE%E6%88%BF%E4%BA%BA%E6%9C%BA%E8%80%A6%E5%90%88%E5%9C%A8%E8%B4%9D%E5%A3%B3%E6%96%B0%E5%B1%85%E4%BD%8F%E6%9C%8D%E5%8A%A1%E7%9A%84%E5%BA%94%E7%94%A8/ Mon, 14 Mar 2022 16:40:14 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%B4%9D%E5%A3%B3%E6%89%BE%E6%88%BF%E4%BA%BA%E6%9C%BA%E8%80%A6%E5%90%88%E5%9C%A8%E8%B4%9D%E5%A3%B3%E6%96%B0%E5%B1%85%E4%BD%8F%E6%9C%8D%E5%8A%A1%E7%9A%84%E5%BA%94%E7%94%A8/ 分享嘉宾：陈开江 贝壳找房 算法架构师 编辑整理：刘贝尔 匈牙利佩奇大学 出品平台：DataFunTalk 导读： 在人工智能应用高速发展的现代服务业，实现机器对人的辅助与一定程度上的替代，即人机耦合 ( Human Machine Coupling )，是文明进步的趋势。而在衣食住行等与生活起居息息相关的服务业态中，居住服务因其消费内