https://index.zshipu.com/geek/tags/%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B/ Recent content in 语言模型 on 知识铺的博客 Hugo -- gohugo.io zh-CN Tue, 01 Sep 2026 00:00:00 +0000 https://index.zshipu.com/geek/post/20260901/%E6%89%A9%E6%95%A3%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E6%9D%80%E8%BF%9B%E7%AB%AF%E4%BE%A7Agent%E6%89%A7%E8%A1%8C%E9%80%9F%E5%BA%A6%E6%8F%90%E5%8D%875%E5%80%8D/ Tue, 01 Sep 2026 00:00:00 +0000 https://index.zshipu.com/geek/post/20260901/%E6%89%A9%E6%95%A3%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E6%9D%80%E8%BF%9B%E7%AB%AF%E4%BE%A7Agent%E6%89%A7%E8%A1%8C%E9%80%9F%E5%BA%A6%E6%8F%90%E5%8D%875%E5%80%8D/ 扩散语言模型杀进端侧后，Agent执行速度提升5倍。这条路线不追求更大模型，而是改变生成方式并叠加端侧芯片并行算力，压缩任务时间。长期依赖云端大模型的Agent由此找到新出路，GPT下一代替代者开始浮现。 扩散模型用并行去噪取代自回归逐词生成 自回归大语言模型的核心机制是逐 token 生成。模 https://index.zshipu.com/geek/post/20260831/%E8%87%AA%E5%9B%9E%E5%BD%92%E4%B8%8E%E6%89%A9%E6%95%A3%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E4%B8%8B%E4%B8%80%E4%BB%A3LLM%E5%A6%82%E4%BD%95%E7%9C%9F%E6%AD%A3%E7%94%9F%E6%88%90%E6%96%87%E6%9C%AC/ Mon, 31 Aug 2026 00:00:00 +0000 https://index.zshipu.com/geek/post/20260831/%E8%87%AA%E5%9B%9E%E5%BD%92%E4%B8%8E%E6%89%A9%E6%95%A3%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E4%B8%8B%E4%B8%80%E4%BB%A3LLM%E5%A6%82%E4%BD%95%E7%9C%9F%E6%AD%A3%E7%94%9F%E6%88%90%E6%96%87%E6%9C%AC/ 主流模型生成文本时token严格从左到右逐个出现，从不回看或前瞻，这一看似智能的流程其实是所有GPT、Claude模型共同的顺序枷锁。两篇深度解析帖同时登上Hacker News，指向扩散模型正试图打破这一限制。 自回归模型的生成必须严格左到右推进 自回归语言模型的核心约束在于其生成过 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%B4%9D%E5%A3%B3%E6%89%BE%E6%88%BF%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E7%B3%BB%E5%88%97%E5%8E%9F%E7%90%86%E7%AF%87%E4%B8%80%E4%BB%8E%E5%88%B0/ Tue, 15 Mar 2022 10:11:03 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%B4%9D%E5%A3%B3%E6%89%BE%E6%88%BF%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E7%B3%BB%E5%88%97%E5%8E%9F%E7%90%86%E7%AF%87%E4%B8%80%E4%BB%8E%E5%88%B0/ 这次的系列文章将会介绍 NLP 领域语言模型及词向量表示的发展史，原理篇会从远古时代的 one-hot 出现讲到时代新星 bert 及其改进，同时后续的实践篇将会介绍预训练模型在房产领域的工业实践应用，带你填上一个个的大坑。话不多说，操练起来~ 语言模型及词向量 何为语言模型？这是一个要贯穿整篇文章的问题。所谓语言模 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%B0%88%E4%B8%80%E8%B0%88%E4%B8%AD%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E7%9A%84%E5%8F%91%E5%B1%95/ Tue, 15 Mar 2022 09:19:02 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%B0%88%E4%B8%80%E8%B0%88%E4%B8%AD%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E7%9A%84%E5%8F%91%E5%B1%95/ 作者：章立 美团算法工程师 未经作者允许 严禁转载！ 问题定义 一段文字，例如：今夜月色真美。代表的是什么含义？如果在春天温度适宜的 9、10 点站在阳台的人对你脱口而出地说出这句话，你会怎么理解这句话，亦或者你会怎么回应他(她)呢？ 这句话是十九世纪末的文学家 夏目漱石对 I love you 的英译日标注结果（ https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%B4%9D%E5%A3%B3%E6%89%BE%E6%88%BF%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E7%B3%BB%E5%88%97%E5%8E%9F%E7%90%86%E7%AF%87%E4%BA%8C%E4%BB%8E%E5%88%B0/ Tue, 15 Mar 2022 09:06:46 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%B4%9D%E5%A3%B3%E6%89%BE%E6%88%BF%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E7%B3%BB%E5%88%97%E5%8E%9F%E7%90%86%E7%AF%87%E4%BA%8C%E4%BB%8E%E5%88%B0/ 上一篇 贝壳找房【语言模型系列】原理篇一：从 one-hot 到 Word2vec 讲到了 word2vec 存在”一词多义“的问题，其主要原因在于 word2vec 生成的词向量是“静态”的，每一个词固定的对应着一个词向量表示，也就是说在 word2vec 训练好之后，在使用单词的向量表示的时候，不论该词的上下文是什么，这个单词的向量表示不会随着上下文语境的变化而改 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%90%8C%E5%9F%8E%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E5%8F%8A%E5%85%B6%E5%BA%94%E7%94%A8/ Tue, 15 Mar 2022 09:06:41 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%90%8C%E5%9F%8E%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E5%8F%8A%E5%85%B6%E5%BA%94%E7%94%A8/ 1. 背景 语言模型在自然语言处理具有重要的地位，它是一种基于概率统计的模型，主要的目标是描述字/词在句子中的概率。同时，语言模型是从大量的语料信息中训练出的模型，它“学习”到的词的概率是通用语义的信息，可以和很多实际应用相结合，尤其是在一些基于统计模型的领域，如语音识别，分词，情感分 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%A2%86%E5%9F%9F%E7%9A%84%E6%97%B6%E4%BB%A3%E8%AF%8D%E5%B5%8C%E5%85%A5%E5%B7%B2%E6%AD%BB%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E5%BD%93%E7%AB%8B/ Tue, 15 Mar 2022 08:14:26 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%A2%86%E5%9F%9F%E7%9A%84%E6%97%B6%E4%BB%A3%E8%AF%8D%E5%B5%8C%E5%85%A5%E5%B7%B2%E6%AD%BB%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E5%BD%93%E7%AB%8B/ 选自the Gradient，作者：Sebastian Ruder，机器之心编译。 计算机视觉领域常使用在 ImageNet 上预训练的模型，它们可以进一步用于目标检测、语义分割等不同的 CV 任务。而在自然语言处理领域中，我们通常只会使用预训练词嵌入向量编码词汇间的关系，因此也就没有一个能用于整体模型的预训 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%B4%9D%E5%A3%B3%E6%89%BE%E6%88%BF%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E7%B3%BB%E5%88%97%E5%AE%9E%E8%B7%B5%E7%AF%87%E5%9C%A8%E6%88%BF%E4%BA%A7%E9%A2%86%E5%9F%9F%E7%9A%84%E5%AE%9E%E8%B7%B5/ Mon, 14 Mar 2022 17:43:47 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%B4%9D%E5%A3%B3%E6%89%BE%E6%88%BF%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E7%B3%BB%E5%88%97%E5%AE%9E%E8%B7%B5%E7%AF%87%E5%9C%A8%E6%88%BF%E4%BA%A7%E9%A2%86%E5%9F%9F%E7%9A%84%E5%AE%9E%E8%B7%B5/ 贝壳找房【语言模型系列】原理篇一：从 one-hot 到 Word2vec 贝壳找房【语言模型系列】原理篇二：从 ELMo 到 ALBERT 随着预训练模型在各大榜单的不断屠榜，学术界和工业界对于预训练模型的研究也愈加狂热。预训练语言模型一般基于海量语料，消耗大量的硬件资源以及时间成本，利用无监督的方法学习一个语言模型，随之应用到各种任 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%A2%84%E8%AE%AD%E7%BB%83%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E5%9C%A8%E7%BD%91%E6%98%93%E4%B8%A5%E9%80%89%E7%9A%84%E5%BA%94%E7%94%A8/ Mon, 14 Mar 2022 16:40:59 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%A2%84%E8%AE%AD%E7%BB%83%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E5%9C%A8%E7%BD%91%E6%98%93%E4%B8%A5%E9%80%89%E7%9A%84%E5%BA%94%E7%94%A8/ 文章作者：纪志伟@网易严选 内容来源：严选技术团队 导读： 随着Bert的发布，预训练 ( pre-train ) 成为NLP领域最为热门的方向之一，大规模的无监督语料加上少量有标注的语料成为了NLP模型的标配。本文将介绍几种常见的语言模型的基本原理和使用方式，以及语言模型在网易严选NLP业务上的实践，包括分