https://index.zshipu.com/geek/tags/%E7%89%B9%E5%BE%81%E5%B7%A5%E7%A8%8B/ Recent content in 特征工程 on 知识铺的博客 Hugo -- gohugo.io zh-CN Tue, 15 Mar 2022 11:34:41 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B7%B1%E5%BA%A6%E9%A2%84%E4%BC%B0%E6%A8%A1%E5%9E%8B%E4%B8%AD%E7%9A%84%E7%89%B9%E5%BE%81%E8%87%AA%E5%8A%A8%E7%BB%84%E5%90%88%E6%9C%BA%E5%88%B6%E6%BC%94%E5%8C%96%E7%AE%80%E5%8F%B2/ Tue, 15 Mar 2022 11:34:41 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B7%B1%E5%BA%A6%E9%A2%84%E4%BC%B0%E6%A8%A1%E5%9E%8B%E4%B8%AD%E7%9A%84%E7%89%B9%E5%BE%81%E8%87%AA%E5%8A%A8%E7%BB%84%E5%90%88%E6%9C%BA%E5%88%B6%E6%BC%94%E5%8C%96%E7%AE%80%E5%8F%B2/ 作者： 杨旭东 96 人赞同了该文章 众所周知，深度学习在计算机视觉、语音识别、自然语言处理等领域最先取得突破并成为主流方法。但是，深度学习为什么是在这些领域而不是其他领域最先成功呢？我想一个原因就是图像、语音、文本数据在空间和时间上具有一定的内在关联性。比如，图像中会有大量的像素与周围的 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B5%85%E8%B0%88%E5%BE%AE%E8%A7%86%E6%8E%A8%E8%8D%90%E7%B3%BB%E7%BB%9F%E4%B8%AD%E7%9A%84%E7%89%B9%E5%BE%81%E5%B7%A5%E7%A8%8B/ Tue, 15 Mar 2022 11:22:04 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B5%85%E8%B0%88%E5%BE%AE%E8%A7%86%E6%8E%A8%E8%8D%90%E7%B3%BB%E7%BB%9F%E4%B8%AD%E7%9A%84%E7%89%B9%E5%BE%81%E5%B7%A5%E7%A8%8B/ 本文作者：hannahguo，腾讯 PCG 推荐算法工程师 在推荐系统中，特征工程扮演着重要的角色。俗话说数据和特征决定了机器学习算法的上限，而模型、算法的选择和优化只是在不断逼近这个上限。特征工程的前提是收集足够多的数据，使用数据学习知识，从大量的原始数据中提取关键信息并表示为模型所需要 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%A7%A3%E8%AF%BB%E4%B8%BA%E4%BB%80%E4%B9%88%E8%A6%81%E5%81%9A%E7%89%B9%E5%BE%81%E5%BD%92%E4%B8%80%E5%8C%96%E6%A0%87%E5%87%86%E5%8C%96/ Tue, 15 Mar 2022 10:21:25 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%A7%A3%E8%AF%BB%E4%B8%BA%E4%BB%80%E4%B9%88%E8%A6%81%E5%81%9A%E7%89%B9%E5%BE%81%E5%BD%92%E4%B8%80%E5%8C%96%E6%A0%87%E5%87%86%E5%8C%96/ Datawhale干货 作者：shine-lee，编辑：极市平台 本文解读了一项数据预处理中的重要技术——特征归一化，提出并解答了5个相关问题，同时分析了相关方法和适用场景。 写在前面 Feature scaling，常见的提法有“特征归一化”、“标准化”，是数据预处理中的重要技术，有时甚至决定了算法 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E4%B8%AD%E7%9A%84%E7%89%B9%E5%BE%81%E5%B7%A5%E7%A8%8B%E6%80%BB%E7%BB%93/ Tue, 15 Mar 2022 09:56:49 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E4%B8%AD%E7%9A%84%E7%89%B9%E5%BE%81%E5%B7%A5%E7%A8%8B%E6%80%BB%E7%BB%93/ 译者：张峰 ，Datawhale成员 特征工程 传统编程的关注点是 代码。在机器学习项目中，关注点变成了 特征表示。也就是说，开发者通过添加和改善特征来调整模型。“Garbage in, garbage out”。对于一个机器学习问题，数据和特征往往决定了结果的上限，而模型、算法的选择及优化则是在逐步接近这个上 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%A6%82%E4%BD%95%E6%94%AF%E6%8C%81%E7%89%B9%E5%BE%81%E5%B7%A5%E7%A8%8B%E5%9C%A8%E7%BA%BF%E5%AD%A6%E4%B9%A0%E5%9C%A8%E7%BA%BF%E9%A2%84%E6%B5%8B%E7%AD%89%E5%9C%BA%E6%99%AF/ Tue, 15 Mar 2022 09:08:42 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%A6%82%E4%BD%95%E6%94%AF%E6%8C%81%E7%89%B9%E5%BE%81%E5%B7%A5%E7%A8%8B%E5%9C%A8%E7%BA%BF%E5%AD%A6%E4%B9%A0%E5%9C%A8%E7%BA%BF%E9%A2%84%E6%B5%8B%E7%AD%89%E5%9C%BA%E6%99%AF/ 分享嘉宾：陈戊超、高赟 阿里 技术专家 文章整理：有感情的打字机 内容来源：Flink Forward ASIA 出品平台：DataFun 导读：Flink 是一个分布式 计算引擎，支持 批流一体 的数据处理。在实际生产中的人工智能使用场景中，Flink 在包括 特征工程，在线学习，在线预测 等方面都有一些独特优势，为了更好的 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E7%89%B9%E5%BE%81%E5%B7%A5%E7%A8%8B%E5%85%A8%E8%BF%87%E7%A8%8B/ Tue, 15 Mar 2022 09:08:38 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E7%89%B9%E5%BE%81%E5%B7%A5%E7%A8%8B%E5%85%A8%E8%BF%87%E7%A8%8B/ 1 特征工程是什么？ 有这么一句话在业界广泛流传：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。那特征工程到底是什么呢？顾名思义，其本质是一项工程活动，目的是最大限度地从原始数据中提取特征以供算法和模型使用。通过总结和归纳，人们认为特征工程包括以下方面： 特征处理是 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E4%BB%8E%E5%85%A5%E9%97%A8%E5%88%B0%E4%B8%93%E5%AE%B6%E5%BF%85%E8%AF%BB%E7%9A%84%E5%8D%81%E7%AF%87%E8%AE%BA%E6%96%87/ Tue, 15 Mar 2022 09:08:33 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E4%BB%8E%E5%85%A5%E9%97%A8%E5%88%B0%E4%B8%93%E5%AE%B6%E5%BF%85%E8%AF%BB%E7%9A%84%E5%8D%81%E7%AF%87%E8%AE%BA%E6%96%87/ 作者： 王喆 今天我们不分析论文，而是总结一下 Embedding方法的学习路径，这也是我三四年前从接触word2vec，到在推荐系统中应用Embedding，再到现在逐渐从传统的sequence embedding过渡到graph embedding的过程，因此该论文列表在应用方面会对推 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%AE%80%E5%8D%95%E8%81%8A%E8%81%8A%E7%89%B9%E5%BE%81%E5%B7%A5%E7%A8%8B/ Tue, 15 Mar 2022 09:08:31 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%AE%80%E5%8D%95%E8%81%8A%E8%81%8A%E7%89%B9%E5%BE%81%E5%B7%A5%E7%A8%8B/ 随着大数据时代的到来，特征工程发挥着越来越重要的作用。那么什么是特征工程呢，简单说，就是发现对因变量y有明显影响作用的特征，通常称自变量x为特征，特征工程的目的是发现重要特征。 一般来说，特征工程大体上可以分为三个方面，一是 特征构造 ，二是 特征选择 ，，三是 特征生成 。三个方面当中，最重 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%A3%8E%E6%8E%A7%E7%89%B9%E5%BE%81%E6%97%B6%E9%97%B4%E6%BB%91%E7%AA%97%E7%BB%9F%E8%AE%A1%E7%89%B9%E5%BE%81%E4%BD%93%E7%B3%BB/ Tue, 15 Mar 2022 09:07:38 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%A3%8E%E6%8E%A7%E7%89%B9%E5%BE%81%E6%97%B6%E9%97%B4%E6%BB%91%E7%AA%97%E7%BB%9F%E8%AE%A1%E7%89%B9%E5%BE%81%E4%BD%93%E7%B3%BB/ 原文作者：求是汪在路上（知乎ID） 原文链接： https://zhuanlan.zhihu.com/p/85440355/ 风控业务背景 俗话说， 路遥知马力，日久见人心。在风控中也是如此，我们常从时间维度提取借款人在不同时间点的特征，以此来判断借款人的风险。在实践中，这类特征通常会占到80%以上。由于是通过时间切片和聚合统计函数来构造，因此一般被称为 时间滑窗 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%9B%B6%E5%9F%BA%E7%A1%80%E5%85%A5%E9%97%A8%E6%95%B0%E6%8D%AE%E6%8C%96%E6%8E%98%E7%89%B9%E5%BE%81%E5%B7%A5%E7%A8%8B%E5%AE%9E%E6%88%98/ Tue, 15 Mar 2022 09:06:30 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%9B%B6%E5%9F%BA%E7%A1%80%E5%85%A5%E9%97%A8%E6%95%B0%E6%8D%AE%E6%8C%96%E6%8E%98%E7%89%B9%E5%BE%81%E5%B7%A5%E7%A8%8B%E5%AE%9E%E6%88%98/ 作者：吴忠强，Datawhale 优秀学习者 转载地址 系列文章： 零基础入门数据挖掘——数据分析实战 摘要：对于数据挖掘项目，本文将学习应该从哪些角度做特征工程？从哪些角度做数据清洗，如何对特征进行增删，如何使用 PCA 降维技术等。 特征工程（Feature Engineering）对特征进行进一 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%89%B9%E5%BE%81%E5%B7%A5%E7%A8%8B%E6%97%B6%E5%BA%8F%E7%89%B9%E5%BE%81%E6%8C%96%E6%8E%98%E7%9A%84%E5%A5%87%E6%8A%80%E6%B7%AB%E5%B7%A7/ Tue, 15 Mar 2022 09:05:08 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%89%B9%E5%BE%81%E5%B7%A5%E7%A8%8B%E6%97%B6%E5%BA%8F%E7%89%B9%E5%BE%81%E6%8C%96%E6%8E%98%E7%9A%84%E5%A5%87%E6%8A%80%E6%B7%AB%E5%B7%A7/ 最近在做时间序列的项目，所以总结一下构造的特征的方法和一些经验。 先放上大纲： 1.时间特征 1.1 连续时间 持续时间： 浏览时长； 间隔时间： 购买/点击距今时长； 距离假期的前后时长（节假日前和节假日后可能会出现明显的数据波动）； 1.2 离散时间 年、季度、季节、月、星期、日、时 等； 基本特征，如果用 Xgboost 模 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%89%B9%E5%BE%81%E5%B7%A5%E7%A8%8B%E6%96%87%E6%9C%AC%E7%89%B9%E5%BE%81%E5%A4%84%E7%90%86%E7%9A%84%E5%9B%9B%E5%A4%A7%E7%B1%BB%E4%B8%BB%E6%B5%81%E6%96%B9%E6%B3%95/ Mon, 14 Mar 2022 17:45:36 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%89%B9%E5%BE%81%E5%B7%A5%E7%A8%8B%E6%96%87%E6%9C%AC%E7%89%B9%E5%BE%81%E5%A4%84%E7%90%86%E7%9A%84%E5%9B%9B%E5%A4%A7%E7%B1%BB%E4%B8%BB%E6%B5%81%E6%96%B9%E6%B3%95/ 以下文章来源于搜索与推荐Wiki ，作者Thinkgamer 文本特征在内容平台内使用的场景和方式更多，但并不等于说其在其他形式的平台中无用户之地，比如：电商平台中的商品标题、商品介绍、评论等，商品平台中视频标题、视频介绍、评论等。 利用文本数据可以做的事情很多，包括但不局限于：关键词