源码系列索引文件的生成三之跳表
在文章 索引文件的生成（一） 中我们说到，在生成 索引文件.doc、 .pos、.pay 的过程中，当处理了 128 篇文档后会生成一个 PackedBlock，并将这个 PackedBlock 的信息写入到跳表 skipList 中，使得在读取阶段能根据文档号快速跳转到目标 PackedBlock，提高查询性能。 将 PackedBlock 的信息写入到跳表 skipList 的时机……
包含标签 lucene 的文章
构造对象十
构造 IndexWriter 对象（九） 构造 IndexWriter 对象（八） 构造 IndexWriter 对象（七） 构造 IndexWriter 对象（六） 构造 IndexWriter 对象（五） 构造 IndexWriter 对象（四） 构造 IndexWriter 对象（三） 构造 IndexWriter 对象（二） 构造 IndexWriter 对象（一） 本文承接 构造 IndexWriter 对象（九），继续介绍调用 IndexWriter 的构造函数的流程。 调用 IndexWriter 的构造函数的流程图 图 1： 生成对象 IndexFileDeleter 我们紧接上一篇文章，继续介绍剩余的流程……
源码系列索引文件的生成十一之
本文承接 索引文件的生成（十），继续介绍剩余的内容，为了便于下文的介绍，先给出 生成索引文件.dim&&.dii 的流程图以及流程点 构建BKD树的节点值（node value） 的流程图： 图 1： 图 2： 第一次更新 parentSplits 数组 图 3： parentSplits 数组的数组元素数量跟点数据的维度数量相同，下标值为……
源码系列索引文件的生成八之
在前面的文章中，我们介绍了在 Lucene7.5.0 中 索引文件.dim&&.dii 的数据结构，从本篇文章开始介绍其生成索引文件。dim&&.dii 的内容，注意的是，由于是基于 Lucene8.4.0 来描述其生成过程，故如果出现跟 Lucene7.5.0 中不一致的地方会另外指出，最后建议先阅读下文章 Bkd-Tree 简单的了解下 Lucene……
深入搜索引擎原理
之前几段工作经历都与搜索有关，现在也有业务在用搜索，对搜索引擎做一个原理性的分享，包括搜索的一系列核心数据结构和算法，尽量覆盖搜索引擎的核心原理，但不涉及数据挖掘、NLP等。文章有点长，多多指点~~ 一、搜索引擎引题 搜索引擎是什么？ 这里有个概念需要提一下。信息检索 (Information Retrieval 简称 IR) 和 搜索 (Search)……
源码系列查询原理下
本文承接 Lucene 源码系列——查询原理（上） 。 第三小节 是否使用多线程 图 2： 在生成 IndexSearcher 对象时，用户可以提供参数 ExecutorService，调用下面的 构造函数，来实现多线程搜索： 1 2 3 public IndexSearcher(IndexReader r, ExecutorService executor) { ... ... } 当索引目录中有多个段时，把对一个段的搜索（search by segment）作为一个任务（t……
源码系列多个的的倒排求交集
这种 Query 组合的文档号合并的代码是在 ConjunctionDISI 类中实现。本文通过一个例子来介绍文档号合并逻辑，这篇文章中对于每个关键字如何获得包含它的文档号，不作详细描述，大家可以去看我添加了详细注释的 ConjunctionDISI 类，相信能一目了然。GitHub 地址是： https://github.com/luxugang/Luce……
构造对象四
系列文章： 构造 IndexWriter 对象（三） 构造 IndexWriter 对象（二） 构造 IndexWriter 对象（一） 本文承接 构造 IndexWriter 对象（三），继续介绍调用 IndexWriter 的构造函数的流程。 调用 IndexWriter 的构造函数的流程图 图 1： 根据不同的 OpenMode 执行对应的工作 在上一篇文章中，我们介绍了执行 CREATE 模式下的工作，故继续介绍执行 APPEND 模式下的工作。 执行 APPEND 模式下的工作的流程图 图 2：……
去哪儿网倒排索引原理
作者 ： 高沛， 2018年7月加入去哪儿网，目前负责酒店搜索、门票搜索、大搜等搜索相关业务，曾参与基于Lucene的搜索召回服务搭建，个人对搜索引擎、分布式技术比较感兴趣，喜欢探究技术内幕、深入了解底层原理。 1 前言 Lucene 作为 Apache 开源的一款搜索工具，一直以来是实现搜索功能的神兵利器，现今火热……
源码系列查询原理上
第一小节 Lucene 常见查询的使用 从本篇文章开始介绍 Lucene 查询阶段的内容，由于 Lucene 提供了几十种不同方式的查询，但其核心的查询逻辑是一致的，该系列的文章通过 Query 的其中的一个子类 BooleanQuery，同时也是作者在实际业务中最常使用的，来介绍 Lucene 的查询原理。 查询方式 下文中先介绍几种常用的查询方式的简……
