因公司使用 ES 发现用 MYSQL 存放的字段中有一个带逗号的数据匹配不出来。在网站上找了好久，发现有一位同学写了一个带逗号的分析器，果然可以匹配出。做一下笔记，以备忘记。好记性不如烂笔头1：新建分析器curl -XPOST ‘http://172.18.0.4:9200/demo/?pretty’ -d……继续阅读 » dewbay 5年前 (2019-04-12) 3770浏览 0评论5个赞
问题描述IK是 ES 的中文分词插件。在IK新增热词后，不会去更新历史数据，即新添加的热词只对后续的数据生效。而实际上我们常常需要对历史数据进行更新。解决办法使用 ES 自己提供的 update_by_query 接口。调用接口：http://127.0.0.1:9200/index/_update_by_query?conflicts……继续阅读 » dewbay 5年前 (2019-04-12) 3023浏览 0评论2个赞
本文不涉及 ElasticSearch 具体原理，只记录如何快速的导入 mysql 中的数据进行全文检索。工作中需要实现一个搜索功能，并且导入现有数据库数据，组长推荐用 ElasticSearch 实现，网上翻一通教程，都是比较古老的文章了，无奈只能自己摸索，参考 ES 的文档，总算是把服务搭起来了，记录下，希望有同样需求的朋友可以少走弯路，能按照……继续阅读 » dewbay 5年前 (2019-04-12) 1853浏览 0评论0个赞
一、目的一个搜索引擎使用的时候必定需要排序这个模块，一般情况下在不选择按照某一字段排序的情况下，都是按照打分的高低进行一个默认排序的，所以如果正式使用的话，必须对默认排序的打分策略有一个详细的了解才可以，否则被问起来为什么这个在前面，那个在后面不好办，因此对 Elasticsearch 的打分策略详细的看了下，虽然说还不是了解的很全部，但是大部分都看的差……继续阅读 » dewbay 5年前 (2019-04-12) 1737浏览 0评论0个赞
本文档适用人员：研发和运维提纲：曾经的基于 MongoDB 的筛选+排序解决方案MongoDB 方案的缺陷看中了搜索引擎的 facet 特性看中了ES的简洁看中了ES的天生分布式设计窝窝的ES方案ES的几次事故和教训ES自身存在的问题 首先要感谢王超和胡耀华两位研发经理以严谨治学的研究精神和孜孜以求的工作态度给我们提……继续阅读 » dewbay 5年前 (2019-04-12) 2451浏览 0评论0个赞
1：ElasticSearch 的查询过程2：由 ES 查询模式引起的深度分页问题3：如何正确遍历索引中的数据ElasticSearch 的查询过程es 的数据查询分两步：第一步是的结果是获取满足查询条件的，分布于各个 shard 上的 _doc_id 及对应 _score；第二步是根据第一步获取的所……继续阅读 » dewbay 5年前 (2019-04-12) 2361浏览 0评论0个赞
背景： 最近在做日志收集，用到 Elasticsearch 作为存储层，因为日志量比较大，一天近 2T，所以每时每刻都会有大量的插入操作。又由于是给开发人员查日志使用，所以查询的量比较小。 受限于存储空间，目前仅保留 7 天的日志，多数为一个业务模块一个索引，按天切分索引。程序上怎么使用 Elasticsear 索引文档更有效率[1]官……继续阅读 » dewbay 5年前 (2019-04-12) 1644浏览 0评论0个赞
elasticsearch 查询（match 和 term）es 中的查询请求有两种方式，一种是简易版的查询，另外一种是使用 JSON 完整的请求体，叫做结构化查询（DSL）。由于 DSL 查询更为直观也更为简易，所以大都使用这种方式。DSL 查询是 POST 过去一个 json，由于 post 的请求是 json 格式的，所以存在很多灵活性，也有……继续阅读 » dewbay 5年前 (2019-04-12) 1734浏览 0评论1个赞
搜索引擎的索引1.单词——文档矩阵 单词-文档矩阵是表达两者之间所具有的一种包含关系的概念模型，图 3-1 展示了其含义。图 3-1 的每列代表一个文档，每行代表一个单词，打对勾的位置代表包含关系。 ……继续阅读 » dewbay 5年前 (2019-04-12) 1681浏览 0评论0个赞
在进行Lucene的搜索过程解析之前，有必要单独的一张把Lucene score 公式的推导，各部分的意义阐述一下。因为Lucene的搜索过程，很重要的一个步骤就是逐步的计算各部分的分数。Lucene的打分公式非常复杂，如下：在推导之前，先逐个介绍每部分的意义：t：Term，这里的 Term 是指包含域信息的 Term，也……继续阅读 » dewbay 5年前 (2019-04-12) 1723浏览 0评论0个赞
