网站建设服务有哪些看广告得收益的app
疑问
- ES为什么这么快？
全文检索
- 听过一个程序扫描文本的每一个单词，针对单词建立索引，并保存该单词在文本中的位置，以及出现的次数。
- 在检索查询时候，通过建立好的索引进行查询，将索引中单词对应的文本位置，出现的此处返回给用户，有了具体文本的位置，就可以将具体内容读取出来。
分词原理、倒排索引
- 例如我要存储三个数据：“hello speeder”、“hello world”、“Im speeder”，那么存储的过程会经历什么？
- 分词和去重，将上述三个数据分成四个单词：hello speeder world Im
- 建立倒排索引：
| ID | word | index |
|---|---|---|
| 1 | hello | 1,2 |
| 2 | speeder | 1,3 |
| 3 | world | 2 |
| 4 | Im | 3 |
- 正排索引：根据index查询数据信息，例如根据ID查询name
- 倒排索引：根据数据信息查询对应的index，也叫反向索引，上述根据word查询index就是倒排索引
- 在用户检索查询时，流程如下：
- 先根据关键词查word查询到index。
- 再根据index查询到对应的整条数据记录，包含其他所有的field。（我认为这一步类似于关系型数据库中聚集索引的回表操作）
- 展示信息。
ES、Lucene、Solr
- lucene只能用在java项目中，需要引入jar包
- lucene不支持集群环境
- Solr实时建立索引时，Solr会产生IO阻塞，查询性能较差，Solr用的是Zookeeper进行分布式管理，而ES自带有分布式协调管理功能。
- Solr支持JSON/XML/CSV，但是ES只支持json文件，但是ES实时搜索应用效率高于Solr
- ES是基于Lucene的搜索框架
ES、kibana、logstash
- ES搜索引擎
- kibana可视化管理界面
- logstash存储库
ES和关系型数据库比较
| ES | 关系型数据库 |
|---|---|
| Index（索引） | Database（数据库） |
| Type或者_Doc（类型） | Table（表） |
| Document（文档） | Row（行） |
| Field（字段） | Column（列） |
ES中的重要概念
- Index
- Mapping
- Type
- Document
- Field
- Cluster
- node
- 分片和副本
文档映射
查看映射关系：get /index_name/_mapping，加上_下划线表示查看ES内置对象
- 动态映射，自动映射字段类型
- 静态映射，自己指定字段映射类型
- text类型中，会有type为keyword的类型字段，因为text默认是要拆分分词进行检索，keyword是为了保留原文本的不拆分而存在的，keyword也算一种类型，例如人员表中的name就可以设置为keyword，不必设置成text进行分词拆分。
IK分词器
- ES中默认的分词器是单字分词器，会把一句汉字中的所有字都拆开，所以默认的在中文环境下十分不好用，所以要用第三方分词器。
- IK直接放在ES安装目录下的plugins，重启ES后即可生效。
- IK分词器两种模式：
- ik_smart，粗粒度拆分，运用比较少。
- ik_max_word，最细粒度拆分，常用。
- ES中指定IK分词器作为默认分词器
put /index_name
{"settings" : {"index": {"analysis.analyzer.default.type" : "ik_max_word"}}
}
基本操作
- 创建索引库：
put /index_name - 查询索引库：
get /inex_name - 删除索引库：
delete /index_name - 添加一条记录：
put /index_name/_doc/id，例如put /test/user/1 - 条件查询
- 范围查询
- 批量查询
- 分页查询
DSL语言高级查询（ES中最核心的查询语法）
- match，拆分查询
- term，不拆分查询
- multi_match，多词查询
ES-Header集群管理可视化界面
待更新。。