本博客日IP超过2000,PV 3000 左右,急需赞助商。
极客时间所有课程通过我的二维码购买后返现24元微信红包,请加博主新的微信号:xttblog2,之前的微信号好友位已满,备注:返现
受密码保护的文章请关注“业余草”公众号,回复关键字“0”获得密码
所有面试题(java、前端、数据库、springboot等)一网打尽,请关注文末小程序
腾讯云】1核2G5M轻量应用服务器50元首年,高性价比,助您轻松上云
Elasticsearch 是上市公司 Elastic 开源的一个产品。而 Elasticsearch 支撑了整个 Elastic 公司的大约 50 亿美元的市值,这个市值超过大多数 A 股公司。这足以说明了 Elasticsearch 的商业价值和在整个互联网中的重要性。
对国内公司来说,Elasticsearch 基本上是主流公司的必用技术。目前,已知的是 BAT、滴滴、头条、美团等都有使用,所以如果你想去这些公司,Elasticsearch 是一道你必须要跨越的坎!
最近刚好群里有人在讨论 Elasticsearch,为了便于交流,我这里给没有基础,或者已有基础的 ES 使用者总结了一些知识点,大家一起精进!
整个知识点,可以用上面的这张图来总结。下面我针对部分知识点做一些白话解读,全是我一家之言,不妥之处,请加我微信:xttblog,帮我指正!
Near Realtime(NRT)
NRT 代表近实时,两个意思,从写入数据到数据可以被搜索到有一个小延迟(大概 1 秒);基于 es 执行搜索和分析可以达到秒级。这个特点很重要,举个例子,电商系统中,新上架一个商品,这个商品能立马被搜索到。下架一个商品,将立马不会显示在搜索中。和 Hadoop 相比,这一个优点非常的明显。
集群(Cluster)
集群,Cluster,包含多个节点,每个节点属于哪个集群是通过一个配置(集群名称,默认是 elasticsearch)来决定的,对于中小型应用来说,刚开始一个集群就一个节点很正常。elasticsearch 的集群搭建简单并且容易扩展。
节点(Node)
集群中的每一个节点也有一个名称(默认是随机分配的),节点名称很重要(在执行运维管理操作的时候),默认节点会去加入一个名称为“elasticsearch”的集群,如果直接启动一堆节点,那么它们会自动组成一个 elasticsearch 集群,当然一个节点也可以组成一个 elasticsearch 集群。
文档(Document)
文档是 es 中的最小数据单元,一个 document 可以是一条客户数据,一条商品分类数据,一条订单数据,通常用 JSON 数据结构表示,每个 index 下的 type 中,都可以去存储多个 document。一个 document 里面有多个 field,每个 field 就是一个数据字段。
说白了,你可以把一个 Document 看成是一个类。field 就是类中的属性。
product document {
"product_id": "1",
"product_name": "小目标",
"product_desc": "小目标罐装啤酒",
"category_id": "2",
"category_name": "酒类用品"
}
与关系型数据库的对比:
索引(Index)
索引是包含一堆有相似结构的文档数据,比如可以有一个客户索引,商品分类索引,订单索引,索引有一个名称。一个 index 包含很多 document,一个 index 就代表了一类类似的或者相同的 document。比如说建立一个 product index,商品索引,里面可能就存放了所有的商品数据,所有的商品 document。
类型(Type)
每个索引里都可以有一个或多个 type,type 是 index 中的一个逻辑数据分类,一个 type 下的 document,都有相同的 field,比如博客系统,有一个索引,可以定义用户数据 type,博客数据 type,评论数据 type。
比如,商品 type。日化商品 type、电器商品 type、生鲜商品 type。
日化商品 type:product_id,product_name,product_desc,category_id,category_name
电器商品 type:product_id,product_name,product_desc,category_id,category_name,service_period
生鲜商品 type:product_id,product_name,product_desc,category_id,category_name,eat_period
每个商品 type 中可以包括多个 Document。
{
"product_id": "2",
"product_name": "小米电视",
"product_desc": "4k高清",
"category_id": "3",
"category_name": "电器",
"service_period": "1年"
},{
"product_id": "3",
"product_name": "小米空调",
"product_desc": "互联网空调",
"category_id": "3",
"category_name": "电器",
"service_period": "1年"
}
分片(Shard)
单台机器无法存储大量数据,es 可以将一个索引中的数据切分为多个 shard,分布在多台服务器上存储。有了 shard 就可以横向扩展,存储更多数据,让搜索和分析等操作分布到多台服务器上去执行,提升吞吐量和性能。每个 shard 都是一个 lucene index。分片的好处是:允许水平切分/扩展集群容量;可在多个分片上进行分布式的、并行的操作,提高系统的性能和吞吐量。
副本(replica)
任何一个服务器随时可能故障或宕机,此时 shard 可能就会丢失,因此可以为每个 shard 创建多个 replica 副本。replica 可以在 shard 故障时提供备用服务,保证数据不丢失,多个 replica 还可以提升搜索操作的吞吐量和性能。primary shard(建立索引时一次设置,不能修改,默认 5 个),replica shard(随时修改数量,默认1个),默认每个索引 10 个 shard,5 个 primary shard,5 个 replica shard,最小的高可用配置,是 2 台服务器。
副本主要解决单点问题,提高可用性和容错性: 某个节点失败时服务不受影响, 可以从副本中恢复;提高查询效率和查询时的吞吐量: 搜索可以在所有的副本上并行执行,提高了服务的并发量。主分片和副本分片不能存储在同一个节点中,因为这样做无法保证高可用。
数据源(river)
从其他存储方式 (如数据库) 中同步数据到ES的方法, 它是以插件方式存在的一个 ES 服务, 通过读取 river 中的数据并把它索引到 ES 中。官方的 river 有 CouchDB、RabbitMQ 等。
映射(mapping)
类似于关系数据库中的 Table 结构,每个 index 都有一个映射: 定义索引中每个字段的类型。所有文档在写进索引之前都会先进行分析,如何对文本进行分词、哪些词条又会被过滤,这类行为叫做映射(mapping)。映射可以提前定义,也可以在第一次存储文档时自动识别,一般由用户自己定义规则。类似于 Solr 中 schema.xml 约束文件的作用。
字段(field)
字段可以是一个简单的值(如字符串、数字、日期), 也可以是一个数组,还可以嵌套一个对象或多个对象。字段类似于关系数据库中表数据的列,每个字段都对应一个类型。可以指定如何分析某一字段的值,即对 field 指定分词器。
分词(analysis)
analysis 是将文本转换为索引词的过程,分析的结果依赖于分词器。
比如: 公众号 业余草、公众号-业余草和业余草 公众号可能会被分析成相同的索引词 业余草和公众号,然后被存储到 ES 的索引库中。当通过业余草进行全文搜索的时候,搜索引擎根据匹配计算也能在索引库中查找到相关的内容。
索引词(term)
在 ES 中,索引词(term)是一个能够被索引的精确值,可以通过 term query 进行准确搜索。比如: 业余草、xttblog、公众号都是不同的索引词。
文本(text)
文本是一段普通的非结构化文字,通长文本会被分析成多个 Term,存储在 ES 的索引库中。文本字段一般需要先分析再存储,查询文本中的关键词时,需要根据搜索条件搜索出原文本。
数据恢复(recovery)
数据恢复又叫数据重新分布。当有节点加入或退出时,ES 会根据机器的负载对索引分片进行重新分配,挂掉的节点重新启动时也会进行数据恢复。Kibana 工具中通过 GET _cat/health?v,就可以看到集群所处的状态。
时间关系,Elasticsearch 相关的各种核心概念和知识我就先总结到这里。后面有机会,我再总结一些 Elasticsearch 的使用场景,网关,Lucene,服务发现,支持的脚本,插件等模块做一些总结。
以上这些希望能够帮助到每一个人,一起精进!
最后,欢迎关注我的个人微信公众号:业余草(yyucao)!可加作者微信号:xttblog2。备注:“1”,添加博主微信拉你进微信群。备注错误不会同意好友申请。再次感谢您的关注!后续有精彩内容会第一时间发给您!原创文章投稿请发送至532009913@qq.com邮箱。商务合作也可添加作者微信进行联系!
本文原文出处:业余草: » BAT 面试 Elasticsearch 必会知识点总结