{
  "took" : 63,// 耗费的时间
  // 是否超时了，默认情况下不存在time_out,比如你的搜索耗时1分钟，它就等1分钟，但是不超时
  // 在发送搜索请求时可以指定超时时间
  // 比如你指定了10ms超时，它就会把这10ms内获得的数据返回给你
  "timed_out" : false,
  "_shards" : { // 你的搜索请求打到了几个shard上面去。
    // Primary Shard可以承接读、写流量。Replica Shard会承接读流量。
    // 因为我是默认配置，有五个primary shard。
    // 所以它的搜索请求会被打到5个分片上去，并且都成功了
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,// 跳过了0个
    "failed" : 0 // 失败了0个
  },
  "hits" : {//命中的情况
    "total" : 1000,// 命中率 1000个
    // _score 全文检索时使用，这个相关性得分越高，说明doc和检索的内容的越相关、越匹配
    // max_score就是最大的 _score
    "max_score" : null,
    // 默认查询前10条，直接返回每个doc的完整数据
    "hits" : [ {   
      "_index" : "bank",// 索引
      "_type" : "_doc",// type
      "_id" : "0",// id 
      "sort": [0],
      "_score" : null,// 相关性得分
      // _source里面存放的是doc的具体数据
      "_source" : 		{"account_number":0,
                       "balance":16623,
                       "firstname":"Bradshaw",
                       "lastname":"Mckenzie",
                       "age":29,
                       "gender":"F",
                       "address":"244 Columbus Place",
                       "employer":"Euron",
                       "email":"bradshawmckenzie@euron.com",
                       "city":"Hobucken",
                       "state":"CO"}
    		},
		 {
      "_index" : "bank",
      "_type" : "_doc",
      "_id" : "1",
      "sort": [1],
      "_score" : null,
      "_source" : {"account_number":1,
                   "balance":39225,
                   "firstname":"Amber",
                   "lastname":"Duke",
                   "age":32,
                   "gender":"M",
                   "address":"880 Holmes Lane",
                   "employer":"Pyrami",
                   "email":"amberduke@pyrami.com",
                   "city":"Brogan",
                   "state":"IL"}
    }, ...
    ]
  }
}

指定超时时间: GET /_search?timeout=10ms 在进行优化时，可以考虑使用timeout， 比如: 正常来说我们可以在10s内获取2000条数据，但是指定了timeout，发生超时后我们可以获取10ms中获取到的 100条数据。

3.2、什么是query dsl？

dsl 全程 domain specified language

不论是query string search 还是这小节的query specified language它们本质上都是在发送Resutful类型的网络请求。相对于 query string search 的将所有的请求参数都写在URI中，query dsl 一般长下面这样：

GET /yourIndex/yourType/_search
{
  // 很多请求参数
}

# _search是关键字，下文基本每个查询都会有它，不再赘述了哈
GET /your_index/your_type/_search
{
  "query": { "match_all": {} }
}

GET /yourIndex/yourType/_search
{
   "query": { 
     # match表示全文检索，所以白日梦会被分词成 白日、梦、白日梦
     # 也就是说当前的match会匹配出name中有“白日” 或者“梦” 或者“白日梦”的doc
     "match": {
       "name":"白日梦"
     } 
   }
}
# 实际上，match query底层会被转换成下面的格式进行检索
#
# {
#    "bool":{
#        "should":[
#         {"term":{"title":"白日"}},
#					{"term":{"title":"白日梦"}},
#         {"term":{"title":"梦"}}
#     ]
#  }
# }
#

GET /your_index/your_type/_search
{
   "query": { 
     "match": {
        "name":{
            "query":"bairi meng",
          	# and表示，只有同时出现bairi meng两个词的doc才会被命中
            # 如果不加and限制，则bairi和meng之间是或的关系，只要出现一个就行
            "operator":"and",  
        }
     }
    }
}
# 添加上operator 操作会被ES转换成下面的格式，将上面的should转换成must
#
# {
#    "bool":{
#        "must":[
#         {"term":{"title":"bairi"}},
#         {"term":{"title":"meng"}}
#     ]
#  }
# }

# 去长尾
GET /your_index/your_type/_search
{
   "query": { 
     "match": {
        "name":{
            "query":"欢迎关注白日梦！",
            "operator":"and",  
            # 上面的query可能被分词成： 欢迎、关注、白日梦、欢迎关注、关注白日梦这五个词。
            # 默认来说只要命中其中的一个词，那个doc就会被返回，所以有长尾现象。
            # 去长尾：控制至少命中3/4个词的doc才算是真正命中。
            "minimum_should_match":"75%" 
        }
     }
    }
}
# 添加上 minimum_should_match 操作会被ES转换成下面的格式 
#
# {
#    "bool":{
#        "should":[
#         {"term":{"title":"白日"}},
#         {"term":{"title":"梦"}}
#     ],
#       "minimum_should_match":3
#  }
# }
#  

GET /your_index/your_type/_search
{
   "query": { 
     "bool":{
     		"must":{
     			"match": {
       			 "name":{
       			 		# 默认情况下，所有字段的权重都是样的，都是1
            		"query":"关注",
        			}
     				}
     		 },
     		 "should":[
     		 		{
     		 		"match": {
       			 "name":{
            		"query":"白日梦",
            		# 将name字段的权重提升成3
            		"boost":3 
        			}
     				}
     		 		},
     		 		{
     		 		"match": {
       			 "name":{
            		"query":"公众号",
            		# 将name字段的权重提升成3
            		# 默认情况下，所有字段的权重都是样的，都是1
            		"boost":2  
        			}
     				}
     		 	}
     		]
      }
   }
}   

GET /your_index/your_type/_search
{ 
  "query": {
  	# 比如你的查询比较复杂，涉及到很多的子查询，那你可以考虑通过bool查询包裹这些子查询
    # 每一个子查询都会计算出这个doc针对于它这种查询得到的相关性得分。
    # 最终由bool查询将这些得分合并为一个最终的得分
    "bool": {
      # 必须匹配到XXX， 并且会得出相关性得分
      # address中必须包含mill 
      "must": [ {"match": { "address": "mill" } }, 
      ],
      # 在满足must的基础上，should条件不满足也可以，但是如果也匹配上了，相关性得分会增加
      # 如果没有must的话，should中的条件必须满足一个
      "should": [{ "match": { "address": "lane" } }],
      "must_not": [ # 一定不包含谁
        { "match": { "address": "mill" } },
      ]
		}
	}
}

# bool查询+去长尾
GET /your_index/your_type/_search
{ 
  "query": {
    "bool":{
      "should":[
        "match":{"name":"白日梦1"},
     		"match":{"name":"白日梦2"},
    		"match":{"name":"白日梦3"},
      ],
    	"minimum_should_match":3
    }
  }
}

GET /your_index/your_type/_search
{
   "query": { 
     # 这种用法不容忽略
     # 直接取下面多个query中得分最高的query当成最终得分
     "dis_max": {
        "queries":[
           {"match":{"name":"白日梦"}},
           {"match":{"content":"关注白日梦！"}}
        ]
     }
   }
}

GET /your_index/your_type/_search
{   
    # 基于 tie_breaker 优化dis_max
    # tie_breaker可以使dis_max考虑其它field的得分影响
    "query": { 
     # 直接取下面多个query中得分最高的query当成最终得分
     # 这也是best field策略
     "dis_max": { 
        "queries":[
           {"match":{"name":"关注"}},
           {"match":{"content":"白日梦"}}
        ],
        "tie_breaker":0.4
     }
    }
}   

GET /your_index/your_type/_search
{    
  # 查询多个，在下面指定的两个字段中检索含有 “this is a test“ 的doc
  "query": { 
    "multi_match" : {
      "query":    "this is a test", 
      "fields": [ "subject", "message" ] 
    }
  }
}

# 还是这个dis_max query，如下：
GET /your_index/your_type/_search
{   
    # 基于 tie_breaker 优化dis_max
    # tie_breaker可以使dis_max考虑其它field的得分影响
    "query": { 
     # 直接取下面多个query中得分最高的query当成最终得分
     # 这也是best field策略
     "dis_max": { 
        "queries":[
           {"match":{"name":"关注"}},
           {"match":{"content":"白日梦"}}
        ],
        "tie_breaker":0.4
     }
    }
} 

# 使用multi_match query简化写法如下：
GET /your_index/your_type/_search
{    
    "query": { 
       "multi_match":{
           "query":"关注 白日梦",
 					  # 指定检索的策略 best_fields（因为dis_max就是best field策略）
           "type":"best_fields",
  					# content^2 表示增加权重，相当于：boost2
           "fields":["name","content^2"],
					 "tie_breaker":0.4,
					 "minimum_should_match":3
       }
    }
}

GET /your_index/your_type/_search
{    
    # most_fields策略、优先返回命中更多关键词的doc
    # 如下从title、name、content中搜索包含“赐我白日梦”的doc
    "query": { 
       "multi_match":{
           "query":"赐我白日梦",
 					  # 指定检索的策略most_fields
           "type":"most_fields",
           "fields":["title","name","content"]
       }
    }
}

GET /your_index/your_type/_search
{    
    "query": { 
       "multi_match":{
           "query":"golang java",
         		# cross_fields 要求golang：必须在title或者在content中出现
            # cross_fields 要求java：必须在title或者在content中出现
           "type":"cross_fields",
           "fields":["title","content"]
       }
    }
}

GET /your_index/your_type/_search
{   
  "query": { 
    "match_none": {}
  }
}

# 使用trem指定单个字段进行精确匹配
GET /your_index/your_type/_search
{   
  # 精确匹配name字段为白日梦的doc
  "query": { 
  	"constant_score":{
  			"filter":{
					"term": {
  					"name":"白日梦"
				 } 
			}
		}
	} 
}

# 使用terms指定在多个字段中进行精确匹配
# 下面的例子相当于SQL： where name in ('tom','jerry')
GET /your_index/your_type/_search
{
   # 精确匹配
  "query": { 
  	"constant_score":{
  			"filter":{
					"terms": {
  					"想搜索的字段名":[
  								"tom",
  						    "jerry"
  					]
				 } 
			}
		}
	} 
} 

GET /your_index/your_type/_search
{   
  # 短语检索 
  # 顺序的保证是通过 term position来保证的
  # 精准度很高，但是召回率低
  "query": {  
  				# 只有name字段中包含了完整的 白日梦 这个doc才算命中
  			  # 不能是单个 ”白日“，也不能是单个的 “梦”，也不能是“白日xxx梦”
  			  # 要求 短语相连，且顺序也不能变
         "match_phrase": { 
             "name": "白日梦"
					}
		}
}

GET /your_index/your_type/_search
{    
   # 短语检索
   "query": {
    	   # 指定了slop就不再要求搜索term之间必须相邻，而是可以最多间隔slop距离。
         # 在指定了slop参数的情况下，离关键词越近，移动的次数越少， relevance score 越高。
         # match_phrase +  slop 和 proximity match 近似匹配作用类似。
         # 平衡精准度和召回率。
         "match_phrase": { 
             "address": "mill lane",
 						 # 指定搜索文本中的几个term经过几次移动后可以匹配到一个doc
             "slop":2
          } 
  }
}

GET /your_index/your_type/_search
{    
   # 混合使用match和match_phrase 平衡精准度和召回率
   "query": { 
      "bool": {  
      	"must":  {
          	# 全文检索虽然可以匹配到大量的文档，但是它不能控制词条之间的距离
          	# 可能i love world在doc1中距离很近，但是它却被ES排在结果集的后面
          	# 它的性能比match_phrase和proximity高
         		"match": {
            	"title": "i love world" 
          	} 
     		 },
      	"should": {
            # 因为slop有个特性：词条之间间隔的越近，移动的次数越少 最终的得分就越高
          	# 于是可以借助match_phrase+slop感知term position的功能
          	# 实现为距离相近的doc贡献分数，让它们靠前排列
          	"match_phrase":{
              	"title":{
                  	"query":"i love world",
                  	"slop":15
              	}
          	}
      	}
  	}
}

GET /your_index/your_type/_search
{    
   # 重打分机制
   "query": { 
       "match":{
           "title":{
               "query":"i love world",
               "minimum_should_match":"50%"
           }
       },
       # 对全文检索的结果进行重新打分
       "rescore":{
       		 # 对全文检索的前50条进行重新打分
           "window_size":50，  
           "query": { 
               # 关键字
               "rescore_query":{ 
               		  # match_phrase + slop 感知 term persition，贡献分数
                    "match_phrase":{ 
                       "title":{
                           "query":"i love world",
                           "slop":50
                     }
                }
          }
       } 
   }
}

GET /your_index/your_type/_search
{    
  # 前缀匹配，相对于全文检索，前缀匹配是不会对前缀进行分词的。
  # 而且每次匹配都会扫描整个倒排索引，直到扫描完一遍才会停下来
  # 前缀搜索不会计算相关性得分所有的doc的得分都是1
  # 前缀越短能匹配到的doc就越多，性能越不好
  "query": { 
    "prefix" : { "user" : "白日梦" }
  }
}

GET /your_index/your_type/_search
{    
  # 前缀搜索 + 添加权重
  "query": { 
    "prefix" : { 
  		"name" :  { 
  			"value" : "白日梦", 
  			"boost" : 2.0 
			}
		}
  }
}

GET /your_index/your_type/_search
{    
  # 通配符搜索
  "query": {
        "wildcard" : { 
  					"title" : "白日梦的*笔记"
				}
   }
}


GET /your_index/your_type/_search
{    
  # 通配符搜索
  "query": {
        "wildcard" : {
  				"title" : { 
  					"value" : "白日梦的*笔记", 
  					"boost" : 2.0 
					} 
			}
   }
}

GET /your_index/your_type/_search
{    
   # 正则搜索  
   "query": {
        "regexp":{
            "name.first":{
                "value":"s.*y",
                "boost":1.2
            }
        }
    }
}

GET /your_index/your_type/_search
{    
   "query": {
      # 前缀匹配（关键字）
      "match_phrase_prefix" : {
        "message" : {
     						# 比如你搜索关注白日梦，经过分词器处理后会得到最后一个词是：“白日梦”
     					  # 然后他会拿着白日梦再发起一次搜索，于是你就可能搜到下面的内容：
                # “关注白日梦的微信公众号”
     						# ”关注白日梦的圈子“
                "query" : "关注白日梦",
                # 指定前缀最多匹配多少个term，超过这个数量就不在倒排索引中检索了，提升性能
                "max_expansions" : 10,
                # 提高召回率，使用slop调整term persition，贡献得分
                "slop":10
            }
       } 
  }
}

# Case1
GET /your_index/your_type/_search
{    
  "query": {
        "function_score": {
          	# 正常写一个query
            "query": { 
          		"match": {
          			"query":"es"
        	    } 
  					},
  				  # 自定义增强策略
  					“field_value_factor”:{
  						# 对检索出的doc的最终得分都要multiply上star字段的值
              "field":"star",
            }
            "boost_mode":"multiply",
						# 限制最大的得分不能超过maxboost指定的值。
						"maxboost":3
        }
    }
}

# Case2
GET /your_index/your_type/_search
{    
  "query": {
        "function_score": {
            "query": { 
          		"match": {
          			"query":"es"
        	    } 
  					},
  					“field_value_factor”:{
  						# 对检索出的doc的最终得分都要multiply上star字段的值
  					 	# 这时有个问题，假如说star字段的值为0，那最终结果岂不是都为0？
              "field":"star",
              # 所以考虑使用modifier优化一下
              # newScore = oldScore + log(1+star)
              "modifier":"log1p",
            }
            "boost_mode":"multiply",
						"maxboost":3
        }
    }
}

# Case3
GET /your_index/your_type/_search
{    
  "query": {
        "function_score": {
            "query": { 
          		"match": {
          			"query":"es"
        	    } 
  					},
  					“field_value_factor”:{
              "field":"star",
              "modifier":"log1p",
              # 使用factor将star字段对权重的影响降低成1/10
              # newScore = oldScore + log( 1 + star*factor )
  						"factor":0.1
            }
            "boost_mode":"multiply",
						"maxboost":3
        }
    }
}

# 补充boost_mode有哪些中选项
multiply、sum、min、max、replace

GET /your_index/your_type/_search
{    
   # Fuzzy Query 模糊查询会提供容错的处理
   "query": {
        "fuzzy" : {
            "user" : {
                "value": "白日梦",
                "boost": 1.0,
                # 最大的纠错次数，一般设为之AUTO
                "fuzziness": 2,
                # 不会被“模糊化”的初始字符数。这有助于减少必须检查的术语的数量。默认值为0。
                "prefix_length": 0,
                # 模糊查询将扩展到的最大项数。默认值为50
                "max_expansions": 100 
                # 是否支持模糊变换(ab→ba)。默认的是false
                transpositions:true 
            }
        }
    }
}

GET /your_index/your_type/_search
{ 
  "query": {
  	# 比如你的查询比较复杂，涉及到很多的子查询，那你可以考虑通过bool查询包裹这些子查询
    # 每一个子查询都会计算出这个doc针对于它这种查询得到的相关性得分。
    # 最终由bool查询将这些得分合并为一个最终的得分
    "bool": {
      # 必须匹配到XXX， 并且会得出相关性得分
      # address中必须包含mill 
      "must": [ {
        	"match": {
          "address": "mill" 
           } 
        }, 
      ],
      # 在满足must的基础上，should条件不满足也可以，但是如果也匹配上了，相关性得分会增加
      # 如果没有must的话，should中的条件必须满足一个
      "should": [
        { "match": { "address": "lane" } }
      ],
      "must_not": [ # 一定不包含谁
        { "match": { "address": "mill" } },
      ],
			# filter中的表达式仅仅对数据进行过滤,但是不会影响搜索结果的相关度得分。
			# 所以你如果不希望添加的过滤条件影响最终的doc排序的话，可以将条件放在filter中。
			# query是会计算doc的相关度得分的，得分越高，越靠前。
      "filter": { 
        "range": { # 按照范围过滤
          "balance": { # 指定过滤的字段
            "gte": 20000s # 高于20000
            "lte": 30000  # 低于30000
          }
        }
      }
    }
  }

# ES默认的排序规则是按照 _score 字段降序排序的

# 但是ES允许你像下面这样定制排序规则
GET /your_index/your_type/_search
{
   "query": { 
     "match": {"name":"白日 梦"}
   },
  # 指定排序条件
  "sort":[
    # 指定排序字段为 star
    {"star":"desc"}
  ]
}   

GET /your_index/your_type/_search
{
   "query": { "match_all": {} },
 	  "from": 0, # 0：是第一个doc
    "size": 10
}   

# 还可以像这样发起分页请求
GET /your_index/your_type/_search?size=10
GET /your_index/your_type/_search?size=10&from=20

# deep paging 问题
比如系统中只有3个primary shard，1个replica shard，共有6W条数据。
用户希望查询第1000页，每页10条数据。也就是1000*10 = 10001 ～ 10010 条数据
假如说用户将这个分页请求会打向ES集群中的replica shard，接下来会发生什么？
回答：
接收到请求的shard 我们称它为coordinate node（协调节点），它会将请求转发到三个primary，
每个primary shard都会取出它们的第1～10010条数据id，返回给coordinate node，
也就是说coordinate node总共会接收到30030个id，然后coordinate node再拿着这些id发起mget请求获取数据
对获取到的结果30030排序处理，最后取相关性得分最高的10条返回给用户。

所以当分页过深的时候是非常消耗内存、网络带宽、CPU的。

# 假设白日梦对应的json长下面这样：
{
  "name":"白日梦",
  “address”:"beijing",
  "gender":"man"
}

# 然后我只想检索出name字段，其他的不想知道，可以像下面这样通过_sorce限制
GET /your_index/your_type/_search
{
   "query": { "match_all": {} },
   # ES会返回全文JSON，通过_source可以指定返回的字段
 	 "_source": ["name"],
}  

GET /your_index/your_type/_search
{
   "query": { 
     # 可以使用bool封装包括多个查询条件
     “bool":{
      	"must":{"match": {"name":"白日 梦"}}
				# 指定按照star的范围进行filter
 			  "filter":{
          	# range既能放在query中，也能放在filter中。
            # 如果放在filter中，range过滤的动作不会影响最终的得分。
            # 但是放在query中，range动作会影响最终的得分。
          	"range":{
							“star”:{"gt":100}
        		 }
         }
  	  }
   }
}  

# 拓展：
# 关于range还可以像这样过滤时间
"range":{
  # 指定birthday范围为最近一个月的doc
  "birthday":{
    "gt":"2021-01-20||-30d"
  }
}

# 或者使用now语法
  # 指定birthday范围为最近一个月的doc
  "birthday":{
    "gt":"now-30d"
  }
}

GET /your_index/your_type/_search
{
   "query": { 
    	"match": {"name":"白日 梦"}	
  	},
  	"highlight":{ # 高亮显示
   		 "fields":{  # 指定高亮的字段为 firstname
     		 "firstname":{}
  	 }
} 

# 最终得到的返回值类似下面这样
  ... 
  "hits" : {
    "total" : 1000,# 1000个
    "max_score" : null,
    "hits" : [ {   
      "_index" : "bank",
      "_type" : "_doc",
      "_id" : "0",
      "sort": [0],
      "_score" : 0.777777,
      "_source" : 		{"account_number":0,
                       "balance":16623,
                       "firstname":"我是白",
                       "lastname":"日梦",
                       "state":"CO"}
    	}],
			"highlight":{
   		 "firstname":[
         "我是<em>白</em>"
       ]
 }
 ...