草庐IT

Elasticsearch数据类型--object

打分几楼MOTO 2024-03-06 原文

概念介绍 

  • es中的object类型可理解为field包含field即field的分层结构。
  • 例如下面的index,在第一个层次包含了[region,manager]字段,manager内部又包含了[age,name],name本身又是一个object,包含了[first,last]。
    • 这里需要注意的是,name使用了dynamic、enabled、properties、type属性。
    • 其中,dyanmic表示此object是否可动态添加字段,当然也可以给当前索引整体设置dyanmic的值;
    • enabled表示是否此object可被索引,以作为后续检索使用;
    • properties定义了内部下一层的fields;
    • 这里需要关注的是type,type定义了此字段的数据类型,为object。manager没有使用type,是因为在这种情况下,object是默认值。
  • 如果是field的分层结构及上面的manager不必显示的指明类型为object,但是如果类型指明为其他类型,则报错
  • 这里要注意,manager作为外层的object,它的enabled属性不能设置为false,否则对于其内部的name  object,即使其enabled设置为true,也不能被query检索到。

#manager没有显示的指明类型为object

PUT test_object
{"mappings": {
  "properties": {
    "region":{
      "type": "keyword"
    },
    "manager":{
      "dynamic":true,
      "enabled":true,
      "properties": {
        "age":{
          "type":"integer"
        },
        "name":{
          "dynamic":false,
          "enabled":true,
          "type":"object",
          "properties":{
            "first":{
              "type":"keyword"
            },
            "last":{
              "type":"keyword"
            }
          }
        }
      }
    }
  }
}} 

  •  es的底层是lucene,lucene是不识别object对象的,因此,在内部,object对象数据,是按照分层平展开来的

 {
  region,
  manager.age,
  manager.name.first,
  manager,name,last
}

  •  这样带来一个问题:作为一个整体存在的object,不能被作为整体单独检索

 POST test_object/_doc
{
  "region" : "region1",
  "manager" : [ 
    {
      "age":23,
      "name":[
        {
          "first" : "John",
          "last" :  "Smith"
        }
      ]
    },
    {
      "age":23,
      "name":[
        {
          "first" : "Alice",
          "last" :  "White"
        }
      ]
    }
  ]
}

//结构

{
  "region":"region1"
  "manager.age":[23,23]
  "manager.name.first":["John","Alice"]
  "manager.name.last":["Smith","White"]
}

  • 如果我们要检索一个document,它需要满足这样的条件:first name = Alice ,并且last name = Smith:

//结构

{
  "region":"region1"
  "manager.age":[23,23]
  "manager.name.first":["John","Alice"]
  "manager.name.last":["Smith","White"]
}

GET test_object/_search
{
  "query": {
    "bool": {
      "must": [
        { "match": { "manager.name.first": "Alice" }},
        { "match": { "manager.name.last":  "Smith" }}
      ]
    }
  }
}

  • 从我们上面的数据来看,Alice与White为一个name object,John与Smith为一个name object。正常的话,是不能检索出来的,但是上面这个query却查询出了结果。原因就在于,在es(lucene)内部,这个数据是按照类似上述的方式展开存储的

 解决这个问题,就需要用到nested数据类型

 dyanmic作用介绍

  • manager的dyanmic设为true
  • name的设为true

PUT test_object
{"mappings": {
  "properties": {
    "region":{
      "type": "keyword"
    },
    "manager":{
      "dynamic":true,
      "enabled":true,
      "properties": {
        "age":{
          "type":"integer"
        },
        "name":{
          "dynamic":true,
          "enabled":true,
          "type":"object",
          "properties":{
            "first":{
              "type":"keyword"
            },
            "last":{
              "type":"keyword"
            }
          }
        }
      }
    }
  }
}}

//新增mapping中不存在的字段

POST test_object/_doc/1
{
  "region" : "region1",
  "manager" : [ 
    {
      "age":23,
      "name":[
        {
          "first" : "John",
          "last" :  "Smith",
          "test_name":"test_name"
        }
      ],
      "test_manager":"test_manager"
    },
    {
      "age":23,
      "name":[
        {
          "first" : "Alice",
          "last" :  "White"
        }
      ]
    }
  ]
}

//查看mapping文件,为新添加的字段设置了mapping映射(一般情况下不建议开启)

{
  "test_object" : {
    "mappings" : {
      "properties" : {
        "manager" : {
          "dynamic" : "true",
          "properties" : {
            "age" : {
              "type" : "integer"
            },
            "name" : {
              "dynamic" : "true",
              "properties" : {
                "first" : {
                  "type" : "keyword"
                },
                "last" : {
                  "type" : "keyword"
                },
                "test_name" : {
                  "type" : "text",
                  "fields" : {
                    "keyword" : {
                      "type" : "keyword",
                      "ignore_above" : 256
                    }
                  }
                }
              }
            },
            "test_manager" : {
              "type" : "text",
              "fields" : {
                "keyword" : {
                  "type" : "keyword",
                  "ignore_above" : 256
                }
              }
            }
          }
        },
        "region" : {
          "type" : "keyword"
        }
      }
    }
  }
}

//manager和name的dyanmic设为strict

PUT test_object
{"mappings": {
  "properties": {
    "region":{
      "type": "keyword"
    },
    "manager":{
      "dynamic":"strict",
      "enabled":true,
      "properties": {
        "age":{
          "type":"integer"
        },
        "name":{
          "dynamic":"strict",
          "enabled":true,
          "type":"object",
          "properties":{
            "first":{
              "type":"keyword"
            },
            "last":{
              "type":"keyword"
            }
          }
        }
      }
    }
  }
}}

//再次添加上述文档,错误提示

{
  "error" : {
    "root_cause" : [
      {
        "type" : "strict_dynamic_mapping_exception",
        "reason" : "mapping set to strict, dynamic introduction of [test_name] within [manager.name] is not allowed"
      }
    ],
    "type" : "strict_dynamic_mapping_exception",
    "reason" : "mapping set to strict, dynamic introduction of [test_name] within [manager.name] is not allowed"
  },
  "status" : 400
}

//也可以整体设置

PUT /test_object/_mapping
{
  "dynamic":"strict"
}

有关Elasticsearch数据类型--object的更多相关文章

  1. ruby - 为什么我可以在 Ruby 中使用 Object#send 访问私有(private)/ protected 方法? - 2

    类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc

  2. ruby - 解析 RDFa、微数据等的最佳方式是什么,使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2

    我主要使用Ruby来执行此操作,但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式,例如使用这个yaml文件,它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i

  3. ruby - 主要 :Object when running build from sublime 的未定义方法 `require_relative' - 2

    我已经从我的命令行中获得了一切,所以我可以运行rubymyfile并且它可以正常工作。但是当我尝试从sublime中运行它时,我得到了undefinedmethod`require_relative'formain:Object有人知道我的sublime设置中缺少什么吗?我正在使用OSX并安装了rvm。 最佳答案 或者,您可以只使用“require”,它应该可以正常工作。我认为“require_relative”仅适用于ruby​​1.9+ 关于ruby-主要:Objectwhenrun

  4. ruby - Infinity 和 NaN 的类型是什么? - 2

    我可以得到Infinity和NaNn=9.0/0#=>Infinityn.class#=>Floatm=0/0.0#=>NaNm.class#=>Float但是当我想直接访问Infinity或NaN时:Infinity#=>uninitializedconstantInfinity(NameError)NaN#=>uninitializedconstantNaN(NameError)什么是Infinity和NaN?它们是对象、关键字还是其他东西? 最佳答案 您看到打印为Infinity和NaN的只是Float类的两个特殊实例的字符串

  5. ruby - 检查方法参数的类型 - 2

    我不确定传递给方法的对象的类型是否正确。我可能会将一个字符串传递给一个只能处理整数的函数。某种运行时保证怎么样?我看不到比以下更好的选择:defsomeFixNumMangler(input)raise"wrongtype:integerrequired"unlessinput.class==FixNumother_stuffend有更好的选择吗? 最佳答案 使用Kernel#Integer在使用之前转换输入的方法。当无法以任何合理的方式将输入转换为整数时,它将引发ArgumentError。defmy_method(number)

  6. ruby-on-rails - 如果 Object::try 被发送到一个 nil 对象,为什么它会起作用? - 2

    如果您尝试在Ruby中的nil对象上调用方法,则会出现NoMethodError异常并显示消息:"undefinedmethod‘...’fornil:NilClass"然而,有一个tryRails中的方法,如果它被发送到一个nil对象,它只返回nil:require'rubygems'require'active_support/all'nil.try(:nonexisting_method)#noNoMethodErrorexceptionanymore那么try如何在内部工作以防止该异常? 最佳答案 像Ruby中的所有其他对象

  7. ruby - Ruby 有 `Pair` 数据类型吗? - 2

    有时我需要处理键/值数据。我不喜欢使用数组,因为它们在大小上没有限制(很容易不小心添加超过2个项目,而且您最终需要稍后验证大小)。此外,0和1的索引变成了魔数(MagicNumber),并且在传达含义方面做得很差(“当我说0时,我的意思是head...”)。散列也不合适,因为可能会不小心添加额外的条目。我写了下面的类来解决这个问题:classPairattr_accessor:head,:taildefinitialize(h,t)@head,@tail=h,tendend它工作得很好并且解决了问题,但我很想知道:Ruby标准库是否已经带有这样一个类? 最佳

  8. ruby - 查找字符串中的内容类型(数字、日期、时间、字符串等) - 2

    我正在尝试解析一个CSV文件并使用SQL命令自动为其创建一个表。CSV中的第一行给出了列标题。但我需要推断每个列的类型。Ruby中是否有任何函数可以找到每个字段中内容的类型。例如,CSV行:"12012","Test","1233.22","12:21:22","10/10/2009"应该产生像这样的类型['integer','string','float','time','date']谢谢! 最佳答案 require'time'defto_something(str)if(num=Integer(str)rescueFloat(s

  9. ruby-on-rails - 在 Rails 开发环境中为 .ogv 文件设置 Mime 类型 - 2

    我正在玩HTML5视频并且在ERB中有以下片段:mp4视频从在我的开发环境中运行的服务器很好地流式传输到chrome。然而firefox显示带有海报图像的视频播放器,但带有一个大X。问题似乎是mongrel不确定ogv扩展的mime类型,并且只返回text/plain,如curl所示:$curl-Ihttp://0.0.0.0:3000/pr6.ogvHTTP/1.1200OKConnection:closeDate:Mon,19Apr201012:33:50GMTLast-Modified:Sun,18Apr201012:46:07GMTContent-Type:text/plain

  10. ruby - 我如何添加二进制数据来遏制 POST - 2

    我正在尝试使用Curbgem执行以下POST以解析云curl-XPOST\-H"X-Parse-Application-Id:PARSE_APP_ID"\-H"X-Parse-REST-API-Key:PARSE_API_KEY"\-H"Content-Type:image/jpeg"\--data-binary'@myPicture.jpg'\https://api.parse.com/1/files/pic.jpg用这个:curl=Curl::Easy.new("https://api.parse.com/1/files/lion.jpg")curl.multipart_form_

随机推荐