当前位置 博文首页 > OBJECT but found [VALUE_NULL]_闫玉林的博客:elasticsearch批

    OBJECT but found [VALUE_NULL]_闫玉林的博客:elasticsearch批

    作者:[db:作者] 时间:2021-08-17 18:54

    问题

    • 在java里使用elasticsearch的java api里的bulk方法提交删除时,报错
    更新索引失败:{"error":{"root_cause":[{"type":"illegal_argument_exception","reason":"Malformed action/metadata line [2], expected START_OBJECT but found [VALUE_NULL]"}],"type":"illegal_argument_exception","reason":"Malformed action/metadata line [2], expected START_OBJECT but found [VALUE_NULL]"},"status":400}
    org.frameworkset.elasticsearch.ElasticSearchException: {"error":{"root_cause":[{"type":"illegal_argument_exception","reason":"Malformed action/metadata line [2], expected START_OBJECT but found [VALUE_NULL]"}],"type":"illegal_argument_exception","reason":"Malformed action/metadata line [2], expected START_OBJECT but found [VALUE_NULL]"},"status":400}
    

    解决

    报错原因

    • 把报错信息翻译下,很快就能找到报错原因:删除时拼接的需要提交的数据格式不对。
    • 如果翻译后不清楚,可以百度,elasticsearch近几年在国内应用已经非常广泛了,中文的文档和博客也很多。即使中文的找不到,国外也有很多。

    Bulk API

    • 那么格式怎么拼接才是对的呢,下面讲下elasticsearch的Bulk API。
    • Bulk API使在单个API调用中执行许多 索引/删除 操作成为可能。 这样可以大大提高索引速度。如果是使用rest ful 接口,只需要一次http请求,可以执行很多次的索引/删除,减少网络开销,提供索引速度。
    • bulk方法,支持index, create, delete 和 update
    • index和create都是新增索引,需要在下一行加上json格式的source。不同之处在于,如果已经存在具有相同索引和类型的文档,则create将失败,而index将添加或替换文档。建议使用index
    • update方法,更新文档,也需要在下一行使用json格式的数据,不过只需要指定部分doc,upsert和脚本及其选项。
    • delete方法,与之前的3个不同,它不需要换行再加一个json格式数据

    处理

    • 拼接delete语句时,只需要一行就足够了,不需要多拼一行“\n”.
    • 我的报错代码如下
    /**
         * 批量创建/更新索引
         * @param bulkCommitVOList
         * @return
         */
        public static Object bulkIndex(List<BulkCommitVO> bulkCommitVOList){
            //创建es客户端
            ClientInterface clientUtil = ElasticSearchHelper.getRestClientUtil();
            if(bulkCommitVOList.size()>0 && clientUtil.existIndice(bulkCommitVOList.get(0).getIndexName())){
                StringBuffer requestStr = new StringBuffer();
                for(int i=0;i<bulkCommitVOList.size();i++){
                    requestStr.append("{ \""+bulkCommitVOList.get(i).getAction()+"\" : { \"_index\" : \""
                            +bulkCommitVOList.get(i).getIndexName()+"\", \"_type\" : \""+bulkCommitVOList.get(i).getTypeName()+"\", \"_id\" : \""
                            +bulkCommitVOList.get(i).getId()+"\" } }\n");
                    //当时少加了这个判断,使delete语句后多了一行空行,导致报错
                    if(!bulkCommitVOList.get(i).getAction().equals("delete")){
                        requestStr.append(bulkCommitVOList.get(i).getInfo()).append("\n");
                    }
                }
                //此处加了打印,可以看到报错原因是delete后多了一行空行
                if(bulkCommitVOList.get(0).getAction().contains("delete")){
                    System.out.println("requestStr=\n"+requestStr.toString());
                }
                String bulkStr = clientUtil.executeHttp("/_bulk",requestStr.toString(),"post");
                esLog.info(bulkStr);
                return new ResultVO(bulkStr);
            }
            return new ResultVO();
        }
    
    cs