草庐IT

DataImportHandler

全部标签

xml - 如何使用单个 solr 实例或 Solr 模板字段无法正常工作来索引和搜索同一数据源中的两个不同表

我想索引和搜索两个不同的实体。文件名:db-data-config.xml文件名:schema.xmlsinglekey按照以下链接:https://stackoverflow.com/questions/5636209/how-to-index-and-search-two-different-tables-which-are-in-same-datasource-using这个问题可以通过使用静态字段来解决(添加新字段-这里是'entity')。但是我看到添加第二个实体后,它甚至无法索引数据。如下图所示。它能够从sqlserver数据库获取10条记录,但索引0行,这意味着没有完成索

java - Solr 中的数据导入处理程序

我正在尝试MySQL数据库的数据导入处理程序。我在solrconfig.xml中添加了DIhandler,根据我的数据库方案创建了一个data-config.xml,还在schema.xml中添加了一个不同的字段。我正在连接MySQL数据库在我连接并运行dataimport?command=full-import之后,我得到了这个响应"00C:\solr\conf\data-config.xmlfull-importidle1102011-03-0515:01:04Indexingcompleted.Added/Updated:0documents.Deleted0documents.

mysql - DataImportHandler 未在 solr admin 中索引 mysql 表

我正在尝试使用DataImportHandler在solr中索引mysql表,但它似乎没有索引数据配置.xmlsolrconfig.xmldata-config.xml当我尝试在solradmin(http://localhost:8080/solr/dataimport?command=full-import)中建立索引时,我得到了这个响应019data-config.xmlfull-importidle1402014-01-1010:38:00Indexingcompleted.Added/Updated:0documents.Deleted0documents.2014-01-1

mysql - 无法使用数据库中的 SOLR DataImportHandler 获取任何行

为我第一次尝试使用SOLRDIH索引数据库数据设置一个简单的测试数据库。不幸的是,我每次都从完全导入中得到以下结果:015data-config.xmlfull-importidle0:0:2.18710002011-03-0621:30:07Indexingfailed.Rolledbackallchanges.2011-03-0621:30:07Thisresponseformatisexperimental.Itislikelytochangeinthefuture.我的solrconfig.xml定义了以下requestHandler:data-config.xml我的data

mysql - Solr 日期变量解析器不适用于 MySql

我使用Solr3.3版本作为DataImportHandler(DIH)与Oracle。它对我来说很好用。现在我正在尝试用Mysql做同样的事情。随着数据库的改变,我改变了data-config.xml中用于MySql的查询。查询具有在http中传递url的变量。同样的事情在带有变量解析器的Oracle中工作正常,但在MySql中却不行。查询是:SELECTDISTINCTdoc.document_id,doc.first_version_id,doc.acl_id,fol.folder_idFROMds_document_cdoc,ds_folderfolWHEREdoc.cabin

mysql - solr 增量导入 "fetches"但不导入 "process"

当我运行/solr/dataimport?command=full-import时,它会处理所有文档。但是,当我运行增量导入(/solr/dataimport?command=delta-import)时,它会正确识别更新的数据(返回“1”)但不处理任何数据(返回“0”)我的data-config.xml看起来像这样:(注意-我的concat有一个单独的原因)为什么完全导入处理而增量导入获取但不处理? 最佳答案 '{$dataimporter.delta.catID}',这里的catID应该是字段定义中name属性的值。我有同样的问

mysql - 当删除 mysq 查询限制时,来自 mysql 的 solr 数据导入终止

我有一个mysql数据库,一张表中有超过400,000,000条记录。当我设置限制时,Solr导入运行良好。我上次测试是10,000,000,大概5分钟就跑成功了。在Solr中拥有完整的数据集是必需的,当我删除限制时,solr报告它已失去与mysql的连接。我认为我遇到了配置错误或当前配置的限制。这是tomcat的catalina.out日志Causedby:java.lang.RuntimeException:org.apache.solr.handler.dataimport.DataImportHandlerException:Unabletoexecutequery:SELEC

mysql - Solr 和 MySQL,如何保持更新的索引,如果它很简单,是否还需要数据库?

我是Solr的初学者,所以请多多包涵。:)在我当前的项目中,我有一个非常简单的数据库-只有1个包含4个字段的表:id、name、subject、msg。据我了解,每次添加(或删除)新记录时,我都需要将该记录添加到索引中,基本上执行两个操作:将记录插入数据库并将其添加到索引中。这是标准程序,还是有办法指示Solr在某个时间间隔或每当有更新时自动重新索引数据库表?此外,由于表格非常简单,将此信息存储在数据库中是否有意义?为什么不将它保留在Solr索引中,考虑到我希望可以按名称、主题和消息搜索记录?我的设置是Java、Hibernate、MySQL和Solrj。

java - 如何修复 Java OutOfMemoryError : Java heap space from DataImportHandler?

我正在尝试将大型数据集(4100万条记录)导入到新的Solr索引中。我已经设置了核心,它可以工作,我插入了一些测试文档,它们可以工作。我已经设置了data-config.xml如下,然后我开始完全导入。大约12小时后!导入失败。文档大小可能会变得非常大,错误可能是由于文档(或字段)很大或由于进入DataImportHandler的数据量造成的?我怎样才能使这个令人沮丧的导入任务正常工作!?!我在下面包含了tomcat错误日志。如果有任何我遗漏的信息,请告诉我!日志:Jun1,20115:47:55PMorg.apache.solr.handler.dataimport.JdbcData