我有一个要求，我必须将 HDFS 文件(包括 TXT、PDF、DOCX 和其他丰富的文档)索引到 Solr。

目前，我正在使用 LucidWorks 连接器的 DirectoryIngestMapper 来实现相同的目的。 https://github.com/lucidworks/hadoop-solr

但我不能使用它，因为它有一定的局限性(主要是你不能指定要考虑的文件类型)。

所以现在我正在研究使用 MapReduceIndexerTool 的可能性。但它没有很多初学者(我的意思是绝对基础!)级别的示例。

有人可以发布一些示例链接以开始使用 MapReduceIndexerTool 吗？有没有其他更好或更简单的方法来索引 HDFS 中的文件？

最佳答案

在 Cloudera 上，我认为您有以下选择:

• MapReduceIndexerTool
• CrunchIndexerTool
• 自定义 spark 或 map reduce 任务，例如使用 spark-solr

这里有一个关于 MapReduceIndexerTool 的快速指南:

使用 MapReduceIndexerTool 将 csv 索引到 SolR

本指南向您展示如何使用 MapReduceIndexerTool 将 .csv 文件索引/上传到 SolR。 此过程将从 HDFS 读取 csv 并直接写入 HDFS 中的索引。

另见 https://www.cloudera.com/documentation/enterprise/latest/topics/search_mapreduceindexertool.html .

假设您有:

• 有效的 cloudera 安装(参见 THIS_IS_YOUR_CLOUDERA_HOST，如果使用 Docker Quickstart，它应该是 quickstart.cloudera)
• 存储在 HDFS 中的 csv 文件(参见 THIS_IS_YOUR_INPUT_CSV_FILE，如 /your-hdfs-dir/your-csv.csv)
• 已配置预期字段的有效目标 SolR 集合(参见 THIS_IS_YOUR_DESTINATION_COLLECTION)
  • 输出目录将是 SolR 配置的 instanceDir(参见 THIS_IS_YOUR_CORE_INSTANCEDIR)并且应该是 HDFS 路径

对于此示例，我们将处理一个包含 uid、firstName 和 lastName 列的 TAB 分隔文件。第一行包含标题。 Morphlines 配置文件将跳过第一行，因此实际的列名无关紧要，列应按此顺序排列。 在 SolR 上，我们应该用类似的东西配置字段:

<field name="_version_" type="long" indexed="true" stored="true" />
<field name="uid" type="string" indexed="true" stored="true" required="true" />
<field name="firstName" type="text_general" indexed="true" stored="true" />
<field name="lastName" type="text_general" indexed="true" stored="true" />
<field name="text" type="text_general" indexed="true" multiValued="true" />

然后您应该使用以下代码创建一个 Morphlines 配置文件 (csv-to-solr-morphline.conf):

# Specify server locations in a SOLR_LOCATOR variable; used later in
# variable substitutions:
SOLR_LOCATOR : {
  # Name of solr collection
  collection : THIS_IS_YOUR_DESTINATION_COLLECTION

  # ZooKeeper ensemble
  zkHost : "THIS_IS_YOUR_CLOUDERA_HOST:2181/solr"
}


# Specify an array of one or more morphlines, each of which defines an ETL
# transformation chain. A morphline consists of one or more potentially
# nested commands. A morphline is a way to consume records such as Flume events,
# HDFS files or blocks, turn them into a stream of records, and pipe the stream
# of records through a set of easily configurable transformations on the way to
# a target application such as Solr.
morphlines : [
  {
    id : morphline1
    importCommands : ["org.kitesdk.**"]

    commands : [
      {
        readCSV {
          separator : "\t"
          # This columns should map the one configured in SolR and are expected in this position inside CSV
          columns : [uid,lastName,firstName]
          ignoreFirstLine : true
          quoteChar : ""
          commentPrefix : ""
          trim : true
          charset : UTF-8
        }
      }

      # Consume the output record of the previous command and pipe another
      # record downstream.
      #
      # This command deletes record fields that are unknown to Solr
      # schema.xml.
      #
      # Recall that Solr throws an exception on any attempt to load a document
      # that contains a field that is not specified in schema.xml.
      {
        sanitizeUnknownSolrFields {
          # Location from which to fetch Solr schema
          solrLocator : ${SOLR_LOCATOR}
        }
      }

      # log the record at DEBUG level to SLF4J
      { logDebug { format : "output record: {}", args : ["@{}"] } }

      # load the record into a Solr server or MapReduce Reducer
      {
        loadSolr {
          solrLocator : ${SOLR_LOCATOR}
        }
      }

    ]
  }
]

要导入，请在集群内运行以下命令:

hadoop jar /usr/lib/solr/contrib/mr/search-mr-*-job.jar \
  org.apache.solr.hadoop.MapReduceIndexerTool \
  --output-dir hdfs://quickstart.cloudera/THIS_IS_YOUR_CORE_INSTANCEDIR/  \
  --morphline-file ./csv-to-solr-morphline.conf \
  --zk-host quickstart.cloudera:2181/solr \
  --solr-home-dir /THIS_IS_YOUR_CORE_INSTANCEDIR \
  --collection THIS_IS_YOUR_DESTINATION_COLLECTION \
  --go-live \
  hdfs://THIS_IS_YOUR_CLOUDERA_HOST/THIS_IS_YOUR_INPUT_CSV_FILE

一些注意事项:

• 您可以使用 sudo -u hdfs 来运行上述命令，因为您不应该有写入 HDFS 输出目录的权限。
• 默认情况下，Cloudera QuickStart 具有非常小的内存和堆内存配置。 如果您收到内存不足异常或堆异常，我建议使用 Cloudera Manager->Yarn->Configurations 来增加它(http://THIS_IS_YOUR_CLOUDERA_HOST:7180/cmf/services/11/config#filterdisplayGroup=Resource+Management ) 我为 map 和 reduce 作业使用了 1 GB 的内存和 500MB 的堆。 还要考虑更改 yarn.app.mapreduce.am.command-opts、mapreduce.map.java.opts、mapreduce.map.memory.mb 和 mapreduce.map.memory.mb 在 /etc/hadoop/conf/map-red-sites.xml

其他资源:

• http://kitesdk.org/docs/1.1.0/morphlines/morphlines-reference-guide.html#readCSV
• https://github.com/kite-sdk/kite/blob/master/kite-morphlines/kite-morphlines-core/src/test/resources/test-morphlines/readCSV.conf
• https://www.cloudera.com/documentation/enterprise/latest/topics/search_flume_nrt_index_ref.html#csug_topic_7
• https://community.cloudera.com/t5/Cloudera-Search-Apache-SolrCloud/Solr-indexing-on-hive-table/td-p/46809/page/2

关于hadoop - MapReduceIndexerTool - 在 Solr 中索引 HDFS 文件的最佳方式？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/39377140/