我有一个 Hadoop FileSystem，它使用带有 JNI 的本地库。

显然，我必须独立于当前执行的作业来包含共享对象。但是我找不到告诉 Hadoop/Yarn 应该在哪里寻找共享对象的方法。

我使用以下解决方案部分成功，同时使用 yarn 启动 wordcount 示例。

• 在启动资源和节点管理器时设置export JAVA_LIBRARY_PATH=/path。

  这有助于资源和节点管理器，但实际的作业/应用程序失败了。在执行 wordcount 示例时打印 LD_LIBRARY_PATH 和 java.library.path 会产生以下结果。什么

  /logs/userlogs/application_x/container_x_001/stdout
  ...
  java.library.path : /tmp/hadoop-u/nm-local-dir/usercache/u/appcache/application_x/container_x_001:/usr/java/packages/lib/amd64:/usr/lib/x86_64-linux-gnu/jni:/lib/x86_64-linux-gnu:/usr/lib/x86_64-linux-gnu:/usr/lib/jni:/lib:/usr/lib
  LD_LIBRARY_PATH : /tmp/hadoop-u/nm-local-dir/usercache/u/appcache/application_x/container_x
  

• 设置 yarn.app.mapreduce.am.env="LD_LIBRARY_PATH=/path"

  这确实帮助了一些乔布斯。实际的 map/reduce 作业确实有效(至少我得到了正确的结果)，但调用失败并出现错误 no jni-xtreemfs in java.library.path。

  第一个应用程序/作业以某种方式工作并显示

   /logs/userlogs/application_x/container_x_001/stdout
  ...
  java.library.path : /tmp/hadoop-u/nm-local-dir/usercache/u/appcache/application_x/container_x_001:/path:/usr/java/packages/lib/amd64:/usr/lib/x86_64-linux-gnu/jni:/lib/x86_64-linux-gnu:/usr/lib/x86_64-linux-gnu:/usr/lib/jni:/lib:/usr/lib
  LD_LIBRARY_PATH : /tmp/hadoop-u/nm-local-dir/usercache/u/appcache/application_x/container_x_001:/path
  

  但是第二个和其余的确实失败了:

   /logs/userlogs/application_x/container_x_002/stdout
  ...
  java.library.path : /tmp/hadoop-u/nm-local-dir/usercache/u/appcache/application_x/container_x_002:/opt/hadoop-2.7.1/lib/native:/usr/java/packages/lib/amd64:/usr/lib/x86_64-linux-gnu/jni:/lib/x86_64-linux-gnu:/usr/lib/x86_64-linux-gnu:/usr/lib/jni:/lib:/usr/lib
  LD_LIBRARY_PATH : /tmp/hadoop-u/nm-local-dir/usercache/u/appcache/application_x/container_x_002/opt/hadoop-2.7.1/lib/native
  

  后面的stacktrace显示，错误发生在执行YarnChild时:

  2015-08-03 15:24:03,851 FATAL [main] org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.UnsatisfiedLinkError: no jni-xtreemfs in java.library.path
      at java.lang.ClassLoader.loadLibrary(ClassLoader.java:1886)
      at java.lang.Runtime.loadLibrary0(Runtime.java:849)
      at java.lang.System.loadLibrary(System.java:1088)
      at org.xtreemfs.common.libxtreemfs.jni.NativeHelper.loadLibrary(NativeHelper.java:54)
      at org.xtreemfs.common.libxtreemfs.jni.NativeClient.<clinit>(NativeClient.java:41)
      at org.xtreemfs.common.libxtreemfs.ClientFactory.createClient(ClientFactory.java:72)
      at org.xtreemfs.common.libxtreemfs.ClientFactory.createClient(ClientFactory.java:51)
      at org.xtreemfs.common.clients.hadoop.XtreemFSFileSystem.initialize(XtreemFSFileSystem.java:191)
      at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2653)
      at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:92)
      at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2687)
      at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2669)
      at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:371)
      at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:170)
      at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:163)
      at java.security.AccessController.doPrivileged(Native Method)
      at javax.security.auth.Subject.doAs(Subject.java:415)
      at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1657)
      at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158) 
  

• 通过命令行参数 -files 提供 libjni-xtreemfs.so

  这确实有效。我假设 .so 被复制到 tmp 目录。但这不是可行的解决方案，因为它要求用户在每次调用时都提供到 .so 的路径。

现在有人知道我如何全局设置 LD_LIBRARY_PATH 或 java.library.path 或者可以建议我可能错过了哪些配置选项吗？我将不胜感激!

最佳答案

简短回答:在您的 ma​​pred-site.xml 中放置以下内容

<property>
<name>mapred.child.java.opts</name>
<value>-Djava.library.path=$PATH_TO_NATIVE_LIBS</value>
</property>

解释: 作业/应用程序不是由 yarn 而是由 mapred(map/reduce)容器执行的，其配置由 mapred-site.xml 文件控制。在那里指定自定义 java 参数会导致实际工作人员使用正确的路径旋转

关于hadoop - 为 YARN/Hadoop2 作业设置 LD_LIBRARY_PATH 或 java.library.path，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/31789518/