草庐IT

hadoop - 如何在 hadoop mapreduce 中进行 lzo 压缩？

coder 2024-01-07 原文

我想使用 lzo 来压缩 map 输出，但我无法运行它!我使用的Hadoop版本是0.20.2。我设置:

conf.set("mapred.compress.map.output", "true") 
conf.set("mapred.map.output.compression.codec",
"org.apache.hadoop.io.compress.LzoCodec");

当我在 Hadoop 中运行 jar 文件时，它显示无法写入映射输出的异常。

我必须安装 lzo 吗？ 我必须做什么才能使用 lzo？

最佳答案

LZO 的许可证 (GPL) 与 Hadoop (Apache) 的许可证不兼容，因此不能与其捆绑。需要在集群上单独安装LZO。

以下步骤是在Cloudera's Demo VM上测试的(CentOS 6.2, x64) 安装了完整的 CDH 4.2.0 和 CM 免费版，但它们应该可以在任何基于 Red Hat 的 Linux 上运行。

安装包括以下步骤:

  • 安装 LZO

    sudo yum install lzop

    sudo yum install lzo-devel

  • 安装 ANT

    sudo yum install ant ant-nodeps ant-junit java-devel

  • 下载源代码

    git clone https://github.com/twitter/hadoop-lzo.git

  • 编译Hadoop-LZO

    ant compile-native tar

    有关进一步的说明和故障排除，请参阅 https://github.com/twitter/hadoop-lzo

  • 将 Hapoop-LZO jar 复制到 Hadoop 库

    sudo cp build/hadoop-lzo*.jar/usr/lib/hadoop/lib/

  • 将 native 代码移动到 Hadoop native 库

    sudo mv build/hadoop-lzo-0.4.17-SNAPSHOT/lib/native/Linux-amd64-64//usr/lib/hadoop/lib/native/

    cp/usr/lib/hadoop/lib/native/Linux-amd64-64/libgplcompression.*/usr/lib/hadoop/lib/native/

    使用您克隆的版本更正版本号

  • 当使用真正的集群(而不是伪集群)时，您需要将它们同步到其余机器

    rsync/usr/lib/hadoop/lib/ 到所有主机。

    您可以先使用 -n 试运行

  • 登录 Cloudera Manager

  • 从服务中选择:mapreduce1->配置

  • 客户端->压缩

  • 添加到压缩编解码器:

    com.hadoop.compression.lzo.LzoCodec

    com.hadoop.compression.lzo.LzopCodec

  • 搜索“阀门”

  • 添加到 MapReduce 服务配置安全阀

    io.compression.codec.lzo.class=com.hadoop.compression.lzo.LzoCodec mapred.child.env="JAVA_LIBRARY_PATH=/usr/lib/hadoop/lib/native/Linux-amd64-64/"

  • 添加到 MapReduce 服务环境安全阀

    HADOOP_CLASSPATH=/usr/lib/hadoop/lib/*

就是这样。

您使用 TextInputFormat 的 MarReduce 作业应该可以与 .lzo 文件无缝协作。但是，如果您选择索引 LZO 文件以使它们可拆分(使用 com.hadoop.compression.lzo.DistributedLzoIndexer)，您会发现索引器写入了一个 .index 每个 .lzo 文件旁边的文件。这是一个问题，因为您的 TextInputFormat 会将这些解释为输入的一部分。在这种情况下，您需要更改 MR 作业以使用 LzoTextInputFormat。

对于 Hive，只要您不索引 LZO 文件，更改也是透明的。如果您开始编制索引(以利用更好的数据分布)，您将需要将输入格式更新为 LzoTextInputFormat。如果您使用分区，则可以按分区进行。

关于hadoop - 如何在 hadoop mapreduce 中进行 lzo 压缩？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/14808041/

中进hadoopcodelimapreduce

有关hadoop - 如何在 hadoop mapreduce 中进行 lzo 压缩？的更多相关文章

  1. ruby - 使用 RubyZip 生成 ZIP 文件时设置压缩级别 - 2

    我有一个Ruby程序，它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重，我想提高压缩级别，因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗？是否有另一个允许指定压缩级别的Ruby库？ 最佳答案 这是我通过查看ruby​​zip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d

  2. ruby - 如何在 Ruby 中顺序创建 PI - 2

    出于纯粹的兴趣，我很好奇如何按顺序创建PI，而不是在过程结果之后生成数字，而是让数字在过程本身生成时显示。如果是这种情况，那么数字可以自行产生，我可以对以前看到的数字实现垃圾收集，从而创建一个无限系列。结果只是在Pi系列之后每秒生成一个数字。这是我通过互联网筛选的结果:这是流行的计算机友好算法，类机器算法:defarccot(x,unity)xpow=unity/xn=1sign=1sum=0loopdoterm=xpow/nbreakifterm==0sum+=sign*(xpow/n)xpow/=x*xn+=2sign=-signendsumenddefcalc_pi(digits

  3. ruby - 如何在 buildr 项目中使用 Ruby 代码？ - 2

    如何在buildr项目中使用Ruby？我在很多不同的项目中使用过Ruby、JRuby、Java和Clojure。我目前正在使用我的标准Ruby开发一个模拟应用程序，我想尝试使用Clojure后端(我确实喜欢功能代码)以及JRubygui和测试套件。我还可以看到在未来的不同项目中使用Scala作为后端。我想我要为我的项目尝试一下buildr(http://buildr.apache.org/)，但我注意到buildr似乎没有设置为在项目中使用JRuby代码本身!这看起来有点傻，因为该工具旨在统一通用的JVM语言并且是在ruby中构建的。除了将输出的jar包含在一个独特的、仅限ruby​​

  4. ruby - 什么是填充的 Base64 编码字符串以及如何在 ruby​​ 中生成它们？ - 2

    我正在使用的第三方API的文档状态:"[O]urAPIonlyacceptspaddedBase64encodedstrings."什么是“填充的Base64编码字符串”以及如何在Ruby中生成它们。下面的代码是我第一次尝试创建转换为Base64的JSON格式数据。xa=Base64.encode64(a.to_json) 最佳答案 他们说的padding其实就是Base64本身的一部分。它是末尾的“=”和“==”。Base64将3个字节的数据包编码为4个编码字符。所以如果你的输入数据有长度n和n%3=1=>"=="末尾用于填充n%

  5. ruby-on-rails - 如何在 ruby​​ 中使用两个参数异步运行 exe？ - 2

    exe应该在我打开页面时运行。异步进程需要运行。有什么方法可以在ruby​​中使用两个参数异步运行exe吗？我已经尝试过ruby​​命令-system()、exec()但它正在等待过程完成。我需要用参数启动exe，无需等待进程完成是否有任何ruby​​gems会支持我的问题？ 最佳答案 您可以使用Process.spawn和Process.wait2:pid=Process.spawn'your.exe','--option'#Later...pid,status=Process.wait2pid您的程序将作为解释器的子进程执行。除

  6. ruby - 如何在续集中重新加载表模式？ - 2

    鉴于我有以下迁移:Sequel.migrationdoupdoalter_table:usersdoadd_column:is_admin,:default=>falseend#SequelrunsaDESCRIBEtablestatement,whenthemodelisloaded.#Atthispoint,itdoesnotknowthatusershaveais_adminflag.#Soitfails.@user=User.find(:email=>"admin@fancy-startup.example")@user.is_admin=true@user.save!ende

  7. ruby - 如何在 Ruby 中拆分参数字符串 Bash 样式？ - 2

    我正在为一个项目制作一个简单的shell，我希望像在Bash中一样解析参数字符串。foobar"helloworld"fooz应该变成:["foo","bar","helloworld","fooz"]等等。到目前为止，我一直在使用CSV::parse_line，将列分隔符设置为""和.compact输出。问题是我现在必须选择是要支持单引号还是双引号。CSV不支持超过一个分隔符。Python有一个名为shlex的模块:>>>shlex.split("Test'helloworld'foo")['Test','helloworld','foo']>>>shlex.split('Test"

  8. ruby - 如何在 Lion 上安装 Xcode 4.6，需要用 RVM 升级 ruby - 2

    我实际上是在尝试使用RVM在我的OSX10.7.5上更新ruby，并在输入以下命令后:rvminstallruby我得到了以下回复:Searchingforbinaryrubies,thismighttakesometime.Checkingrequirementsforosx.Installingrequirementsforosx.Updatingsystem.......Errorrunning'requirements_osx_brew_update_systemruby-2.0.0-p247',pleaseread/Users/username/.rvm/log/138121

  9. ruby-on-rails - 如何在 ruby​​ 交互式 shell 中有多行？ - 2

    这可能是个愚蠢的问题。但是，我是一个新手......你怎么能在交互式ruby​​shell中有多行代码？好像你只能有一条长线。按回车键运行代码。无论如何我可以在不运行代码的情况下跳到下一行吗？再次抱歉，如果这是一个愚蠢的问题。谢谢。 最佳答案 这是一个例子:2.1.2:053>a=1=>12.1.2:054>b=2=>22.1.2:055>a+b=>32.1.2:056>ifa>b#Thecode‘if..."startsthedefinitionoftheconditionalstatement.2.1.2:057?>puts"f

  10. ruby-on-rails - 如何在我的 Rails 应用程序 View 中打印 ruby​​ 变量的内容？ - 2

    我是一个Rails初学者，但我想从我的RailsView(html.haml文件)中查看Ruby变量的内容。我试图在ruby​​中打印出变量(认为它会在终端中出现)，但没有得到任何结果。有什么建议吗？我知道Rails调试器，但更喜欢使用inspect来打印我的变量。 最佳答案 您可以在View中使用puts方法将信息输出到服务器控制台。您应该能够在View中的任何位置使用Haml执行以下操作:-puts@my_variable.inspect 关于ruby-on-rails-如何在我的R

随机推荐