草庐IT

hadoop - hadoop中context.getconfiguration的含义

coder 2024-01-07 原文

我对按参数搜索的代码有这个疑问。

什么是 context.getConfiguration().get("Uid2Search");

package SearchTxnByArg;

// This is the Mapper Program for SearchTxnByArg
import java.io.IOException;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

public class MyMap extends Mapper<LongWritable, Text, NullWritable, Text>{

        public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {

            String Txn = value.toString();
            String TxnParts[] = Txn.split(",");
            String Uid = TxnParts[2];
            String Uid2Search = context.getConfiguration().get("Uid2Search");
            if(Uid.equals(Uid2Search))
            {
                context.write(null, value); 
            }           
        }
    }

驱动程序

package SearchTxnByArg;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class MyDriver {
    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        conf.set("Uid2Search", args[0]);        
        Job job = new Job(conf, "Map Reduce Search Txn by Arg");
        job.setJarByClass(MyDriver.class);
        job.setMapperClass(MyMap.class);
        job.setMapOutputKeyClass(NullWritable.class);
        job.setMapOutputValueClass(Text.class);
        job.setNumReduceTasks(0);
        FileInputFormat.addInputPath(job, new Path(args[1]));
        FileOutputFormat.setOutputPath(job, new Path(args[2]));
        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }

}

最佳答案

不知道你的驱动程序是怎么写的。但以我的经验， 如果您尝试通过使用命令行中的 -D 选项或通过 System.setproperty 方法获取系统属性，默认情况下这些值将设置为上下文配置。

Configurations are specified by resources. A resource contains a set of name/value pairs as XML data. Each resource is named by either a String or by a Path. If named by a String, then the classpath is examined for a file with that name. If named by a Path, then the local filesystem is examined directly, without referring to the classpath.

Unless explicitly turned off, Hadoop by default specifies two resources, loaded in-order from the classpath: core-default.xml : Read-only defaults for hadoop. core-site.xml: Site-specific configuration for a given hadoop installation. Applications may add additional resources, which are loaded subsequent to these resources in the order they are added.

Please see this answer as well

上下文对象:允许 Mapper/Reducer 与 Hadoop 系统的其余部分进行交互。它包括作业的配置数据以及允许它发出输出的接口(interface)。

应用程序可以使用上下文:

  • 汇报进展
  • 设置应用程序级状态消息
  • 更新计数器
  • 表示他们还活着
  • 跨 map/reduce 阶段获取存储在作业配置中的值。

关于hadoop - hadoop中context.getconfiguration的含义，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/37765875/

hadoopgetconfigurationapacheimportmapreduce

有关hadoop - hadoop中context.getconfiguration的含义的更多相关文章

  1. hadoop安装之保姆级教程（二）之YARN的配置 - 2

    1.1.1 YARN的介绍 为克服Hadoop1.0中HDFS和MapReduce存在的各种问题⽽提出的，针对Hadoop1.0中的MapReduce在扩展性和多框架⽀持⽅⾯的不⾜，提出了全新的资源管理框架YARN. ApacheYARN（YetanotherResourceNegotiator的缩写）是Hadoop集群的资源管理系统，负责为计算程序提供服务器计算资源，相当于⼀个分布式的操作系统平台，⽽MapReduce等计算程序则相当于运⾏于操作系统之上的应⽤程序。 YARN被引⼊Hadoop2,最初是为了改善MapReduce的实现，但是因为具有⾜够的通⽤性，同样可以⽀持其他的分布式计算模

  2. ruby -\b 在 Ruby 正则表达式中的真正含义是什么？ - 2

    我有一个文件，其中包含诸如“CanyonSt/27thWay”之类的短语，我正试图使用​​Ruby正则表达式将其转换为“CanyonStand27thWay”。我使用file=file.gsub(/(\b)\/(\b)/,"#{$1}and#{$2}")进行匹配，但我我对\b的真正含义以及为什么$1包含斜线之前的单词边界之前的所有字符以及为什么$2包含从下一个单词开始的单词边界之后的所有字符感到有点困惑。通常，我希望正则表达式括号中的任何内容都在$1和$2中，但我不确定单词边界周围的括号真正意味着什么，因为从单词字符到字符的转换之间确实没有任何内容一个空白字符。

  3. ruby - 使用 cucumber/aruba/timecop : How to inject the context 测试命令行应用程序 - 2

    以下场景几乎概括了我的问题:Scenario:problemswithsubprocessesGiventhedateis01/01/201210:31WhenIrun`ruby-e"putsTime.now"`Thentheoutputshouldcontain"10:31"它归结为当我运行ruby​​-e"putsTime.now"时启动一个子进程，从而使我所有的Timecop.freezestub无效，因为他们只在主要过程中工作。我需要以某种方式将当前上下文“注入(inject)”到运行的命令中，但我似乎无法想出任何东西。我在这里尝试不可能的事情吗？步骤:require'time

  4. ruby - 如何在不使用文本的情况下找到 Ruby 运算符的含义？ - 2

    您如何找到有关代码中运算符用法的信息(最好是通过Google)？在这种情况下，我想找到这段代码在Ruby中的含义。x=[1,2,3]x.send:[]=,0,2x[0]+x.[](1)+x.send(:[],2)我要你教我如何钓鱼——不要告诉我运算符(operator)是做什么的。当我去Google并尝试搜索符号时，我得到的示例或教程没有涵盖特定的用法。https://stackoverflow.com/questions/1165786/how-to-search-for-punctuation-that-gets-ignored-by-google表示谷歌驳回了这种表示法；我寻找“

  5. ruby - `+` 在 `*` 之后的含义，当后者在正则表达式中用作量词时 - 2

    今天我遇到了下面的正则表达式，想知道Ruby会用它做什么:>"#a"=~/^[\W].*+$/=>0>"1a"=~/^[\W].*+$/=>nil在这种情况下，Ruby似乎忽略了+字符。如果这是不正确的，我不确定它在做什么。我猜它没有被解释为量词，因为*没有转义并且被用作量词。在Perl/Ruby正则表达式中，有时当一个字符(例如，-)在不能被解释为特殊字符的上下文中使用时，它会被视为文字。但如果在这种情况下发生这种情况，我希望第一个匹配失败，因为左值字符串中没有+。这是对+字符的巧妙正确使用吗？以上行为是错误吗？我是否遗漏了一些明显的东西？ 最佳答案

  6. 大数据之Hadoop数据仓库Hive - 2

    目录：一、简介二、HQL的执行流程三、索引四、索引案例五、Hive常用DDL操作六、Hive常用DML操作七、查询结果插入到表八、更新和删除操作九、查询结果写出到文件系统十、HiveCLI和Beeline命令行的基本使用十一、Hive配置一、简介Hive是一个构建在Hadoop之上的数据仓库，它可以将结构化的数据文件映射成表，并提供类SQL查询功能，用于查询的SQL语句会被转化为MapReduce作业，然后提交到Hadoop上运行。特点：简单、容易上手(提供了类似sql的查询语言hql)，使得精通sql但是不了解Java编程的人也能很好地进行大数据分析；灵活性高，可以自定义用户函数(UDF)和

  7. ruby - 调用 ObjectSpace.count_objects 时哈希键的含义是什么？ - 2

    在Ruby1.9(YARV)中，您可以获得所有当前已分配对象的计数，如下所示:ObjectSpace.count_objects它返回一个像这样的散列{:TOTAL=>1226560,:FREE=>244204,:T_OBJECT=>26141,:T_CLASS=>9819,:T_MODULE=>1420,:T_FLOAT=>287,:T_STRING=>260476,:T_REGEXP=>4081,:T_ARRAY=>72269,:T_HASH=>14923,:T_STRUCT=>4601,:T_BIGNUM=>7,:T_FILE=>16,:T_DATA=>54553,:T_MATC

  8. 科研中论文常见数学符号及其含义（科研必备，建议收藏） - 2

    论文常见数学符号及其含义（科研必备）返回论文和资料目录数学符号在数学领域是非常重要的。在论文中，使用数学符号可以使得论文更加简洁明了，同时也能够准确地描述各种概念和理论。在本篇博客中，我将介绍一些常见的数学符号及其含义（省去特别简单的符号），希望能够帮助读者更好地理解数学论文。高等数学∑i=1nxi\sum_{i=1}^nx_i∑i=1n​xi​（求和符号）：表示将x1,x2,…,xnx_1,x_2,\dots,x_nx1​,x2​,…,xn​中的所有数相加，例如∑i=1nxi\sum_{i=1}^nx_i∑i=1n​xi​表示将x1,x2,…,xnx_1,x_2,\dots,x_nx1​,x

  9. ruby-on-rails - `*` 用作参数时的含义(不像*arg，只是*) - 2

    这个问题在这里已经有了答案:nakedasteriskasparameterinmethoddefinition:deff(*)(1个回答)关闭9年前。当我在阅读Rails代码时，我发现了这个defsave(*)create_or_update||raise(RecordNotSaved)end*有什么作用？:O我知道当我们像*args一样使用它时会发生什么，但在这种情况下，它只是普通的*。引用https://github.com/rails/rails/blob/master/activerecord/lib/active_record/persistence.rb#L119

  10. ruby - Ruby 中百分号 + 管道运算符的含义是什么，如 "%|"？ - 2

    我正在尝试理解thissite上呈现的脚本:#!/usr/bin/envrubyrequireENV['TM_SUPPORT_PATH']+'/lib/escape.rb'defterminal_script_filepath%|tellapplication"Terminal"activatedoscript"jsc-i#{e_as(e_sh(ENV['TM_FILEPATH']))}"endtell|endopen("|osascript","w"){|io|io最重要的是，函数terminal_script_filepath开头的部分:%|……|…以及它被“解析”的位置:{|io

随机推荐