草庐IT

pig 的 REGEX_EXTRACT 不起作用

coder 2024-01-08 原文

我想从每个字段的开头和结尾删除双引号 '"'。 我正在尝试在 pig 身上应用正则表达式，但似乎不起作用

输入: 

(main_170521230001.csv,"9","2017-05-21 23:00:01.472636")
(main_170521230001.csv,"91","2017-05-21 23:00:01.472636")
(main_170521230001.csv,"592","2017-05-21 23:00:01.472636")

pig 脚本:

raw = LOAD '/data/csv' using PigStorage(',','-tagFile') as (
  fn:chararray,
  gid:chararray,
  createdts:chararray);

res = foreach raw generate
        REGEX_EXTRACT(fn, '([^"](.*)[^"])',1) as (fn:chararray),
        REGEX_EXTRACT(gid, '([^"](.*)[^"])',1) as (gid:chararray),
        REGEX_EXTRACT(createdts, '([^"](.*)[^"])',1) as (createdts:chararray);

dump res;

输出:

(ain_170521230001.cs,,017-05-21 23:00:01.47263)
(ain_170521230001.cs,91,017-05-21 23:00:01.47263)
(ain_170521230001.cs,592,017-05-21 23:00:01.47263)

我预计:

(main_170521230001.csv,9,2017-05-21 23:00:01.472636)
(main_170521230001.csv,91,2017-05-21 23:00:01.472636)
(main_170521230001.csv,592,2017-05-21 23:00:01.472636)

我想接收“”之间的所有字符。 示例:

"abc" -> abc
abc -> abc
""abc""" -> abc
"a"b"c" -> a"b"c

这就是我使用这种模式的原因:

'([^"](.*)[^"])'

它工作正常，除了一种情况——如果双引号之间有一个字符，这个模式返回空字符串 为什么会这样？

最佳答案

将数据加载到单个字段中并使用 REPLACE。然后您可以使用 STRSPLIT 获取各个字段。

raw = LOAD '/data/csv' USING TextLoader();
res = foreach raw generate REPLACE($0,"\\"",'');
res_new = foreach res generate STRSPLIT($0,',',3);
dump res_new;

关于 pig 的 REGEX_EXTRACT 不起作用，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/45008083/

REGEX_EXTRACTEXTRACT34170521230001coderegexhadoopapache-pig

有关pig 的 REGEX_EXTRACT 不起作用的更多相关文章

  1. ruby-on-rails - 如果 Object::try 被发送到一个 nil 对象，为什么它会起作用？ - 2

    如果您尝试在Ruby中的nil对象上调用方法，则会出现NoMethodError异常并显示消息:"undefinedmethod‘...’fornil:NilClass"然而，有一个tryRails中的方法，如果它被发送到一个nil对象，它只返回nil:require'rubygems'require'active_support/all'nil.try(:nonexisting_method)#noNoMethodErrorexceptionanymore那么try如何在内部工作以防止该异常？ 最佳答案 像Ruby中的所有其他对象

  2. ruby-on-rails - "assigns"在 Ruby on Rails 中有什么作用？ - 2

    我目前正在尝试学习RubyonRails和测试框架RSpec。assigns在此RSpec测试中做什么？describe"GETindex"doit"assignsallmymodelas@mymodel"domymodel=Factory(:mymodel)get:indexassigns(:mymodels).shouldeq([mymodel])endend 最佳答案 assigns只是检查您在Controller中设置的实例变量的值。这里检查@mymodels。 关于ruby-o

  3. ruby-on-rails - 尝试为 Rails 中的用户名验证编写 REGEX - 2

    我正在尝试用Ruby(Rails)编写一个正则表达式，以便用户名的字符仅包含数字和字母(也没有空格)。我有这个正则表达式，/^[a-zA-Z0-9]+$/，但它似乎没有用，我在Rails中收到一个错误，说“The如果正则表达式使用多行anchor(^或$)，这可能会带来安全风险。您是要使用\A和\z，还是忘记添加:multiline=>true选项？"我的user.rb模型中此实现的完整代码是:classUser我做错了什么以及如何修复此正则表达式，使其仅对数字和字母有效而不对空格有效？谢谢。 最佳答案 简短回答:使用/\A[a-z

  4. ruby - 字符串文字前面的 * 在 ruby​​ 中有什么作用？ - 2

    这段代码似乎创建了一个范围从a到z的数组，但我不明白*的作用。有人可以解释一下吗？[*"a".."z"] 最佳答案 它叫做splatoperator.SplattinganLvalueAmaximumofonelvaluemaybesplattedinwhichcaseitisassignedanArrayconsistingoftheremainingrvaluesthatlackcorrespondinglvalues.Iftherightmostlvalueissplattedthenitconsumesallrvaluesw

  5. ruby - 为什么这个 eval 在 Ruby 中不起作用 - 2

    你能解释一下吗？我想评估来自两个不同来源的值和计算。一个消息来源为我提供了以下信息(以编程方式):'a=2'第二个来源给了我这个表达式来评估:'a+3'这个有效:a=2eval'a+3'这也有效:eval'a=2;a+3'但我真正需要的是这个，但它不起作用:eval'a=2'eval'a+3'我想了解其中的区别，以及如何使最后一个选项起作用。感谢您的帮助。 最佳答案 您可以创建一个Binding，并将相同的绑定(bind)与每个eval相关联调用:1.9.3p194:008>b=binding=>#1.9.3p194:009>eva

  6. Ruby Regex，获取所有可能的匹配项(不截断字符串) - 2

    我遇到了ruby​​正则表达式的问题。我需要找到所有(可能重叠的)匹配项。这是问题的简化:#Simpleexample"Hey".scan(/../)=>["He"]#Actualresults#Withoverlappingmatchestheresultshouldbe=>["He"],["ey"]我尝试执行并获得所有结果的正则表达式如下所示:"aaaaaa".scan(/^(..+)\1+$/)#Thislooksformultiplesof(here)"a"biggerthanonethat"fills"theentirestring."aa"*3=>true,"aaa"*2=

  7. ruby-on-rails - Spring 不起作用。 [未初始化常量 Spring::SID::DL] - 2

    我无法运行Spring。这是错误日志。myid-no-MacBook-Pro:myid$spring/Users/myid/.rbenv/versions/1.9.3-p484/lib/ruby/gems/1.9.1/gems/spring-0.0.10/lib/spring/sid.rb:17:in`fiddle_func':uninitializedconstantSpring::SID::DL(NameError)from/Users/myid/.rbenv/versions/1.9.3-p484/lib/ruby/gems/1.9.1/gems/spring-0.0.10/li

  8. ruby-on-rails - Simple_form 必填字段不起作用 - Ruby on Rails - 2

    我在RoR应用程序中有一个提交表单，是使用simple_form构建的。当字段为空白时，应用程序仍会继续下一步，而不会提示错误或警告。默认情况下，这些字段应该是required:true；但即使手动编写也行不通。该应用有3个步骤:NewPost(新View)->Preview(创建View)->Post。我的Controller和View的摘录会更清楚:defnew@post=Post.newenddefcreate@post=Post.new(params.require(:post).permit(:title,:category_id))ifparams[:previewButt

  9. regex - Ruby 是否有类似于 Perl 6 语法的插件？ - 2

    多年来，Perl一直是我首选的编程语言工具之一。Perl6语法看起来像是一个很棒的语言特性。我想知道是否有人开始为Ruby做这样的事情。 最佳答案 如果您想在Ruby中使用实际的Perl6语法，最好的选择是Cardinal，Parrot上的ruby​​编译器。它目前尚未完成并且非常缓慢，但我非常希望它最终成为一个可行的ruby​​实现。它目前大部分处于非事件状态，等待Parrot中的一些基础架构更改以支持改进的解析速度和其他功能。 关于regex-Ruby是否有类似于Perl6语法的插件

  10. Ruby Regex 舍入尾随零 - 2

    我正在寻找一个正则表达式来从十进制数字中删除尾随零。它应该返回以下结果:0.0002300->0.0002310.002300->10.0023100.0->1001000->10000.0->00->0基本上，如果小数部分为0，它应该删除尾随零和尾随小数点。当它是该值时，它也应该返回0。有什么想法吗？谢谢。 最佳答案 另一种方式["100.0","0.00223000"].map{|x|"%g"%x} 关于RubyRegex舍入尾随零，我们在StackOverflow上找到一个类似的问

随机推荐