草庐IT

scala - Spark/Scala 拆分

coder 2024-01-09 原文

我有这个代码:

rdd.map(_.split("-")).filter(row => { ... })

当我执行 row.length 时:

  1. This-is-a-test----on-split--

  2. 这是一个测试--------

输出分别是9和4。如果它为空，则不计算尾随分隔字符。如果我希望两个输出均为 10，这里的解决方法是什么？

最佳答案

您可以通过将 -1 作为限制参数传递给 split 来完成您想要的操作，如下所示:

rdd.map(_.split("-", -1)).filter(row => { ... })

顺便说一句，预期结果是 11，而不是 10(因为如果您想保留空标记并且您的字符串以分隔符结尾，那么它会被解释为好像在该分隔符之后有一个空标记)。可以看到this获取更多信息。

关于scala - Spark/Scala 拆分，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/29448343/

scalaSparksectioncodesplithadoopmapreduceapache-sparkrdd

有关scala - Spark/Scala 拆分的更多相关文章

  1. ruby - 如何在 Ruby 中拆分参数字符串 Bash 样式？ - 2

    我正在为一个项目制作一个简单的shell，我希望像在Bash中一样解析参数字符串。foobar"helloworld"fooz应该变成:["foo","bar","helloworld","fooz"]等等。到目前为止，我一直在使用CSV::parse_line，将列分隔符设置为""和.compact输出。问题是我现在必须选择是要支持单引号还是双引号。CSV不支持超过一个分隔符。Python有一个名为shlex的模块:>>>shlex.split("Test'helloworld'foo")['Test','helloworld','foo']>>>shlex.split('Test"

  2. ruby - 分布式事务和队列，ruby，erlang，scala - 2

    我有一个涉及多台机器、消息队列和事务的问题。因此，例如用户点击网页，点击将消息发送到另一台机器，该机器将付款添加到用户的帐户。每秒可能有数千次点击。事务的所有方面都应该是容错的。我以前从未遇到过这样的事情，但一些阅读表明这是一个众所周知的问题。所以我的问题。我假设安全的方法是使用两阶段提交，但协议(protocol)是阻塞的，所以我不会获得所需的性能，我是否正确？我通常写Ruby，但似乎Redis之类的数据库和Rescue、RabbitMQ等消息队列系统对我的帮助不大——即使我实现某种两阶段提交，如果Redis崩溃，数据也会丢失，因为它本质上只是内存。所有这些让我开始关注erlang和

  3. ruby - 拆分字符串并分配给不同的变量 - 2

    我从ui中得到日期范围为-approved_between"=>"2013-03-17-2013-03-18"我需要拆分此approved_start_date="2013-03-17"和approved_end_date="2013-03-18"...我希望使用它在mysql中查询，因为mysql中的日期格式是created_at:2012-07-2810:35:01.我正在做的是:approved=approved_between.split("")approved_start_date=approved[0]approved_end_date=approved[2]很确定这不是处

  4. ruby-on-rails - Ruby on Rails 将列表拆分或切片为列 - 2

    @locations=Location.all#currentlistingall@locations=Location.slice(5)orLocation.split(5)使用Ruby，我试图将我的列表分成4列，每列限制为5个；然而，切片或拆分似乎都不起作用。知道我可能做错了什么吗？任何帮助是极大的赞赏。 最佳答案 您可能想使用in_groups_of:http://railscasts.com/episodes/28-in-groups-of这是RyanBates在railscast中的示例用法:

  5. ruby - 格式化数字以每隔三位数拆分一次 - 2

    我想在格式化数字时每隔三个字符放置一个空格。根据这个规范:it"shouldformatanamount"dospaces_on(1202003).should=="1202003"end我想出了这段代码来完成这项工作defspaces_onamountthousands=amount/1000remainder=amount%1000ifthousands==0"#{remainder}"elsezero_padded_remainder='%03.f'%remainder"#{spaces_onthousands}#{zero_padded_remainder}"endend所以我

  6. ruby - 如何拆分数组？ - 2

    给定一个数组:arr=[['a','1'],['b','2'],['c','3']]将它分成两个数组的最佳方法是什么？例如我想从上面的数组中得到以下两个数组:first=['a','b','c']second=['1','2','3']我可以使用collect来做到这一点吗？ 最佳答案 好吧，我只是偶然发现了arr.transposearr=[['a','1'],['b','2'],['c','3']].transposefirst=arr[0]second=arr[1]与上面的答案arr.zip、arr.map、foreach相比

  7. ruby - 如何通过 "\r\n"拆分 Ruby 字符串？ - 2

    给定一个字符串:s="Good\r\nDay\r\n\r\n\r\nStack\r\n\r\nOverflow\r\n"我愿意:用(\r\n)+拆分，即我想得到:["Good","Day","Stack","Overflow"]我尝试了s.split(/(\r\n)+/)但它没有给我预期的结果。为什么？我怎样才能得到预期的结果？获取数组中\r\n的个数，即预期结果为:[1,3,2]你会怎么做？我使用Ruby1.9.2。 最佳答案 差不多了，试试这个:s.split/[\r\n]+/s.scan(/[\r\n]+/).map{|e|e

  8. ruby - 如何拆分两个大写字母？ - 2

    我有以下数组:a=["CH3","CH2"]我想使用正则表达式将其拆分为两个大写字母以显示:a=["C","H3","C","H2"]怎么做你这样做吗？到目前为止我已经尝试过:a.each{|array|x=array.scan(/[A-Z]*/)putsa}returns:CHCH提前致谢! 最佳答案 你可以试试这个:s.scan(/[A-Z][^A-Z]*/) 关于ruby-如何拆分两个大写字母？，我们在StackOverflow上找到一个类似的问题： h

  9. ruby - Ruby 中的特殊字符串拆分 - 2

    我正在尝试找出最好的方法...给定一个字符串s="ifsomeBool||x==1&&y!=22314"我想用Ruby来分隔语句和bool运算符..所以我想把它分成["if","someBool","||","x","==","1","&&","y","!=","22314"]我可以使用s.split()，但这只会以空格作为分隔符进行拆分..但我也希望x!=y也被拆分(它们是有效的bool语句，它们之间没有空格可读性好)。当然，最简单的方法是要求用户在bool运算符和变量之间放置空格，但是还有其他方法可以做到这一点吗？ 最佳答案 按

  10. ruby - 如何在 ruby​​ 中拆分字符串并在拆分中维护空格 - 2

    我有一个字符串:"hello\tWorld\nbla"我想把它拆分成:["hello\t","World\n","bla"]我如何在Ruby中执行此操作？ 最佳答案 >>"hello\tWorld\nbla".scan/\S+\s*/=>["hello\t","World\n","bla"] 关于ruby-如何在ruby​​中拆分字符串并在拆分中维护空格，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com

随机推荐