草庐IT

scala - 在 Scala 中从 HDFS 返回路径

coder 2024-01-09 原文

我想返回文件的路径，我在其中提供了一个文件夹并在该文件夹中搜索“部分”文件。

def listDirectoriesGetPartFile(folderPath: String): org.apache.hadoop.fs.Path  {

val path = new Path(folderPath)
 if (fileSystem.isDirectory(path)) {
  val st = fileSystem.listStatus(path)
  for (i <- 0 until st.length) {
    if (st(i).getPath.getName.toString().trim().contains("part")) {
      st(i).getPath
    }
  }

 }
 ????
}

我想返回 part-xxx 文件。

我怎样才能实现它？

最佳答案

这里有几个选项(按照符合 Scala 习惯用法的升序排列)。我假设您希望它返回 null(尽管强烈不推荐)以防找不到匹配的文件:

使用可变变量:

def listDirectoriesGetPartFile(folderPath: String): Path = {
  val path = new Path(folderPath)
  var result: Path = null // use a var with a default value
  if (fileSystem.isDirectory(path)) {
    val st = fileSystem.listStatus(path)
    // update the value of result if we found what we're looking for
    result = st.map(_.getPath).find(_.getName.trim.contains("part")).orNull
  }
  result // return the var
}

在 Scala 中使用 if-else，一切都是表达式，因此 if-else 表达式可以返回值:

def listDirectoriesGetPartFile(folderPath: String): Path = {
  val path = new Path(folderPath)
  if (fileSystem.isDirectory(path)) {
    val st = fileSystem.listStatus(path)
    st.map(_.getPath).find(_.getName.trim.contains("part")).orNull
  } else {
    null
  }
}

更改签名以返回选项:因为此方法可能会找到您要查找的路径，但也可能找不到(如果给定路径不是文件夹，或者不存在此类文件)在文件夹中)，最好是返回类型传达了这种可能性——这就是可以使用 Scala 的 Option 的地方。为了方便起见，我还将 if-else 替换为模式匹配，但这不是必须的:

def listDirectoriesGetPartFile(folderPath: String): Option[Path] = {
  new Path(folderPath) match {
    case p if fileSystem.isDirectory(p) => fileSystem.listStatus(p)
      .map(_.getPath)
      .find(_.getName.trim.contains("part"))
    case _ => None
  }
}

关于scala - 在 Scala 中从 HDFS 返回路径，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/41690271/

scalacodefolderPathfileSystemhadoopapache-spark

有关scala - 在 Scala 中从 HDFS 返回路径的更多相关文章

  1. ruby - 为什么 4.1%2 使用 Ruby 返回 0.0999999999999996？但是 4.2%2==0.2 - 2

    为什么4.1%2返回0.0999999999999996？但是4.2%2==0.2。 最佳答案 参见此处:WhatEveryProgrammerShouldKnowAboutFloating-PointArithmetic实数是无限的。计算机使用的位数有限(今天是32位、64位)。因此计算机进行的浮点运算不能代表所有的实数。0.1是这些数字之一。请注意，这不是与Ruby相关的问题，而是与所有编程语言相关的问题，因为它来自计算机表示实数的方式。 关于ruby-为什么4.1%2使用Ruby返

  2. ruby - 检查字符串是否包含散列中的任何键并返回它包含的键的值 - 2

    我有一个包含多个键的散列和一个字符串，该字符串不包含散列中的任何键或包含一个键。h={"k1"=>"v1","k2"=>"v2","k3"=>"v3"}s="thisisanexamplestringthatmightoccurwithakeysomewhereinthestringk1(withspecialcharacterslike(^&*$#@!^&&*))"检查s是否包含h中的任何键的最佳方法是什么，如果包含，则返回它包含的键的值？例如，对于上面的h和s的例子，输出应该是v1。编辑:只有字符串是用户定义的。哈希将始终相同。 最佳答案

  3. ruby - Ruby 中的隐式返回值是怎么回事？ - 2

    所以我开始关注ruby​​，很多东西看起来不错，但我对隐式return语句很反感。我理解默认情况下让所有内容返回self或nil但不是语句的最后一个值。对我来说，它看起来非常脆弱(尤其是)如果你正在使用一个不打算返回某些东西的方法(尤其是一个改变状态/破坏性方法的函数!)，其他人可能最终依赖于一个返回对方法的目的并不重要，并且有很大的改变机会。隐式返回有什么意义？有没有办法让事情变得更简单？总是有返回以防止隐含返回被认为是好的做法吗？我是不是太担心这个了？附言当人们想要从方法中返回特定的东西时，他们是否经常使用隐式返回，这不是让你组中的其他人更容易破坏彼此的代码吗？当然，记录一切并给出

  4. ruby - 分布式事务和队列，ruby，erlang，scala - 2

    我有一个涉及多台机器、消息队列和事务的问题。因此，例如用户点击网页，点击将消息发送到另一台机器，该机器将付款添加到用户的帐户。每秒可能有数千次点击。事务的所有方面都应该是容错的。我以前从未遇到过这样的事情，但一些阅读表明这是一个众所周知的问题。所以我的问题。我假设安全的方法是使用两阶段提交，但协议(protocol)是阻塞的，所以我不会获得所需的性能，我是否正确？我通常写Ruby，但似乎Redis之类的数据库和Rescue、RabbitMQ等消息队列系统对我的帮助不大——即使我实现某种两阶段提交，如果Redis崩溃，数据也会丢失，因为它本质上只是内存。所有这些让我开始关注erlang和

  5. ruby-on-rails - ruby 日期方程不返回预期的真值 - 2

    为什么以下不同？Time.now.end_of_day==Time.now.end_of_day-0.days#falseTime.now.end_of_day.to_s==Time.now.end_of_day-0.days.to_s#true 最佳答案 因为纳秒数不同:ruby-1.9.2-p180:014>(Time.now.end_of_day-0.days).nsec=>999999000ruby-1.9.2-p180:015>Time.now.end_of_day.nsec=>999999998

  6. ruby - 从 String#split 返回的零长度字符串 - 2

    在Ruby1.9.3(可能还有更早的版本，不确定)中，我试图弄清楚为什么Ruby的String#split方法会给我某些结果。我得到的结果似乎与我的预期相反。这是一个例子:"abcabc".split("b")#=>["a","ca","c"]"abcabc".split("a")#=>["","bc","bc"]"abcabc".split("c")#=>["ab","ab"]在这里，第一个示例返回的正是我所期望的。但在第二个示例中，我很困惑为什么#split返回零长度字符串作为返回数组的第一个值。这是什么原因呢？这是我所期望的:"abcabc".split("a")#=>["bc"

  7. ruby-on-rails - Rails - 使用/自定义 URL : '/dashboard' 指定根路径 - 2

    如何使此根路径转到:“/dashboard”而不仅仅是http://example.com？root:to=>'dashboard#index',:constraints=>lambda{|req|!req.session[:user_id].blank?} 最佳答案 您可以通过以下方式实现:root:to=>redirect('/dashboard')match'/dashboard',:to=>"dashboard#index",:constraints=>lambda{|req|!req.session[:user_id].b

  8. ruby - 为什么 Integer.respond_to?( :even? ) 返回 false？ - 2

    我一直在研究RubyKoans，我发现about_open_classes.rbkoan很有趣。特别是他们修改Integer#even?方法的最后一个测试。我想尝试一下这个概念，所以我打开了Irb并尝试运行Integer.respond_to?(:even?)，但令我惊讶的是我得到了错误。然后我尝试了Fixnum.respond_to?(:even?)并得到了错误。我还尝试了Integer.respond_to?(:respond_to?)并得到了true，当我执行2.even?时，我也得到了true。我不知道发生了什么。谁能告诉我缺少什么？ 最佳答案

  9. ruby - 如何根据长度将路径数组转换为嵌套数组或散列 - 2

    我需要根据字符串路径的长度将字符串路径数组转换为符号、哈希和数组的数组给定以下数组:array=["info","services","about/company","about/history/part1","about/history/part2"]我想生成以下输出，对不同级别进行分组，根据级别的结构混合使用符号和对象。产生以下输出:[:info,:services,about:[:company,history:[:part1,:part2]]]#altsyntax[:info,:services,{:about=>[:company,{:history=>[:part1,:pa

  10. ruby - Time.to_i 是否总是以 UTC 返回自 EPOCH 以来的秒数？ - 2

    无论时间在哪个时区表示，时区差异是否总是被忽略？直觉上，对于那些使用UTC+2的人来说，从EPOCH开始经过的秒数应该更高。然而，事实并非如此。 最佳答案 Epoch基于utc时区https://en.wikipedia.org/wiki/Unix_time它与您当前所在的时区无关。 关于ruby-Time.to_i是否总是以UTC返回自EPOCH以来的秒数？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.

随机推荐