草庐IT

scala - spark sbt编译报错libraryDependencies

coder 2024-01-07 原文

1.2.0-bin-hadoop2.4 我的 Scala 版本是 2.11.7。我收到一个错误，所以我不能使用 sbt。

~/sparksample$ sbt

启动 sbt:使用 -help 调用其他选项 [info] 将当前项目设置为 Spark Sample(在构建文件中:/home/beyhan/sparksample/)

> sbt compile

[info] 正在更新 {file:/home/beyhan/sparksample/}default-f390c8...[info] 解析 org.scala-lang#scala-library;2.11.7 ... [info]正在解决 org.apache.spark#spark-core_2.11.7;1.2.0 ... [警告] 找不到模块:org.apache.spark#spark-core_2.11.7;1.2.0 [警告] ==== 本地:试过 [警告]/home/beyhan/.ivy2/local/org.apache.spark/spark-core_2.11.7/1.2.0/ivys/ivy.xml [警告] ==== public: 试过 [warn] http://repo1.maven.org/maven2/org/apache/spark/spark-core_2.11.7/1.2.0/spark-core_2.11.7-1.2.0.pom [警告]::::::::::::::::::::::::::::::::::::::::::::::[警告]:: Unresolved 依赖关系::[警告]::::::::::::::::::::::::::::::::::::::::::::[警告]::org .apache.spark#spark-core_2.11.7;1.2.0: 未找到 [警告]::::::::::::::::::::::::::::::::::::::::::::::[错误] {file:/home/beyhan/sparksample/}default-f390c8/*:update: sbt.ResolveException: Unresolved 依赖项: org.apache.spark #spark-core_2.11.7;1.2.0: 未找到 [错误] 总时间:2 秒，20 年 10 月 15 日完成15 上午 11:30:47

有什么建议吗？谢谢

最佳答案

不存在 spark-core_2.11.7 jar 文件。您必须删除 spark 依赖项中的维护版本号 .7，因为 spark-core_2.11 存在。 2.11 的所有 Scala 版本都应该兼容。

更新

一个最小的 sbt 文件看起来像

name := "Simple Project"

version := "1.0"

scalaVersion := "2.11.7"

libraryDependencies += "org.apache.spark" %% "spark-core" % "1.5.1"

关于scala - spark sbt编译报错libraryDependencies，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/33143665/

libraryDependenciesscalasparkcodespark-corehadoopapache-sparksbt-assembly

有关scala - spark sbt编译报错libraryDependencies的更多相关文章

  1. ruby - 分布式事务和队列，ruby，erlang，scala - 2

    我有一个涉及多台机器、消息队列和事务的问题。因此，例如用户点击网页，点击将消息发送到另一台机器，该机器将付款添加到用户的帐户。每秒可能有数千次点击。事务的所有方面都应该是容错的。我以前从未遇到过这样的事情，但一些阅读表明这是一个众所周知的问题。所以我的问题。我假设安全的方法是使用两阶段提交，但协议(protocol)是阻塞的，所以我不会获得所需的性能，我是否正确？我通常写Ruby，但似乎Redis之类的数据库和Rescue、RabbitMQ等消息队列系统对我的帮助不大——即使我实现某种两阶段提交，如果Redis崩溃，数据也会丢失，因为它本质上只是内存。所有这些让我开始关注erlang和

  2. ruby - Sinatra set cache_control to static files in public folder编译错误 - 2

    我不知道为什么，但是当我设置这个设置时它无法编译设置:static_cache_control，[:public，:max_age=>300]这是我得到的syntaxerror,unexpectedtASSOC,expecting']'(SyntaxError)set:static_cache_control,[:public,:max_age=>300]^我只想将“过期”header设置为css、javaascript和图像文件。谢谢。 最佳答案 我猜您使用的是Ruby1.8.7。Sinatra文档中显示的语法似乎是在Ruby1.

  3. 深度学习部署：Windows安装pycocotools报错解决方法 - 2

    深度学习部署：Windows安装pycocotools报错解决方法1.pycocotools库的简介2.pycocotools安装的坑3.解决办法更多Ai资讯：公主号AiCharm本系列是作者在跑一些深度学习实例时，遇到的各种各样的问题及解决办法，希望能够帮助到大家。ERROR:Commanderroredoutwithexitstatus1:'D:\Anaconda3\python.exe'-u-c'importsys,setuptools,tokenize;sys.argv[0]='"'"'C:\\Users\\46653\\AppData\\Local\\Temp\\pip-instal

  4. 安卓apk修改(Android反编译apk) - 2

    最近因为项目需要，需要将Android手机系统自带的某个系统软件反编译并更改里面某个资源，并重新打包，签名生成新的自定义的apk，下面我来介绍一下我的实现过程。APK修改，分为以下几步：反编译解包,修改,重打包,修改签名等步骤。安卓apk修改准备工作1.系统配置好JavaJDK环境变量2.需要root权限的手机（针对系统自带apk,其他软件免root）3.Auto-Sign签名工具4.apktool工具安卓apk修改开始反编译本文拿Android系统里面的Settings.apk做demo,具体如何将apk获取出来在此就不过多介绍了，直接进入主题：按键win+R输入cmd，打开命令窗口，并将路

  5. .net - 是否有 Ruby .NET 编译器？ - 2

    是否有适用于Ruby语言的.NETFramework编译器？我听说过DLR(动态语言运行时)，这是否将使Ruby能够用于.NET开发？ 最佳答案 IronRuby是Microsoft支持的项目，建立在动态语言运行时之上。 关于.net-是否有Ruby.NET编译器？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/199638/

  6. python - 使用 Python、Ruby 和 Perl 重新编译 MacPort 版本的 MacVim - 2

    关闭。这个问题是off-topic.它目前不接受答案。想改进这个问题吗？Updatethequestion所以它是on-topic用于堆栈溢出。关闭10年前。ImprovethisquestionLinux专家正在转向Mac(10.8)。因为我懒...我使用MacPorts安装MacVim。它似乎安装没有错误。我只需要mvim中的python、ruby和perl支持。$/opt/local/bin/mvim--version|egrep'patches|python|ruby|perl'Includedpatches:1-244,246-646+multi_lang-mzscheme+

  7. ruby - 为什么 `middleman serve` 有效，但是 `middleman build` 编译这个 Sass 失败？ - 2

    当我刚刚运行middleman时服务，all.css编译得很好，只包含对+box-shadow(none)的调用:/*line1,/home/yang/asdf/source/stylesheets/content.css.sass*/div{-webkit-box-shadow:none;-moz-box-shadow:none;box-shadow:none;}但是当我构建网站时，我得到了这个Sass/Compass错误:$middlemanbuildSlim::EmbeddedEngineisdeprecated,itiscalledSlim::EmbeddedinSlim2.0

  8. ruby - 有没有办法在 Ruby 中执行编译时类型检查？ - 2

    我知道Ruby是动态和强类型的，但据我所知，由于每个参数缺少显式类型表示法(或契约)，当前语法不允许在编译时检查参数类型。如果我想执行编译时类型检查，我有哪些(实际成熟的)选项？更新我的意思是类型检查类似于典型的静态类型语言。比如C。例如，C函数表示每个参数的类型，编译器检查传入的参数是否正确。voidfunc1(structAAAaaa){structBBBbbb;func1(bbb);//Wrongtype.Compiletimeerror.}作为另一个例子，Objective-C通过放置显式类型信息来做到这一点。-(id)method1:(AAA*)aaa{BBB*bbb=[[A

  9. ruby - Ruby 将来可以编译并更快吗？ - 2

    关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭7年前。ImprovethisquestionC、Java、C#和Python都是从头编译的。感谢Facebook，PHP现在也可以编译并可以在HHVM上运行，从而提高程序的性能。Ruby不可编译并且比上述语言慢。Ruby有没有可能在未来被编译(就像PHP和HHVM一样)？或者可能有一些原因不能做到？

  10. ruby - 有没有办法让文件夹包含在生产构建中但不让 jekyll 编译它？ - 2

    我认为最好的例子是images/文件夹或node_modules/用于将图像和依赖项包含在最终构建中，而无需花费很长时间编译。编辑:抱歉没有具体说明，但我很清楚keep_files和exclude两者都对我的情况没有帮助。exclude从编译和站点构建中排除文件夹和文件，并且每次都需要额外的流水线工具来手动移动它们。keep_files要求文件首先存在于最终构建中，这对于某些生产环境(GitHub的gh-pages等)是不可能的 最佳答案 你可能想看看这个:ExcludingadirectoryfromJekyllwatchP.S.

随机推荐