草庐IT

spark-app

全部标签

java - 如何调试 Google App Engine servlet?

我是AppEngine的新手,正在尝试使用Java编写的一些示例Web应用程序。我一直无法弄清楚如何在eclipse中调试javaweb应用程序项目。当我启动调试配置时,作为SDK一部分的jetty服务器启动,我可以从浏览器访问我的页面。但是我在servlet中的断点都没有被击中。我是否缺少一些调试配置? 最佳答案 假设您已经安装了GooglePluginforEclipse,这应该是一个简单的问题:Runmenu->DebugAs->WebApplication这当然会在Eclipse调试器内的Web服务器中运行您的应用程序。参见

java - 如何在 App Engine 项目中禁用 SystemServiceServlet 配置?

GoogleEclipse插件会在web.xml中自动生成这些行,无论项目属性设置成什么:SystemServiceServletcom.google.api.server.spi.SystemServiceServletservicesSystemServiceServlet/_ah/spi/*有没有办法阻止插件这样做? 最佳答案 在您的项目属性中,在构建器下,如果您禁用GoogleAppEngine项目更改通知程序,您的web.xml将不会再被修改。但是,由于对GAE环境不够热衷,我无法判断禁用此构建器的副作用是什么。

java - 为什么我不能再从 AWS S3 in Spark 应用程序读取数据?

我已经升级到ApacheSpark1.5.1,但我不确定这是否导致了它。我在spark-submit中有我的访问key,它一直有效。Exceptioninthread"main"java.lang.NoSuchMethodError:org.jets3t.service.impl.rest.httpclient.RestS3Service.(Lorg/jets3t/service/security/AWSCredentials;)VSQLContextsqlContext=newSQLContext(sc);DataFramedf=sqlContext.read().format("c

java - 在 Spark/Jetty-server 中重新加载静态文件

我在这里描述了一些类似的问题:RefreshstaticfilesservedbySparkJava在我的应用程序中,用户可以将内容上传到一个文件夹,该文件夹也提供给用户Spark.staticFileLocation("/public");特征。我知道SparkJava在启动时只从该文件夹中读取一次“静态”内容,并且它不知道那里的变化。是否可以要求Spark(或通过Spark的Jetty)重新加载静态文件夹中的更改? 最佳答案 移动到externalStaticFileLocation("/var/www/public");

java - 从另一个应用程序启动它时如何正确等待 apache spark 启动器作业?

当我等待我的sparkapache工作完成但没有成功时,我试图避免使用“while(true)”解决方案。我有一个spark应用程序,它假设要处理一些数据并将结果放入数据库,我确实从我的spring服务调用它,并想等到工作完成。例子:带有方法的启动器:@Overridepublicvoidrun(UUIDdocId,Stringquery)throwsException{launcher.addAppArgs(docId.toString(),query);SparkAppHandlesparkAppHandle=launcher.startApplication();sparkApp

java - Spark Driver 内存和 Executor 内存

我是Spark的初学者,我正在运行我的应用程序以从文本文件中读取14KB数据,进行一些转换和操作(收集、收集AsMap)并将数据保存到数据库我在我的macbook上本地运行它,它有16G内存,8个逻辑核心。Java最大堆设置为12G。这是我用来运行应用程序的命令。bin/spark-submit--classcom.myapp.application--masterlocal[*]--executor-memory2G--driver-memory4G/jars/application.jar我收到以下警告2017-01-1316:57:31.579[Executortasklaunc

java - 如何将 Google App Engine java Content-Type 设置为 UTF-8

我似乎无法在响应header中发送UTF-8编码。我尝试使用它无济于事:resp.setHeader("Content-Encoding","utf-8");有谁知道这个错误什么时候修复或者有解决方法?引用资料:http://groups.google.com/group/google-appengine/browse_thread/thread/68a480cb7bec869ehttp://www.ozelwebtasarim.com/index.php/google/10004-google-app-engine-java-utf-8-character-encoding-prob

java - Google App 引擎外部数据库

我一直在寻找,但在任何地方都找不到答案。我也没有时间尝试。是否可以使用GoogleAppEngine(GAE)中的java连接到远程数据库。无论是MySql、SQLServer等。是否允许在其域外进行调用?甚至可以使用所需的库来建立这样的连接吗? 最佳答案 您会发现最接近的是GoogleSecureDataConnector.所有从GAE出站的连接都是基于HTTP的,因此您不太可能获得到数据库服务器(MySql、SqlServer等)的jdbc类型连接。 关于java-GoogleApp

java - 为什么我无法通过 App Engine 将大于 100KByte 的文件上传到 Google Cloud Storage?

我的项目只包含简单的文件上传表单和重定向以查看它。我可以上传任何小于50KB的文件,但是当我上传一些大于100KB的文件时,它会从AppEngine抛出IO异常。我不确定问题出在哪里。有谁知道如何增加我可以通过在应用引擎中发布的表单上传到谷歌云存储的文件大小?文件大小适本地小于10MB是可以的。任何代码片段将不胜感激。谢谢。java.io.IOExceptionatcom.google.appengine.api.files.FileServiceImpl.translateException(FileServiceImpl.java:615)atcom.google.appengin

java - 如何在 App Engine 上使用适用于 Java 的 Google 客户端库创建 Google Cloud Storage 可恢复上传 URL?

我找到了下面的注释,它准确地描述了我想做的事情:Note:Ifyourusersareonlyuploadingresources(writing)toanaccess-controlledbucket,youcanusetheresumableuploadsfunctionalityofGoogleCloudStorage,andavoidsigningURLsorrequiringaGoogleaccount.Inaresumableuploadscenario,your(server-side)codeauthenticatesandinitiatesanuploadtoGoog