草庐IT

spark-app

全部标签

java - 如何在 Eclipse 中合并 GWT (Google Web Toolkit) 项目和动态 Web 项目(即 Java Web App/Servlets)?

我目前有一个主要的JavaWeb应用程序项目,其中包含一些Servlet、JSP和静态HTML页面。后来,我还创建了第二个EclipseGoogleWebToolkit项目(GWT)。现在,在完成GWT项目后,我想将GWT项目(同时保留其带有Servlet的RPC功能)与PrimaryJavaWebApp项目集成或合并。我需要在哪个目录中将文件和文件夹从GWT项目复制粘贴到JavaWebApp项目?请记住,我想导出完全编译的JavaScript代码而不是Java字节代码。 最佳答案 您可以将GWT项目中的所有Java文件准确地放在它

java - App Engine Java - 当前使用联合登录/Openid - 我应该如何保留成功通过身份验证的 Facebook 用户?

我的GoogleAppEngineJava应用程序使用openid/federatedlogin运行良好。我保存一个UserProfile对象,一旦我们有一个登录用户保存对UserService.getCurrentUser()对象(及其用户ID)的引用,我就会保留该对象,如下所示:UserServiceuserService=UserServiceFactory.getUserService();user=userService.getCurrentUser();userId=user.getUserId();profile=UserProfileBin.getInstance().

java - Tomcat 上的 Tapestry Web App 偶尔会吐出垃圾

我们有一个在Tomcat6上运行的Tapestry-Spring-Hibernate网络应用程序,每秒处理大约1000个请求。随机地,没有明显的原因,一个页面只是在浏览器上显示一堆随机字符。但是,当页面刷新时,它显示正常。以下是Chrome上乱码页面来源的屏幕截图:这是我目前的发现:它似乎不是特定于浏览器的。我在Chrome和Firefox上看到过这种情况,但用户也曾在IE7及更高版本上报告过这种情况。服务器上的负载似乎与发生这种情况的时间无关。刷新页面正常显示页面,就好像什么都没发生过一样。我在服务器或应用程序日志中没有看到任何相关内容页面的内容类型标签是在同一个容器上部署了几个其他

java - Google App Engine 部署错误 409

我收到error409Conflict和以下消息Deploymentofthisversionhasnotyetstarted我尝试部署到新版本、更新现有版本并尝试回滚,但在部署期间一切正常,直到最后一步并最终显示Uploading0FilesDeploymentofthisversionhasnotyetstarted 最佳答案 这是1.7.0管理控制台中的一个已知错误。我们正在努力修复。此问题现已修复。2012年10月11日 关于java-GoogleAppEngine部署错误409

java - Google App Engine 和 dos.xml

我的理解是,真正减轻DDoS攻击的唯一方法是自动化将IP地址/范围列入黑名单的过程。GoogleAppEngine(GAE)允许您配置和上传dos.xml文件,并在任何给定时间指定要列入黑名单的IP地址/范围。显然,如果我的网络应用受到精心策划的DDoS攻击,攻击我的IP地址/范围将不断变化。GAE允许我多久更新一次dos.xml?更改需要多长时间才能生效?我问是因为我正在设计一个AutoBlacklister系统来检查它认为是攻击者的IP地址,并将动态更新dos.xml。如果有超过100个攻击者(GAE将您限制为100个地址/范围),那么只有前100个“最严重的攻击者”会出现在列表中

java - Objectify List<Ref<T>> 未由 Google App Engine 端点序列化

您好,有两个相关的实体:客户和汽车。每个客户可以拥有多辆汽车这是实体的汇总View:publicclassCustomer{//InnerclassesforpartialloadspublicstaticclassNoCars{}@IdprotectedStringid;privateStringfullName;@Load(unless=NoCars.class)privateList>cars;}publicclassCar{@IdprivateLongid;privateStringmakeAndModel;privateStringplateNumber;}这是一种从数据存储

java - 将 spark 数据帧写入 Parquet 格式时出现内存不足错误

我正在尝试从数据库中查询数据,对其进行一些转换并将新数据以Parquet格式保存在hdfs上。由于数据库查询返回大量行,我正在分批获取数据并对每个传入批处理运行上述过程。更新2:批处理逻辑是:importscala.collection.JavaConverters._importorg.apache.spark.SparkContextimportorg.apache.spark.sql.SQLContextimportorg.apache.spark.sql.Rowimportorg.apache.spark.sql.types.{StructType,StructField,St

java - 低负载下 App Engine 一致的延迟峰值

我注意到我的应用在AppEngine上运行时出现周期性但一致的延迟峰值。起初我以为网络可能很慢,但应用程序统计数据证实情况并非如此。我已经能够使用旧版本和新版本的SDK重现延迟峰值,目前我正在使用以下版本:应用引擎SDK:1.9.42Google云端点:1.9.42客观化:5.1.13Appstats(调试网络延迟)所以应用程序的使用率非常低,在过去30天里,我通常每秒请求0.04个以下:大部分工作也是通过一个实例完成的:大多数操作的延迟都在一秒以下,但数量惊人的请求会花费10到30倍的时间。所以我认为这一定只是网络延迟,但运行速度较慢的每个appstat都证明了这一点。数据存储和网络

java - Apache Spark 如何将函数发送到引擎盖下的其他机器

我开始使用Pyspark进行一些数据处理。我可以做一些像这样的事情对我来说很有趣rdd.map(lambdax:(x['somekey'],1)).reduceByKey(lambdax,y:x+y).count()它会将这些函数中的逻辑发送到可能多台机器上以并行执行。现在,如果我有Java背景,如果我想将包含某些方法的对象发送到另一台机器,那台机器需要知道通过网络流式传输的对象的类定义。最近java有了函数式接口(interface)的想法,它将在编译时为我创建该接口(interface)的实现(即MyInterfaceimpl=()->System.out.println("Stu

java - Spark Kryo 注册数组类

我正在尝试用数组注册一个类(激活了Kryo的SparkJava),日志显示一条​​明确的消息:Classisnotregistered:org.apache.spark.sql.execution.datasources.InMemoryFileIndex$SerializableBlockLocation[]我已经写了几个组合,但这些都不起作用:kryo.register(Class.forName("org.apache.spark.sql.execution.datasources.InMemoryFileIndex$SerializableBlockLocation[]"));