草庐IT

default-scheduler

全部标签

java - Spring Scheduler 意外停止

我们在Tomcat6上有一个Spring3Web应用程序,它通过@Scheduled使用多个预定服务(主要用于每晚运行的作业)。现在看来,有时(很少,可能在两个月左右一次)调度程序线程停止工作,因此第二天晚上不会执行任何作业。我们的日志文件中没有异常或日志条目。有人知道为什么会这样吗?或者如何获取有关此问题的更多信息?有没有办法在应用程序中检测到这种情况并重新启动调度程序?目前,我们正在通过每5分钟运行一次并创建一个日志条目的日志记录作业来解决此问题。如果日志文件停止更新(由nagios监控),我们知道是时候重新启动tomcat了。在没有完全重启服务器的情况下重新启Action业会很好

java - Spring Scheduler 意外停止

我们在Tomcat6上有一个Spring3Web应用程序,它通过@Scheduled使用多个预定服务(主要用于每晚运行的作业)。现在看来,有时(很少,可能在两个月左右一次)调度程序线程停止工作,因此第二天晚上不会执行任何作业。我们的日志文件中没有异常或日志条目。有人知道为什么会这样吗?或者如何获取有关此问题的更多信息?有没有办法在应用程序中检测到这种情况并重新启动调度程序?目前,我们正在通过每5分钟运行一次并创建一个日志条目的日志记录作业来解决此问题。如果日志文件停止更新(由nagios监控),我们知道是时候重新启动tomcat了。在没有完全重启服务器的情况下重新启Action业会很好

hadoop - yarn 休息 API : XML as default

有没有办法将GET请求(如/ws/v1/cluster/info)的默认响应格式更改为XML?我知道我可以在请求中指定Accept:application/xmlheader。但是我想更改默认值,以便可以省略header。 最佳答案 来self对Yarnsourcecode的阅读,JSON和XML之间的区别完全委托(delegate)给底层的JAX-RS基础设施,带有像@Produces({MediaType.APPLICATION_JSON,MediaType.APPLICATION_XML})整个代码。此机制(称为“静态内容协商

java - Spark 2.0.0 抛出 AlreadyExistsException(消息 :Database default already exists) when interact with Hive 1. 0.0

我正在尝试使用SparkJava连接到Hive。当我通过Spark在Hive中运行任何查询时,它会返回如下异常:16/10/0609:37:56ERRORmetastore.RetryingHMSHandler:AlreadyExistsException(message:Databasedefaultalreadyexists)我的版本是:星火2.0.0hive1.0.0这是我的全部堆栈:16/10/0609:37:56ERRORmetastore.RetryingHMSHandler:AlreadyExistsException(message:Databasedefaultalr

hadoop - Hive 写入分区和 DEFAULT

我有一个日期时间表、一个事实表和一个分区表。目标是将date_time加入事实并插入到分区表中。它正在工作,因为我可以验证/apps/hive/warehouse/dbname.db/p_tbl/p_year=2016/p_month=01/p_day=01以及其他几个年、月、日文件夹是当前的。但是,我也有p_year=__HIVE_DEFAULT_PARTITION__/p_month=__HIVE_DEFAULT_PARTITION__/p_day=__HIVE_DEFAULT_PARTITION__充满了应该有自己的分区的数据。为什么某些年、月、日分区有效,而对于其他日期,它们被

java - Apache Hadoop 2.7.4,配置 Fair Scheduler 导致错误

我配置了一个Hadoop2.7.4集群,其中有3个worker和1个master。我必须在集群上运行多个作业。一项工作需要很多时间才能完成,而其他工作则很小。我已经知道FairScheduler最适合我的情况。当我更新yarn-site.xmlFairSchedulerclass并重新启动集群,当我访问http://localhost:8088/cluster时会导致以下错误(资源管理器网页界面)HTTPERROR500Problemaccessing/cluster/.Reason:org.apache.hadoop.yarn.server.resourcemanager.sched

java - 在 Spring 测试@Scheduled

Spring提供了使用注释以特定时间间隔安排和执行任务的可能性,例如@Scheduled有没有一种方便的方法来对该行为进行单元测试?当然我可以自己调用bean的方法,但我想确保我不会遇到像multipleexecutionsduetomisconfiguration这样的问题等等。其他框架提供了自己快进时间的可能性。一个例子是Activiti你可以在哪里打电话org.activiti.engine.impl.util.ClockUtil.setCurrentTime(date)快进框架使用的时间。Spring有什么可比的吗?基本上我想要在单元测试中做这样的事情(使用SpringJUni

java - 在 Spring 测试@Scheduled

Spring提供了使用注释以特定时间间隔安排和执行任务的可能性,例如@Scheduled有没有一种方便的方法来对该行为进行单元测试?当然我可以自己调用bean的方法,但我想确保我不会遇到像multipleexecutionsduetomisconfiguration这样的问题等等。其他框架提供了自己快进时间的可能性。一个例子是Activiti你可以在哪里打电话org.activiti.engine.impl.util.ClockUtil.setCurrentTime(date)快进框架使用的时间。Spring有什么可比的吗?基本上我想要在单元测试中做这样的事情(使用SpringJUni

java - 特定表的 hbase-default.xml 中单元格的最大大小

是否可以在hbase-default.xml中为特定表配置单元格的最大大小。如果可能,请告诉我我们配置最大单元格大小的方法列表。Reference:Igotthiserror,java.lang.IllegalArgumentException:**KeyValuesize**toolargeatorg.apache.hadoop.hbase.client.HTable.validatePut(HTable.java:1312)atorg.apache.hadoop.hbase.client.HTable.doPut(HTable.java:941)atorg.apache.hadoo

Hadoop Fair Scheduler 没有将任务分配给某些节点

我正在尝试运行FairScheduler,但它没有将Map任务分配给某些节点,只有一个作业正在运行。我的理解是,公平调度程序将使用conf插槽限制,除非存在多个作业,此时公平计算开始。我还尝试在fair-中将所有队列设置为FIFO-scheduler.xml,但我得到了相同的结果。我已经使用mapreduce.jobtracker.taskscheduler参数在所有mapred-site.xml文件中设置了调度程序(尽管我相信只有JobTracker需要它)并且部分节点接收和运行Map任务没有问题。然而,其他节点要么永远不会获得任何Map任务,要么获得一轮Map任务(即,所有槽都被填