草庐IT

hadoop - 无法连接到 oozie 服务器(错误代码 : 500)

我尝试使用JavaAPI运行oozie工作流。但是在提交作业时,它给我一个错误代码500。请查看下面的堆栈跟踪。Exceptioninthread"main"HTTPerrorcode:500:InternalServerErroratorg.apache.oozie.client.OozieClient.handleError(OozieClient.java:445)atorg.apache.oozie.client.OozieClient$JobSubmit.call(OozieClient.java:523)atorg.apache.oozie.client.OozieClie

hadoop - Hive 查询 - 无法找到评分超过 30 的电影,平均评分是多少

我已经使用查询在配置单元中创建了一个表CREATETABLEu_data(useridINT,movieidINT,ratingINT,unixtimeSTRING)ROWFORMATDELIMITEDFIELDSTERMINATEDBY'\t'STOREDASTEXTFILE;然后将一些数据加载到其中,现在我想检索评分超过30的电影的平均评分。我尝试使用查询创建View:createviewratingcountasselectmovieid,count(rating)asnum_of_ratingsfromu_datagroupbymovieid;然后使用连接查询:Selectmo

hadoop - 资源管理器 UI 抛出 500 内部服务器错误

我有一个包含1个主站和1个从站的集群。我的集群工作正常,突然我开始出现以下错误,导致我的资源管理器UI未加载:HTTPERROR500Problemaccessing/cluster.Reason:INTERNAL_SERVER_ERRORCausedby:java.lang.NullPointerExceptionatorg.apache.http.client.utils.URLEncodedUtils.parse(URLEncodedUtils.java:235)atorg.apache.hadoop.security.token.delegation.web.ServletUt

hadoop - 如何从 "sort"中出现频率最高的 30 个词降序排列?

我的映射器(Hadoop1.2.1)创建键值对标记,我从一个简单的文本文件中读取它们。没有火箭科学。reducer最终“捆绑”(在Hadoop中,您是否像在SQL中那样称呼该分组?)相同的键并对值1求和。这是默认的Hadoop教程。但是,当我的reducer可以使用这些值时,我想对它们进行降序排序。仅显示前30个标记(字符串、单词)。我好像有些概念不是很清楚。首先,为每个键值对调用reduce方法,对吗?因此,我看不到一个地方可以缓冲像HashMap这样的东西,它可以保存最高的结果(最频繁的标记)。我在想,如果我有这样一个变量,我可以很容易地比较和插入值在前30名内的每个键。处理这个频

java - 每 30 分钟后的 Spring cron 表达式

我有以下Spring作业每30分钟运行一次。请检查我的cron表达式,正确吗?000**30这是来自相关Spring配置文件的完整cron作业定义: 最佳答案 根据Quartz-SchedulerTutorial应该是value="00/30***?"cronExpression的字段顺序是秒分钟营业时间月份中的某天月星期几年份(可选字段)确保您至少有6个参数,否则您会收到错误消息(年份是可选的)。 关于java-每30分钟后的Springcron表达式,我们在StackOverflow

java - 每 30 分钟后的 Spring cron 表达式

我有以下Spring作业每30分钟运行一次。请检查我的cron表达式,正确吗?000**30这是来自相关Spring配置文件的完整cron作业定义: 最佳答案 根据Quartz-SchedulerTutorial应该是value="00/30***?"cronExpression的字段顺序是秒分钟营业时间月份中的某天月星期几年份(可选字段)确保您至少有6个参数,否则您会收到错误消息(年份是可选的)。 关于java-每30分钟后的Springcron表达式,我们在StackOverflow

hadoop - 删除 hive 中超过 30 天的分区

我根据日期yyyy-mm-dd对Hive表进行了分区。我想每天运行一个脚本来删除所有超过30天的分区,但在这种情况下我不想传递日期。我希望它获取系统日期并删除超过30天的分区。 最佳答案 您需要使用Linux/Unix为DROPPARTITION日期设置变量并在ALTERTABLE语句中使用它。举个例子CREATETABLEramesh.test(col1STRING,col2STRING)PARTITIONEDBY(partition_datedate);INSERTINTOTABLEramesh.testPARTITION(pa

mysql - 我应该使用哪种技术来处理每 30 秒 100 万 * 100 万次计算

关闭。这个问题需要更多focused.它目前不接受答案。想改进这个问题吗?更新问题,使其只关注一个问题editingthispost.关闭8年前。Improvethisquestion我开发了一个GPS应用程序,其中所有设备(在路上移动)每30秒将其坐标发送到服务器。现在我必须计算这些设备之间的距离,所以如果任何设备进入另一个设备的范围内,那么两个设备都会收到通知。我知道如何计算两个坐标之间的距离(感谢Google),但我不确定如何实现它;如果我们有100万台设备同时向服务器发送数据,那么服务器需要每30秒执行100万*(100万-1)次距离计算。请告诉我如何实现它。我是否需要使用Ha

c# - C# 中的 Hadoop - 响应状态代码不表示成功 : 500 (Server Error)

尝试在Hadoop集群上运行MapReduce作业时出现奇怪的异常。有趣的是,我可以访问HDFS,但无法运行作业。UriBuilderuriBuilder=newUriBuilder("192.168.16.132");uriBuilder.Port=8021;//8082;varhadoop=Hadoop.Connect(uriBuilder.Uri,"username","password");hadoop.StorageSystem.MakeDirectory("user/username/test");//Thisworks//establishjobconfiguration

scala - Spark : Calculate event end time on 30-minute intervals based on start time and duration values in previous rows

我有一个带有event_time字段的文件,每条记录每30分钟生成一次,并指示事件持续了多少秒。示例:Event_time|event_duration_seconds09:00|80009:30|180010:00|270012:00|100013:00|1000我需要将连续的事件转换为一个具有持续时间的事件。输出文件应如下所示:Event_time_start|event_time_end|event_duration_seconds09:00|11:00|530012:00|12:30|100013:00|13:30|1000ScalaSpark中是否有一种方法可以将数据帧记录与