草庐IT

desktop_scripting_applications_wi

全部标签

hadoop - 配置单元 : The application won't work without a running HiveServer2

我是这个领域的新手。我正在检查CDH5.8快速启动VM以尝试一些基本的hive/impala示例。但是我遇到了一个问题,当我打开HUE时出现以下错误。我搜索了解决方案,但没有找到任何可以解决我的问题的方法。Configurationfileslocatedin/etc/hue/conf.emptyPotentialmisconfigurationdetected.FixandrestartHue.HiveTheapplicationwon'tworkwithoutarunningHiveServer2.我检查过,它已启动并正在运行。尝试重新启动服务和CDH,没有帮助。HiveServe

hadoop - 限制 Application Master 请求的资源的属性

HadoopMRv2(Yarn)中是否有一个属性允许我们专门操纵ApplicationMaster请求的资源量(VCores和堆内存)?或者ApplicationMaster会动态评估所需的资源(基于每个应用程序)并为容器请求相应的资源? 最佳答案 以下属性可用于为YARNApplicationmaster设置VCors和HeapMemory。yarn.app.mapreduce.am.resource.mb8192yarn.app.mapreduce.am.resource.cpu-vcores1yarn.app.mapreduc

java - hadoop、 Jersey 和 JBoss : application won't start

首先,我对JBoss几乎一无所知。昨天之前从来没有接触过它,仍然不太了解它。但是,我公司的一位客户正在使用它来部署我们的应用程序,而我们的最新更新破坏了他们的配置,所以我正在努力解决它。无论如何,这是版本信息:Hadoop:2.7.2Jersey:2.3JBoss:6.1操作系统:Windows(我怀疑这是特定于操作系统的,那只是我正在处理的环境)我们最近向我们的应用程序添加了一个Hadoop连接器模块,这似乎是导致失败的原因。我已经能够重现这个问题,这里是堆栈跟踪:13:32:39,857ERROR[org.jboss.msc.service.fail](MSCservicethre

Docker Desktop - Unexpected WSL error An unexpected error was encountered 相关问题的解决

最近刚刚开始学习dockerDesktop,遇到了这样一个错误,折腾了半天,终于解决可以正常使用了首先报错如下DockerDesktop-UnexpectedWSLerrorAnunexpectederrorwasencounteredwhileexecutingaWSLcommand.Commoncausesincludeaccessrightsissues,whichoccurafterwakingthecomputerornotbeingconnectedtoyourdomain/activedirectory.PleasetryshuttingWSLdown(wsl--shutdown

Wi-Fi、蓝牙、ZigBee等多类型无线连接方式的安全物联网网关设计

随着物联网和云计算技术的飞速发展.物联网终端的数量越来越多,终端的连接方式也更趋多样化,比如Wi-Fi蓝牙和ZigBee等。现有的物联网网关大多仅支持一种或者几种终端的接人方式。无法满足终端异构性的需求。同时,现有的物联网网关与终端设备之间普遍采用明文传输的模式无法满足安全需求较高的应用。1、物联网网关系统整体设计​物联网网关系统整体结构包括物联网网关模拟Wi-Fi终端模拟蓝牙终端和模拟ZigBee终端.物联网网关主要包括最小系统Wi-Fi、蓝牙模块、ZigBee模块可以同时支持Wi-Fi终端蓝牙终端和ZigBee终端的接人。Wi-Fi终端蓝牙终端和ZigBee终端可以分别向网关上传明态或密态

hadoop - 如何从 `yarn application -list` 访问 Tracking-URL?

我想查看我在yarn中看到的某个作业的yarnwebUI。当我做yarnapplication-list我可以看到跟踪URL.所以,我在chrome中导航到那个页面,它给了我这样的错误:The172.12.15.181pageisn'tworking.172.12.15.181didn'tsendanydata.我显然已经通过ssh进入了应该允许我看到它的机器。另外,这份工作肯定在status=RUNNING在yarn中。那么,是什么阻止我在这个url上看到yarnweb用户界面?我这样做正确吗?谢谢。 最佳答案 在yarnappl

apache-spark - YARN 如何决定启动哪种类型的 Application master?

我提到了this链接并获得对YARN工作原理的公平理解。YARN能够运行Multi-Tenancy应用程序,例如MR、Spark等。关键点是特定于应用程序的ApplicationMaster(AM)。当客户端向ResourceManager提交Job时,ResourceManager如何知道它是哪种应用程序(MR、Spark)并因此启动适当的ApplicationMaster?谁能帮助RM如何知道提交给它的作业类型?编辑:这个问题是:RM怎么知道提交了什么样的Job,而不知道YARN和MR或者Spark之间有什么关系。RM收到一个Job,因此它必须启动第一个运行特定应用程序Applic

hadoop - 执行 Pig 脚本 -x local script.pig 和 just script.pig 之间的区别

目前我正在执行我的脚本:/usr/bin/pig/somepath/myscript.pig出于某种原因,pig总是卡在这个阶段。2014-01-2816:49:31,328[main]INFOorg.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher-0%complete如果我用`/usr/bin/pig-xlocal/somepath/myscript.pig`出于某种原因提示路径:Input(s):Failedtoreaddatafrom"file:///path_from_root

python - Hive 转换使用 Python : Unable to initialize custom script

我正在尝试通过将Python脚本作为映射器来测试HiveTRANSFORM。我的hive脚本是:addfile/full/path/to/mapper.py;setmapred.job.queue.name=queue_name;usemy_database;selecttransform(s.year,s.month,s.day,s.hour)using'mapper.py'frommy_tableslimit10;我的Python映射器脚本只是试图回应输入:#!/usr/local/bin/pythonimportsysforlineinsys.stdin:printline我尝试

Docker Desktop - WSL distro terminated abruptlyA WSL distro Docker Desktop relies on has exited une

请按照以下步骤操作:打开PowerShell或以管理员身份运行的命令提示符。运行以下命令以列出已安装的WSL分发:wsl--list运行以下命令以注销Docker相关的分发wsl--unregister将替换为实际的Docker相关分发的名称。重新启动计算机。启动Docker,它将自动创建一个新的WSL分发