草庐IT

azure-virtual-machine

全部标签

azure - 将日期转换为星期日期名称和一天的一部分

那么我如何使用以下输入从pig那里得到这个输出。我应该使用哪些命令输入:10/3/2013120010/4/20130000预期输出:MondayMorningTuesdayEvening 最佳答案 将字段拆分为2个字段,然后使用ToDate获取当天的名称。对于晚上和早上,您可以检查值并分配。假设您与1个字段有关系B=FOREACHAGENERATESTRSPLIT((chararray)A.$0,'',2);C=FOREACHBGENERATEToString(ToDate(B.$0,'MM/dd/yyyy'),'E'),(CAS

azure - 如何为 Premium HDInsight 创建反向 DNS 查找区域?

我已经在Azure中创建了一个DNS区域。例如,对于IP范围192.0.2.128/26,我创建了128-26.2.0.192.in-addr.arpa。现在我应该如何为要创建的Hdinsight虚拟机创建PTR记录? 最佳答案 当为具有192.0.2.128/26前缀中的IP的主机创建反向区域以托管记录时,区域名称将通过隔离地址的网络前缀(192.0.2)然后反转顺序来创建(2.0.192)并添加后缀.in-addr.arpa。 关于azure-如何为PremiumHDInsight创

Azure 上的 Node.js 和 HBase (HDInsight)

我正在尝试从Node.js访问MicrosoftAzure上的HBase。我查看了不同的库,例如hbase和RESTAPI(webhcat)。我想要实现的是创建一个表并从Node.js上传数据。稍后我想对该数据集进行查询。不幸的是,Azure的文档在这方面没有太大帮助,因为它侧重于PowerShell和.NETSDK。我发现的一篇非常有用的文章是:http://blogs.msdn.com/b/bigdatasupport/archive/2014/04/22/querying-hdinsight-job-status-with-webhcat-via-native-powershel

azure - hadoop集群,datanode无法运行,排除0个节点

我正在Azure的Hadoop中创建一个多节点(1主和3从)集群,我认为所有的设置都已经完成,但是当我运行一个测试文件时,它遇到了与Stackoverflow中其他人类似的问题,我已经尝试了他们的解决方案,但是,这个问题仍然无法解决。谁能帮助我,我在这个问题上卡了几天org.apache.hadoop.ipc.RemoteException(java.io.IOException):File/benchmarks/TestDFSIO/io_control/in_file_test_io_0couldonlybereplicatedto0nodesinsteadofminReplicat

hadoop - 如何配置和重新启动在 Azure 上运行的 HDInsight 群集?

具体来说,我想更改在MicrosoftAzure上运行的HDInsight集群中每个节点的最大映射器数量和最大缩减器数量。我使用远程桌面登录到头节点。我编辑了头节点上的mapred-site.xml文件并更改了mapred.tasktracker.map.tasks.maximum和mapred.tasktracker.reduce.tasks.maximum值。我尝试重新启动头节点,但无法重新启动。我使用start-onebox.cmd和stop-onebox.cmd脚本来尝试启动/停止HDInsight。然后我运行了一个流式mapreduce,将所需数量的reducer传递给had

azure - 在 HDInsight 上使用 HQL 文件时出现 ParseExceptions

我正在学习本教程http://azure.microsoft.com/en-us/documentation/articles/hdinsight-use-hive/但是在将查询源更改为使用文件时卡住了。使用New-AzureHDInsightHiveJobDefinition-Query$queryString时一切正常但是当我尝试New-AzureHDInsightHiveJobDefinition-File"/example.hql"与example.hql存储在blob容器的“根”中,我得到ExitCode40000和标准错误中的以下内容:Logginginitializedu

Azure HDInsight : what is head node in a hadoop cluster?

我刚刚在HDInsight中设置了一个Hadoop集群并尝试开始使用Hadoop。我在集群上启用了远程登录并登录到它。我已将要处理的数据从我的桌面复制到这个盒子上。文档将此框称为头节点,并有一个额外的步骤,用于讨论将数据复制到hadoop集群。这让我很困惑。我有以下问题:当我将数据从桌面复制到我登录的盒子时,它实际上不是将数据复制到hadoop吗?第一个复制操作与第二个复制操作有何不同?什么是Hadoop中的头节点? 最佳答案 HDInsight集群中的头节点是运行构成Hadoop平台的一些服务的机器,包括名称节点和作业跟踪器。从广

azure - hive中如何向单个文件中插入数据

这项工作INSERTOVERWRITEDIRECTORY'wasb:///hiveblob/'SELECT*fromtable1;但是当我们发出这样的命令时INSERTOVERWRITEDIRECTORY'wasb:///hiveblob/sample.csv'SELECT*fromtable1;失败,异常无法重命名:wasb://incrementalhive-1@crmdbs.blob.core.windows.net/hive/scratch/hive_2015-06-08_10-01-03_930_4881174794406290153-1/-ext-10000到:wasb:/

java - HDInsight-Spark (spark-submit) 失败 - java.lang.NoSuchMethodError : com. microsoft.azure.storage.blob.CloudBlockBlob.startCopy

我们正在开发一个spark应用程序。它将托管在azureHDInsightSpark集群上。我们的用例是这样的,我们必须从azureblob存储中提取数据并使用spark处理数据,最后创建或将数据追加回azureblob存储。所以我们用了azure-storage-4.3.0.jar我们在eclipse项目中使用了Maven并添加了以下依赖com.microsoft.azureazure-storage4.3.0编译成功。甚至应用程序在本地机器上也能正常运行并且执行时没有任何问题。因此我们从eclipse创建了一个uber/fatjar并移植到我们的AzureHDInsight-Spa

azure - 我可以将 Avro 序列化数据附加到现有的 Azure blob 吗?

我在问我是否可以,但我也想知道我是否应该。这是我的场景:我正在小批量接收Avro序列化消息。我想存储它们以供以后使用带有AvroSerDe的Hive表进行分析。我在Azure中运行,并将消息存储在blob中。我试图避免有很多小Blob(因为我相信这会对Hive产生负面影响)。如果我已经将Avroheader写入blob,我相信可以使用CloudBlockBlob.PutBlockAsync()附加Avro数据block。(只要我知道同步标记。)但是,我检查了两个.NET库,它们似乎不支持我的方法。(我必须一次写入整个Avro容器文件)。http://www.nuget.org/pack