我确定这已发布在某处或已经传达，但我似乎找不到任何关于从一个版本升级/迁移HDInsight集群到下一个版本的信息。一点背景。自2014年1月24日以来，我们一直在使用Hive和HDInsight来存储我们所有的IIS日志。我们喜欢它，它为我们的团队提供了很好的洞察力。我最近在评论http://azure.microsoft.com/en-us/documentation/articles/hdinsight-component-versioning/并注意到我们的HDInsight版本(2.1.3.0.432823)不再受支持，并将于5月弃用。这让我开始思考如何进入3.2版。我似乎无
我一直在azureHDInsight上评估Hadoop，以便为我们的报告应用程序找到大数据解决方案。此技术评估的关键部分是我需要与MSSQLReportingServices集成，因为这是我们的应用程序已经使用的。我们的开发人员资源非常短缺，所以我越能将其纳入工程实践中越好。到目前为止我尝试了什么使用从MSSQL映射到HDInsight上的Hive的ODBC连接。在HDInsight上使用HBASE从MSSQL使用ODBC连接。在AzureHDInsight远程桌面上本地使用SPARKQL我发现HBASE和Hive在我们的报告中使用起来要慢得多。对于测试数据，我使用了一个60k行的表，
我有一个map-reduce作业，reducer获取驻留在AzureBlob存储上的文件的绝对地址，reducer应该打开它并读取其内容。我在配置Hadoop集群(HDInsight)时添加了包含文件的存储帐户。因此，reducer必须有权访问此Blob存储，但因为Blob存储不是我工作的默认HDFS存储。我的reducer中有以下代码，但它给了我一个FileNotFound错误消息。FileSystemfs=FileSystem.get(newConfiguration());Pathpt=newPath("wasb://mycontainer@accountname...");FS
我可以创建集群，但我该如何自动执行脚本？varclusterInfo=newClusterCreateParametersV2{Name=clusterConfig.ClusterName,...ClusterType=ClusterType.Spark};`cluster.RunScript()?我可以获得SparkContext吗？https://azure.microsoft.com/en-us/documentation/articles/hdinsight-apache-spark-use-bi-tools/ 最佳答案 今
我在Azure上使用HortonWorks沙箱，并且正在研究Hadoop入门教程“实验室3-pig风险因素分析”。http://hortonworks.com/hadoop-tutorial/hello-world-an-introduction-to-hadoop-hcatalog-hive-and-pig/#section_5在执行完所有步骤之后，运行这个pig脚本:a=LOAD'geolocation'usingorg.apache.hive.hcatalog.pig.HCatLoader();b=filterabyevent!='normal';c=foreachbgenera
那么我如何使用以下输入从pig那里得到这个输出。我应该使用哪些命令输入:10/3/2013120010/4/20130000预期输出:MondayMorningTuesdayEvening 最佳答案 将字段拆分为2个字段，然后使用ToDate获取当天的名称。对于晚上和早上，您可以检查值并分配。假设您与1个字段有关系B=FOREACHAGENERATESTRSPLIT((chararray)A.$0,'',2);C=FOREACHBGENERATEToString(ToDate(B.$0,'MM/dd/yyyy'),'E'),(CAS
我已经在Azure中创建了一个DNS区域。例如，对于IP范围192.0.2.128/26，我创建了128-26.2.0.192.in-addr.arpa。现在我应该如何为要创建的Hdinsight虚拟机创建PTR记录？ 最佳答案 当为具有192.0.2.128/26前缀中的IP的主机创建反向区域以托管记录时，区域名称将通过隔离地址的网络前缀(192.0.2)然后反转顺序来创建(2.0.192)并添加后缀.in-addr.arpa。 关于azure-如何为PremiumHDInsight创
我正在尝试从Node.js访问MicrosoftAzure上的HBase。我查看了不同的库，例如hbase和RESTAPI(webhcat)。我想要实现的是创建一个表并从Node.js上传数据。稍后我想对该数据集进行查询。不幸的是，Azure的文档在这方面没有太大帮助，因为它侧重于PowerShell和.NETSDK。我发现的一篇非常有用的文章是:http://blogs.msdn.com/b/bigdatasupport/archive/2014/04/22/querying-hdinsight-job-status-with-webhcat-via-native-powershel
我正在Azure的Hadoop中创建一个多节点(1主和3从)集群，我认为所有的设置都已经完成，但是当我运行一个测试文件时，它遇到了与Stackoverflow中其他人类似的问题，我已经尝试了他们的解决方案，但是，这个问题仍然无法解决。谁能帮助我，我在这个问题上卡了几天org.apache.hadoop.ipc.RemoteException(java.io.IOException):File/benchmarks/TestDFSIO/io_control/in_file_test_io_0couldonlybereplicatedto0nodesinsteadofminReplicat
具体来说，我想更改在MicrosoftAzure上运行的HDInsight集群中每个节点的最大映射器数量和最大缩减器数量。我使用远程桌面登录到头节点。我编辑了头节点上的mapred-site.xml文件并更改了mapred.tasktracker.map.tasks.maximum和mapred.tasktracker.reduce.tasks.maximum值。我尝试重新启动头节点，但无法重新启动。我使用start-onebox.cmd和stop-onebox.cmd脚本来尝试启动/停止HDInsight。然后我运行了一个流式mapreduce，将所需数量的reducer传递给had
