草庐IT

datastax-enterprise-graph

全部标签

hadoop - 在cloudera集群上安装datastax cassandra

我有一个在Ubuntu服务器上运行的现有CDH5.3集群。我想在相同的节点上安装Cassandra并将其与现有的Cloudera集群集成。我知道Cassandra现在允许BYOH,但我找不到任何在线指南来帮助我完成它。有没有人这样做过?你有什么我可以遵循的指示吗?谢谢 最佳答案 这是BYOH的Datastax文档 关于hadoop-在cloudera集群上安装datastaxcassandra,我们在StackOverflow上找到一个类似的问题: https

java - 为 Hadoop 环境配置 Eclipse(在 Windows 上)(在具有 SUSE Linux Enterprise Server 11 的虚拟机上)

我在装有SUSELinuxEnterpriseServer11的VMware上以伪分布式模式安装了Hadoop。我能够运行helloworld示例,例如字数统计。我还使用WinSCP连接到该VM并将几个XML文件上传到hadoop集群中。我现在的问题是如何配置我在Windows7本地计算机上安装的eclipse以连接该VM并编写一些java代码来处理我在集群中转储的数据。我做了一些工作,能够在eclipse中获得Map/Reduce透视图,但无法弄清楚如何从我的本地机器连接VM上的hadoop,编写我的java代码(映射器、reducer类)来处理数据并保存结果回到集群。如果有人能帮我

graph - 将多个顺序 HBase 查询的结果传递给 Mapreduce 作业

我有一个HBase数据库,它存储有向图的邻接表,每个方向的边存储在一对列族中,其中每一行表示一个顶点。我正在编写一个mapreduce作业,它将所有节点作为其输入,这些节点也具有从相同顶点指向的边,因为具有指向其他顶点(指定为查询的主题)的边。这有点难以解释,但在下图中,当查询顶点“A”时,作为输入的节点集将是{A,B,C},因为它们都具有来自顶点的边'1':为了在HBase中执行此查询,我首先在产生{1}的反向边列族中查找边为“A”的顶点,然后,对于该集合中的每个元素,从该元素中查找边为“A”的顶点该集合的前向边缘列族。这应该会产生一组键值对:{1:{A,B,C}}。现在,我想获取这

Hadoop map 作业因 com.datastax.driver.core.exceptions.NoHostAvailableException 而失败

我正在尝试使用hadoopmap-reduce对存储在cassandra中的数据运行分析。为此,我使用了可通过Maven依赖项cassandra-all获得的类CqlInputFormat。目前我们在生产环境中一直使用这个依赖的2.0.10版本。此外,我们正在使用版本为2.1.1的caassandra-driver-core。现在,当我向我的jobtracker提交一个简单的map-reduce作业时,我的所有映射器任务都会失败,并出现以下异常。这里要注意的另一个重要事项是,如果我使用cassandra-all2.0.6中可用的CqlPagingInputFormat,一切正常。但是这

graph - Hadoop MapReduce 在图中实现最短路径,而不仅仅是距离

我一直在寻找“最短路径搜索算法的MapReduce实现”。但是,我能找到的所有实例都“计算了从节点x到y的最短距离”,但实际上没有一个实例输出“像x-a-b-c-y这样的实际最短路径”。至于我想要实现的是我有数百个节点的图形,我需要对各个节点之间的最短路径执行频繁的模式分析。这是我正在进行的研究项目。如果有人能指出一些实现(如果存在的话)或给出一些关于如何破解现有SSSP实现以生成路径和距离. 最佳答案 基本上这些实现与某种消息传递一起工作。因此消息在map和reduce阶段之间被发送到HDFS。在reducer中,它们按距离分组和

hadoop - 启用 hadoop 和 kerberos 的 datastax enterprise 出错

我已经为dse配置了hadoop启用和kerberos身份验证。但是我在日志中看到了这个错误。我可以执行dsehadoopfs命令和nodetool命令,但不能运行mapreduce作业。日志如下:-ERROR[TASK-TRACKER-INIT]2014-02-0720:45:03,813TaskTrackerRunner.java(line128)HadoopTaskTrackercausedanexceptioninstateSTARTING:java.io.IOException:Cannotrunprogram"/usr/share/dse/hadoop/native/Lin

制作 "live graph"的 PHP/AJAX 工具包(例如用于跟踪股票价格)

我如何(从来源获得正确的股票价格后)在“实时图表”上显示它。我正在寻找允许我实时创建该图的php/ajax工具包?使用正确的方法还是基于Flash的解决方案更好?是否有第3方网站可以根据输入数据创建实时图表? 最佳答案 Highcharts可能是您需要的。我最近开始了一个新项目来简化使用php时图形的构造:http://aloiroberto.wordpress.com/2010/02/04/highcharts-php-library/此外,GoogleCharts或OpenFlashChart是具体的可能性(后者需要Flash)

php - PEAR 错误 require_once(Structures/Graph/Node.php) : failed to open stream

我正在尝试使用PEAR安装PHPUnit。无论我运行什么命令,如pearinstallphpunit/PHPUnit、pearinstallStructures_Graph、pearupgrade、pearupgrade--force--alldeps...它总是以结尾Warning:require_once(Structures/Graph/Node.php):failedtoopenstream:NosuchfileordirectoryinPEAR\Structures\Graph.phponline37PHPWarning:require_once(Structures/Gra

php - 如何使用新的 Microsoft Graph API 创建授权 token ?

我一直在用这个:https://github.com/Azure-Samples/active-directory-php-graphapi-web.git访问graphapi,这是有效的。我的azureAD注册应用程序能够查询API以获取目录中的用户列表。但现在我想列出目录中用户的文件夹。本页http://graph.microsoft.io/docs说url应该是:https://graph.microsoft.com/v1.0/me/drive/root/children当我在REST调用中使用该url时,我得到了"code":"InvalidAuthenticationToke

php - 使用 Facebook Graph API 上传照片时出现异常

我想在应用程序的默认相册中为用户上传一张照片到facebook。这在此处发布下进行了描述:http://developers.facebook.com/docs/reference/api/photo这里已经回答了方法:HowcanIuploadphotostoalbumusingFacebookGraphAPI.我正在使用以下内容:$args=array('message'=>'PhotoCaption','image'=>'@'.realpath("image.png"));$data=$facebook->api('/me/photos','post',$args);但是,当我尝