草庐IT

some_info

全部标签

java - 尽管配置相同,但 Cassandra 集群 : some nodes reporting "no other nodes seen",

这个问题不太可能帮助任何future的访问者;它只与一个小的地理区域、一个特定的时间点或一个非常狭窄的情况有关,这些情况并不普遍适用于互联网的全局受众。为了帮助使这个问题更广泛地适用,visitthehelpcenter.关闭10年前。我正在尝试设置一个8节点开发集群。我对配置做了最小的改动。我将其中一个节点设置为所有节点上的种子。3个节点连接到种子,但还有4个不连接。我检查过所有非连接节点都可以访问种子的IP(它们甚至在同一子网上)。我的网络没问题。我验证了所有IP都是正确的。一个非连接节点显然访问了种子:INFO17:30:16,272StartingMessagingServic

python - Spark : pyspark crash for some datasets - ubuntu

我正在使用Ubuntu和本地Spark安装(spark-2.0.2)。我的数据集很小,我的代码运行在我有一个小数据。如果我用更多行增加数据集(txt文件),则会发生错误。我在安装了Hadoop的ClouderaVM上尝试了完全相同的代码,并且运行良好。所以,这一定是我的Ubuntu机器上的一些内存问题或限制。还有一些其他类似的问题,例如:ApacheSpark:pysparkcrashforlargedataset但在我的情况下它没有帮助。我没有Hadoop集群,只有Spark、python2.7和java1.8。它工作正常,只是当有一些更复杂的计算或数据集更大时它崩溃了。有什么线索吗

hadoop - yarn hadoop 2.4.0 : info message: ipc. 客户端重试连接到服务器

我已经搜索了两天的解决方案。但没有任何效果。首先,我是整个hadoop/yarn/hdfs主题的新手,想配置一个小型集群。每次运行mapreduce-examples.jar中的示例时,上面的消息都不会出现有时teragen有效,有时无效。在某些情况下整个工作失败,在其他情况下工作成功完成。有时作业会失败,而不会打印上面的消息。14/06/0815:42:46INFOipc.Client:Retryingconnecttoserver:FQDN-HOSTNAME/XXX.XX.XX.XXX:53022.Alreadytried2time(s);retrypolicyisRetryUpT

shell - 将目录传递给 hadoop streaming : some help needed

上下文是我正在尝试在AmazonEMR(WebUI)上使用我运行的bash脚本运行流式作业:-inputs3://emrdata/test_data/input-outputs3://emrdata/test_data/output-mappers3://emrdata/test_data/scripts/mapperScript.sh-reducerNONE输入目录中有子目录,这些子目录中有gzip数据文件。mapperScript.sh失败的相关部分是:forfilenamein"$input"/*;dodir_name=`dirname$filename`fname=`basen

hadoop - HBase 连接挂起在 INFO ClientCnxn - 服务器上的 session 建立完成

我正在尝试从我的eclipse连接到Hadoop(2.4)上的HBase(版本0.94.18)并在此之后进行连接。这只发生在我的本地机器上。代码在服务器上运行良好。有什么想法吗?INFOZooKeeper-Clientenvironment:user.dir=D:\eclipse\eclipse-jee-64\eclipseINFOZooKeeper-Initiatingclientconnection,connectString=11.45.66.78:2181sessionTimeout=180000watcher=hconnectionINFOClientCnxn-Opening

hadoop - hbase 错误 : "10/12/26 06:48:07 INFO ipc.HbaseRPC: Server at/127.0.0.1:58920 could not be reached after 1 tries, giving up."

有人知道hbase有什么问题吗?我正在为hadoop使用cloudera发行版的vm图像,以前它工作正常但现在当我尝试列出所有表时每秒都会给我这个错误:10/12/2606:48:07信息ipc.HbaseRPC:尝试1次后无法访问位于/127.0.0.1:58920的服务器,放弃。 最佳答案 我在Ubuntu11.10上遇到了同样的问题。默认安装在/etc/hosts中添加了一行,将我的机器主机名与IP127.0.1.1相关联。我将此链接更改为指向127.0.0.1,Hbase开始工作。此外,其他计算机上类似问题的解决方案要么禁用

mysql - 高级 MySql 查询 : Update table with info from another table

我想用另一个表中的数据更新mySql中的一个表。我有两个表“人”和“业务”。人员表通过名为“business_id”的列链接到业务表。必要的表结构,主键加星号(表:列):人员:*business_id、*sort_order、电子邮件业务:*business_id、电子邮件我想用人员表中的电子邮件更新业务表电子邮件列,如下所示(我知道我在这里遗漏了一些东西):UPDATEbusinessbSETemail=(SELECTemailfromPeoplepwherep.business_id=b.business_idANDsort_order='1')WHEREb.email='';这有

mysql - 高级 MySql 查询 : Update table with info from another table

我想用另一个表中的数据更新mySql中的一个表。我有两个表“人”和“业务”。人员表通过名为“business_id”的列链接到业务表。必要的表结构,主键加星号(表:列):人员:*business_id、*sort_order、电子邮件业务:*business_id、电子邮件我想用人员表中的电子邮件更新业务表电子邮件列,如下所示(我知道我在这里遗漏了一些东西):UPDATEbusinessbSETemail=(SELECTemailfromPeoplepwherep.business_id=b.business_idANDsort_order='1')WHEREb.email='';这有

hadoop - "Unable to load realm mapping info from SCDynamicStore"错误后跟 KrbException

我正在尝试在本地构建我的应用程序并收到以下错误:**UnabletoloadrealmmappinginfofromSCDynamicStore**2012-12-0318:13:23.910java[1172:707]***Terminatingappduetouncaughtexception'JavaNativeException',reason:'KrbException:CouldnotloadconfigurationfromSCDynamicStore'***Firstthrowcallstack:(0CoreFoundation0x00007fff919c30a6__e

hadoop - 文件 jobtracker.info 只能复制到 0 个节点,而不是 1 个

我正在尝试在Fedora17上设置Hadoop集群。当我给出/bin/star-all.sh命令时,守护进程开始在主节点和从节点上启动。但是当我在主节点上查看数据节点的日志文件时,我得到以下EROORERRORorg.apache.hadoop.security.UserGroupInformation:PriviledgedActionExceptionas:hadoop1cause:java.io.IOException:File/home/hadoop1/mapred/system/jobtracker.infocouldonlybereplicatedto0nodes,inst