草庐IT

cluster-computing

全部标签

c# - Windows 服务器上的 Hadoop

我正在考虑使用hadoop在我现有的windows2003服务器(大约10个四核机器和16gb内存)上处理大型文本文件问题是:有没有关于如何在Windows上配置hadoop集群的好教程?有什么要求?java+cygwin+sshd?还有什么吗?HDFS,它在Windows上运行良好吗?我想在流模式下使用hadoop。在C#中开发我自己的映射器/缩减器有什么建议、工具或技巧吗?您使用什么来提交和监控作业?谢谢 最佳答案 来自Hadoopdocumentation:Win32issupportedasadevelopmentplatf

redis - 如果slave还没有master key,Redis集群是否重定向到master?在 CLIENT CLUSTER && READONLY 模式下

我只是想知道这个上下文。在Redis集群中,redis-cli(启动集群模式,如redis-cli-c)请求key到slave以READONLY模式与redis建立redis-cli连接。如果从机没有主key的key(这意味着还没有同步),那么redis-cli集群模式可以重定向到有key的master吗?或者redis集群响应“(nil)”? 最佳答案 如果到slave的连接处于READONLY模式,则任何只读命令都将由slave提供服务,并且不会重定向到master。在您的情况下,即获取属于其主人拥有的插槽的key,但该key尚

php - 将 Redis Cluster 用作 session 处理程序时是否可以实现高可用性?

我们正在尝试使用Redis集群存储session数据,使用最新版本的phpredis,2.2.5,于2015年6月19日从github存储库下载,在php.ini配置文件中将redis配置为session处理程序。我们有6个实例,三个作为主实例,三个作为从实例,我们已经测试了存储和读取session数据是否有效。但是,如果我们关闭任何主机,我们的应用程序将显示以下错误:Fatalerror:Uncaughtexception'RedisException'withmessage'Connectionclosed'in/users/ets01/lib/php/DEIN/class.PSA

hash - Redid 3.0集群数据

我有两个关于redid3.0集群的问题。什么是哈希槽,它们的具体用途是什么?redid集群中的节点是否共享相同的数据,即每个节点中的数据是否相同,就像galera集群中的节点(master-master)共享相同的数据一样? 最佳答案 散列槽是将键分配到集群的单独节点的方式,因此一个节点将包含多个这样的槽。最多有16384个插槽,因此理论上您在集群中的节点不应超过16384个,因为它们不会存储任何内容。实际上,哈希槽是一组将在单个节点上找到的键。每个节点都将存储不同部分的数据,客户端将被路由到具有所需key的节点。一旦集群稳定(因此

redis - 通过 Sentinel 连接到 Redis 集群

我有一个由三个主节点和三个从节点组成的redis集群。我还有三个Sentinel服务器(每个都在单独的机器上)监视redis集群。使用Predis,我能够通过单个主节点的IP/端口连接到集群。但我想知道我是否真的可以通过SentinelIP/端口将Predis连接到集群? 最佳答案 Redis集群在没有Sentinel的情况下自行处理故障转移,因此您无需通过Redis集群使用Sentinel。您唯一需要做的就是选择可以支持Redis集群的库。 关于redis-通过Sentinel连接到R

database - 在 LSF 平台上运行数据库

我必须在使用LSF作为提交作业平台的计算机集群上运行一些基准测试。我需要在不同的数据库上运行这些基准测试。其中一些需要在监听来自客户端的连接之前运行服务器(如PostgreSQL或Redis)。有没有办法使用LSF在集群上运行服务器? 最佳答案 批处理调度程序都是关于控制哪些程序/进程可以使用哪些资源(内核、内存、许可证等)。因此,诸如数据库之类的长期服务是在批处理调度程序控制之外启动的。如果数据库仅存在于作业的生命周期内,则在您的作业脚本中启动和停止它们。 关于database-在LS

redis - 将管道与 redis-cluster 一起使用时出现 Predis 错误

我尝试在我的redis-cluster中添加一个键值对,并在一个管道中为新键设置过期。每次我收到key被移动的错误时,但我认为Predis应该像没有流水线一样遵循MOVED语句。难道不能在管道中调用expire-call吗?我正在使用Predis1.0.2-dev使用redis_version:3.0.2这个有效:$parameters=['tcp://10.9.200.51:47801','tcp://10.9.200.52:47801','tcp://10.9.200.53:47801','tcp://10.9.200.54:47801'];$options=['cluster'=

php - 找不到保存处理程序 - Redis 集群

我在CentOS7.1(最新)和PHP5.6(remirepo)和Apache(2.4.6)之上使用带有redis稳定版(v3.0.4)的phpredis(redis_cluster分支)使用具有3个主节点的集群(仅测试)。我的redis.ini包含:extension=redis.sosession.save_handler=redisclustersession.save_path="mycluster[]=192.168.1.100:6379&mycluster[]=192.168.1.100:6380&mycluster[]=192.168.1.100:6381&timeout

transactions - 集群模式下spring data redis是否支持事务(multi,exec)?

我已经在单个REDIS实例中成功地使用multi和exec功能在Redis中实现(并测试)了事务操作。但是,在集群设置中运行的相同代码会出错并显示以下异常消息。我正在使用spring-data-redis-1.8.1.RELEASE和jedis-2.9.0。Exceptioninthread"main"org.springframework.dao.InvalidDataAccessApiUsageException:MUTLIiscurrentlynotsupportedinclustermode.atorg.springframework.data.redis.connection

托管在 Google Compute Engine 上的 Redis 主机名

目前使用Google的计算引擎来托管Redis。使用以下guide,但是,我无法找到Redis主机名,因为我在日志中收到以下错误:Error:Redisconnectiontolocalhost:6379failed-connectECONNREFUSED127.0.0.1:6379这是我的keys.json的内部:{"redisHost":"localhost","redisPort":"6379","redisKey":"bitnami_base_password"} 最佳答案 只需通过SSH连接到我的虚拟机并使用hostnam