草庐IT

distributed

全部标签

关于java:如何知道2个进程是否可以访问公共文件系统

Howtoknowif2processeshaveaccesstocommonfilesystem你如何检测两个(在我的例子中是java)进程是否可以访问至少一个共同的文件系统?(可能包括网络共享文件系统)。假设它们可能在共享磁盘的两台机器上,在不同的机器上,或者只是在同一台机器上的两个进程。我希望我的进程具有普通用户权限,所以假设我无法在所有文件系统的根目录中写入文件来跟踪这一点。也许以某种方式使用临时目录。他们需要告诉对方他们可以访问文件系统吗?他们需要唯一地识别文件系统,以便他们知道他们是否可以通过文件系统传递文件,或者他们必须通过网络发送文件。这些进程是否已经可以以某种方式相互交谈?是

关于java:如何知道2个进程是否可以访问公共文件系统

Howtoknowif2processeshaveaccesstocommonfilesystem你如何检测两个(在我的例子中是java)进程是否可以访问至少一个共同的文件系统?(可能包括网络共享文件系统)。假设它们可能在共享磁盘的两台机器上,在不同的机器上,或者只是在同一台机器上的两个进程。我希望我的进程具有普通用户权限,所以假设我无法在所有文件系统的根目录中写入文件来跟踪这一点。也许以某种方式使用临时目录。他们需要告诉对方他们可以访问文件系统吗?他们需要唯一地识别文件系统,以便他们知道他们是否可以通过文件系统传递文件,或者他们必须通过网络发送文件。这些进程是否已经可以以某种方式相互交谈?是

cdh4.6.0升级测试2-distribute cache bug fix

distributecachepurge阻塞task的bug测试。cdh4.2.0:测试方法:local.cache.size=650因为cachedirsize和count是存在内存中的HashMap中的,把local.cache.size值设置的足够小,在每次job运行时都会触发deletedistributecache的操作。又因为是private的,是同步删除,会造成task阻塞。使用dd来构造1M个的小文件至某一个cachedir目录。观察阻塞时间,bug可以重现。#!/bin/bashdir=`foriin{1..11};dofind/home/xxx/hard_disk/${i}

cdh4.6.0升级测试2-distribute cache bug fix

distributecachepurge阻塞task的bug测试。cdh4.2.0:测试方法:local.cache.size=650因为cachedirsize和count是存在内存中的HashMap中的,把local.cache.size值设置的足够小,在每次job运行时都会触发deletedistributecache的操作。又因为是private的,是同步删除,会造成task阻塞。使用dd来构造1M个的小文件至某一个cachedir目录。观察阻塞时间,bug可以重现。#!/bin/bashdir=`foriin{1..11};dofind/home/xxx/hard_disk/${i}