草庐IT

global-assembly-cache

全部标签

cdh4.6.0升级测试2-distribute cache bug fix

distributecachepurge阻塞task的bug测试。cdh4.2.0:测试方法:local.cache.size=650因为cachedirsize和count是存在内存中的HashMap中的,把local.cache.size值设置的足够小,在每次job运行时都会触发deletedistributecache的操作。又因为是private的,是同步删除,会造成task阻塞。使用dd来构造1M个的小文件至某一个cachedir目录。观察阻塞时间,bug可以重现。#!/bin/bashdir=`foriin{1..11};dofind/home/xxx/hard_disk/${i}

cdh4.6.0升级测试2-distribute cache bug fix

distributecachepurge阻塞task的bug测试。cdh4.2.0:测试方法:local.cache.size=650因为cachedirsize和count是存在内存中的HashMap中的,把local.cache.size值设置的足够小,在每次job运行时都会触发deletedistributecache的操作。又因为是private的,是同步删除,会造成task阻塞。使用dd来构造1M个的小文件至某一个cachedir目录。观察阻塞时间,bug可以重现。#!/bin/bashdir=`foriin{1..11};dofind/home/xxx/hard_disk/${i}

Python 两个内置函数: locals 和 globals

这两个函数主要提供,基于字典的访问局部和全局变量的方式。在理解这两个函数时,首先来理解一下Python中的名字空间概念。Python使用叫做名字空间的东西来记录变量的轨迹。名字空间只是一个字典,它的键字就是变量名,字典的值就是那些变量的值。实际上,名字空间可以像Python的字典一样进行访问。每个函数都有着自已的名字空间,叫做局部名字空间,它记录了函数的变量,包括函数的参数和局部定义的变量。每个模块拥有它自已的名字空间,叫做全局名字空间,它记录了模块的变量,包括函数、类、其它导入的模块、模块级的变量和常量。还有就是内置名字空间,任何模块均可访问它,它存放着内置的函数和异常。当一行代码要使用变量

Python 两个内置函数: locals 和 globals

这两个函数主要提供,基于字典的访问局部和全局变量的方式。在理解这两个函数时,首先来理解一下Python中的名字空间概念。Python使用叫做名字空间的东西来记录变量的轨迹。名字空间只是一个字典,它的键字就是变量名,字典的值就是那些变量的值。实际上,名字空间可以像Python的字典一样进行访问。每个函数都有着自已的名字空间,叫做局部名字空间,它记录了函数的变量,包括函数的参数和局部定义的变量。每个模块拥有它自已的名字空间,叫做全局名字空间,它记录了模块的变量,包括函数、类、其它导入的模块、模块级的变量和常量。还有就是内置名字空间,任何模块均可访问它,它存放着内置的函数和异常。当一行代码要使用变量