草庐IT

master-data-management

全部标签

python - salt 栈 : Properties (computed values) for data from SLS files?

我们在salt管理的minions上运行多个Python虚拟环境。系统的名称是按此架构构建的:project_customer_stage例子:supercms_favoritcustomer_p支柱数据:systems:-customer:favoritcustomerproject:supercmsstage:p-customer:favoritcustomerproject:supercmsstage:q对于每个virtualenv,我们都有一个linux用户。到目前为止,我们像这样计算像“home”这样的值:{%forsysteminpillar.systems%}{%sets

python - pandas stack and unstack performance reduced after dataframe compression 并且比 R 的 data.table 差很多

这个问题是关于在堆叠和取消堆叠操作期间提升Pandas的性能。问题是我有一个大数据框(~2GB)。我关注了thisblog成功将其压缩到~150MB。但是,我的入栈和出栈操作会花费无限长的时间,以至于我必须终止内核并重新启动所有程序。我也用过R的data.table包,飞起来了,我在SO上对此进行了研究。似乎有人在Dataframeunstackperformance-pandas上指向map-reduce线程,但我不确定它有两个原因:stack和unstack在未压缩的情况下在pandas中运行良好,但由于内存问题,我无法在我的原始数据集上执行此操作。R的data.table很容易(

python - 子类化 multiprocessing.managers.BaseProxy

我在尝试实现新的defaultdict代理对象时遇到了一些问题。documentation有点害怕,所以我不确定如何正确地解决这个问题。我想将defaultdict添加到Manager实例可用的类型列表中。您不能在multiprocessing.Manager上使用Manager.register方法,所以我从multiprocessing.mangers.BaseManager中创建了自己的stub管理器>classManager(BaseManager):pass然后我创建了multiprocessing.managers.BaseProxy的子类来容纳defaultdict(我最

python - 将 pycurl 与 gzip 流一起使用时出现错误 "Extra data: line 2 column 1"

感谢阅读。背景:我正在尝试读取以JSON格式返回数据的流式API提要,然后将此数据存储到pymongo集合。流式API需要一个"Accept-Encoding":"Gzip"header。发生了什么:json.loads上的代码失败并输出-Extradata:line2column1-line4column1(char1891-5597)(请参阅下面的错误日志)这不会在解析每个JSON对象时发生——它是随机发生的。我的猜测是我在每个“x”个正确的JSON对象之后遇到了一些奇怪的JSON对象。我确实引用了howtousepycurlifrequesteddataissometimesgz

python - "Data source name not found and no default driver specified" Access ODBC

我的软件:Python3.4-64位PyODBC64位已安装MSoffice软件包(32位)问题:现在,我尝试使用PYODBCAccess我计算机中安装的MSAccess2010。无论我尝试什么,它都不起作用。我的错误总是这样:pyodbc.Error:('IM002','[IM002][Microsoft][ODBCDriverManager]Datasourcenamenotfoundandnodefaultdriverspecified(0)(SQLDriverConnect)')我已经看过:pyodbcandmsaccess2010connectionerrorCannotco

python - pycurl 相当于 "curl --data-binary"

我想知道pycurl中这个curl命令的等价物:curl--data-binary@binary_data_file.bin'http://server/myapp/method'注意:上面的curl语句使用了POST方法。我需要使用它来与我的服务器脚本兼容。 最佳答案 requests库旨在让事情变得简单:importrequestsr=requests.post('http://server/myapp/method',data={'aaa':'bbb'})或者根据接收端对数据的期望:importrequestsr=reques

python - Python 中的 Tarfile : Can I untar more efficiently by extracting only some of the data?

我正在从USGS订购一大堆陆地卫星场景,这些场景作为tar.gz存档。我正在编写一个简单的python脚本来解压缩它们。每个文件包含15张大小为60-120MB的tiff图像,总计刚刚超过2GB。我可以使用以下代码轻松提取整个文件:importtarfilefileName="LT50250232011160-SC20140922132408.tar.gz"tfile=tarfile.open(fileName,'r:gz')tfile.extractall("newfolder/")我实际上只需要这15个tiff中的6个,在标题中标识为“带”。这些是一些较大的文件,因此它们加在一起约

python - rpy2:将 data.frame 转换为 numpy 数组

我在R中有一个data.frame。它包含大量数据:来自许多(125)个数组的基因表达水平。我想要Python中的数据,主要是因为我不擅长R,而且这应该是一项30分钟的工作。我希望下面的代码能够工作。要理解此代码,请知道变量path包含我的数据集的完整路径,加载时会给我一个名为immgen的变量。知道immgen是一个对象(一个BioconductorExpressionSet对象)并且exprs(immgen)返回一个包含125列的数据框(实验)和数万行(命名基因)。(以防万一不清楚,这是Python代码,使用robjects.r调用R代码)importnumpyasnpimport

python - 重写model.Manager方法后Django无法删除单个对象

我正在尝试重写django管理器(models.Manager)上的get_by_natural_key方法。添加模型(NexchangeModel)后,我可以删除所有()对象,但不能删除单个对象。可以:SmsToken.objects.all().delete()不能:SmsTokent.objects.last().delete()代码:fromdjango.dbimportmodelsfromcore.common.modelsimportSoftDeletableModel,TimeStampedModel,UniqueFieldMixinclassNexchangeManag

python - Tkinter 错误 : Couldn't recognize data in image file

我正在尝试将jpg图像放到tkinterCanvas上。tkinter给我这个错误:couldn'trecognizedatainimagefile我使用文档中的代码:canv=Canvas(root,width=80,height=80,bg='white')canv.grid(row=2,column=3)img=PhotoImage(file="bll.jpg")canv.create_image(20,20,anchor=NW,image=img)与png图像相同。甚至试图将图像放入标签小部件中,但得到了同样的错误。怎么了?我在Mac上使用Python3。Python文件和图像