草庐IT

DATA_EVAL

全部标签

python - 将几列分组,然后在 Pandas 中聚合一组列(与 R 的 data.table 相比,它严重崩溃)

我是Python世界的新手,正在尝试将其用作数据分析的后备平台。我通常使用data.table来满足我的数据分析需求。问题是,当我对大型CSV文件(随机化、压缩、上传到http://www.filedropper.com/ddataredact_1)运行组聚合操作时,Python抛出:groupingpandasreturngetattr(obj,method)(*args,**kwds)ValueError:negativedimensionsarenotallowed或者(我什至遇到过...)File"C:\Anaconda3\lib\site-packages\pandas\co

Python cProfile : how to filter out specific calls from the profiling data?

我已经开始分析一个脚本,它有许多sleep(n)语句。总而言之,我将99%以上的运行时间花在了sleep上。然而,它在实际工作中偶尔会遇到性能问题,但是相关的、有趣的分析数据变得非常难以识别,例如使用kcachegrind。有什么方法可以将某些调用/函数列入黑名单以防止分析?或者,如何通过分析数据文件的后处理过滤掉此类调用?我正在使用profilestats装饰器(http://pypi.python.org/pypi/profilestats)。谢谢 最佳答案 您需要的不仅仅是在sleep()期间排除样本。您需要剩余的样本来告诉您

python - 在 Python 中,为什么在使用 `eval` 时不出现警告?

以下代码按预期打印警告:>>>importwarnings>>>deff():...warnings.warn('Deprecated',DeprecationWarning)...print('Infunctionf()')...>>>f()__main__:2:DeprecationWarning:DeprecatedInfunctionf()但是,使用eval时,不会出现警告信息:>>>eval('f()')Infunctionf()为什么警告在这两种情况下表现不同? 最佳答案 Whydowarningsbehavediffe

python - 强制 Content-Type 或在 Flask 中公开 request.data 以获取已知内容类型

我正在用Python/Flask重新创建服务,但遇到了现有客户端身份验证方式的问题。出于兼容性原因,我必须匹配现有的客户端方案。现有客户端采用用户名、密码并对其进行base64编码。这不是HTTP基本身份验证,尽管听起来很相似。下面是一些创建此登录请求的示例代码。credentials={'username':'test@example.com','password':'password'}data=b64encode(urlencode(credentials))request=urllib2.Request(loginURL)request.add_data(data)#reque

python - flask 信号 : why is it not ok to modify data on signal?

Flask文档说:Alsokeepinmindthatsignalsareintendedtonotifysubscribersandshouldnotencouragesubscriberstomodifydata我想知道,为什么会这样?我正在使用Flask-User库,我想在用户注册时为用户设置一些默认字段(例如,将显示名称设置为等于用户名),然后更新数据库。Flask-User在用户注册时发送user_registered信号。为什么订阅信号并更新其中的数据库是个坏主意? 最佳答案 它是over-round解决方案。我想我是强

python - salt 栈 : Properties (computed values) for data from SLS files?

我们在salt管理的minions上运行多个Python虚拟环境。系统的名称是按此架构构建的:project_customer_stage例子:supercms_favoritcustomer_p支柱数据:systems:-customer:favoritcustomerproject:supercmsstage:p-customer:favoritcustomerproject:supercmsstage:q对于每个virtualenv,我们都有一个linux用户。到目前为止,我们像这样计算像“home”这样的值:{%forsysteminpillar.systems%}{%sets

python - pandas stack and unstack performance reduced after dataframe compression 并且比 R 的 data.table 差很多

这个问题是关于在堆叠和取消堆叠操作期间提升Pandas的性能。问题是我有一个大数据框(~2GB)。我关注了thisblog成功将其压缩到~150MB。但是,我的入栈和出栈操作会花费无限长的时间,以至于我必须终止内核并重新启动所有程序。我也用过R的data.table包,飞起来了,我在SO上对此进行了研究。似乎有人在Dataframeunstackperformance-pandas上指向map-reduce线程,但我不确定它有两个原因:stack和unstack在未压缩的情况下在pandas中运行良好,但由于内存问题,我无法在我的原始数据集上执行此操作。R的data.table很容易(

Python eval 在函数内部不起作用

这个问题在这里已经有了答案:Creatingdynamicallynamedvariablesinafunctioninpython3/Understandingexec/eval/localsinpython3(2个答案)关闭5年前。为什么Python的eval在函数内部不起作用?相同的eval(compile(cmd))代码在全局环境中工作,但在foo函数内部不起作用。简单的例子:fn='/tmp/tmp'mode='single'deffoo(cmd,fn,mode):eval(compile(cmd,fn,mode))#这是输出和错误信息:globalscope:cmd=x=1

python - 将 pycurl 与 gzip 流一起使用时出现错误 "Extra data: line 2 column 1"

感谢阅读。背景:我正在尝试读取以JSON格式返回数据的流式API提要,然后将此数据存储到pymongo集合。流式API需要一个"Accept-Encoding":"Gzip"header。发生了什么:json.loads上的代码失败并输出-Extradata:line2column1-line4column1(char1891-5597)(请参阅下面的错误日志)这不会在解析每个JSON对象时发生——它是随机发生的。我的猜测是我在每个“x”个正确的JSON对象之后遇到了一些奇怪的JSON对象。我确实引用了howtousepycurlifrequesteddataissometimesgz

python - "Data source name not found and no default driver specified" Access ODBC

我的软件:Python3.4-64位PyODBC64位已安装MSoffice软件包(32位)问题:现在,我尝试使用PYODBCAccess我计算机中安装的MSAccess2010。无论我尝试什么,它都不起作用。我的错误总是这样:pyodbc.Error:('IM002','[IM002][Microsoft][ODBCDriverManager]Datasourcenamenotfoundandnodefaultdriverspecified(0)(SQLDriverConnect)')我已经看过:pyodbcandmsaccess2010connectionerrorCannotco