草庐IT

df /du命令卡死,用什么手段消除问题

现象描述前几天在部署应用的时候,发现linux机器上执行命令反应很慢,甚至出现卡死或者直接session丢失的现象。进一步研究,怀疑是不是磁盘空间不够,ls命令显示都很慢。但是top命令执行的时候,显示系统的资源还是正常的,负载压力也不大,CPU大部分在idle。于是尝试执行du命令。结果发现,命令直接卡死,没有任何输出,撤销命令也撤销不了,除非把session退出,否则无法操作。尝试再次连接vm,然后执行ps命令,想查看是不是有什么异常的进程。结果发现,ps命令也卡死,没有输出,同样撤销不了命令。到这个地方感觉玩完了,我连查看手段都不行,怎么定位问题??反正能保证的是机器是没有性能问题的。最

df /du命令卡死,用什么手段消除问题

现象描述前几天在部署应用的时候,发现linux机器上执行命令反应很慢,甚至出现卡死或者直接session丢失的现象。进一步研究,怀疑是不是磁盘空间不够,ls命令显示都很慢。但是top命令执行的时候,显示系统的资源还是正常的,负载压力也不大,CPU大部分在idle。于是尝试执行du命令。结果发现,命令直接卡死,没有任何输出,撤销命令也撤销不了,除非把session退出,否则无法操作。尝试再次连接vm,然后执行ps命令,想查看是不是有什么异常的进程。结果发现,ps命令也卡死,没有输出,同样撤销不了命令。到这个地方感觉玩完了,我连查看手段都不行,怎么定位问题??反正能保证的是机器是没有性能问题的。最

dask 从 spark 读取镶木地板文件

daskreadparquetfilefromspark对于从spark写入的parquet文件(没有任何分区),它的目录如下所示:12345%lsfoo.parquetpart-00017-c17ab661-2564-428e-8233-e7a9951fb012-c000.gz.parquetpart-00018-c17ab661-2564-428e-8233-e7a9951fb012-c000.gz.parquetpart-00019-c17ab661-2564-428e-8233-e7a9951fb012-c000.gz.parquet_SUCCESS尝试通过pandas读取时:1pd.

dask 从 spark 读取镶木地板文件

daskreadparquetfilefromspark对于从spark写入的parquet文件(没有任何分区),它的目录如下所示:12345%lsfoo.parquetpart-00017-c17ab661-2564-428e-8233-e7a9951fb012-c000.gz.parquetpart-00018-c17ab661-2564-428e-8233-e7a9951fb012-c000.gz.parquetpart-00019-c17ab661-2564-428e-8233-e7a9951fb012-c000.gz.parquet_SUCCESS尝试通过pandas读取时:1pd.