草庐IT

python - 如何在 PySpark shell session 中更新 pyfile?

在交互式pysparksession中,您可以通过sc.addPyFile('file_location')导入python文件。如果您需要对该文件进行更改并保存它们,是否有任何方法可以“重新广播”更新后的文件而无需关闭您的sparksession并启动一个新的session?简单地再次添加文件是行不通的。我不确定重命名文件是否有效,但无论如何我都不想这样做。据我从spark文档中得知,只有一种添加pyfile的方法,而不是更新pyfile的方法。我希望我错过了什么!谢谢 最佳答案 我认为在交互式session期间不可行。您将必须重

PyFile_AsFile 的 Python 3 替代品

以下代码适用于Python2:fromctypesimport*##Setuppythonfile->c'FILE*'conversion:classFILE(Structure):passFILE_P=POINTER(FILE)PyFile_AsFile=pythonapi.PyFile_AsFile#problemherePyFile_AsFile.argtypes=[py_object]PyFile_AsFile.restype=FILE_Pfp=open(filename,'wb')gd.gdImagePng(img,PyFile_AsFile(fp))但是在Python3中,