草庐IT

python - AWS Glue - 在插入之前截断目标 postgres 表

我试图在插入之前截断一个postgres目标表,并且通常尝试利用已经在GLUE中创建的连接来触发外部函数。有人做过吗? 最佳答案 我已经尝试过DROP/TRUNCATE方案,但无法使用已在Glue中创建的连接,而是使用纯PythonPostgreSQL驱动程序,pg8000.下载pg8000frompypi的tar在根文件夹中创建一个空的__init__.py压缩内容并上传到S3在作业的Pythonlib路径中引用zip文件将数据库连接详细信息设置为作业参数(确保在所有键名前加上--)。勾选“服务器端加密”复选框。然后您可以简单地创

python - 我可以在本地测试 AWS Glue 代码吗?

阅读Amazon文档后,我的理解是运行/测试Glue脚本的唯一方法是将其部署到开发端点并在必要时进行远程调试。同时,如果(Python)代码由多个文件和包组成,则除主脚本外都需要压缩。这一切给我的感觉是,Glue并不适合任何复杂的ETL任务,因为开发和测试都很麻烦。我可以在本地测试我的Spark代码,而不必每次都将代码上传到S3,并在CI服务器上验证测试,而无需支付开发Glue端点的费用。 最佳答案 最终,截至2019年8月28日,亚马逊允许您下载二进制文件和develop,compile,debug,andsingle-stepG
12