草庐IT

storage-engines

全部标签

python - 我应该如何将 blob 从 BlobStore 移动到 Google Cloud Storage?

多年来,我们的应用程序一直在使用Blobstore的AppEngine上运行。我们想将我们的视频文件移至GoogleCloudStorage。将大型blob从Blobstore迁移到GCS的最佳做法是什么?是否只是使用BlobReader并一次将一个字节写入GCS的问题?或者是否有其他可用的快捷方式/工具?至于从AppEngine写入GCS,不乏可供选择的库:BlobstoreAPI(可以为GCS对象生成BlobKey,BlobStoreFilesAPI已弃用,但一次性使用有效)GoogleCloudStorageAPI(再次弃用,但一次性使用有效)GoogleCloudStorage

python - Google Earth Engine Python API 的解决方法和 Python 3 中不支持 `ee.mapclient`

所以我使用了GoogleEarthEngine并研究了他们存储库中的一些示例代码。我正在使用Python3.6。看起来Google将不再通过他们的ee.mapclient()支持Python3中的映射功能。我想知道是否有人找到合适的解决方法?让我概述一下问题。我尝试加载ee.mapclient来绘制map。importeeimportee.mapclientee.Initialize()但是我得到一个错误:ModuleNotFoundErrorTraceback(mostrecentcalllast)in()1importee---->2importee.mapclient3ee.In

python - 使用 Tornado 的 gen.engine 内存泄漏

我有一个简化形式的代码,如下所示:fromtornadoimportgen,httpclient,ioloopio_loop=ioloop.IOLoop.instance()client=httpclient.AsyncHTTPClient(io_loop=io_loop)@gen.enginedefgo_for_it():whileTrue:r=yieldgen.Task(fetch)@gen.enginedeffetch(callback):response=yieldgen.Task(client.fetch,'http://localhost:8888/')callback(r

python - 将用户从 Google App Engine 迁移到 Google OpenID

我几个月前就离开了GoogleAppEngine。但我仍然依赖它进行身份验证,因为我的用户是通过他们在GAE上的user_id属性来识别的。为此,我的(现在是外部的)应用程序使用加密、签名和时间戳登录请求将用户重定向到GoogleAppEngine应用程序。GAE应用程序然后使用GAE的“用户”服务执行登录。在GAE上成功登录后,用户再次使用加密、签名和时间戳响应重定向到我的外部应用程序。可以找到基本实现here和here.如您所见,这是非常基本的,并且依赖于导致性能不佳的大量加密。我的外部应用程序,在本例中为Django应用程序,将user_id存储在用户表的密码字段中。除了user

python - 使用 Google App Engine (Python) 将文件上传到 Google Cloud Storage

我正在尝试建立一个基本的基于python的谷歌应用引擎网站,允许用户将文件上传到谷歌云存储(主要是图像)我一直在阅读JSONAPI和GCS客户端库概述(以及blobstore等)的文档,但仍然没有很好地了解哪种方法是最好的方法以及它们之间的关系。如果有人可以对此进行概述或指出一些我可以查看的资源,那就太好了此外,任何相关的示例代码都非常有用。我已经能够在此处运行上传示例,但不确定它们是否对应用引擎设置有用:https://github.com/GoogleCloudPlatform/storage-file-transfer-json-python谢谢!!

python - 如何将 Python 3 与 Google App Engine 本地开发服务器一起使用

我有一个配置了本地Python应用程序runtime:python在它的app.yaml文件中。启动本地开发服务器时使用dev_appserver.pyapp.yaml一切都很好。由于GAE的本地开发服务器默认使用Python2.7,我现在想改用Python3.x。根据Google的文档,我们必须使用flexibleenvironment.因此,我将app.yaml更改为:runtime:pythonenv:flexruntime_config:python_version:3现在dev_appserver.pyapp.yaml吐出:Underdev_appserver,runtime

python - 可移植应用程序 : s3 and Google cloud storage

我想编写一个可移植的应用程序。“可移植”是指它可用于访问这些存储:亚马逊s3谷歌云存储桉树存储软件应使用Python开发。我不确定如何开始,因为我找不到支持所有三种存储的库。 最佳答案 为了从您的应用程序连接到GoogleCloudStorage,您可以按照描述的步骤操作here了解如何使用应用程序从存储桶读取或写入存储桶。它还包含有关如何执行这些步骤的示例。请注意,这仅适用于GoogleCloudStorage。至于Amazon和Eucalyptus,我无法提供您需要的帮助。更新在确认我上面发布的答案不是您希望的应用程序后,我们可

python - 在 Google App Engine Python SDK 上使用 RSA 私钥签署字符串

在GoogleAppEnginePythonSDK上是否有任何已知的方法可以使用RSA私钥对纯文本字符串进行签名? 最佳答案 gdatapython库中包含的库tlslite是一个不错的选择。http://code.google.com/p/gdata-python-client/例子:fromtlslite.utilsimportkeyfactoryprivate_key=keyfactory.parsePrivateKey(rsa_key)signed=private_key.hashAndSign(data)

python - App Engine Python 开发服务器 + 任务队列 + 后端

我在本地开发服务器上使用GAEPython2.7。我已经配置了一个后端backends:-name:workerclass:B1options:dynamic我正在使用默认的任务队列。一切正常,后端和任务队列在SDK控制台可见。本地开发工作也开始没有任何错误:MultiprocessSetupComplete:RemoteAPIServer[http://localhost:9200]AppInstance[http://localhost:9000]BackendInstance:worker.0[http://localhost:9100]BackendBalancer:worke

python - 是否可以使用 boto 从 Google App Engine 中的 S3 读取文件?

我想在GoogleAppEngine的沙箱中操作存储在S3中的pickledpython对象。我使用boto的documentation中的建议:fromboto.s3.connectionimportS3Connectionfromboto.s3.keyimportKeyconn=S3Connection(config.key,config.secret_key)bucket=conn.get_bucket('bucketname')key=bucket.get_key("picture.jpg")fp=open("picture.jpg","w")key.get_file(fp)但