草庐IT

dokku-persistent-storage

全部标签

python - 使用 Cloud Storage 在一个 Google App Engine 应用程序中备份并在另一个应用程序中恢复?

我的目标是复制我的GoogleAppEngine应用程序。我创建了新应用程序,并从源应用程序(python)上传了所有需要的代码。然后我从源应用程序的云存储上传以前创建的备份文件(首先我将这些文件下载到PC,然后将文件上传到目标应用程序的GCS存储桶)之后,我尝试使用“导入备份信息”按钮从这些文件中恢复数据。备份信息文件已创建,我可以将其添加到可用备份列表中。但是当我尝试恢复时,我收到错误:“启Action业时出现问题。错误是:备份不可读”我还尝试将这些文件上传回原始应用程序,并且能够使用相同的过程从中恢复,因此文件没有损坏。我知道还有另一种在应用程序之间复制数据的方法,但我想使用这种

python - dask:client.persist 和 client.compute 之间的区别

我对client.persist()和client.compute()之间的区别感到困惑(在某些情况下)似乎都开始了我的计算,并且两者返回异步对象,但不是在我的简单示例中:在这个例子中fromdask.distributedimportClientfromdaskimportdelayedclient=Client()deff(*args):returnargsresult=[delayed(f)(x)forxinrange(1000)]x1=client.compute(result)x2=client.persist(result)这里的x1和x2是不同的,但在一个不那么琐碎的计算

python - 分页如何在 Google Cloud Storage Python 客户端库中的 list_blobs 函数中工作

我想使用ClientLibraryforPython获取GoogleCloudStorage存储桶中所有blob的列表.根据documentation我应该使用list_blobs()函数。该函数似乎使用两个参数max_results和page_token来实现分页。我不确定如何使用它们。特别是,我从哪里获得page_token?我原以为list_blobs()会提供一个page_token供后续调用使用,但我找不到任何关于它的文档。此外,max_results是可选的。如果我不提供会怎样?有默认限制吗?如果有,那是什么? 最佳答案

python - 将 Django-Storages 与亚马逊 S3 和 https 一起使用

我们有一个使用django-storages上传到AWS的图片uploader。现在它通过http发送图像,但我们希望它使用https。谷歌搜索没有帮助我找到配置django-storages的方法。有谁知道完成此任务的最佳方法,或者任何可以为我指明正确方向的文档。 最佳答案 查看source您似乎可以通过设置AWS_S3_SECURE_URLS=True来启用HTTPS。 关于python-将Django-Storages与亚马逊S3和https一起使用,我们在StackOverflo

python - 从 Kubernetes pod 将大文件上传到 Google Storage GCE

上传大文件(大于10Mb但小于100Mb)时出现此错误:403POSThttps://www.googleapis.com/upload/storage/v1/b/dm-scrapes/o?uploadType=resumable:('Responseheadersmustcontainheader','location')或者当文件超过5Mb时出现这个错误403POSThttps://www.googleapis.com/upload/storage/v1/b/dm-scrapes/o?uploadType=multipart:('Requestfailedwithstatuscod

python - 不使用 Google Cloud Storage 将 BigQuery 数据导出为 CSV

我目前正在写一个软件,用于导出大量的BigQuery数据并将查询结果存储在本地为CSV文件。我使用的是Python3和google提供的客户端。我进行了配置和身份验证,但问题是我无法在本地存储数据。每次执行时,我都会收到以下错误消息:googleapiclient.errors.HttpError:https://www.googleapis.com/bigquery/v2/projects/round-office-769/jobs?alt=jsonreturned"InvalidextractdestinationURI'response/file-name-*.csv'.Must

python - 带有 Amazon S3 的 django-storages - 防止覆盖

我注意到django-storages(或者可能是Django的存储API本身)会覆盖同名文件。这对我来说是个问题,因为我的网站允许用户上传,所以我需要确保文件永远不会被覆盖。理想情况下,我希望能够从View级别将文件名传递到存储后端,但我正在努力寻找一种优雅的方式来执行此操作。如果在某处有一个开关,我可以做类似overwrite=False的事情,并让后端提供自己的替代名称,我会同样高兴。 最佳答案 如果您使用的是s3boto后端而不是django-storages中的旧s3后端,那么您可以使用AWS_S3_FILE_OVERWR

python - 从 Cloud Function 写入 Google Cloud Storage(python)

我正在尝试从云函数中将文件上传到谷歌云存储。不过,我无法将云存储库导入到我的函数中。能否以这种方式在云函数中使用云存储?云函数fromgoogle.cloudimportstoragedefupload_blob(bucket_name,blob_text,destination_blob_name):"""Uploadsafiletothebucket."""storage_client=storage.Client()bucket=storage_client.get_bucket(bucket_name)blob=bucket.blob(destination_blob_name

python - 使用 Google App Engine 的 Google Cloud Storage 签名 URL

处理常规SignedURLs(QueryStringAuthentication)令人沮丧适用于Google云存储。GoogleCloudStorageSignedURLsExample->这真的是整个互联网上唯一可用的代码,用于为GoogleCloudStorage生成签名URL吗?如果需要,我是否应该阅读所有内容并针对PurePythonGAE手动调整它?将它与AWSS3进行比较时,这很荒谬getAuthenticatedURL(),已经包含在任何SDK中...我是不是遗漏了一些明显的东西,还是每个人都面临着同样的问题?怎么回事? 最佳答案

python - 使用 Google App Engine 的 Google Cloud Storage 签名 URL

处理常规SignedURLs(QueryStringAuthentication)令人沮丧适用于Google云存储。GoogleCloudStorageSignedURLsExample->这真的是整个互联网上唯一可用的代码,用于为GoogleCloudStorage生成签名URL吗?如果需要,我是否应该阅读所有内容并针对PurePythonGAE手动调整它?将它与AWSS3进行比较时,这很荒谬getAuthenticatedURL(),已经包含在任何SDK中...我是不是遗漏了一些明显的东西,还是每个人都面临着同样的问题?怎么回事? 最佳答案