草庐IT

对象存储S3权限控制

gfengwong 2023-04-12 原文

layout: post
title: 对象存储S3权限控制
catalog: true
tag: [Ceph, S3]

1. 背景

1.1. 需求

A用户创建了一个桶bucket1
B用户需要能对桶bucket1进行操作
A用户上传的东西B用户可以操作，B用户上传的东西A用户可以操作

1.2. 存在的问题

  • ceph rgw 多租户不能实现这个功能，且多租户功能还没补齐
  • bucket link 只能替换存储桶的owner
  • Policy
    • ceph文档太少
    • aws文档是否适用于ceph
  • ACL 权限控制稍弱

2. 几种已有方式的使用

2.1. 更改用户

更改owner，将一个桶的owner变成 user2，这样原来的owner就不具备对桶所有权限了，他的权限全部转移到user2

# 修改
radosgw-admin bucket link --bucket bucketusage --uid user2 --bucket_id e5162bfb-bb2f-46e0-bc9a-1d067d672f73.202155490.1
# unlink 没啥用，用link即可
radosgw-admin bucket unlink --bucket bucketusage --uid user2 --bucket_id e5162bfb-bb2f-46e0-bc9a-1d067d672f73.202155490.1

2.2. policy授权

授权桶和对象给别的用户，这种方式权限控制最细，一般是deny all，然后根据需求access，下面的例子只实现背景中的需求

2.2.1. example

允许
test用户
s3的所有操作
对桶bucketusage、对象bucketusage/*

bucketusage 的owner是user1

cat examplepol
{
  "Version": "2012-10-17",
  "Statement": [{
    "Effect": "Allow",
    "Principal": {"AWS": ["arn:aws:iam:::user/user2"]},
    "Action": "s3:*",
    "Resource": [
      "arn:aws:s3:::bucketusage",
      "arn:aws:s3:::bucketusage/*"
    ]
  },
  {
    "Effect": "Allow",
    "Principal": {"AWS": ["arn:aws:iam:::user/user1"]},
    "Action": "s3:*",
    "Resource": [
      "arn:aws:s3:::bucketusage",
      "arn:aws:s3:::bucketusage/*"
    ]
  }]
}

2.2.2. 设置

# 设置
s3cmd -c .s3cfg-user1 setpolicy examplepol s3://bucketusage
# 删除
s3cmd -c .s3cfg-user1 delpolicy examplepol s3://bucketusage

2.2.3. 设置效果

# 使用user2上传一个对象到user1的桶
s3cmd -c .s3cfg-user2 put xxx s3://bucketusage
# user1可以访问这个对象，user2也可以访问这个对象
[root@ceph01 ~]# s3cmd -c .s3cfg-xxxxxx info  s3://bucketusage/xxx
s3://bucketusage/xxx (object):
   File size: 354
   Last mod:  Thu, 20 Jan 2022 06:00:33 GMT
   MIME type: text/plain
   Storage:   STANDARD
   MD5 sum:   456a2de120feb6d9371e95a54ddb7a35
   SSE:       none
   Policy:    {
  "Version": "2012-10-17",
  "Statement": [{
    "Effect": "Allow",
    "Principal": {"AWS": ["arn:aws:iam:::user/user1"]},
    "Action": "s3:*",
    "Resource": [
      "arn:aws:s3:::bucketusage",
      "arn:aws:s3:::bucketusage/*"
    ]
  },
  {
    "Effect": "Allow",
    "Principal": {"AWS": ["arn:aws:iam:::user/user2"]},
    "Action": "s3:*",
    "Resource": [
      "arn:aws:s3:::bucketusage",
      "arn:aws:s3:::bucketusage/*"
    ]
  }]
}

   CORS:      none
   ACL:       display user2: FULL_CONTROL
   x-amz-meta-s3cmd-attrs: atime:1642658418/ctime:1642647563/gid:0/gname:root/md5:456a2de120feb6d9371e95a54ddb7a35/mode:33188/mtime:1642618683/uid:0/uname:root

2.2.4. 参考示例

ceph源码

  • 文档
    • doc/radosgw/bucketpolicy.rst
    • doc/radosgw/role.rst
    • qa/tasks/rgw_multi/tests.py
  • 数据结构
    • src/rgw/rgw_iam_policy.h

amazon s3 policy

2.3. acl

acl针对对象用的比较多，桶层级作用相对小，例如给某个对象生成一个http url

# 设置ACL，设为public
s3cmd -c .s3cfg-user2 setacl  s3://bucketusage/xxx -P
# 设置好之后info里面会多一条 URL
s3cmd -c .s3cfg-xxxxxxxx info  s3://bucketusage/xxx
# URL:       http://172.16.10.10:8080/bucketusage/xxx

3. 关于s3文档

ceph的s3相关文档相对较少，使用时有两个路径可以找到比较多的说明材料

  • aws s3文档: 文档齐全，但是有些功能ceph没有
  • ceph 源码: 包括文档和测试用例、还有数据结构

使用时文档可参考aws s3，但要看下ceph里面有没有相关的例子

对象存储quotspanlt

有关对象存储S3权限控制的更多相关文章

  1. ruby - 如何从 ruby​​ 中的字符串运行任意对象方法？ - 2

    总的来说，我对ruby​​还比较陌生，我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础，我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用

  2. ruby-on-rails - 按天对 Mongoid 对象进行分组 - 2

    在控制台中反复尝试之后，我想到了这种方法，可以按发生日期对类似activerecord的(Mongoid)对象进行分组。我不确定这是完成此任务的最佳方法，但它确实有效。有没有人有更好的建议，或者这是一个很好的方法？#eventsisanarrayofactiverecord-likeobjectsthatincludeatimeattributeevents.map{|event|#converteventsarrayintoanarrayofhasheswiththedayofthemonthandtheevent{:number=>event.time.day,:event=>ev

  3. ruby - 解析 RDFa、微数据等的最佳方式是什么，使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2

    我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i

  4. ruby-on-rails - 如何验证非模型(甚至非对象)字段 - 2

    我有一个表单，其中有很多字段取自数组(而不是模型或对象)。我如何验证这些字段的存在？solve_problem_pathdo|f|%>... 最佳答案 创建一个简单的类来包装请求参数并使用ActiveModel::Validations。#definedsomewhere,atthesimplest:require'ostruct'classSolvetrue#youcouldevencheckthesolutionwithavalidatorvalidatedoerrors.add(:base,"WRONG!!!")unlesss

  5. Ruby 写入和读取对象到文件 - 2

    好的，所以我的目标是轻松地将一些数据保存到磁盘以备后用。您如何简单地写入然后读取一个对象？所以如果我有一个简单的类classCattr_accessor:a,:bdefinitialize(a,b)@a,@b=a,bendend所以如果我从中非常快地制作一个objobj=C.new("foo","bar")#justgaveitsomerandomvalues然后我可以把它变成一个kindaidstring=obj.to_s#whichreturns""我终于可以将此字符串打印到文件或其他内容中。我的问题是，我该如何再次将这个id变回一个对象？我知道我可以自己挑选信息并制作一个接受该信

  6. ruby-on-rails - rails : save file from URL and save it to Amazon S3 - 2

    从给定URL下载文件并立即将其上传到AmazonS3的更直接的方法是什么(+将有关文件的一些信息保存到数据库中，例如名称、大小等)？现在，我既不使用Paperclip，也不使用Carrierwave。谢谢 最佳答案 简单明了:require'open-uri'require's3'amazon=S3::Service.new(access_key_id:'KEY',secret_access_key:'KEY')bucket=amazon.buckets.find('image_storage')url='http://www.ex

  7. ruby - 如何使用 Ruby aws/s3 Gem 生成安全 URL 以从 s3 下载文件 - 2

    我正在编写一个小脚本来定位aws存储桶中的特定文件，并创建一个临时验证的url以发送给同事。(理想情况下，这将创建类似于在控制台上右键单击存储桶中的文件并复制链接地址的结果)。我研究过回形针，它似乎不符合这个标准，但我可能只是不知道它的全部功能。我尝试了以下方法:defauthenticated_url(file_name,bucket)AWS::S3::S3Object.url_for(file_name,bucket,:secure=>true,:expires=>20*60)end产生这种类型的结果:...-1.amazonaws.com/file_path/file.zip.A

  8. Ruby Readline 在向上箭头上使控制台崩溃 - 2

    当我在Rails控制台中按向上或向左箭头时，出现此错误:irb(main):001:0>/Users/me/.rvm/gems/ruby-2.0.0-p247/gems/rb-readline-0.4.2/lib/rbreadline.rb:4269:in`blockin_rl_dispatch_subseq':invalidbytesequenceinUTF-8(ArgumentError)我使用rvm来管理我的ruby​​安装。我正在使用=>ruby-2.0.0-p247[x86_64]我使用bundle来管理我的gem，并且我有rb-readline(0.4.2)(人们推荐的最少

  9. ruby - 我可以使用 aws-sdk-ruby 在 AWS S3 上使用事务性文件删除/上传吗？ - 2

    我发现ActiveRecord::Base.transaction在复杂方法中非常有效。我想知道是否可以在如下事务中从AWSS3上传/删除文件:S3Object.transactiondo#writeintofiles#raiseanexceptionend引发异常后，每个操作都应在S3上回滚。S3Object这可能吗？？ 最佳答案 虽然S3API具有批量删除功能，但它不支持事务，因为每个删除操作都可以独立于其他操作成功/失败。该API不提供任何批量上传功能(通过PUT或POST)，因此每个上传操作都是通过一个独立的API调用完成的

  10. ruby-on-rails - 如果 Object::try 被发送到一个 nil 对象，为什么它会起作用？ - 2

    如果您尝试在Ruby中的nil对象上调用方法，则会出现NoMethodError异常并显示消息:"undefinedmethod‘...’fornil:NilClass"然而，有一个tryRails中的方法，如果它被发送到一个nil对象，它只返回nil:require'rubygems'require'active_support/all'nil.try(:nonexisting_method)#noNoMethodErrorexceptionanymore那么try如何在内部工作以防止该异常？ 最佳答案 像Ruby中的所有其他对象

随机推荐