草庐IT

09-MinIO对象存储服务概述和入门

OnlyOnYourself-lzw 2023-04-16 原文

一、MinIO简介

  • MinIO基于Apache License v2.0开源协议的对象存储服务,可以做为云存储的解决方案用来保存海量的图片,视频,文档。由于采用Golang实现,服务端可以工作Windows,Linux, OS X和FreeBSD上。配置简单,基本是复制可执行程序,单行命令可以运行起来
  • MinIO兼容亚马逊S3云存储服务接口,非常适合于存储大容量非结构化的数据,例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等,而一个对象文件可以是任意大小,从几kb到最大5T不等
  • S3 ( Simple Storage Service简单存储服务)
    • 基本概念
      • bucket - 类比于文件系统的目录
      • Object - 类比文件系统的文件
      • Keys - 类比文件名
  • 官方文档

二、MinIO特点

2.1、数据保护

  • MinIO使用Minio Erasure Code(纠删码)来防止硬件故障;及时损坏一半以上的driver,但是仍然可以从中恢复

2.2、高性能

  • 最为高性能对象存储,在标准硬件条件下它能达到55GB/s的读、35GB/s的写速率

2.3、可扩容

  • 不同MinIO集群可以组成联邦,并形成一个全局的命名空间,并跨越多个数据中心

2.4、SDK支持

  • 基于Minio清凉的特点,它得到类似Java、Python或Go等语言的SDK支持

2.5、良好的操作页面

  • 面向用户友好的简单操作界面,非常方便的管理Bucket及里面的文件资源

2.6、功能简单

  • 这一设计原则让Minio不容器出错,更快启动

2.7、API丰富

  • 支持文件资源的分享链接以及分享链接的过期策略、存储桶操作、文件列表访问及文件上传的基本下载功能等

2.8、文件变化主动通知

  • 存储桶(Bucket)如果发生改变,比如上传对象和删除对象,可以使用存储桶事件通知机制进行监控,并通过以下方式发布出去:AMQP、MQTT、Elasticsearch、Redis、NATS、MySQL、Kafka、Webhooks

三、MinIO容器安装

关于Minio使用可以参考官方文档: http://docs.minio.org.cn/docs/

3.1、镜像拉取

  • docker pull minio
  • 如果报错显示找不到minio安装软件的话,换一个仓库;或者直接去docker官网搜索并下载minio镜像然后拉取到虚拟机即可

3.2、创建容器

  • 使用Docker进行环境部署和启动
    • docker run -i -d \
        -p 9000:9000 \
        -p 9001:9001 \
        --name minio-leadnews \
        --privileged=true \
        -v /etc/localtime:/etc/localtime \
        -v ~/minio/data:/data \
        -e "MINIO_ROOT_USER=minio" \
        -e "MINIO_ROOT_PASSWORD=minio123" \
       minio server /data --console-address ":9001"
      

3.3、登录minio

3.3、创建桶

  • 点击右上角的Create Bucket可以创建桶

3.4、权限管理

  • 桶创建好后,需要对该桶进行权限设置,否则外部无法访问,如下所示

3.5、新建路径

  • 进入桶界面(点击Browse ),创建新路径

  • 如果所有文件都存储到shop下,不容易区分,我们可以根据不同文件,创建不同目录,例如shop/items/存储所有商品静态页,多级路径创建

3.6、上传图片

  • 浏览器访问

四、MinIO快速入门

4.1、创建工程

  • 创建minio-demo工程,对于pom如下所示

    • <?xml version="1.0" encoding="UTF-8"?>
      <project xmlns="http://maven.apache.org/POM/4.0.0"
               xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
               xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
          <modelVersion>4.0.0</modelVersion>
      
          <groupId>com.coolman</groupId>
          <artifactId>minio-demo</artifactId>
          <version>1.0-SNAPSHOT</version>
      
          <properties>
              <maven.compiler.source>8</maven.compiler.source>
              <maven.compiler.target>8</maven.compiler.target>
          </properties>
      
          <dependencies>
              <!--minio依赖-->
              <dependency>
                  <groupId>io.minio</groupId>
                  <artifactId>minio</artifactId>
                  <version>8.3.3</version>
              </dependency>
      
              <!--spring boot starter-->
              <dependency>
                  <groupId>org.springframework.boot</groupId>
                  <artifactId>spring-boot-starter-web</artifactId>
                  <version>2.5.6</version>
              </dependency>
      
              <!--spring boot test-->
              <dependency>
                  <groupId>org.springframework.boot</groupId>
                  <artifactId>spring-boot-starter-test</artifactId>
                  <version>2.5.6</version>
              </dependency>
          </dependencies>
      
      </project
      
      
  • 启动类

    • package com.coolman.minio;
      
      import org.springframework.boot.SpringApplication;
      import org.springframework.boot.autoconfigure.SpringBootApplication;
      
      @SpringBootApplication
      public class MinioApplication {
      
          public static void main(String[] args) {
              SpringApplication.run(MinioApplication.class, args);
          }
      }
      
      

4.2、编写测试代码

  • package com.coolman.minio;
    
    import io.minio.MinioClient;
    import io.minio.PutObjectArgs;
    import io.minio.RemoveBucketArgs;
    import io.minio.RemoveObjectArgs;
    import io.minio.errors.*;
    import org.junit.jupiter.api.Test;
    import org.springframework.boot.test.context.SpringBootTest;
    
    import java.io.FileInputStream;
    
    @SpringBootTest
    public class MinioTest {
    
        /**
         * 上传html测试
         */
        @Test
        public void testUpload() {
            // 1. 读取本地文件
            try {
                FileInputStream fileInputStream = new FileInputStream("E:\\系统默认\\桌面\\news-init\\freemarker-demo\\src\\main\\resources\\testHtml\\HelloFreemarker.html");
    
                // 2. 创建minio客户端
                MinioClient client = MinioClient.builder()
                        .credentials("minio", "minio123")   // 登录凭证
                        .endpoint("http:/192.168.222.135:9000")     // minio链接地址
                        .build();
    
                // 3. 上传
                PutObjectArgs putObjectArgs = PutObjectArgs.builder()
                        .object("/2022/07/28/test.html")    // 指定文件名称
                        .bucket("test")     // 桶名称
                        .contentType("text/html")   // 文件类型
                        // arg1:指定文件流,arg2:文件流的有效长度,arg3:partSize=-1表示自动识别文件长度
                        .stream(fileInputStream, fileInputStream.available(), -1)
                        .build();
    
                client.putObject(putObjectArgs);    // 完成上传
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
    
        /**
         * 删除html测试
         */
        @Test
        public void testDelete() {
            try {
                // 1. 创建minio客户端
                MinioClient client = MinioClient.builder()
                        .credentials("minio", "minio123")   // 登录凭证
                        .endpoint("http:/192.168.222.135:9000")     // minio链接地址
                        .build();
    
                // 2. 删除
                RemoveObjectArgs removeObjectArgs = RemoveObjectArgs.builder()
                        .object("/2022/07/28/test.html")    // 指定文件名称
                        .bucket("test")     // 桶名称
                        .build();
    
                client.removeObject(removeObjectArgs);  // 完成删除
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
    
    }
    

4.3、运行效果

  • 浏览器访问,效果如下所示

有关09-MinIO对象存储服务概述和入门的更多相关文章

  1. ruby - 如何从 ruby​​ 中的字符串运行任意对象方法? - 2

    总的来说,我对ruby​​还比较陌生,我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础,我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用

  2. ruby - 使用 ruby​​ 和 savon 的 SOAP 服务 - 2

    我正在尝试使用ruby​​和Savon来使用网络服务。测试服务为http://www.webservicex.net/WS/WSDetails.aspx?WSID=9&CATID=2require'rubygems'require'savon'client=Savon::Client.new"http://www.webservicex.net/stockquote.asmx?WSDL"client.get_quotedo|soap|soap.body={:symbol=>"AAPL"}end返回SOAP异常。检查soap信封,在我看来soap请求没有正确的命名空间。任何人都可以建议我

  3. ruby-on-rails - 按天对 Mongoid 对象进行分组 - 2

    在控制台中反复尝试之后,我想到了这种方法,可以按发生日期对类似activerecord的(Mongoid)对象进行分组。我不确定这是完成此任务的最佳方法,但它确实有效。有没有人有更好的建议,或者这是一个很好的方法?#eventsisanarrayofactiverecord-likeobjectsthatincludeatimeattributeevents.map{|event|#converteventsarrayintoanarrayofhasheswiththedayofthemonthandtheevent{:number=>event.time.day,:event=>ev

  4. ruby - 具有身份验证的私有(private) Ruby Gem 服务器 - 2

    我想安装一个带有一些身份验证的私有(private)Rubygem服务器。我希望能够使用公共(public)Ubuntu服务器托管内部gem。我读到了http://docs.rubygems.org/read/chapter/18.但是那个没有身份验证-如我所见。然后我读到了https://github.com/cwninja/geminabox.但是当我使用基本身份验证(他们在他们的Wiki中有)时,它会提示从我的服务器获取源。所以。如何制作带有身份验证的私有(private)Rubygem服务器?这是不可能的吗?谢谢。编辑:Geminabox问题。我尝试“捆绑”以安装新的gem..

  5. ruby - 解析 RDFa、微数据等的最佳方式是什么,使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2

    我主要使用Ruby来执行此操作,但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式,例如使用这个yaml文件,它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i

  6. ruby-on-rails - 如何验证非模型(甚至非对象)字段 - 2

    我有一个表单,其中有很多字段取自数组(而不是模型或对象)。我如何验证这些字段的存在?solve_problem_pathdo|f|%>... 最佳答案 创建一个简单的类来包装请求参数并使用ActiveModel::Validations。#definedsomewhere,atthesimplest:require'ostruct'classSolvetrue#youcouldevencheckthesolutionwithavalidatorvalidatedoerrors.add(:base,"WRONG!!!")unlesss

  7. Ruby 写入和读取对象到文件 - 2

    好的,所以我的目标是轻松地将一些数据保存到磁盘以备后用。您如何简单地写入然后读取一个对象?所以如果我有一个简单的类classCattr_accessor:a,:bdefinitialize(a,b)@a,@b=a,bendend所以如果我从中非常快地制作一个objobj=C.new("foo","bar")#justgaveitsomerandomvalues然后我可以把它变成一个kindaidstring=obj.to_s#whichreturns""我终于可以将此字符串打印到文件或其他内容中。我的问题是,我该如何再次将这个id变回一个对象?我知道我可以自己挑选信息并制作一个接受该信

  8. ruby-on-rails - 如果 Object::try 被发送到一个 nil 对象,为什么它会起作用? - 2

    如果您尝试在Ruby中的nil对象上调用方法,则会出现NoMethodError异常并显示消息:"undefinedmethod‘...’fornil:NilClass"然而,有一个tryRails中的方法,如果它被发送到一个nil对象,它只返回nil:require'rubygems'require'active_support/all'nil.try(:nonexisting_method)#noNoMethodErrorexceptionanymore那么try如何在内部工作以防止该异常? 最佳答案 像Ruby中的所有其他对象

  9. ruby-on-rails - 未在 Ruby 中初始化的对象 - 2

    我在Rails工作并有以下类(class):classPlayer当我运行时bundleexecrailsconsole然后尝试:a=Player.new("me",5.0,"UCLA")我回来了:=>#我不知道为什么Player对象不会在这里初始化。关于可能导致此问题的操作/解释的任何建议?谢谢,马里奥格 最佳答案 havenoideawhythePlayerobjectwouldn'tbeinitializedhere它没有初始化很简单,因为你还没有初始化它!您已经覆盖了ActiveRecord::Base初始化方法,但您没有调

  10. ruby-on-rails - 启动 Rails 服务器时 ImageMagick 的警告 - 2

    最近,当我启动我的Rails服务器时,我收到了一长串警告。虽然它不影响我的应用程序,但我想知道如何解决这些警告。我的估计是imagemagick以某种方式被调用了两次?当我在警告前后检查我的git日志时。我想知道如何解决这个问题。-bcrypt-ruby(3.1.2)-better_errors(1.0.1)+bcrypt(3.1.7)+bcrypt-ruby(3.1.5)-bcrypt(>=3.1.3)+better_errors(1.1.0)bcrypt和imagemagick有关系吗?/Users/rbchris/.rbenv/versions/2.0.0-p247/lib/ru

随机推荐