草庐IT

【Fastdfs】| 入门连续剧——安装

狮子也疯狂 2024-07-30 原文

作者:狮子也疯狂
专栏:《spring开发》
坚持做好每一步,幸运之神自然会降临在你的身上

目录

一. 🦁 前言

Ⅰ. 🐇 为什么要使用分布式文件系统?

1.1 单机系统 vs 独立文件服务器

在做项目时,前者一般都是直接在项目目录下直接创建静态文件夹(/resources/),用于用户存放项目中的文件资源,还可以创建不同的文件夹来区分不同的资源。这样子使用非常方便,但是随着项目业务需求越来越复杂,文件存储也会越来越多,文件资源就会越来越乱了
为了解决这个问题,引入了独立的文件服务器。项目上传文件时,首先通过ftp或者ssh将文件上传到图片服务器的某个目录下,再通过Ngnix或者Apache来访问此目录下的文
件,返回一个独立域名的图片URL地址,前端使用文件时就通过这个URL地址读取。

1.2 分布式文件系统

独立文件服务器已经解决了很多问题,但是性能上还是会随着业务量的复杂度增高而瓶颈凸显。新的业务就需要文件访问就有高响应性和高可用性。这时候分布式文件系统产生了。它的扩展能力强,高可用性和弹性存储性能都能暂时满足当下的业务需求。

1.3 FastDFS引入

是一个开源的轻量级分布式文件系统。它解决了大数据量存储和负载均衡等问题。特别适合以中小文件。

特性

  • 文件不分块存储,上传的文件和OS文件系统中的文件一一对应
  • 支持相同内容的文件只保存一份,节约磁盘空间
  • 下载文件支持HTTP协议,可以使用内置Web Server,也可以和其他Web Server配合使用
  • 支持在线扩容
  • 支持主从文件

二. 🦁 核心概念

Ⅰ. 🐇 tracker(跟踪服务器)

主要做调度工作,起负载均衡的作用。在内存中记录集群中所有存储组和存储服务器的状态信息,是客户端和数据服务器交互的枢纽。

tips:
不论是上传还是下载都是通过tracker来分配资源;客户端一般可以使用Ngnix等静态服务器来调用或者做一部分的缓存;存储服务器内部分为卷(或者叫做组),卷于卷之间是平行的关系,可以根据资源的使用情况随时增加,卷内服务器文件相互同步备份,以达到容灾的目的

Ⅱ. 🐇 storage(存储服务器)

文件和文件属性(meta data)都保存到存储服务器上。Storage server直接利用
OS的文件系统调用管理文件。

Ⅲ. 🐇 client(客户端)

作为业务请求的发起方,通过专有接口,使用TCP/IP协议与跟踪器服务器或存储节点进行数据交互FastDFS向使用者提供基本文件访问接口,比如upload、download、append、delete等,以客户端库的方式提供给用户使用。

三. 🦁 搭建FastDfs

Ⅰ. 🐇 搭建环境

  1. Linux: CentOs 7.6
  2. FastDFS: 6.06

Ⅱ. 🐇 搭建流程

2.1 下载安装gcc

安装方式为yum安装(需网络)

yum install gcc-c++ perl-devel pcre-devel openssl-devel zlib-devel wget

2.2 下载安装FastDFS

wget https://github.com/happyfish100/fastdfs/archive/V6.06.tar.gz

2.3 下载安装FastDFS依赖

wgethttps://github.com/happyfish100/libfastcommon/archive/V1.0.43.tar.gz

2.4 解压缩依赖tar包

tar -zxvf V1.0.43.tar.gz -C /usr/local
tar -zxvf V5.11.tar.gz -C /usr/local

2.5 编译并安装libfastcommon

 cd /usr/local/libfastcommon-1.0.43/./make.sh && ./make.sh install

2.6 编译并安装FastDFS

cd /usr/local/fastdfs-6.06./make.sh && ./make.sh install

2.7 进入etc目录下复制配置文件

里面会有三个.temp后缀的文件,这一步主要作用就是将这个后缀去掉。

cd /etc/fdfs/
cp client.conf.sample client.conf
cp storage.conf.sample storage.conf
cp tracker.conf.sample tracker.conf

Ⅲ. 🐇 创建tracker服务

3.1 创建tracker目录

mkdir -p /data/fastdfs/tracker

3.2 修改配置文件

vim /etc/fdfs/tracker.conf

disabled=false                 #启用配置文件
port=22122                     #设置 tracker的端口号
base_path=/data/fastdfs/tracker #设置 tracker的数据文件和日志目录(需预先创建)
http.server_port=8888           #设置 http 端口号
http.server_port=8888           #指的是在tracker服务器上启动http服务进程如:apache或者nginx 启动时所监听的端口

3.3 启动tracker服务

/etc/init.d/fdfs_trackerd start

3.4 检查tracker服务

netstat -lntup |grep fdfs
tcp       0     0 0.0.0.0:22122          
0.0.0.0:*               LISTEN     
10757/fdfs_trackerd

Ⅳ. 🐇 创建storage服务

4.1 创建storage目录

mkdir -p /data/fastdfs/base
mkdir -p /data/fastdfs/storage

4.2 修改配置文件

进入/etc/fdfs/storage.conf 修改配置文件(可能需要找一下(建议直接先ESC 再/ 输入需要查询的关键字。 ))

vim /etc/fdfs/storage.conf 
disabled=false                       #启用配置文件
group_name=group1                     #组名,根据实际情况修改
port=23000                           #设置storage 的端口号
base_path=/data/fastdfs/base         #设置storage 的日志目录(需预先创建)
store_path_count=1                   #存储路径个数,需要和 store_path 个数匹配
store_path0=/data/fastdfs/storage       #存储路径
tracker_server=172.31.16.121:22122     #tracker 服务器的 IP 地址和端口号
http.server_port=8888                 #设置storage上启动的http服务的端口号,如安装的nginx的端口号

4.3 启动storage服务

/etc/init.d/fdfs_storaged start

4.4 查看storage服务

netstat -lntup |grep fdfs
tcp       0     0 0.0.0.0:23000          
0.0.0.0:*               LISTEN     
10892/fdfs_storaged
tcp       0     0 0.0.0.0:22122          
0.0.0.0:*               LISTEN     
10757/fdfs_trackerd

4.5 修改Client配置文件

进入/etc/fdfs/client.conf配置文件,修改配置

vim /etc/fdfs/client.conf

connect_timeout=30
network_timeout=60
base_path=/data/fastdfs/client      # 日志路径
tracker_server=192.168.66.100:22122    # 追踪服务器的IP,有多个服务器可以另一行

4.6 创建日志目录

mkdir -p /data/fastdfs/client

到这一步,搭建就完成啦。你搭建好了嘛?

四. 🦁 总结

这一篇文章主要内容介绍了分布式文件在当下的优势,以及fastdfs的主要组成和详细安装。纯纯的按步操作。只需要按着步骤来,就能搭建好这个文件系统。如果您还想持续学习这个分布式文件系统的知识,请关注我这个专栏叭。希望能帮助到你!!!
😄

有关【Fastdfs】| 入门连续剧——安装的更多相关文章

  1. ruby - 在 64 位 Snow Leopard 上使用 rvm、postgres 9.0、ruby 1.9.2-p136 安装 pg gem 时出现问题 - 2

    我想为Heroku构建一个Rails3应用程序。他们使用Postgres作为他们的数据库,所以我通过MacPorts安装了postgres9.0。现在我需要一个postgresgem并且共识是出于性能原因你想要pggem。但是我对我得到的错误感到非常困惑当我尝试在rvm下通过geminstall安装pg时。我已经非常明确地指定了所有postgres目录的位置可以找到但仍然无法完成安装:$envARCHFLAGS='-archx86_64'geminstallpg--\--with-pg-config=/opt/local/var/db/postgresql90/defaultdb/po

  2. ruby - 如何以所有可能的方式将字符串拆分为长度最多为 3 的连续子字符串? - 2

    我试图获取一个长度在1到10之间的字符串,并输出将字符串分解为大小为1、2或3的连续子字符串的所有可能方式。例如:输入:123456将整数分割成单个字符,然后继续查找组合。该代码将返回以下所有数组。[1,2,3,4,5,6][12,3,4,5,6][1,23,4,5,6][1,2,34,5,6][1,2,3,45,6][1,2,3,4,56][12,34,5,6][12,3,45,6][12,3,4,56][1,23,45,6][1,2,34,56][1,23,4,56][12,34,56][123,4,5,6][1,234,5,6][1,2,345,6][1,2,3,456][123

  3. ruby - 完全离线安装RVM - 2

    我打算为ruby​​脚本创建一个安装程序,但我希望能够确保机器安装了RVM。有没有一种方法可以完全离线安装RVM并且不引人注目(通过不引人注目,就像创建一个可以做所有事情的脚本而不是要求用户向他们的bash_profile或bashrc添加一些东西)我不是要脚本本身,只是一个关于如何走这条路的快速指针(如果可能的话)。我们还研究了这个很有帮助的问题:RVM-isthereawayforsimpleofflineinstall?但有点误导,因为答案只向我们展示了如何离线在RVM中安装ruby。我们需要能够离线安装RVM本身,并查看脚本https://raw.github.com/wayn

  4. ruby-on-rails - rails 目前在重启后没有安装 - 2

    我有一个奇怪的问题:我在rvm上安装了ruby​​onrails。一切正常,我可以创建项目。但是在我输入“railsnew”时重新启动后,我有“程序'rails'当前未安装。”。SystemUbuntu12.04ruby-v"1.9.3p194"gemlistactionmailer(3.2.5)actionpack(3.2.5)activemodel(3.2.5)activerecord(3.2.5)activeresource(3.2.5)activesupport(3.2.5)arel(3.0.2)builder(3.0.0)bundler(1.1.4)coffee-rails(

  5. ruby - 如何为 emacs 安装 ruby​​-mode - 2

    我刚刚为fedora安装了emacs。我想用emacs编写ruby。为ruby​​提供代码提示、代码完成类型功能所需的工具、扩展是什么? 最佳答案 ruby-mode已经包含在Emacs23之后的版本中。不过,它也可以通过ELPA获得。您可能感兴趣的其他一些事情是集成RVM、feature-mode(Cucumber)、rspec-mode、ruby-electric、inf-ruby、rinari(用于Rails)等。这是我当前用于Ruby开发的Emacs配置:https://github.com/citizen428/emacs

  6. ruby-on-rails - 无法在centos上安装therubyracer(V8和GCC出错) - 2

    我正在尝试在我的centos服务器上安装therubyracer,但遇到了麻烦。$geminstalltherubyracerBuildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingtherubyracer:ERROR:Failedtobuildgemnativeextension./usr/local/rvm/rubies/ruby-1.9.3-p125/bin/rubyextconf.rbcheckingformain()in-lpthread...yescheckingforv8.h...no***e

  7. ruby - 通过 RVM (OSX Mountain Lion) 安装 Ruby 2.0.0-p247 时遇到问题 - 2

    我的最终目标是安装当前版本的RubyonRails。我在OSXMountainLion上运行。到目前为止,这是我的过程:已安装的RVM$\curl-Lhttps://get.rvm.io|bash-sstable检查已知(我假设已批准)安装$rvmlistknown我看到当前的稳定版本可用[ruby-]2.0.0[-p247]输入命令安装$rvminstall2.0.0-p247注意:我也试过这些安装命令$rvminstallruby-2.0.0-p247$rvminstallruby=2.0.0-p247我很快就无处可去了。结果:$rvminstall2.0.0-p247Search

  8. ruby - 如何在 Lion 上安装 Xcode 4.6,需要用 RVM 升级 ruby - 2

    我实际上是在尝试使用RVM在我的OSX10.7.5上更新ruby,并在输入以下命令后:rvminstallruby我得到了以下回复:Searchingforbinaryrubies,thismighttakesometime.Checkingrequirementsforosx.Installingrequirementsforosx.Updatingsystem.......Errorrunning'requirements_osx_brew_update_systemruby-2.0.0-p247',pleaseread/Users/username/.rvm/log/138121

  9. ruby - Fast-stemmer 安装问题 - 2

    由于fast-stemmer的问题,我很难安装我想要的任何ruby​​gem。我把我得到的错误放在下面。Buildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingfast-stemmer:ERROR:Failedtobuildgemnativeextension./System/Library/Frameworks/Ruby.framework/Versions/2.0/usr/bin/rubyextconf.rbcreatingMakefilemake"DESTDIR="cleanmake"DESTDIR=

  10. ruby - 安装 Ruby 时遇到问题(无法下载资源 "readline--patch") - 2

    当我尝试安装Ruby时遇到此错误。我试过查看this和this但无济于事➜~brewinstallrubyWarning:YouareusingOSX10.12.Wedonotprovidesupportforthispre-releaseversion.Youmayencounterbuildfailuresorotherbreakages.Pleasecreatepull-requestsinsteadoffilingissues.==>Installingdependenciesforruby:readline,libyaml,makedepend==>Installingrub

随机推荐