草庐IT

Nginx代理缓存机制

右耳菌 2023-10-05 原文

1. Nginx的简介

相关内容,可以查看 【Nginx 负载均衡】,这是我之前的一篇文章,这里就懒得再说明一次了。


2. Nginx缓存简介

nginx的http_proxy模块,可以实现类似于Squid的缓存功能。

Nginx对客户已经访问过的内容在Nginx服务器本地建立副本,这样在一段时间内再次访问该数据,就不需要通过N ginx服务器再次向后端服务器发出请求,所以能够减少Nginx服务器与后端服务器之间的网络流量,减轻网络拥塞,同时还能减小数据传输延迟,提高用户访问速度。

同时,当后端服务器宕机时,Nginx服务器上的副本资源还能够回应相关的用户请求,这样能够提高后端服务器的鲁棒性(健壮性)。

2.1对于缓存,我们大概会有下面的几个疑问:
  1. 缓存文件放在哪儿?
  2. 如何指定那些请求被缓存?
  3. 缓存的有效期是多久?
  4. 对于某些请求,是否可以不走缓存?

解决以上问题,nginx的缓存也就基本配置完成了。


3. Nginx缓存

3.1 缓存文件放在哪?
  • proxy_cache_path:Nginx使用该参数指定缓存位置。
  • proxy_cache:该参数为之前指定的缓存名称。
  • proxy_cache_path:有两个必填参数,
  • 第一个参数为缓存目录。
  • 第二个参数keys_zone指定缓存名称和占用内存空间的大小。
  • 示例:
user www-data;
worker_processes auto; #表示服务器有几个内核就起几个work
pid /run/nginx.pid;  #进程编号

http {

  proxy_cache_path /data/nginx/cache keys_zone=one:10m max_size=10g;
  
  upstream test.lazyfennec.cn {
    server 127.0.0.1:8881; # 第一台服务器
    server 127.0.0.1:8882; # 第二台服务器
    server 127.0.0.1:8883; # 第三台服务器
  }

  server {
    listen 80; # 监听80端口
    proxy_cache one; # 指定缓存配置
    server_name test.lazyfennec.cn; # 自己的域名或者IP

    location / {
      proxy_pass    http://test.lazyfennec.cn;
      proxy_set_header Host  $host;
      proxy_set_header X-Real-IP $remote_addr;
    }
  }
}

注: 示例中的10m是对内存中缓存内容元数据信息大小的限制,如果想限制缓存总量大小,需要用max_size参数。

3.2 如何指定哪些请求被缓存?
  1. Nginx 默认会缓存所有get 和 head方法的请求结果,缓存的key默认使用请求字符串。

  2. 自定义key
    例如 proxy_cache_key
    "$host$request_uri$cookie_user";

  3. 指定请求至少被发送了多少次以上时才缓存,可以防止低频请求被缓存。
    例如 proxy_cache_min_uses 5;

  4. 指定哪些方法的请求被缓存
    例如 proxy_cache_methods GET HEAD POST;

  • 示例:
user www-data;
worker_processes auto; #表示服务器有几个内核就起几个work
pid /run/nginx.pid;  #进程编号

http {

  proxy_cache_path /data/nginx/cache keys_zone=one:10m;
  
  upstream test.lazyfennec.cn {
    server 127.0.0.1:8881; # 第一台服务器
    server 127.0.0.1:8882; # 第二台服务器
    server 127.0.0.1:8883; # 第三台服务器
  }

  server {
    listen 80; # 监听80端口
    proxy_cache one; # 指定缓存配置
    server_name test.lazyfennec.cn; # 自己的域名或者IP

    location / {
      proxy_pass    http://test.lazyfennec.cn;
      proxy_set_header Host  $host;
      proxy_set_header X-Real-IP $remote_addr;
      proxy_cache_key $host$request_uri$cookie_user; # 指定缓存key
    }
  }
}
3.3 缓存有效期

默认情况下,缓存内容是长期存留的,除非缓存的总量超出限制。可以指定缓存有效时间,例如:

  • 响应状态码为 200 302 时, 10分钟有效
    proxy_cache_valid 200 302 10m;

  • 对应任何状态码,5分钟有效
    proxy_cache_valid any 5m;

  • 示例:

user www-data;
worker_processes auto; #表示服务器有几个内核就起几个work
pid /run/nginx.pid;  #进程编号

http {

  proxy_cache_path /data/nginx/cache keys_zone=one:10m;
  
  upstream test.lazyfennec.cn {
    server 127.0.0.1:8881; # 第一台服务器
    server 127.0.0.1:8882; # 第二台服务器
    server 127.0.0.1:8883; # 第三台服务器
  }

  server {
    listen 80; # 监听80端口
    proxy_cache one; # 指定缓存配置
    server_name test.lazyfennec.cn; # 自己的域名或者IP

    location / {
      proxy_pass    http://test.lazyfennec.cn;
      proxy_set_header Host  $host;
      proxy_set_header X-Real-IP $remote_addr;
      proxy_cache_valid 200 302 10m;
    }
  }
}
3.4 对于某些请求,是否可以不走缓存?

proxy_cache_bypass:该指令响应来自原始服务器而不是缓存。

例如proxy_cache_bypass $cookie_nocache $arg_nocache$arg_comment;

如果任何一个参数值不为空,或者不等于0,nginx就不会查找缓存,直接进行代理转发。

  • 示例
user www-data;
worker_processes auto; #表示服务器有几个内核就起几个work
pid /run/nginx.pid;  #进程编号

http {

  proxy_cache_path /data/nginx/cache keys_zone=one:10m;
  
  upstream test.lazyfennec.cn {
    server 127.0.0.1:8881; # 第一台服务器
    server 127.0.0.1:8882; # 第二台服务器
    server 127.0.0.1:8883; # 第三台服务器
  }

  server {
    listen 80; # 监听80端口
    proxy_cache one; # 指定缓存配置
    server_name test.lazyfennec.cn; # 自己的域名或者IP

    location / {
      proxy_pass    http://test.lazyfennec.cn;
      proxy_set_header Host  $host;
      proxy_set_header X-Real-IP $remote_addr;
      proxy_cache_bypass $cookie_nocache $arg_nocache$arg_comment; # 任意参数不为空则不走缓存
    }
  }
}

网页的缓存是由HTTP消息头中的“Cache-control”来控制的,常见的取值有private、no-cache、max-age、must-revalidate等,默认为private。其作用根据不同的重新浏览方式分为以下几种情况。

上图描述的内容,一个示例如下:

  • basic.conf

其实这里是描述真实服务器的内容(使用代理服务器转发到这个端口即可)

  • conf

user www-data;
worker_processes auto; #表示服务器有几个内核就起几个work
pid /run/nginx.pid;  #进程编号

events {
  use epoll;
  worker_connections 65535;
}

http {

  proxy_cache_path /data/workspace/cache keys_zone=one:10m max_size=10g inactive=60m;
  proxy_cache_key "$scheme$request_method$request_uri";

  upstream origin.lazyfennec.cn {
    server 127.0.0.1:9000;
  }
  
  server {
    listen 80; # 监听80端口
    proxy_cache one; # 指定缓存配置
    server_name test.lazyfennec.cn; # 自己的域名或者IP

    location / {
      add_header X-proxy-Cache $upsteam_cache_status;

      include proxy_params;
      proxy_pass    http://origin.lazyfennec.cn;
    }
  }

  server {
    listen 9000;
    root /data/workspace/nodejs/;
    index index.html index.htm;

    charset utf-8;
    include h5dp/basic.conf; # 引入外部的配置文件,即上边的图basic.conf

    location / {
      try_files $uri $uri/ = 404;
    }
  }
}
第一次未命中缓存
第二次命中缓存

如果觉得有收获就点个赞吧,更多知识,请点击关注查看我的主页信息哦~

有关Nginx代理缓存机制的更多相关文章

  1. ruby-on-rails - 如何优雅地重启 thin + nginx? - 2

    我的瘦服务器配置了nginx,我的ROR应用程序正在它们上运行。在我发布代码更新时运行thinrestart会给我的应用程序带来一些停机时间。我试图弄清楚如何优雅地重启正在运行的Thin实例,但找不到好的解决方案。有没有人能做到这一点? 最佳答案 #Restartjustthethinserverdescribedbythatconfigsudothin-C/etc/thin/mysite.ymlrestartNginx将继续运行并代理请求。如果您将Nginx设置为使用多个上游服务器,例如server{listen80;server

  2. ruby - 如何在 Ubuntu 中清除 Ruby Phusion Passenger 的缓存? - 2

    我试过重新启动apache,缓存的页面仍然出现,所以一定有一个文件夹在某个地方。我没有“公共(public)/缓存”,那么我还应该查看哪些其他地方?是否有一个URL标志也可以触发此效果? 最佳答案 您需要触摸一个文件才能清除phusion,例如:touch/webapps/mycook/tmp/restart.txt参见docs 关于ruby-如何在Ubuntu中清除RubyPhusionPassenger的缓存?,我们在StackOverflow上找到一个类似的问题:

  3. ruby-on-rails - Ruby on Rails 计数器缓存错误 - 2

    尝试在我的RoR应用程序中实现计数器缓存列时出现错误Unknownkey(s):counter_cache。我在这个问题中实现了模型关联:Modelassociationquestion这是我的迁移:classAddVideoVotesCountToVideos0Video.reset_column_informationVideo.find(:all).eachdo|p|p.update_attributes:videos_votes_count,p.video_votes.lengthendenddefself.downremove_column:videos,:video_vot

  4. ruby - HTTP 请求中的用户代理,Ruby - 2

    我是Ruby的新手。我试过查看在线文档,但没有找到任何有效的方法。我想在以下HTTP请求botget_response()和get()中包含一个用户代理。有人可以指出我正确的方向吗?#PreliminarycheckthatProggitisupcheck=Net::HTTP.get_response(URI.parse(proggit_url))ifcheck.code!="200"puts"ErrorcontactingProggit"returnend#Attempttogetthejsonresponse=Net::HTTP.get(URI.parse(proggit_url)

  5. ruby-on-rails - capybara poltergeist - 覆盖用户代理 - 2

    有人知道如何将capybarapoltergeist的用户代理覆盖到移动用户代理以进行测试吗?我发现了一些有关为seleniumwebdriver配置它的信息:http://blog.plataformatec.com.br/2011/03/configuring-user-agents-with-capybara-selenium-webdriver/这在capybara闹鬼中怎么可能? 最佳答案 请参阅poltergeistgithub页面上的链接:https://github.com/teampoltergeist/polte

  6. ruby - 如何配置 Ruby Mechanize 代理以通过 Charles Web 代理工作? - 2

    我正在使用Ruby/Mechanize编写一个“自动填写表格”应用程序。它几乎可以工作。我可以使用精彩CharlesWeb代理以查看服务器和我的Firefox浏览器之间的交换。现在我想使用Charles查看服务器和我的应用程序之间的交换。Charles在端口8888上代理。假设服务器位于https://my.host.com。.一件不起作用的事情是:@agent||=Mechanize.newdo|agent|agent.set_proxy("my.host.com",8888)end这会导致Net::HTTP::Persistent::Error:...lib/net/http/pe

  7. ruby-on-rails - 如何用不同的用户运行nginx主进程 - 2

    A/ctohttp://wiki.nginx.org/CoreModule#usermaster进程曾经以root用户运行,是否可以以不同的用户运行nginxmaster进程? 最佳答案 只需以非root身份运行init脚本(即/etc/init.d/nginxstart),就可以用不同的用户运行nginxmaster进程。如果这真的是你想要做的,你将需要确保日志和pid目录(通常是/var/log/nginx&/var/run/nginx.pid)对该用户是可写的,并且您所有的listen调用都是针对大于1024的端口(因为绑定(

  8. ruby - 如何捕获所有 HTTP 流量(本地代理) - 2

    我希望访问我机器上的所有HTTP流量(我的Windows机器-不是服务器)。据我了解,拥有一个本地代理是所有流量路线的必经之路。我一直在谷歌搜索但未能找到任何资源(关于Ruby)来帮助我。非常感谢任何提示或链接。 最佳答案 WEBrick中有一个HTTP代理(Rubystdlib的一部分)和here's一个实现示例。如果你喜欢生活在边缘,还有em-proxy伊利亚·格里戈里克。这postIlya暗示它似乎确实需要一些调整来解决您的问题。 关于ruby-如何捕获所有HTTP流量(本地代理)

  9. ruby-on-rails - bundle 安装尝试使用缓存文件 - 2

    当我尝试进行bundle安装时,我的gem_path和gem_home指向/usr/local/rvm/gems/我没有写入权限,并且由于权限无效而失败。因此,我已将两个路径都更改为我具有写入权限的本地目录。这样做时,我进行了bundle安装,我得到:bruno@test6:~$bundleinstallFetchinggemmetadatafromhttps://rubygems.org/.........Fetchinggemmetadatafromhttps://rubygems.org/..Bundler::GemspecError:Couldnotreadgemat/afs/

  10. ruby-on-rails - 如何在 Ruby Net::FTP 中使用代理服务器? - 2

    我正在使用Net::FTPruby​​库连接到FTP服务器并下载文件。一切正常,但现在我需要使用出站代理,因为他们的防火墙将IP地址列入白名单,并且我正在使用Heroku来托管该站点。我正在试用新的Proximo附加组件,它看起来很有前途,但我无法让Net::FTP使用它。我在Net::FTPdocs中看到以下内容:connect(host,port=FTP_PORT)EstablishesanFTPconnectiontohost,optionallyoverridingthedefaultport.IftheenvironmentvariableSOCKS_SERVERisset,

随机推荐