Varnish服务器的安装配置_最大的

                                    硬盘级缓存技术在WEB分布式架构中的应用

  1. Varnish是一款高性能的开源HTTP加速器，挪威最大的在线报纸 Verdens Gang 使用3台Varnish代替了原来的12台Squid，性能比以前更好。 
  2. 图中Cache Server使用了Varnish高性能硬盘缓存服务器，对后端WEB服务器进行文件缓存，提升HTTP访问速度。 
  3. 整理个WEB分布式架构，由客户端发起访问请求，到负载均衡层，负载系统根据预先设定的调度方式，将客户请求分配到后端硬盘缓存服务器，如果命中，立即返回客户请求数据。没有命中则请求后端WEB服务器，WEB服务器先到内存缓存服务器中查询数据，如果存在立即将数据返回，否则继续往数据库服务器集群查询相应数据。 
  4. 在后端的内存服务器和数据库服务器基础上，同时加做了四层负载均衡，使用整个架构具备全均衡状态。后期扩展服务器只需要在负载均衡服务器上增加新服务IP就可以做到整体的平滑扩展。 
  5.   
  6. 1. Varnish 下载  
  7. 下载地址:http://sourceforge.net/projects/varnish/files/ 
  8.   
  9. 2. Varnish 安装  
  10. #yum install pkgconfig pcre* 
  11. #tar zxvf varnish-2.1.2.tar.gz  
  12. #cd varnish-2.1.2  
  13. #./configure –prefix=/opt/varnish  
  14. #make  
  15. #make install 
  16.   
  17. 3. Varnish 配置实例  
  18. 通过前端 varnish 缓存服务器反向代理后端 www.test.com 和 www.test2.com 网站，要求对静态文件 js|css|jpg|gif 等文件进行缓存 7 天,对网页中加有 no-cache 头信息页面不缓存。 
  19. 配置文件如下:  
  20. #vi /opt/varnish/etc/varnish/index.vcl 
  21.   
  22.   
  23.   
  24.      
  25. ###后端服务器分组 
  26.      
  27. backend te1 { 
  28.      
  29. .host = "192.168.0.110"; 
  30.      
  31. .port = "80"; 
  32.      
  33. .probe = { 
  34.      
  35. .url = "/"; #哪个 url需要varnish请求。 
  36.      
  37. .interval = 5s; #检查的间隔时间。 
  38.      
  39. .timeout = 1 s; #等待多长时间探针超时。 
  40.      
  41. .window = 5; #维持5个sliding window的结果。 
  42.      
  43. .threshold = 3; #至少有三次window是成功的，就宣告bachend健康。 
  44.      
  45. } 
  46.      
  47. backend te2 { 
  48.      
  49. .host = "192.168.0.155"; 
  50.      
  51. .port = "80"; 
  52.      
  53. .probe = { 
  54.      
  55. .url = "/"; 
  56.      
  57. .interval = 5s; 
  58.      
  59. .timeout = 1 s; 
  60.      
  61. .window = 5; 
  62.      
  63. .threshold = 3; 
  64.      
  65. } 
  66.      
  67.   
  68.      
  69. ###定义集群 
  70.      
  71. director myvarnish round-robin { 
  72.      
  73. { .backend = te1; } 
  74.      
  75. { .backend = te2; } 
  76.      
  77.   
  78.      
  79. } 
  80.      
  81.   
  82.      
  83. ###清除缓存,访问控制 
  84.      
  85. acl local { 
  86.      
  87. "localhost"; 
  88.      
  89. "127.0.0.1"; 
  90.      
  91. } 
  92.      
  93.   
  94.      
  95. ###判断host请求针对哪个后端服务器 
  96.      
  97. sub vcl_recv { 
  98.      
  99. if (req.http.host ~ "^(www.)?test.com$") { 
  100.      
  101. set req.backend = myvarnish; 
  102.      
  103. } 
  104.      
  105. #elsif (req.http.host ~ "^(www.)?test2.com$") { 
  106.      
  107. #set req.backend = te2; 
  108.      
  109. } 
  110.      
  111. else { 
  112.      
  113. error 404 "Unknown HostName!"; 
  114.      
  115. } 
  116.      
  117.   
  118.      
  119. ###不允许非访问控制列表的IP进行缓存清除 
  120.      
  121. if (req.request == "PURGE") { 
  122.      
  123. if (!client.ip ~ local) { 
  124.      
  125. error 405 "Not Allowed."; 
  126.      
  127. return (lookup); 
  128.      
  129. } 
  130.      
  131. } 
  132.      
  133.   
  134.      
  135. ###清除url中有jpg|png|gif等文件的cookie 
  136.      
  137. if (req.request == "GET" && req.url ~ "\.(jpg|png|gif|swf|jpeg|ico)$") { 
  138.      
  139. unset req.http.cookie; 
  140.      
  141. } 
  142.      
  143.   
  144.      
  145. ###获取客户端IP地址 
  146.      
  147. if (req.http.x-forwarded-for) { 
  148.      
  149. set reqreq.http.X-Forwarded-For = 
  150.      
  151. req.http.X-Forwarded-For ", " client.ip; 
  152.      
  153. } else { 
  154.      
  155. set req.http.X-Forwarded-For = client.ip; 
  156.      
  157. } 
  158.      
  159. if (req.request != "GET" && 
  160.      
  161. req.request != "HEAD" && 
  162.      
  163. req.request != "PUT" && 
  164.      
  165. req.request != "POST" && 
  166.      
  167. req.request != "TRACE" && 
  168.      
  169. req.request != "OPTIONS" && 
  170.      
  171. req.request != "DELETE") { 
  172.      
  173. return (pipe); 
  174.      
  175. } 
  176.      
  177.   
  178.      
  179. ###针对请求和url地址判断是否缓存 
  180.      
  181. if (req.request != "GET" && req.request != "HEAD") { 
  182.      
  183. return (pass); 
  184.      
  185. } 
  186.      
  187. if (req.http.Authorization || req.http.Cookie) { 
  188.      
  189. return (pass); 
  190.      
  191. } 
  192.      
  193. if (req.request == "GET" && req.url ~ "\.(php)($|\?)") { 
  194.      
  195. return (pass); 
  196.      
  197. } 
  198.      
  199. return (lookup); 
  200.      
  201. } 
  202.      
  203.   
  204.      
  205. sub vcl_pipe { 
  206.      
  207. return (pipe); 
  208.      
  209. } 
  210.      
  211.   
  212.      
  213. sub vcl_pass { 
  214.      
  215. return (pass); 
  216.      
  217. } 
  218.      
  219.   
  220.      
  221. sub vcl_hash { 
  222.      
  223. set req.hash += req.url; 
  224.      
  225. if (req.http.host) { 
  226.      
  227. set req.hash += req.http.host; 
  228.      
  229. } else { 
  230.      
  231. set req.hash += server.ip; 
  232.      
  233. } 
  234.      
  235. return (hash); 
  236.      
  237. } 
  238.      
  239.   
  240.      
  241. sub vcl_hit { 
  242.      
  243. if (!obj.cacheable) { 
  244.      
  245. return (pass); 
  246.      
  247. } 
  248.      
  249. return (deliver); 
  250.      
  251. } 
  252.      
  253.   
  254.      
  255. sub vcl_miss { 
  256.      
  257. return (fetch); 
  258.      
  259. } 
  260.      
  261.   
  262.      
  263. sub vcl_fetch { 
  264.      
  265. if (!beresp.cacheable) { 
  266.      
  267. return (pass); 
  268.      
  269. } 
  270.      
  271. if (beresp.http.Set-Cookie) { 
  272.      
  273. return (pass); } 
  274.      
  275. if (beresp.http.Pragma ~ "no-cache" || 
  276.      
  277. beresp.http.Cache-Control ~ "no-cache" || 
  278.      
  279. beresp.http.Cache-Control ~ "private") { 
  280.      
  281. return (pass); 
  282.      
  283. } 
  284.      
  285.   
  286.      
  287. ###让varnish服务器缓存 
  288.      
  289. if (req.request == "GET" && req.url ~ "\.(js|css|mp3|jpg|png|gif|swf|jpeg|ico)$") 
  290.      
  291. { 
  292.      
  293. set beresp.ttl = 7d; 
  294.      
  295. } 
  296.      
  297.   
  298.      
  299. return (deliver); 
  300.      
  301. } 
  302.      
  303.   
  304.      
  305. ###查看缓存命中情况 
  306.      
  307. sub vcl_deliver { 
  308.      
  309. set resp.http.x-hits = obj.hits ; 
  310.      
  311. if (obj.hits > 0) { 
  312.      
  313. set resp.http.X-Cache = "HIT cqtel-bbs"; 
  314.      
  315. } else { 
  316.      
  317. set resp.http.X-Cache = "MISS cqtel-bbs"; 
  318.      
  319. } 
  320.      
  321. } 
  322.      
  323.   
  324.      
  325. sub vcl_error { 
  326.      
  327. set obj.http.Content-Type = "text/html; charset=utf-8"; 
  328.      
  329. synthetic {" 
  330.      
  331. <?xml version="1.0" encoding="utf-8"?> 
  332.      
  333. <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" 
  334.      
  335. "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> 
  336.      
  337. <html> 
  338.      
  339. <head> 
  340.      
  341. <title>"} obj.status " " obj.response {"</title> 
  342.      
  343. </head> 
  344.      
  345. <body> 
  346.      
  347. <h1>Error "} obj.status " " obj.response {"</h1> 
  348.      
  349. <p>"} obj.response {"</p> 
  350.      
  351. <h3>Guru Meditation:</h3> 
  352.      
  353. <p>XID: "} req.xid {"</p> 
  354.      
  355. <hr> 
  356.      
  357. <address> 
  358.      
  359. <a href="http://www.test.com/">test cache server</a> 
  360.      
  361. </address> 
  362.      
  363. </body> </html> 
  364.      
  365. "}; 
  366.      
  367. return (deliver); 
  368.      
  369. } 
  370. 4. Varnish 启动与停止，动态加载配置文件  
  371. 创建 www 用户  
  372. #useradd www  
  373.  
  374. 启动: 
  375. #!/bin/sh  
  376. ulimit -SHn 51200  
  377. /opt/varnish/sbin/varnishd -u www -g www -f /opt/varnish/etc/varnish/bbs.vcl -a 192.168.0.125:80 -s file,/data/varnish_cache/varnish_cache.data,2G -w 1024,51200,10 -t 3600 -T 192.168.0.125:3500  
  378.  
  379. 参数:  
  380. -u 以什么用运行  
  381. -g 以什么组运行  
  382. -f varnish 配置文件  
  383. -a 绑定 IP 和端口  
  384. -s varnish 缓存文件位置与大小  
  385. -w 最小，最大线程和超时时间  
  386. -T varnish 管理端口，主要用来清除缓存  
  387. 注:32位文件系统限制缓存数据文件大小为 2G 
  388.   
  389. 停止:  
  390. #pkill varnishd 
  391.   
  392. 5. Varnish 缓存清除  
  393. #/opt/varnish/bin/varnishadm -T 192.168.0.125:3500 purge "req.http.host ~ www.test.com$ && req.url ~ /static/p_w_picpath/test.php"  
  394.  
  395. 说明：  
  396. 192.168.0.125:3500 为被清除缓存服务器地址  
  397. www.test.com 为被清除的域名  
  398. /static/p_w_picpath/test.php 为被清除的url地址列表 
  399.   
  400. 清除所有缓存  
  401. #/opt/varnish/bin/varnishadm -T 127.0.0.1:3500 purge.rul *$ 
  402.  
  403. 清除p_w_picpath目录下所有缓存  
  404. #/opt/varnish/bin/varnishadm -T 127.0.0.1:3500 purge.url /p_w_picpath/