用varnish缓存discuz相关静态资源

定位

haproxy+varnish（缓存相关静态内容）+（nginx+php 两台主机，处理动态请求）+（nginx 1台主机，处理静态请求）+mysql（1台mysql）+nfs（一台共享存）

varnish子程序调用流程图，通过大部分子程序的return返回值进入下一步行动：


官方的图示：


相关文章：haproxy实现discuz论坛的动静分离和负载均衡

继上面链接之后，我们继续配置varnish，用varnish来缓存静态资源，这里我使用的是varnish4.0

varnish主机ip：192.168.1.108

default.vcl内容如下：

1. vcl 4.0;
   
2. 
   
3. import directors;
   
4. 
   
5. import std;
   
6. 
   
7. 
   
8. backend web_app_01 {
   
9. 
   
10.     .host = "192.168.1.114";
    
11. 
    
12.     .port = "80";
    
13. 
    
14.     .first_byte_timeout = 9s;
    
15. 
    
16.     .connect_timeout = 3s;
    
17. 
    
18.     .between_bytes_timeout = 1s;
    
19. 
    
20. 
    
21. }
    
22. 
    
23. 
    
24. acl purgers {
    
25. 
    
26.     "127.0.0.1";
    
27. 
    
28.     "localhost";
    
29. 
    
30.     "192.168.1.0/24";
    
31. 
    
32. }
    
33. 
    
34. 
    
35. 
    
36. sub vcl_init {
    
37. 
    
38.     new web = directors.round_robin();
    
39. 
    
40.     web.add_backend(web_app_01);
    
41. 
    
42. }
    
43. 
    
44. 
    
45. 
    
46. sub vcl_recv {   
    
47. 
    
48.     set req.backend_hint = web.backend();
    
49. 
    
50.     if (req.method == "PURGE") {
    
51. 
    
52.         if (!client.ip ~ purgers) {
    
53. 
    
54.             return (synth(405, "NotAllowed."));
    
55. 
    
56.         }
    
57. 
    
58.         return (purge);
    
59. 
    
60.     }
    
61. 
    
62.    
    
63. 
    
64.     if (req.method != "GET"&&
    
65. 
    
66.       req.method != "HEAD" &&
    
67. 
    
68.       req.method != "PUT" &&
    
69. 
    
70.       req.method != "POST" &&
    
71. 
    
72.       req.method != "TRACE"&&
    
73. 
    
74.       req.method != "OPTIONS"&&
    
75. 
    
76.       req.method != "PATCH"&&
    
77. 
    
78.       req.method != "DELETE") {
    
79. 
    
80.       return (pipe);
    
81. 
    
82.     }
    
83. 
    
84. 
    
85. 
    
86.    
    
87. 
    
88.     if (req.method != "GET"&& req.method != "HEAD") {
    
89. 
    
90.         return (pass);
    
91. 
    
92.     }
    
93. 
    
94. 
    
95. 
    
96.     if (req.url ~"\.(php|asp|aspx|jsp|do|ashx|shtml)($|\?)") {
    
97. 
    
98.         return (pass);
    
99. 
    
100.     }
     
101. 
     
102.    
     
103. 
     
104.     if (req.http.Authorization) {
     
105. 
     
106.         return (pass);
     
107. 
     
108.     }
     
109. 
     
110.    
     
111. 
     
112.     if (req.http.Accept-Encoding) {
     
113. 
     
114.         if (req.url ~"\.(bmp|png|gif|jpg|jpeg|ico|gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)[        DISCUZ_CODE_0        ]quot;){
     
115. 
     
116.             unset req.http.Accept-Encoding;      
     
117. 
     
118.         } elseif (req.http.Accept-Encoding ~"gzip") {
     
119. 
     
120.             set req.http.Accept-Encoding ="gzip";
     
121. 
     
122.         } elseif (req.http.Accept-Encoding ~"deflate") {
     
123. 
     
124.             set req.http.Accept-Encoding ="deflate";
     
125. 
     
126.         } else {
     
127. 
     
128.             unset req.http.Accept-Encoding;
     
129. 
     
130.         }
     
131. 
     
132.     }
     
133. 
     
134. 
     
135. 
     
136.     if (req.url ~"\.(css|js|html|htm|bmp|png|gif|jpg|jpeg|ico|gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)($|\?)"){
     
137. 
     
138.         unset req.http.cookie;
     
139. 
     
140.         return (hash);
     
141. 
     
142.     }
     
143. 
     
144.     if (req.restarts == 0) {
     
145. 
     
146.         if (req.http.X-Forwarded-For) {
     
147. 
     
148.             set req.http.X-Forwarded-For =req.http.X-Forwarded-For + ", " + client.ip;
     
149. 
     
150.         } else {
     
151. 
     
152.             set req.http.X-Forwarded-For =client.ip;
     
153. 
     
154.         }
     
155. 
     
156.     }
     
157. 
     
158.     return (hash);
     
159. 
     
160. }
     
161. 
     
162. sub vcl_hash {
     
163. 
     
164.     hash_data(req.url);
     
165. 
     
166.     if (req.http.host) {
     
167. 
     
168.         hash_data(req.http.host);
     
169. 
     
170.     } else {
     
171. 
     
172.         hash_data(server.ip);
     
173. 
     
174.     }
     
175. 
     
176.     return (lookup);
     
177. 
     
178. }
     
179. 
     
180. sub vcl_hit {
     
181. 
     
182.     if (req.method == "PURGE") {
     
183. 
     
184.         return (synth(200,"Purged."));
     
185. 
     
186.     }
     
187. 
     
188.     return (deliver);
     
189. 
     
190. }
     
191. 
     
192. sub vcl_miss {
     
193. 
     
194.     if (req.method == "PURGE") {
     
195. 
     
196.         return (synth(404,"Purged."));
     
197. 
     
198.     }
     
199. 
     
200.     return (fetch);
     
201. 
     
202. }
     
203. 
     
204. 
     
205. 
     
206. sub vcl_deliver {
     
207. 
     
208.     if (obj.hits > 0) {
     
209. 
     
210.         set resp.http.X-Cache ="HIT";
     
211. 
     
212.         set resp.http.X-Cache-Hits = obj.hits;
     
213. 
     
214.     } else {
     
215. 
     
216.         set resp.http.X-Cache ="MISS";
     
217. 
     
218.     }
     
219. 
     
220.     unset resp.http.X-Powered-By;
     
221. 
     
222.     unset resp.http.Server;
     
223. 
     
224.     unset resp.http.X-Drupal-Cache;
     
225. 
     
226.     unset resp.http.Via;
     
227. 
     
228.     unset resp.http.Link;
     
229. 
     
230.     unset resp.http.X-Varnish;
     
231. 
     
232.     set resp.http.xx_restarts_count =req.restarts;
     
233. 
     
234.     set resp.http.xx_Age = resp.http.Age;
     
235. 
     
236.     set resp.http.hit_count = obj.hits;
     
237. 
     
238.     unset resp.http.Age;
     
239. 
     
240.     return (deliver);
     
241. 
     
242. }
     
243. 
     
244. 
     
245. 
     
246. sub vcl_pass {
     
247. 
     
248.     return (fetch);
     
249. 
     
250. }
     
251. 
     
252. 
     
253. 
     
254. sub vcl_backend_response {
     
255. 
     
256.     set beresp.grace = 5m;
     
257. 
     
258.     if (beresp.status == 499 || beresp.status== 404 || beresp.status == 502) {
     
259. 
     
260.     set beresp.uncacheable = true;
     
261. 
     
262.     }
     
263. 
     
264.     if (bereq.url ~"\.(php|jsp)(\?|$)") {
     
265. 
     
266.       set beresp.uncacheable = true;
     
267. 
     
268.     } else {
     
269. 
     
270.        if (bereq.url ~ "\.(css|js|html|htm|bmp|png|gif|jpg|jpeg|ico)($|\?)"){
     
271. 
     
272.          set beresp.ttl = 15m;
     
273. 
     
274.          unset beresp.http.Set-Cookie;
     
275. 
     
276.        } elseif (bereq.url ~"\.(gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)($|\?)") {
     
277. 
     
278.            set beresp.ttl = 30m;
     
279. 
     
280.            unset beresp.http.Set-Cookie;
     
281. 
     
282.          } else {
     
283. 
     
284.             set beresp.ttl = 10m;
     
285. 
     
286.             unset beresp.http.Set-Cookie;
     
287. 
     
288.          }
     
289. 
     
290.       }
     
291. 
     
292.     return (deliver);
     
293. 
     
294. }
     
295. 
     
296. sub vcl_purge {
     
297. 
     
298.         return(synth(200,"success"));
     
299. 
     
300. }
     
301. 
     
302. 
     
303. 
     
304. sub vcl_backend_error {
     
305. 
     
306.     if (beresp.status == 500 ||
     
307. 
     
308.         beresp.status == 501 ||
     
309. 
     
310.         beresp.status == 502 ||
     
311. 
     
312.         beresp.status == 503 ||
     
313. 
     
314.         beresp.status == 504) {
     
315. 
     
316.         return (retry);
     
317. 
     
318.     }
     
319. 
     
320. }
     
321. 
     
322. 
     
323. 
     
324. sub vcl_fini {
     
325. 
     
326.     return (ok);
     
327. 
     
328. }
     

复制代码

修改HAproxy的配置文件，把静态资源的调度IP改为varnish：

1. #---------------------------------------------------------------------
   
2. global    #全局配置
   
3. 
   
4.     log         127.0.0.1 local2    #日志纪录位置
   
5. 
   
6.     chroot      /var/lib/haproxy    #haproxy的工作目录
   
7.     pidfile     /var/run/haproxy.pid    #pid文件位置
   
8.     maxconn     4000                    #最大连接数
   
9.     user        haproxy                #运行时使用的用户身份
   
10.     group       haproxy                #运行时使用的组身份
    
11.     daemon                            #启动为守护进程，不加此处运行在前台
    
12.    
    
13.     stats socket /var/lib/haproxy/stats    #本地访问stats统计信息时以套接字方式通信
    
14.    
    
15. defaults    #默认配置
    
16.     mode                    http    #已http模式运行
    
17.     log                     global    #默认日志为全局配置中日志的设置
    
18.     option                  httplog
    
19.     option                  dontlognull
    
20.     option http-server-close
    
21.     option forwardfor       except 127.0.0.0/8    #除本机外所有发往服务器的请求首部中加入“X-Forwarded-For”首部
    
22.     option                  redispatch
    
23.     retries                 3
    
24.     timeout http-request    10s
    
25.     timeout queue           1m
    
26.     timeout connect         10s
    
27.     timeout client          1m
    
28.     timeout server          1m
    
29.     timeout http-keep-alive 10s
    
30.     timeout check           10s
    
31.     maxconn                 3000    #前端最大并发连接数
    
32.    
    
33. listen static    #设置统计报告页面
    
34.     bind *:9000    #监听在本机9000端口
    
35.     stats enable    #打开
    
36.     stats hide-version    #隐藏haproxy版本
    
37.     stats uri /hadzadmin?stats    #统计页面路径
    
38.     stats realm "HAProxy/ Static"    #打开统计页面的认证功能
    
39.     stats auth hasts:123            #进入统计页面所使用的账号hasts和密码123
    
40.     stats admin if TRUE            #条件满足时进入管理级别
    
41.    
    
42. frontend  dz    #前端设置
    
43.     bind *:80    #监听在80端口
    
44.     acl url_static path_beg -i /data /static /images /javascript /stylesheets    #url开头为这些的静态内容
    
45.     acl url_static path_end -i .jpg .gif .png .css .js .html .ico    #url结尾带为这些的静态内容
    
46.     use_backend staser  if url_static    #如果静态内容符合url_static的条件，就调度到staser中的服务器
    
47.     default_backend             dyser    #其他默认调度到dyser中的服务器
    
48.    
    
49. backend dyser    #后端动态内容服务器设置
    
50.     cookie srv insert nocache    #在cookie中插入srv字串防止登录信息丢失
    
51.     balance     roundrobin    #调度算法为轮询
    
52.     server      cs3 192.168.1.113:80 check
    
53.     server      cs4 192.168.1.115:80 check
    
54.     rspadd X-Via:dynamic
    
55.    
    
56. backend staser    #后端静态内容服务器设置
    
57.     balance     roundrobin
    
58.     server  cs1 <font color="#ff0000">192.168.1.108</font>:80 check
    
59.     rspadd X-Via:static

复制代码

最后访问192.168.1.107测试一下：（经多次ctrl+F5强制刷新）


可以看到已命中缓存，并且X-Via:static

动态内容被转发到对应的机器上

可以看到X-Via:dynamic，说明内容来自动态内容主机


相关参照：https://blog.51cto.com/zpf666/1924816