November 21, 2011
varnish中vcl_recv子程序actions 动作
"主要有以下动作 pass \\当一个请求被pass后,这个请求将通过varnish转发到后端服务器,但是它不会被缓存。pass可以放在vcl_recv 和 vcl_fetch中。 lookup \\当一个请求在vcl_recv中被lookup后,varnish将从缓存中提取数据,如果缓存中没有数据,将被设置为pass,不能在 vcl_fetch中设置lookup。 pipe \\pipe和 pass相似,都要访问后端服务器,不过当进入pipe 模式后,在此连接未关闭前,后续的所有请求都发到后端服务器(这句是我自己理解后简化的,有能力的朋友可以看看官方文档,给我提修改建议) 。 deliver \\请求的目标被缓存,然后发送给客户端 esi \\ESI-process the fetched document(我理解的就是vcl 中包换一段 html代码)"
November 21, 2011
varnishstat 参数分析
"Hitrate ratio由三个数字组成,第一个数字范围0-10,第二个数字范围0-100,第三个数字范围0-1000。\n分别表示过去N秒内的Hitrate avg。上图由于我是刚打开varnishstat,因此三个数字都是4,表示过去4秒内的平均hitrate,如果打开的时间足够长,以上三个数字就会逐渐变成10,100,1000。\nHitrate avg里的内容是命中率,需要乘以100转换成百分比,例如上图表示命中率为99.23%\n接着往下看,三列数据分别表示实时数据,每秒平均值,自启动以来每秒平均值。有些参数是没有后两列的,这是因为这些值都有固定变动范围,例如N work threads,只会在0到最大值(我设的是200)之间变动,搞每秒平均值意义不大(我猜)。\n以下指标需要重点关注一下:\nClient connections accepted: (每秒处理连接数)。 Client requests received:经验表明connection:request=1:10左右时比较理想,比这个数大很多或者小很多都是不好的。代表到目前为止,浏览器向反向代理服务器发送的HTTP请求累积 …"
November 21, 2011
varnishncsa(以 NCSA 的格式显示日志)
"●varnishncsa(以 NCSA 的格式显示日志)\nAuthor: Dag-Erling Sm?rgrav\nDate: 2010-05-31\nVersion: 1.0\nManual section: 1\nDisplay varnish logs in apache/NCSA combined log format\nSYNOPSIS\nvarnishncsa [-a] [-b] [-C] [-c] [-D] [-d] [-f] [-I regex] [-i tag]\n[-n varnish_name] [-P file] [-r file] [-V] [-w file] [-X regex] [-x tag]\nDESCRIPTION\nVarnishncsa 工具读取共享内存的日志,然后以 apache/NCSA 的格式显示出来。下 面的选项可以用。\n-a 当把日志写到文件里时,使用附加,而不是覆盖。\n-b 只显示 varnishd 和后端服务器的日志。\n-C 匹配正则表达式的时候,忽略大小写差异。\n-c 只显示 varnishd 和客户端的日志。\n-D 以进程方式运行\n-d 在启动过 …"
November 21, 2011
Misbehaving servers(服务器停止运转)
"Varnish的一个关键特色就是它有能力防御 web和应用服务器宕机。 Grace mode 当几个客户端请求同一个页面的时候,varnish只发送一个请求到后端服务器,然后让那个其他几个请求挂起等待返回结果,返回结果后,复制请求的结果发送给客户端。 如果您的服务每秒有数千万的点击率,那么这个队列是庞大的,没有用户喜欢等待服务器响应。为了使用过期的 cache 给用户提供服务,我们需要增加他们的 TTL,保存所有cache 中的内容在 TTL过期以后30 分钟内不删除,使用以下VCL:\nsub vcl_fetch { set beresp.grace = 30m; } Varnish 还不会使用过期的目标给用户提供服务,所以我们需要配置以下代码,在cache过期后的15 秒内,使用旧的内容提供服务: sub vcl_recv { set req.grace = 15s; } 你会考虑为什么要多保存过去的内容 30 分钟?当然,如果你使用了健康检查,你可以通过健康状态设置保存的时间:\nif (! req.backend.healthy) { set req.grace = 5m; } …"
November 21, 2011
varnish中的Health checks(健康检查)
"让我们设置一个 director和两个后端,然后加上健康检查:\nbackend server1 { .host = \u0026#34;server1.example.com\u0026#34;; .probe = { .url = \u0026#34;/\u0026#34;; .interval = 5s; .timeout = 1 s; .window = 5; .threshold = 3; } } backend server2 { .host = \u0026#34;server2.example.com\u0026#34;; .probe = { .url = \u0026#34;/\u0026#34;; .interval = 5s; .timeout = 1 s; .window = 5; .threshold = 3; } } 这些新的就是探针,varnish将检查通过探针检查每个后端服务器是否健康:\nurl \\哪个 url需要varnish请求。 Interval \\检查的间隔时间 Timeout \\等待多长时间探针超时 Window \\varnish将维持5个 sliding window的结果 Threshold \\至少有3 次."
November 21, 2011
varnish中的Directors
"您可以把多台 backends 聚合成一个组,这些组被叫做 directors。这样可以增强性能和弹力。您可以定义多个 backends和多个 group在同一个directors。\nbackend server1 { .host = \u0026#34;192.168.0.10\u0026#34;; } backend server2{ .host = \u0026#34;192.168.0.10\u0026#34;; } 现在我们创建一个 director:\ndirector example_director round-robin { { .backend = server1; } # server2 { .backend = server2; } # foo } 这个 director 是一个循环的 director。它的含义就是 director 使用循环的方式把backends分给请求。 但是如果您的一个服务器宕了?varnish 能否指导所有的请求到健康的后端?当然可以,这就是健康检查在起作用了。"
November 21, 2011
varnish中advanced backend configuration (后端服务高级配置)
"在某些时刻您需要 varnish 从多台服务器上缓存数据。您可能想要 varnish 映射所有的URL 到一个单独的主机或者不到这个主机。这里很多选项。 我们需要引进一个 java程序进出php的web站点。假如我们的java程序使用的 URL开始于/JAVA/\n我们让它运行在8000端口,现在让我们看看默认的default.vcl:\nbackend default { .host = \u0026#34;127.0.0.1\u0026#34;; .port = \u0026#34;8080\u0026#34;; } 我们添加一个新的 backend:\nbackend java { .host = \u0026#34;127.0.0.1\u0026#34;; .port = \u0026#34;8000\u0026#34;; } 现在我们需要告诉特殊的URL 被发送到哪里:\nsub vcl_recv { if (req.url ~ \u0026#34;^/java/\u0026#34;) { set req.backend = java; } else { set req.backend = default. } } 这真的很简单,让我们停下来并思考一下。正如您所见,可以通过任意的后 …"
November 21, 2011
Achiveving a high hitrate(提高缓存命中率)-varnish篇
"现在 varnish 已经正常运行了,您可以通过 varnish 访问到您的 web 应用程序。如果您的 web 程序在设计时候没有考虑到加速器的架构,那么您可能有必要修改您的应用程序或者varnish配置文件,来提高varnish的命中率。 既然这样,您就需要一个工具用来观察您和web服务器之间HTTP头信息。服务器端您可以轻松的使用varnish 的工具,比如varnishlog和 varnishtop,但是客户端的工具需要您自己去准备,下面是我经常使用的工具。 Varnistop 您可以使用varnishtop 确定哪些URL经常命中后端。 Varnishtop –i txurl 就是一个基本的命令。您可以通过阅读“Statistics”了解其他示例。\nVarnishlog 当您需要鉴定哪个 URL 被频繁的发送到后端服务器,您可以通过varnishlog对请求做一个全面的分析。 varnishlog –c –o /foo/bar 这个命令将告诉您所有(-o)包含”/football/bar”字段来自客户端(-c)的请求。\nLwp-request Lwp-request是 www …"
November 21, 2011
varnish中的Statistics(统计 varnish相关数据)-Varnishtop ,Varnishhist ,Varnishsizes ,Varnishstat
"现在您的varnish已经正常运行,我们来看一下varnish在做什么,这里有些工具可以帮助您做到。 Varnishtop Varnishtop工具读取共享内存的日志,然后连续不断的显示和更新大部分普通日志。 适当的过滤使用 –I,-i,-X 和-x 选项,它可以按照您的要求显示请求的内容,客户端,浏览器等其他日志里的信息。\nvarnishtop -i rxurl \\您可以看到客户端请求的 url次数。 Varnishtop -i txurl \\您可以看到请求后端服务器的url次数。 Varnishtop -i Rxheader –I Accept-Encoding \\可以看见接收到的头信息中有有多少次包含Accept-Encoding。\nVarnishhist Varnishhist工具读取varnishd的共享内存段日志,生成一个连续更新的柱状图,显示最后 N 个请求的处理情况。这个 N 的值是终端的纵坐标的高度,横坐标代表的是对数,如果缓存命中就标记“|”,如果缓存没有命中就标记上“#”符号。\nVarnishsizes Varnishsizes 和varnishhist相似,除 …"
November 21, 2011
Varnish Configuration Language – VCL (varnish 配置 语言-VCL)
"官方手册:\n** **Varnish 有一个很棒的配置系统,大部分其他的系统使用配置指令,让您打开或者关闭一些开关。 Varnish使用区域配置语言,这种语言叫做“VCL”(varnish configuration language),在执行vcl时,varnish 就把VCL转换成二进制代码。 ** **VCL 文件被分为多个子程序,不同的子程序在不同的时间里执行,比如一个子程序在接到请求时执行,另一个子程序在接收到后端服务器传送的文件时执行。 varnish 将在不同阶段执行它的子程序代码,因为它的代码是一行一行执行的,不存在优先级问题。随时可以调用这个子程序中的功能并且当他执行完成后就退出。\n** **如果到最后您也没有调用您的子进程中的功能,varnish 将执行一些内建的 VCL代码,这些代码就是default.vcl 中被注释的代码.\n** 99%的几率您需要改变vcl_recv 和 vcl_fetch 这两个子进程。**\nvcl_recv ** **vcl_recv(当然,我们在字符集上有点不足,应为它是unix)在请求的开始被调用,在接收、解析后,决定是否响应请求,怎 …"