LEO64270262
Cdn间隙性故障总结
作者:田逸([email]sery@163.com[/email])
2008/5/6早上7:09分,使用cdn加速网站的用户来电话反应网站不能访问,后来没几分钟又正常了.通过查看流量,发现在这个时间点流量急剧下降.
登录天津的机器61.X.X.9, 查系统日志/var/log/messages及 squid缓存日志/usr/local/squid/var/logs/cache,皆发现 “May 6 09:07:06 ccryzcnc01 squid[31527]: WARNING: All dnsserver processes are busy. May 6 09:07:06 ccryzcnc01 squid[31527]: WARNING: up to 20 pending requests queued , May 6 09:07:09 ccryzcnc01 squid[31527]: dnsSubmit: queue overload, rejecting p_w_picpaths.28.com ”这样的问题.再往上查这个服务器的父节点,于是登录squid配置文件定义的父cache(济南),未发现异常.
返回天津的机器61.X.X.9,查看其使用的dns服务器是那个(/etc/resolv.conf文件或者用nslookup [url]www.163.com[/url]得出首选dns服务器的ip) ,然后登录dns服务器124.X.X.46.查看系统日志 /var/log/messages,无异常.进bind目录看配置文件 named.conf,知道其日志文件的位置/var/named/chroot/var/named/named.log,检查日志文件在5月6日9点以后的访问情况,发现在9:07这一分钟内的dns 查询请求特别多,统计一下: grep "May 06 09:07" named.logs |wc –l 得出这60秒内的访问请求达26981,平均每秒400多次.这些请求多数是ldap用户发来的,再过滤一下,看是哪些机器发得最多:
grep "May 06 09:07" named.logs | grep ldap | awk '{print $6}'| awk -F# '{print $1}'| sort -r| uniq -c | sort -nr| head 输出结果:
dns请求前10名
|
请求次数 |
ip |
备注 |
|
114 |
125.X.x.43 |
|
|
111 |
61.X.X.13 |
|
|
109 |
123.X.X.163 |
|
|
107 |
58.X.X.26 |
|
|
105 |
59.X.X.8 |
|
|
104 |
218.X.X.76 |
|
|
103 |
59.X.X.7 |
|
|
103 |
58.X.X.40 |
|
|
99 |
121.X.X.163 |
|
|
98 |
121.X.X.94 |
|
