[转载]什么是SSI

服务器资源

那么服务器的资源包括哪些？对于网站来说主要是CPU、TCP连接数这两者。 CPU表现在任务数上，在Linux下使用平均负载(loadavg)来衡量。可通过以下命令来查看--------------------------------------------

该文件显示了系统当前的平均负载和进程状况。

0.20 0.18 0.12 1/80 11206

前三列分别为前1分钟、5分钟、15分钟内的平均负载。第四列为正在执行的进程数和系统的总进程数。第五列为上次执行的进程id。
----------------------------------------

cat /proc/loadavg

对于单CPU的服务器，loadavg高于1，表明任务队列出现了等待，CPU忙不过来了。超过2以上就会明显感到性能降低了。

TCP连接数可通过以下命令查看：

netstat -ant | grep :80 | wc -l 

如果要实时监控服务器资源，可参考OpenNMS项目。

注1：内存不算，低廉的价格使得网站服务器很少有因为内存不够而down掉的。
注2：CPU%是瞬时的CPU使用率，通常无法反映出整体负载。

Apache配置命令

Apache在资源方面的配置命令主要有以下几条。

KeepAlive

前三个KeepAlive相关的指令用来设置持续连接。通常都是每个HTTP请求对应一个TCP连接，但对于一个包含许多图片的网页来说，客户端会在瞬间发出多个HTTP请求，此时多次建立TCP连接会大大降低响应速度。此时通过持续连接，可以允许用户在一个TCP连接中发出多个HTTP请求，减少TCP连接建立次数，提高响应速度。

这种情况下，应当通过access_log统计出连续HTTP请求出现的次数、间隔时间、访问量，以确定 MaxKeepAliveRequests 和 KeepAliveTimeout 的值。 KeepAliveTimeout 太小发挥不了持续连接的作用；太大了，持续连接迟迟不断，浪费TCP连接数不说，更糟糕的是系统中的 httpd 进程数目会因此不断增加，使得系统负载升高，甚至会导致服务器失去响应。

但是在处理动态网页请求时，由于用户很少会瞬间请求多个动态网页（一般都是打开页面之后阅读好半天才点下一页），此时打开KeepAlive无异于浪费TCP连接数。

结论就是，放动态网页的就 KeepAlive Off 以提高吞吐量，放静态内容如图片、js代码等就 KeepAlive On 以减少TCP连接建立次数。

但一个Apache只能有一种 KeepAlive 设置，怎么办？很简单，弄两台服务器，一个专门放脚本，一个专门放图片。

服务器进程数

再说说下面的 StartServers、MinSpareServers、MaxSpareServers。 StartServers基本不用修改，因为Apache会自动调节子进程数。 MinSpareServers和MaxSpareServers是空闲子进程数目，何为空闲子进程？假设某一时刻系统中共有30个httpd进程，其中一个是父进程，20个在处理请求，那么空闲子进程数就是9个。

空闲进程少了，大量的突发请求会使服务器疲于进程创建，降低效率；而太多反而会增加系统进程数，增大系统负载。

实际上，默认值已足够处理一般的突发请求，所以除非是流量特别特别巨大的网站，否则不要修改这些设置。

就算流量特别特别大，也是通过负载平衡系统来降低每台服务器的访问量，不会修改这几个值。

MaxRequestsPerChild

这个值设置子进程在处理多少个请求之后自动结束。这个选项是用来防止进程由于内存泄漏等使用内存过多。一般默认值即可。

总结

说来说去其实最重要的还是 KeepAlive 的设置，而性能调节也就是调整 KeepAlive、KeepAliveTimeout 值。

之后，在 httpd.conf 的最后，添加以下内容：

RewriteEngine on
RewriteMap lowercase int:tolower
RewriteMap vhost txt:/usr/local/etc/apache/vhost.map
RewriteCond ${lowercase:%{SERVER_NAME}} ^(.+)$
RewriteCond ${vhost:%1} ^(/.*)$
RewriteRule ^/(.*)$ %1/$1

其中的 /usr/local/etc/apache 是你的 apache 服务器配置文件所在路径，根据实际情况更改。
然后，在这个所在路径的目录下创建一个文件： vhost.map
内容为：

www.domain.com /usr/local/www/data-dist/domain
bbs.domain.com /usr/local/www/data-dist/bbs
anyname.domain.com /usr/local/www/data-dist/anyname

以上部分都是：” 域名+空格+绝对路径” 的形式。

最后，在你的网站根目录 /usr/local/www/data-dist 下，创建对应目录：
domain , bbs , anyname 等等，理论上可以无限。

这样，通过浏览器，访问 www.domain.com 时，实际上访问的就是 /usr/local/www/data-dist/domain目录下的文件。同理，访问 bbs.domain.com 实际上访问的就是 /usr/local/www/data-dist/bbs 目录下的文件。而且，你可以
随时更改 vhost.map 来增加、删除、修改你的二级域名和所指向的实际路径，不用重启 apache。

一，所用软件及工具
1,Apache服务器 官方网址：http://www.apache.org
2,awstats 日志分析软件 官方网址：http://awstats.sourceforge.net/
3,cronolog 日志截取软件 官方网址：http://www.cronolog.org

　　 图1 web访问机制

2) web服务器收到请求后，将客户端要求的页面内容返回到客户端。如果出现错误，那么返回错误代码。
　　
　　3) 服务器端将访问信息和错误信息纪录到日志文件里。下面是客户端发送给web服务器请求的数据报的内容：
　　
　　GET /engineer/ideal/list.htm HTTP/1.1
　　Accept: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/vnd.ms-powerpoint, application/vnd.ms-excel, application/msword, */*
　　Referer: http://www.linuxaid.com.cn/engineer/ideal/
　　Accept-Language: zh-cn
　　Accept-Encoding: gzip, deflate
　　User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)
　　Host: http://www.linuxaid.com.cn/
　　Connection: Keep-Alive
　　
　　可以看到，在客户机的请求里包含了很多有用的信息，例如：客户端类型等等。而web服务器就会将请求的web页内容发送返回给客户机。
　　
　　目前最常用的web服务器有Apache、Netscape enterprise server、MS IIS等。而目前互联网上最常用的web服务器就是apache，因此我们这里的讨论都以Linux＋apache环境讨论，其他的应用环境类似。对于Apache来说，支持多种日志文件格式，最常见的是common和combined两种模式，其中combined方式比common方式的日志的信息要多Referer（该请求来自于哪里，例如来自于yahoo的搜索引擎）和User-agent（用户客户端类型，如mozilla或IE）。我们这里讨论combined类型。下面是common类型的日志示例：
　　
　　218.242.102.121 - - [06/Dec/2002:00:00:00 +0000] "GET /2/face/shnew/ad/via20020915logo.gif HTTP/1.1" 304 0 "http://www.mpsoft.net/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows 98)"
　　61.139.226.47 - - [06/Dec/2002:00:00:00 +0000] "GET /cgi-bin/guanggaotmp.cgi?1 HTTP/1.1" 200 178 "http://www3.beareyes.com.cn/1/index.php" "Mozilla/4.0 (compatible; MSIE 5.0; Windows 98; DigExt)"
　　218.75.41.11 - - [06/Dec/2002:00:00:00 +0000] "GET /2/face/shnew/ad/via20020915logo.gif HTTP/1.1" 304 0 "http://www.mpsoft.net/" "Mozilla/4.0 (compatible; MSIE 5.0; Windows 98; DigExt)"
　　61.187.207.104 - - [06/Dec/2002:00:00:00 +0000] "GET /images/logolun1.gif HTTP/1.1" 304 0 "http://www2.beareyes.com.cn/bbs/b.htm" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)"
　　211.150.229.228 - - [06/Dec/2002:00:00:00 +0000] "GET /2/face/pub/image_top_l.gif HTTP/1.1" 200 260 "http://www.beareyes.com/2/lib/200201/12/20020112004.htm" "Mozilla/4.0 (compatible; MSIE 5.5; Windows NT 5.0)"
　　
　　从上面的日志文件可以看出日志记录会记录客户端的IP地址、访问发生的时间、访问请求的页面、web服务器对于该请求返回的状态信息、返回给客户端的内容的大小（以字节为单位）、该请求的引用地址、客户浏览器类型等信息。
　　
　　三、apache日志的配置和管理
　　
　　本文中我们假设我们的apache运行有两个虚拟主机：http://www.secfocus.com/和http://www.tomorrowtel.com/。我们需要对这两个虚拟主机分别进行访问日志分析和统计。
　　
　　Apache配置文件中，我们需要关心的和日志相关的配置有两个：
　　
　　CustomLog /www/logs/access_log common
　　ErrorLog /www/logs/error_log
　　
　　CustomLog用来指示apache的访问日志的存放位置（这里保存在/www/logs/access_log中）和格式（这里为common）；ErrorLog用来指示apache错误信息日志的存放位置。
　　
　　对于不配置虚拟主机的服务器来说，只需要直接在httpd.conf中查找CustomLOg的配置进行修改即可；而对于具有多个虚拟服务器的web服务器来说，需要分离各个虚拟服务器的访问日志，以便对各个虚拟服务器进行访问统计和分析。因此这就需要在虚拟服务器配置中进行独立的日志配置，示例：
　　
　　NameVirtualHost 75.8.18.19
　　
　　ServerName http://www.secfocus.com/
　　ServerAdmin secfocus@secfocus.com
　　DocumentRoot /www/htdocs/secfocus/
　　CustomLog "/www/log/secfocus" combined
　　Alias /usage/ "/www/log/secfocus/usage/"
　　
　　ServerName http://www.tomorrowtel.com/
　　ServerAdmin tomorrowtel @ tomorrowtel.com
　　DocumentRoot /www/htdocs/ tomorrowtel
　　CustomLog "/www/log/tomorrowtel " combined
　　Alias /usage/ "/www/log/tomorrowtel/usage/"
　　
　　这里需要注意的是每个虚拟主机的定义都有一个CustomLog命令，用来指定该虚拟主机访问日志的存放文件；而Alias命令用来让日志分析生成的报表能通过www.secfocus.com/usage/的方式来访问。通过上面的配置就完成了日志文件的保存。
　　
　　但是下来遇到的一个问题就是日志文件的轮循，因为日志是一直在增大的，如果不进行处理那么日志文件会越来越大，会影响web服务器运行效率；速率，还可能过大耗尽服务器硬盘空间，导致服务器无法正常运行，另外如果单个日志文件大于操作系统单文件尺寸的的限制，从而更进一步影响web服务的运行。而且日志文件如果不进行轮循也不变于日志统计分析程序的运行，因为日志统计分析都是以天为单位进行统计分析的，跨越很长时间日志会使得日志统计分析程序运行特别慢。因此这里就需要对web服务器日志文件每天进行轮循。
　　
　　四、web服务器日志轮循
　　
　　web服务器日志轮循比较好的方式有三种：第一种方法是利用Linux系统自身的日志文件轮循机制：logrotate；第二种方法是利用apache自带的日志轮循程序rotatelogs；第三种是使用在apache的FAQ中推荐发展已经比较成熟的一个日志轮循工具cronolog。
　　
　　对于大型的WEB服务来说，其往往使用实用负载均衡技术提高web站点服务能力，这样后台有多个服务器提供WEB服务，这大大方便了服务的分布规划和扩展性，但多个服务器的分布就需要对日志进行合并统一进行统计分析。因此为了保证统计的精确性就需要严格按照每天的时段来自动生成日志文件。
　　
　　4．1 logrotate实现日志轮循
　　
　　首先我们讨论采用Linux系统自身的日志文件轮循机制：logrotate的方法。Logrotate是Linux系统自身带的一个日志轮循程序，是专门对各种系统日志（syslogd，mail）进行轮循的程序。该程序是由运行程序的服务crond来每天凌晨4:02运行的，可以在/etc/cron.daily目录下可以看到logrotate文件，其内容如下：
　　
　　#!/bin/sh
　　/usr/sbin/logrotate /etc/logrotate.conf
　　
　　可以看到每天清晨crond都会启动/etc/cron.daily目录下的logrotate脚本来进行日志轮循。
　　
　　而在/etc/logrorate.conf中可以看到内容如下：
　　
　　# see "man logrotate" for details
　　# rotate log files weekly
　　weekly
　　# keep 4 weeks worth of backlogs
　　rotate 4
　　# create new (empty) log files after rotating old ones
　　create
　　# uncomment this if you want your log files compressed
　　#compress
　　# RPM packages drop log rotation information into this directory
　　include /etc/logrotate.d
　　# no packages own wtmp -- we'll rotate them here
　　/var/log/wtmp {
　　monthly
　　create 0664 root utmp
　　rotate 1
　　}
　　
　　# system-specific logs may be also be configured here.
　　
　　从logrotate的配置文件中可以看到除了wtmp以外，需要滚动的日志的配置都保存在/etc/logroate.d目录下。因此我们只需要在该目录下创建一个名为apache的配置文件，来指示logrotate如何轮循web服务器的日志文件即可，下面是一个示例：
　　
　　/www/log/secfocus {
　　rotate 2
　　daily
　　missingok
　　sharedscripts
　　postrotate
　　/usr/bin/killall -HUP httpd 2> /dev/null || true
　　endscript
　　}
　　/www/log/tomorrowtel {
　　rotate 2
　　daily
　　missingok
　　sharedscripts
　　postrotate
　　/usr/bin/killall -HUP httpd 2> /dev/null || true
　　endscript
　　}
　　
　　这里“rotate 2”表示轮循时只包括两个备份文件，也就是只有：access_log、access_log.1、access_log.2三个日志备份文件。就这样就实现了对两个虚拟主机的日志文件的轮循。后面我们会讨论如何使用日志统计分析软件对日志文件进行处理。
　　
　　这种方法的优点是不需要其他第三方工具就可以实现日志轮循，但是对于重负载的服务器和使用负载均衡技术的web服务器来说这种方法就不是很实用。因为它是对相应服务进程发出一个-HUP重启命令来实现日志的截断归档的，这样会影响服务的连续性。
　　
　　4．2 使用apache自带的rotatelogs实现日志轮循
　　
　　apache提供了将不把日志直接写入文件，而是通过管道发送给另外一个程序的能力，这样就大大的加强了对日志进行处理的能力，这个通过管道得到的程序可以是任何程序：如日志分析，压缩日志等。要实现将日志写到管道只需要将配置中日志文件部分的内容替换为“|程序名“即可，例如：
　　
　　# compressed logs
　　CustomLog "|/usr/bin/gzip -c >> /var/log/access_log.gz" common
　　
　　这样就可以实用apache自带的轮循工具：rotatelogs来对日志文件进行轮循。rotatelogs基本是用来按时间或按大小控制日志的。
　　
　　CustomLog "|/www/bin/rotatelogs /www/logs/secfocus/access_log 86400" common
　　
　　上面的示例中apache访问日志被发送给程序rotatelogs，rotatelogs将日志写入/www/logs/secfocus/access_log，并每隔86400秒（一天）对日志进行一次轮循。轮循以后的文件名为/www/logs/secfocus/access_log.nnnn，这里nnn是开始记录日志的时间。因此为了将日志按天对齐就需要在凌晨00:00启动服务，使得每天轮循得到的日志刚好是完整一天的日志，以提供给访问统计分析程序进行处理。如果是00:00开始生成新的日志，那么轮循得到的日志就是access_log.0000。
　　
　　4．3 使用cronolog实现日志轮循
　　
　　首先需要下载和安装cronolog，可以到http://www.cronolog.org/下载最新版本的cronolog。下载完毕以后，解压安装即可，方法如下所示：
　　
　　[root@mail root]# tar xvfz cronolog-1.6.2.tar.gz
　　[root@mail root]# cd cronolog-1.6.2
　　[root@mail cronolog-1.6.2]# ./configure
　　[root@mail cronolog-1.6.2]# make
　　[root@mail cronolog-1.6.2]# make check
　　[root@mail cronolog-1.6.2]# make install
　　
　　这就完成了cronolog的配置和安装，默认情况下cronolog是安装在/usr/local/sbin下。
　　修改apache日志配置命令如下所示：
　　
　　CustomLog "|/usr/local/sbin/cronolog /www/logs/secfocus/%w/access_log" combined
　　
　　这里%w表示按照日期星期几在不同的目录下保存日志，这种方式会保存一周的日志。为了进行日志分析，需要每天将该日志文件拷贝（或移动，如果不希望保存一周的日志）到一个固定的位置以方便日志分析统计文件进行处理，实用crontab –e，如下添加定时任务：
　　
　　5 0 * * * /bin/mv /www/logs/secfocus/`date -v-1d +\%w`/access_log /www/logs/secfocus/access_log_yesterday
　　
　　这样再使用日志统计分析程序的对文件access_log_yesterday进行处理。
　　
　　对于使用负载均衡技术的大型站点，就存在多个服务器的访问日志的合并处理问题.对于这种情况，各个服务器定义或移动日志文件时就不能使用access_log_yesterday了，就应该带上服务器编号了，例如服务器IP地址等信息以区分。然后在各个服务器上运行网站镜像和备份服务rsyncd（参考文章” 用rsync实现网站镜像和备份”,ttp://www.linuxaid.com.cn/engineer/ideal/article/rsync.htm），然后将每个服务器每天的安装配置文件通过rsync下载到专门进行访问统计分析的服务器上进行合并。
　　
　　合并多个服务器的日志文件，例如：log1 log2 log3并输出到log_all中的方法是：
　　
　　sort -m -t " " -k 4 -o log_all log1 log2 log3
　　
　　-m: 使用 merge优化算法，-k 4表示根据时间进行排序，-o表示将排序结果存放到指定的文件中。
　　
　　五、日志统计分析程序webalizer的安装和配置
　　
　　webalizer是一个高效的、免费的web服务器日志分析程序。其分析结果是HTML文件格式，从而可以很方便的通过web服务器进行浏览。Internet上的很多站点都使用webalizer进行web服务器日志分析。Webalizer具有以下一些特性：
　　
　　是用C写的程序，所以其具有很高的运行效率。在主频为200Mhz的机器上，webalizer每秒钟可以分析10000条记录，所以分析一个40M大小的日志文件只需要15秒。
　　
　　webalizer支持标准的一般日志文件格式(Common Logfile Format)；除此之外，也支持几种组合日志格式(Combined Logfile Format)的变种，从而可以统计客户情况以及客户操作系统类型。并且现在webalizer已经可以支持wu-ftpd xferlog日志格式以及squid日志文件格式了。
　　支持命令行配置以及配置文件。
　　可以支持多种语言，也可以自己进行本地化工作。
　　支持多种平台，比如UNIX、linux、NT, OS/2 和 MacOS等。 　
　　
　　上图是webalizer生成的访问统计分析报表第一页的内容，这里包含每个月的平均访问量的表格和条形图统计分析情况。点击每个月分，可以得到这个月每天的详细统计信息。
　　
　　5．1 安装
　　
　　在安装以前首先需要确保系统已经安装有gd库，可以使用：
　　
　　[root@mail root]# rpm -qa|grep gd
　　gd-devel-1.8.4-4
　　gdbm-devel-1.8.0-14
　　gdbm-1.8.0-14
　　sysklogd-1.4.1-8
　　gd-1.8.4-4
　　
　　来确认系统已经安装有gd-deve和gd两个rpm包。
　　
　　安装webalizer有两种方式，一种是下载源代码来安装，一种是直接使用rpm包来安装。
　　
　　使用rpm包方式安装非常简单，从rpmfind.net找到webalizer包，下载以后：
　　
　　rpm –ivh webalizer-2.01_10-1.i386.rpm
　　
　　即可实现安装。
　　
　　对于源代码方式首先需要从http://www.mrunix.net/webalizer/下载，然后安装，首先解开源代码包：
　　
　　tar xvzf webalizer-2.01-10-src.tgz
　　
　　在生成的目录中有个lang目录，该目录中保存了各种语言文件，但是只有繁体中文版本，可以自己转换成简体，或者自己重新翻译一下。然后进入生成的目录：
　　
　　cd webalizer-2.01-10
　　./configure
　　make --with-language=Chinese
　　make install
　　
　　编译成功后，会在/usr/local/bin/目录下安装一个webalizer可执行文件。
　　
　　5．2 配置和运行
　　
　　对webalizer运行的控制可以通过配置文件或者在命令行指定参数的两种方式进行。而使用配置文件方式是比较简单和灵活的，适用于自动web服务器日志统计分析的应用环境。
　　
　　webalizer的默认配置文件为/etc/webalizer.conf，当启动Webalizer时没有使用“-f“选项时，Webalizer就会寻找文件/etc/webalizer.conf，也可以使用“-f”来指定配置文件（当服务器有虚拟主机时，就需要配置多份不同的webalizer配置文件，不同的虚拟主机的webalizer使用不同的配置文件。Webalizer.conf配置文件中需要修改的配置选项如下：
　　
　　LogFile /www/logs/secfocus/access_log
　　
　　用来指示配置文件的路径信息，webalizer会将该日志文件作为输入进行统计分析；
　　
　　OutputDir /www/htdocs/secfocus/usage
　　
　　用来指示生成的统计报表的保存目录，在前面我们使用alias，使得用户可以使用http://www.secfocus.com/usage/来访问统计报表。
　　
　　HostName http://www.secfocus.com/
　　
　　用来指示主机名，统计报表中会引用该主机名。
　　
　　其他选项就无需修改，配置文件修改完毕以后，就需要在定时webalizer，每天生成当日的统计分析。
　　
　　以root身份运行：crontab –e 进入定时运行任务编辑状态，加入如下任务：
　　
　　5 0 * * * /usr/local/bin/webalizer –f /etc/secfocus.webalizer.conf
　　15 0 * * * /usr/local/bin/webalizer –f /etc/tomorrowtel.webalizer.conf
　　
　　我们这里假设系统运行有两个虚拟主机，并分别定义了日志分析配置文件secfocus.webalizer.conf和tomorrowtel.webalizer.conf。这样我们定义在凌晨00:05对secfocus的日志进行统计分析；在凌晨00:15对tomorrowtel的日志进行统计分析。
　　
　　然后第二天分别使用http://www.secfocus.com/usage/和http://www.tomorrowtel.com/usage来察看各自的日志分析报表。
　　
　　六、保护日志统计分析报告不被未授权用户访问
　　
　　我们肯定不会希望自己网站访问统计信息随意被别人浏览，因此需要将usage目录保护起来，只允许合法用户访问。这里可以采用apache自带的基本的认证机制，配置以后再连接这个地址就会需要用户提供密码才能访问该页面：
　　
　　
　　
　　1、条件
　　
　　在配置文件中对目录"/"应该设置为：
　　
　　DocumentRoot /www/htdocs/secfocus/
　　AccessFileName .htaccess
　　AllowOverride All
　　
　　2、需求
　　
　　需求：限制对http://www.secfocus.com/usage/的访问，要求用户认证才能访问。这里设置用户为"admin"，口令为"12345678"。
　　
　　3、使用htpasswd建立用户文件
　　
　　htpasswd -c /www/.htpasswd admin
　　此程序会询问用户"admin"的口令，你输入"12345678"，两次生效。
　　
　　4、建立.htaccess文件
　　
　　用vi在/www/logs/secfocus/usage/目录下建立一个文件.htaccess，写入以下几行：
　　AuthName admin-only
　　AuthType Basic
　　AuthUserFile /www/.htpasswd
　　require user admin
　　
　　5、测试
　　
　　这时候通过浏览器访问http://www.secfocus.com/usage就会弹出框请求输入用户名和口令，这时候输入admin、12345678就可以才可以访问访问日志统计分析报表。