Linux下Squid代理服务器的架设与维护(一)

　　一、对使用者的分析

　　现有网络情况：

　　我校校园网通过光缆已将31座建筑物连通，光缆总长度约15Km，绝大多数楼中实现结构化布线，连入校园网的网络多媒体教室、教学基地、实验室、机房等约有数十个，连网计算机达3000多台 。我校目前出口有2个，一条速率为10M bps，通过光纤接入中国教育科研网CERNET，另一条速率为4M bps连入中国电信。

　　用户的需求：

　　我校校园网的使用者主体为在校学生及老师。根据统计，约80%的用户使用WWW、FTP等资源。我校现有Chinanet ip 126个，不可能分给所有的用户使用。通过架设代理服务器来实现让所有用户使用网络资源是最简单并且相对安全和可靠的方法。通过架设专门的WWW(FTP)代理来满足用户的主要需求，通过架设socks5代理来满足用户的其他需求。

　　二、硬件及软件的选择

　　硬件

　　Cache Server可以是一台普通的PC服务器加上cache软件（如Squid、Inktomi）构成，也可以是软硬件系统和一台专门的cache服务器。根据Chinanet出口的实际情况，4Mbps速率的出口，每秒最大传入数据量为约500K/s。我校主干网节点间为双千兆连接，到达部分实验室是百兆，到达宿舍为10M。送出的最大数据量为约12M/s。传送的数据量不是很大，使用传统的IA32构架服务器既可满足需求。我校网络中心主机房使用机柜来存放服务器。惠普公司的LH6000服务器，具有很强的扩展性，是新型的六路服务器。代理服务器的运算负荷不是很重，对于IO的要求较高。LH6000通过自定义配置可以达到这个要求。通过使用raid可以提高磁盘性能，增加数据的可靠性。代理服务器软件占用内存较大。LH6000可以支持8GB内存。最终选择配置如下：

　　配置

　　处理器:1个100MHz系统总线的Intel Pentium III Xeon 700MHz处理器

　　内存:1G PC-133 ECC SDRAM

　　磁盘控制器:集成具有32MB高速缓存双通道Ultra3 SCSI HP NetRAID控制器

　　附加单通道:Ultra Wide SCSI控制器

　　内置存储:热插拔5x18G半高驱动器

　　网卡:内置INTEL 82559 100M网卡

　　电源:3个热插拔电源

　　RAID使用了RAID5模式，这个模式是向阵列中的磁盘写数据，奇偶校验数据存放在阵列中的各个盘上，允许单个磁盘出错。RAID 5也是以数据的校验位来保证数据的安全，但它不是以单独硬盘来存放数据的校验位，而是将数据段的校验位交互存放于各个硬盘上。这样， 任何一个硬盘损坏，都可以根据其它硬盘上的校验位来重建损坏的数据。

　　软件

　　Squid Internet Object Cache (Harvest Project的後续版本) 是美国政府大力助的一项研究计划。Squid是一个开放源代码的代理服务器软件。它是一个为UNIX系统下运行的全功能的代理服务器软件。它可以为HTTP协议、FTP协议以及其他使用URL方式定位的协议作缓存。它支持客户端使用SSL协议进行数据传送。它可以使用ICP, HTCP, CARP, Cache Digests等协议和方式和其他运行squid的服务器进行协同。它支持SNMP协议，可以用相应的软件来做协调和管理。并且能配置详细的访问控制列表（acl）。

　　操作系统

　　以前学校的代理服务器使用linux作为操作系统。这是因为以前的代理服务器通常还兼作其他的服务器。很多服务器软件是专门为linux开发的，或者在linux上运行的效率最高。Squid本身是为unix-like操作系统开发的。本身对系统没有太多的要求。目前我校Chinanet代理服务器使用的是FreeBSD作为操作系统。

　　没有选择Linux有下面几点原因：

　　Linux的核心部分开发相对比较开放,FreeBSD的核心是由一个严格的core team来完成的。相对检查更加严格。从核心部分比较BSD的内核更加稳定。

　　Linux对高负荷的承载能力不如FreeBSD。对于高负荷下程序出错的容忍力，BSD远强于Linux。

　　许多著名的网站，如：yahoo, netease 等著名的商业网站使用的就是freebsd,稳定性和性能早已通过很多专家的评测，远远强于Linux。

　　在著名的文章“Linux vs BSD: A Tale of Two System”中，是这样评价Freebsd的: FreeBSD focuses on the Intel Architecture PC and server platforms, and on providing the best performance and stability possible. The DEC/Compaq Alpha is also supported.

　　但是Freebsd也有不如Linux的弱点。主要表现在磁盘IO的性能上。这主要是因为Freebsd使用的文件系统—UFS的性能不如linux上使用的ext2/ext3。但是在加上softupdate之后会有很大的改进。而且出国代理上配置的使用raid5模式，磁盘使用高转速scsi硬盘，在上述硬件配置的情况下，读取squid cache的数k大小的小文件使用ext2和ufs+softupdate的效率的差别在万分之一以下。对于负载数千用户的代理服务器来说，可以忽略这样的效率差别。

　　基于以上原因，最终选用Freebsd作为代理服务器的操作系统。

　　三、代理服务器软件的安装

　　squid的安装

　　freebsd本身的ports程序带有squid的稳定版本。目前squid的最新版本是2.4.STABLE6。在freebsd的/usr/ports/www/squid 目录下执行make;make install就会将最新版本的squid代码下载、编译并最终安装到/usr中的相应路径中。

　　Squid本身会被安装到/usr/local/sbin下

　　Squid的cache目录默认为/usr/local/squid/cache

　　Squid的log目录默认为/usr/local/squid/logs

　　squid的配置文件目录默认为/usr/local/etc/squid

　　这样的安装方式比直接使用二进制的package安装要好。因为二进制的package不能保证在自定义的系统上稳定运行。下载源代码代码在本地进行编译之前，首先会校验源代码的MD5 checksum,这样能保证我得到的源代码是未经修改过的版本。然后再在本地进行编译。最后安装到相应目录。

　　Squid的配置

　　Squid的配置文件是squid.conf

　　部分参数的配置如下：(为保证代理服务器安全，部分参数用*代替)

　　cache_peer_domain * .edu.cn设置.edu.cn的域名使用某个cache_peer访问

　　cache_mem 400 MB设定内存cache的大小为400M

　　cache_swap_low 80

　　cache_swap_high 97这两行是设置cache进行替换的闸值。当占用到97%的cache后，cache中的内容将被清空20%。

　　maximum_object_size 20000 KB 最大对象大小为20M.

　　maximum_object_size_in_memory 10000 KB 内存中最大的对象大小为10M

　　ipcache_size 4096 ip对应cache的大小为4096

　　fqdncache_size 4096 域名全称cache的大小为4096

　　cache_replacement_policy heap LFUDA cache替换策略

　　memory_replacement_policy heap LRU 内存替换策略

　　cache_dir ufs /usr/local/squid/cache 25000 16 256 cache存放的路径大小及具体配置

　　dns_nameservers * * * * * 内部指定dns服务器

　　authenticate_program * * 身份认证程序

　　authenticate_children 32 身份认证程序启动的进程数目

　　request_body_max_size 5 MB 最大请求的body大小

　　reply_body_max_size 20 MB 最大回应的body大小

　　acl all src 0.0.0.0/0.0.0.0

　　acl dorm proxy_auth 192.168.0.0/255.255.0.0 REQUIRED

　　acl bjpu proxy_auth 202.112.64.0/255.255.240.0 REQUIRED

　　acl bjpu2 proxy_auth 211.71.80.0/255.255.240.0 REQUIRED

　　访问控制列表

　　acl banned_sites {过滤的关键字}

　　http_access deny banned_sites

　　deny_info ERR_BANNED_SITE banned_sites

　　禁止访问违禁站点的设置

　　acl manager proto cache_object

　　acl localhost src 127.0.0.1/255.255.255.255

　　acl SSL_ports port 443 563

　　acl Safe_ports port 80 # http

　　acl Safe_ports port 21 # ftp

　　acl Safe_ports port 443 563 # https, snews

　　acl Safe_ports port 70 # gopher

　　acl Safe_ports port 210 # wais

　　acl Safe_ports port 1025-65535 # unregistered ports

　　acl Safe_ports port 280 # http-mgmt

　　acl Safe_ports port 488 # gss-http

　　acl Safe_ports port 591 # filemaker

　　acl Safe_ports port 777 # multiling http

　　acl CONNECT method CONNECT

　　设置可以连接的端口

　　http_access allow dorm

　　http_access allow bjpu

　　http_access allow bjpu2

　　http_access allow manager localhost

　　http_access deny manager

　　http_access deny !Safe_ports

　　http_access deny CONNECT !SSL_ports

　　http_access deny all

　　允许http访问

　　icp_access allow *允许cache_peer使用ICP协议访问

　　proxy_auth_realm BJPU proxy-caching web server 验证框提示的banner

　　cache_mgr liukange@netease.comcache管理员的电子邮件地址

　　cache_effective_user *

　　cache_effective_group * 执行cache程序的用户uid和gid

　　visible_hostname cnproxy.bjpu.edu.cn cache服务的机器名

　　memory_pools