广州网站建造集团官网 老直营威尼斯网址开户
老品牌威尼斯网址开户 吾们 效劳 网站建造 移动应用 案例 报道 联系
咨询热线:13711534025

期待聆听您的声音

13711534025

不忽悠,不作恶,不欺诈;敬天理,存良知,思利他。
QQ咨询 QQ咨询 QQ咨询
广州总部 深圳 佛山 广西

与吾们一起分享美好

大型网站架构系列:负载均衡详解(下)

发布时间:2016-02-29 发布作者:老直营威尼斯网址开户 查阅次数:2328次 标签:大型网站 负载均衡

上一篇:《大型网站架构系列:负载均衡详解(上)》

 

一、软件负载均衡概述

硬件负载均衡性能优越,功能全面,但是Price昂贵,一般适合初期或者土豪级集团官网长期使用。易于 软件负载均衡在互联网区域大量使用。常用的软件负载均衡软件有Nginx,Lvs,HaProxy等。

二、Ngnix负载均衡

Ngnix是一款轻量级的Web效劳器/反向代理效劳器,work在七层Http协议的负载均衡系统。具有高性能、高并发、低内存使用等特点。是一个轻量级的Http和反向代理效劳器。Nginx使用epoll and kqueue作为开发模型。能够支持高达 50,000 个并发连接数的响应。

操作系统:Liunx,Windows(Linux、FreeBSD、Solaris、Mac OS X、AIX以及Microsoft Windows)

开发语言:C

并发性能:官方支持每秒5万并发,实际国内一般到每秒2万并发,有优化到每秒10万并发的。具体性能看应用场景。

2.1.特点

1.模块化策划:良好的扩展性,可以通过模块方式进行功能扩展。

2.高可靠性:主控进程和worker是同步实现的,一个worker出现小case,会立刻启动另一个worker。

3.内存消耗低:一万个长连接(keep-alive),仅消耗2.5MB内存。

4.支持热部署:不用停止效劳器,实现更新配置文件,更换日志文件、更新效劳器程序版本。

5.并发能力强:官方数据每秒支持5万并发;

6.功能丰富:优秀的反向代理功能和灵活的负载均衡策略

2.2.功能

2.2.1基本功能

支持静态资源的web效劳器。

http,smtp,pop3协议的反向代理效劳器、缓存、负载均衡;

支持FASTCGI(fpm)

支持模块化,过滤器(让文本可以实现压缩,节约带宽),ssl及图像大小调整。

内置的康泰检查功能

基于名称和ip的虚拟主机

定制访问日志

支持平滑升级

支持KEEPALIVE

支持url rewrite

支持地址别名

支持基于IP和用户名的访问把握。

支持传输速率限制,支持并发数限制。

2.2.2扩展功能

2.2.3性能

Nginx的高并发,官方测试支持5万并发连接。实际生产环境能到2-3万并发连接数。10000个非活跃的HTTP keep-alive 连接仅占用约2.5MB内存。三万并发连接下,10个Nginx进程,消耗内存150M。淘宝tengineTEAM测试结果是“24G内存机器上,处理并发请求可达200万”。

2.3架构

2.3.1Nginx的基本work模式

大型网站架构 大型网站架构策划 网站架构优化 网站架构 网站架构归纳

一个master进程,生成一个或者多个worker进程。但是这里master是使用root身份启动的,因为nginx要work在80端口。而只有管理员才有权限启动小于低于1023的端口。master主要是负责的感化只是启动worker,加载配置文件,负责系统的平滑升级。其它的work是交给worker。so当worker被启动之下,也只是负责一些web最easy的work,而其他的work都是有worker中调用的模块来实现的。

模块之间是夜泖水线的方式实现功能的。流水线,指的是一个用户请求,由多个模块组合各自的功能依次实现完成的。譬喻:第一个模块只负责归纳请求首部,第二个模块只负责查找数据,第三个模块只负责压缩数据,依次完成各自work。来实现整个work的完成。

他们是如何实现热部署的呢?莫过易于 这样的,吾们上面说master不负责具体的work,而是调用workerwork,他只是负责读取配置文件,易于 当一个模块修改或者配置文件发生改动,是由master进行读取,易于 此时不会影响到workerwork。在master进行读取配置文件之下,不会立即的把修改的配置文件告知worker。而是让被修改的worker继续使用老的配置文件work,当workerwork完毕之下,直接当掉这个子进程,更换新的子进程,使用新的规则。

2.3.2Nginx支持的sendfile机制

Sendfile机制,用户将请求发给内核,内核按照用户的请求调用相应用户进程,进程在处理时需要资源。此时再把请求发给内核(进程没有直接IO的能力),由内核加载数据。内核查找到数据之下,会把数据复制给用户进程,由用户进程对数据进行封装,之下交给内核,内核在进行tcp/ip首部的封装,末了再发给衣食父母端。这个功能用户进程只是发生了一个封装报文的过程,却要绕一大圈。易于 nginx引入了sendfile机制,使得内核在接受到数据之下,不再依靠用户进程给予封装,而是自己查找自己封装,减少了一个很长一段时间的糜费,这是一个提升性能的主要点。

大型网站架构 大型网站架构策划 网站架构优化 网站架构 网站架构归纳

如该始末摘自网友发布的文章,easy一句话是资源的处理,直接通过内核层进行数据传递,避免了数据传递到应用层,应用层再传递到内核层的开销。

目上高并发的处理,一般都采取应用sendfile模式。通过直接操作内核层数据,减少应用与内核层数据传递。

2.3.3Nginx通信模型(I/O复用机制)

开发模型:epoll和kqueue。

支持的事件机制:kqueue、epoll、rt signals、/dev/poll 、event ports、select以及poll。

支持的kqueue特性包括EV_CLEAR、EV_DISABLE、NOTE_LOWAT、EV_EOF,可用数据的数量,错误代码.

支持sendfile、sendfile64和sendfilev;文件AIO;DIRECTIO;支持Accept-filters和TCP_DEFER_ACCEP.

如该概念较多,众家自行百度或谷歌,知识区域是网络通信(BIO,NIO,AIO)和多线程关键的知识。

2.4均衡策略

nginx的负载均衡策略可以计划为两大类:内置策略和扩展策略。内置策略包含加权轮询和ip hash,在默认环境下这两种策略会编译进nginx内核,只需在nginx配置中指明参数即可。扩展策略有很多,如fair、通用hash、consistent hash等,默认不编译进nginx内核。由于在nginx版本升级中负载均衡的代码没有本质性的改动,易于 下面将以nginx1.0.15稳定版为例,从源码角度归纳各个策略。

2.4.1. 加权轮询(weighted round robin)

轮询的原理很easy,起首吾们介绍一下轮询的基本流程。如下是处理一次请求的流程图:

大型网站架构 大型网站架构策划 网站架构优化 网站架构 网站架构归纳

图中有两点需要care:

第一,如果可以把加权轮询算法分为先深搜索和先广搜索,songinx采取应用的是先深搜索算法,即将起首将请求都分给高权重的机器,直到该机器的权值降到了比其他机器低,才开始将请求分给下一个高权重的机器;

第二,当一切下端机器都down掉时,nginx会立即将一切机器的标志位清成初始状态,以避免遭成一切的机器都处在timeout的状态,易于 导致整个上端被夯住。

2.4.2. ip hash

ip hash是nginx内置的另一个负载均衡的策略,流程和轮询很类似,只是此道的算法和具体的策略有些改动,如下图所示:

大型网站架构 大型网站架构策划 网站架构优化 网站架构 网站架构归纳

2.4.3. fair

fair策略是扩展策略,默认不被编译进nginx内核。其原理噬洗照下端效劳器的响应时间判断负载环境,从中选出负载最轻的机器进行分流。这种策略具有很强的自适应性,但是实际的网络环境往往不是soeasy,易于 要慎用。

2.4.4 通用hash、一致性hash

这两种也是扩展策略,在具体的实现上有些差别,通用hash比较easy,可以以nginx内置的变量为key进行hash,一致性hash采取应用了nginx内置的一致性hash环,可以支持memcache。

2.5场景

Ngnix一般作为入口负载均衡或内部负载均衡,结合反向代理效劳器使用。以下架挂子 纠龉┎慰迹咛迨褂冒凑粘【岸ā

2.5.1入口负载均衡架构

大型网站架构 大型网站架构策划 网站架构优化 网站架构 网站架构归纳

Ngnix效劳器在用户访问的最上端。按照用户请求再转发到具体的应用效劳器或二级负载均衡效劳器(LVS)

2.5.2内部负载均衡架构

大型网站架构 大型网站架构策划 网站架构优化 网站架构 网站架构归纳

LVS作为入口负载均衡,将请求转发到二级Ngnix效劳器,Ngnix再按照请求转发到具体的应用效劳器。

 

2.5.3Ngnix高可用

大型网站架构 大型网站架构策划 网站架构优化 网站架构 网站架构归纳

分布式系统中,应用只部署一台效劳器会存在单点易于 障,负载均衡同样有类似的小case。一般可采取应用主备或负载均衡设备集群的方式节约单点易于 障或高并发请求分流。

Ngnix高可用,至少包含两个Ngnix效劳器,一台主效劳器,一台备效劳器,之间使用Keepalived做康泰监控和易于 障检测。开放VIP端口,通过防火墙进行外部映射。

DNS解析公网的IP实际为VIP。

三、LVS负载均衡

LVS是一个开源的软件,由毕业于国防高技术大学的章文嵩博士于1998年5月创立,用来实现Linux平台下的easy负载均衡。LVS是Linux Virtual Server的缩写,意思是Linux虚拟效劳器。

基于IP层的负载均衡调度 技术实现 ,它在操作系统主要层上,将来自IP层的TCP/UDP请求均衡地转移到不同的 效劳器,易于 将一组效劳器构成一个高性能、高可用的虚拟效劳器。

操作系统:Liunx

开发语言:C

并发性能:默认4096,可以修改但需要重新编译。

3.1.功能

LVS的主要功能是实现IP层(网络层)负载均衡,有NAT,TUN,DR三种请求转发模式。

3.1.1LVS/NAT方式的负载均衡集群

NAT是指Network Address Translation,它的转发流程是:Director机器收到外界请求,改写数据包的倾向地址,按相应的调度算法将其发送到相应Real Server上,Real Server处理完该请求下,将结果数据包返回到其默认网关,即Director机器上,Director机器再改写数据包的源地址,末了将其返回给外界。这样就完成一次负载调度。

构架一个最easy的LVS/NAT方式的负载均衡集群Real Server可以是尽数的操作系统,而且无需做尽数特殊的设定,惟一要做的就是将其默认网关指向Director机器。Real Server可以使用局域网的内部IP(192.168.0.0/24)。Director要有两块网卡,一块网卡绑定一个外部IP地址 (10.0.0.1),另一块网卡绑定局域网的内部IP(192.168.0.254),作为Real Server的默认网关。

LVS/NAT方式实现起来最为easy,而且Real Server使用的是内部IP,可以节省Real IP的开销。但因为执行NAT需要重写流经Director的数据包,在速度上有一定延迟;

当用户的请求非常短,而效劳器的回应非常大的环境下,会对Director形成很大压力,成为新的瓶颈,易于 使整个系统的性能受到限制。

3.1.2LVS/TUN方式的负载均衡集群

TUN是指IP Tunneling,它的转发流程是:

Director机器收到外界请求,按相应的调度算法,通过IP隧道发送到相应Real Server,Real Server处理完该请求下,将结果数据包直接返回给衣食父母。一举完成一次负载调度。

最easy的LVS/TUN方式的负载均衡集群架挂子 褂肐P Tunneling 技术实现 ,在Director机器和Real Server机器之间架设一个IP Tunnel,通过IP Tunnel将负载分配到Real Server机器上。Director和Real Server之间的关系比较松散,可以是在同一个网络中,也可以是在不同的网络中,只要两者能够通过IP Tunnel相连就行。收到负载分配的Real Server机器处理完下会直接将反馈数据送回给衣食父母,而不必通过Director机器。实际应用中,效劳器必须拥有正式的IP地址用于与衣食父母机直接通信,并且一切效劳器必须支持IP隧道协议。

该方式中Director将衣食父母请求分配到不同的Real Server,Real Server处理请求下直接回应给用户,这样Director就只处理衣食父母机与效劳器的一半连接,极大地提高了Director的调度处理能力,使集群系统能容纳更好优质的节点数。其余TUN方式中的Real Server可以在尽数LAN或WAN上运行,这样可以构筑跨地域的集群,其应对灾难的能力也更强,但是效劳器需要为IP封装付出一定的资源开销,而且下端的Real Server必须是支持IP Tunneling的操作系统。

3.3.3LVS/TUN方式的负载均衡集群

DR是指Direct Routing,它的转发流程是:

Director机器收到外界请求,按相应的调度算法将其直接发送到相应Real Server,Real Server处理完该请求下,将结果数据包直接返回给衣食父母,完成一次负载调度。

构架一个最easy的LVS/DR方式的负载均衡集群Real Server和Director都在同一个物理网段中,Director的网卡IP是192.168.0.253,再绑定另一个IP: 192.168.0.254作为对外界的virtual IP,外界衣食父母通过该IP来访问整个集群系统。Real Server在lo上绑定IP:192.168.0.254,再是加入相应的路由。

LVS/DR方式与上面的LVS/TUN方式有些类似,上台的Director机器也是只需要接收和调度外界的请求,而不需要负责返回这些请求的反馈结果,以是能够负载更好优质的Real Server,提高Director的调度处理能力,使集群系统容纳更好优质的Real Server。但LVS/DR需要改写请求报文的MAC地址,以是一切效劳器必须在同一物理网段内。

3.3架构

LVS架设的效劳器集群系统有三个部分组成:最上端的负载均衡层(Loader Balancer),中点的效劳器群组层,用Server Array表示,最底层的数据共享存储层,用Shared Storage表示。在用户看来一切的应用都是透明的,用户只是在使用一个虚拟效劳器供给的高性能效劳。

LVS的体系架构如图:

大型网站架构 大型网站架构策划 网站架构优化 网站架构 网站架构归纳

LVS的各个层次的详细介绍:

Load Balancer层:位于整个集群系统的最上端,有一台或者多台负载调度器(Director Server)组成,LVS模块就安装在Director Server上,而Director的主要感化类似于一个路由器,它含有完成LVS功能所设定的路由表,通过这些路由表把用户的请求分发给Server Array层的应用效劳器(Real Server)上。再是,在Director Server上还要安装对Real Server效劳的监控模块Ldirectord,此模块用于监测各个Real Server效劳的康泰状况。在Real Server不可用时把它从LVS路由表中剔除,恢复时重新加入。

Server Array层:由一组实际运行应用效劳的机器组成,Real Server可以是WEB效劳器、MAIL效劳器、FTP效劳器、DNS效劳器、视频效劳器中的一个或者多个,每个Real Server之间通过高速的LAN或分布在各地的WAN相连接。在实际的应用中,Director Server也可以再是兼任Real Server的角色。

Shared Storage层:是为一切Real Server供给共享存储容量和始末一致性的存储区域,在物理上,一般有磁盘阵列设备组成,为了供给始末的一致性,一般可以通过NFS网络文件系统共享数 据,但是NFS在繁忙的业务系统中,性能并不是很好,此时可以采取应用集群文件系统, 诸如Red hat的GFS文件系统,oracle供给的OCFS2文件系统等。

从整个LVS结构可以看出,Director Server是整个LVS的主要,目上,用于Director Server的操作系统只能是Linux和FreeBSD,linux2.6内核不用尽数设置就可以支持LVS功能,而FreeBSD作为 Director Server的应用还不是很多,性能也不是很好。对于Real Server,险些可以是一切的系统平台,Linux、windows、Solaris、AIX、BSD系列都能很好的支持。

3.4均衡策略

LVS默认支持八种负载均衡策略,简述如下:

3.4.1.轮询调度(Round Robin)

调度器通过“轮询”调度算法将外部请求按顺序轮流分配到集群中的真实效劳器上,它均等地对待每一台效劳器,而不管效劳器上实际的连接数和系统负载。

3.4.2.加权轮询(Weighted Round Robin)

调度器通过“加权轮询”调度算法按照真实效劳器的不同处理能力来调度访问请求。这样可以保证处理能力强的效劳器能处理更好优质的访问流量。调度器可以自动问询真实效劳器的负载环境,并消息 地调整其权值。

3.4.3.最少链接(Least Connections)

调度器通过“最少连接”调度算法消息 地将网络请求调度到已建立的链接数最少的效劳器上。如果集群系统的真实效劳器具有相近的系统性能,采取应用“较大连接”调度算法可以较好地均衡负载。

3.4.4.加权最少链接(Weighted Least Connections)

在集群系统中的效劳器性能异议较大的环境下,调度器采取应用“加权最少链接”调度算法优化负载均衡性能,具有较高权值的效劳器将承受较大比例的活动连接负载。调度器可以自动问询真实效劳器的负载环境,并消息 地调整其权值。

3.4.5.基于局部性的最少链接(Locality-Based Least Connections)

“基于局部性的最少链接”调度算法是针对倾向IP地址的负载均衡,目上主要用于Cache集群系统。该算法按照请求的倾向IP地址找出该倾向IP地址最近使用的效劳器,若该效劳器是可用的且没有超载,将请求发送到该效劳器;若效劳器不存在,或者该效劳器超载且有效劳器处于一半的work负载,则用“最少链接” 的原则选出一个可用的效劳器,将请求发送到该效劳器。

3.4.6.带复制的基于局部性最少链接(Locality-Based Least Connections with Replication)

“带复制的基于局部性最少链接”调度算法也是针对倾向IP地址的负载均衡,目上主要用于Cache集群系统。它与LBLC算法的不同之处是它要维护从一个倾向IP地址到一组效劳器的映射,而LBLC算法维护从一个倾向IP地址到一台效劳器的映射。该算法按照请求的倾向IP地址找出该倾向IP地址对应的效劳器组,按“较大连接”原则从效劳器组中选出一台效劳器,若效劳器没有超载,将请求发送到该效劳器;若效劳器超载,则按“较大连接”原则从这个集群中选出一台效劳器,将该效劳器加入到效劳器组中,将请求发送到该效劳器。再是,当该效劳器组有一段时间没有被修改,将最忙的效劳器从效劳器组中删除,以降低复制的程度。

3.4.7.倾向地址散列(Destination Hashing)

“倾向地址散列”调度算法按照请求的倾向IP地址,作为散列键(Hash Key)从静态分配的散列表找出对应的效劳器,若该效劳器是可用的且未超载,将请求发送到该效劳器,否则返回空。

3.4.8.源地址散列(Source Hashing)

“源地址散列”调度算法按照请求的源IP地址,作为散列键(Hash Key)从静态分配的散列表找出对应的效劳器,若该效劳器是可用的且未超载,将请求发送到该效劳器,否则返回空。

除具备如该负载均衡算法外,还可以自定义均衡策略。

3.5场景

一般作为入口负载均衡或内部负载均衡,结合反向代理效劳器使用。相关架构可参考Ngnix场景架构。

4、HaProxy负载均衡

HAProxy也是使用较多的一款负载均衡软件。HAProxy供给高可用性、负载均衡以及基于TCP和HTTP应用的代理,支持虚拟主机,是Free、快速并且可靠的一种解决Plan。特别适用于那些负载特大的web站点。运行模式使得它可以很easy安全的整合到当上的架构中,再是可以保护您的web效劳器不被暴露到网络上。

4.1.特点

支持两种代理模式:TCP(四层)和HTTP(七层),支持虚拟主机;

配置easy,支持url检测下端效劳器状态;

做负载均衡软件使用,在高并发环境下,处理速度高于nginx;

TCP层多用于Mysql从(读)效劳器负载均衡。 (对Mysql进行负载均衡,对下端的DB节点进行检测和负载均衡)

能够补充Nginx的一些缺点譬喻Session的保持,Cookie引导等work

4.2.均衡策略

支持四种常用算法:

1.roundrobin:轮询,轮流分配到下端效劳器;

2.static-rr:按照下端效劳器性能分配;

3.leastconn:较大连接者优先处理;

4.source:按照请求源IP,与Nginx的IP_Hash类似。

五、本次分享总结

如该是本周的分享,从主要讲解了软件负载均衡的应用背下,Ngnix负载均衡,LVS负载均衡,Haproxy负载均衡。

因为时间关系,有些讲解的不细致,众家可以问下度娘/Google,瞩望本次分享对众家有扶掖。


大型网站架构系列:负载均衡详解(上)

将PC站点转化为移动站要做哪些优化?

吾们的地位

广州 广州市天河区岗顶百脑汇高技术大厦B塔27楼 020-6235 2949

深圳 深圳市南山区汉京万国大厦18A 159 8916 9178

广西 茂名市茂南区油城三路广西创业创新孵化基地B110 159 8916 9178

吾们的效劳

网站及移动应用 牛逼直营网站 APP开发 小程序开发 WeChat运营

系统应用开发 OA/ERP/CRM/HR系统开发 教学管理系统 电商系统 应用型软件系统定制开发

了解吾们

集团官网简介 联系吾们 吾们的案例 讯息报道

使用条款 隐私声明 Cookies

© 2009-2020 老直营威尼斯网址开户 版权一切 广ICP备16051058号

XML 地图 | Sitemap 地图