Poppen.de是德国的一个社交网站,相对Facebook、Flickr 来说是一个很小的网站,但它有一个很好的架构,融合了许多技术,如 Nigix、MySql、CouchDB、Erlang、Memcached、RabbitMQ、PHP、Graphellote、Red5以及 Tsung. 统计信息:
商业标准样式: 该网站采用免费增值标准样式,用户可以免费施用下面任何服务: 搜索其他用户;给好友发送动静;上载图片和视频;寻找好友;视频聊天;更多… 但如果用户想安享不受限制发送动静和上载图片,那么就患上根据需要支付不同类型的会员服务,视频聊天及网站其他服务也采用同样的计谋。 工具箱: 1、NginxPoppen.de 所有的服务都是基于Nginx服务上的。前端有两台Nginx服务器在高峰期供给每分钟15万次请求的负载,每个机器已经有四年寿命,并且只有一个CPU 和3GB RAM.Poppen.de拥有三达赖立的图像服务器,由三台Nginx服务器为*.bilder.poppen.de供给每分钟8万次请求服务。 Nginx 架构中一个很酷的预设就是有许多请求是由Memcached处理的,因此请求延缓推迟存中获取内容而不需要直接访问PHP机器。比如,用户信息页 (user profile)是网站需要密集处理的内容,如果把用户信息页全数缓存到Memcached上,那么请求直接从Memcached上获取内容。 Poppen.de的Memcached每分钟可以处理8000次请求。 架构中有3个Nginx图像服务器供给本地图像缓存,用户上载图像到一个中央文件服务器。当向这3个Nginx之一中请求图像时,如果服务器本地中 没有存在该图像,则从中央文件服务器下载到该服务器上作缓存并供给服务。这种负载平衡的分布式图像服务器架构预设可以减轻首要存储设备的负载。 2、PHP-FPM该网站运行在PHP-FPM上。共有28台双CPU、6GB内存的PHP机器,每个机器上运行100个PHP-FPM的工作线程。施用启用了APC的PHP5.3.x. PHP5.3可以降低CPU和内存施用率的30%以上。 程序代码是基于Symfony1.2框架之上开发的。一是可以施用外部资源,二是能够提高项目开发进程度,同时在一个著名的框架上可以让新开发人员 更容易加入到团队中来。虽然没有任何事情都是十全十美的,但可以从Symfony框架中患上到许多好处,让团队可以更多的精神放在Poppen.de的业 务开发上去。 网站性能优化施用XHProf,这是Facebook开源出来的一个类库。这个框架非常容易个性化和配置,能够可以缓存大多高代价的服务器计算。 3、MySQLMySQL 是网站首要的RDBMS.网站又几个MySql服务器:一台4CPU、32GB的服务器存储用户相关信息,如基本信息、照片描述信息等。这台机器已经施用 了4年,下一步计划会施用共享集群来替代它。目前仍基于这个系统上进行预设,以简化数据访问代码。根据用户ID进行数据分区,因为网站中大多信息都是以用 户为中心的,如照片、视频、动静等。 有三台服务器按主-从-从配置架构供给用户论坛服务。一台从服务器负责网站自定义动静存储,迄今有2.5亿条动静。另外四台机器为主-从配置关系。 另外由4台机器配置成NDB族群专门服务于密集型写操作数据,如用户访问统计信息。 数据表预设尽量制止联系关系操作,尽可能缓存最多的数据。固然,数据库的结构化规范已经完全被粉碎掉了。因此,为了更容易搜索,数据库预设创立了数据挖掘表。 大多表是MyISAM型表,可以供给快速查找。现在的问题是越来越多的表已经全表锁住了。Poppen.de正思量往XtraDB存储引擎上迁移。 4、Memcached网站架构中Memcached应用至关多,超过45GB的高速缓存和51个节点。缓存了Session会话、视图缓存以及函数执行缓存等。架构中有 一个系统当记录被修改时可以自动地把数据更新到缓存中去。未来改善缓存更新的可能方案是施用新的Redis Hash API或者MongoDB. 5、RabbitMQ在 2009年中开始在架构中施用RabbitMQ.这是一个很好的动静解决方案,易于部署和集中到这个架构中去,在LVS后运行了两台RabbitMQ服务 器。在上个月,已经把更多的东西集成到该行列步队中,意味着同一时刻有28台PHP服务器每天要处理50万次请求。发送日志、邮件通知、系统动静、图像上 载等更多的东西到这个行列步队中。 应用PHP-FPM中的fastcgi_finish_request()函数集成行列步队动静,可以把动静异步发送到行列步队中。当系统需要给用户发送HTML或JSON格局响应时,就调用这个函数,如许用户就没有必要等到PHP脚本清算。 这个系统可以改善架构资源管理。例如,在高峰期服务每分钟可以处理1000次登录请求。这表示有1000并发更新用户表生存用户的登录时间。由于施 用了行列步队机制,可以按相反的顺序来运行这些查询。如果需要提高处理速度,只需要增加更多的行列步队处理者即可,甚至可以增加更多的服务器到这集群中 去,而不需要修改任何配置和部署新节点。 6、CouchDB日志存储CouchDB运行在一台机器上。在这台机器上可以根据板块/行为进行日志查询/分组,或者根据纰缪类型等等。这对定位问题非常有用。在施 用日志聚合服务CouchDB之前,只患上逐台登录到PHP服务器上设法日志分析定位问题,这是非常麻烦的。而现在把所有的日志集中到行列步队中生存到 CouchDB中,可以集中进行问题检查和分析。 7、Graphellote网站施用Graphellote采集网站及时信息并统计。从请求每个板块/行为到Memcached的命中和未命中、RabbitMQ状况监控以及 Unix 负载等等。Graphellote服务均等每分钟有4800次更新操作。实践已经证明要监测网站发发生什么是非常有用的,它的简略文本和谈和绘图功能可以 方便地即插即用的方式用于任何需要监控的系统上。 一件很酷的事情是施用Graphellote同时监控了网站的两个版本。一月份部署了Symfony框架新版本,以前代码作为一个备份部署。这就意味着网站可能会面临性能问题。因此可以施用Graphellote来对两个版本在线进行相比较。 发现新版本上的Unix负载表较高,于是施用XHProf对两个版本进行性能分析,找出问题所在。 8、Red5网站为用户也供给了两种类型的视频服务,一种是用户自己上载的视频,另一种是视频聊天,用户视频互动和分享。到2009年年中,每月为用户供给17TB的流量服务。 9、TsungTsung 是一个Erlang编写的分布式基准分析工具。在Poppen.de网站中首要用于HTTP基准分析、MySQL与其他存储系统(XtraDB)的相比较 分析。用一个系统记录了首要的MySQL服务器的流量,再转换成Tsung的基准会话。然后对该流量进行回放,由Tsung产生数以千计的并发用户访问实 验室的服务器。如许就能够在实验环境中与真实场景非常靠近。 转载请保留固定链接： https://linuxeye.com/architecture/512.html |