您现在的位置 >> Hadoop教程 >> Hadoop实战 >> 专题  
 

互联网运营智慧—高可用可扩展网站技术实战

【作者:Hadoop实战专家】【关键词:负载均衡 分布式文件系统 】 【点击:79214次】【2013-05-1】
田逸,男,土家族,重庆秀山人,全真龙门27代俗家弟子。 系统可扩展性,可以透明扩充容量:宽带、服务器、存储、数据库等; 虚拟服务器包括两层结构:负载均衡器和真实服务器。 在多vrrp_instance负载均衡应用场景下,两个负载均衡器都转发用户请求。  

相关热门搜索:分布式文件系统对比 负载均衡 淘宝分布式文件系统

大数据标签:hadoop hdfs mapreduce hbase hive zookeeper bigdata

2011年05月15日

《互联网运营智慧—高可用可扩展网站技术实战》

作者: 田逸著(2010年11月第1版第1次)

清华大学出版社 Tsinghua University Press http://www.tup.tsinghua.edu.cn/

北京清华大学学研大厦A座(100084)

作者简介

田逸,男,土家族,重庆秀山人,全真龙门27代俗家弟子。长期从事Linux/Unix大负载网站运营工作,专注于IT保障事业。

内容简介

互联网运维是一门系统化的学问,也是一门新兴学科,书店里也很难找到一本能全面介绍运维体系的书籍,这是《互联网运营智慧:高可用可扩展网站技术实战》创作的初衷。《互联网运营智慧:高可用可扩展网站技术实战》深入浅出地介绍运维架构中的各个节点,从网络规划到服务器安装到负载均衡、分布式文件系统等架构规划,无一不囊括,包括:从简要说明选择开源技术作为运营环境开篇,到选定平台及工具的部署实施,以实例展示如何使用开源工具,来实现用户访问量在1000万这样的一个级别的站点功能。在《互联网运营智慧:高可用可扩展网站技术实战》中,也穿插了一些非技术方面的描述,如在系统运营中,有哪些日常事务、服务扩展该怎么着手,以及在运营中有哪些策略及技巧等。《互联网运营智慧:高可用可扩展网站技术实战》加入了作者的思想、经验、教训及建议等,尽可能使用类比方式来说明一些复杂且不易理解的东西,同时增强文章的可读性和趣味性。

《互联网运营智慧:高可用可扩展网站技术实战》结合了作者在中科院、空中网等运维一线奋战的经验,详细阐述了常见运维问题的解决之道。《互联网运营智慧:高可用可扩展网站技术实战》和实际开发结合程度很高,书中大部分的示例都是从实际项目中简化而来,因此很多例子都可以直接拿到实际项目中使用。

无论是对刚入门的系统管理员,还是资深的运维工程师,相信你研读《互联网运营智慧:高可用可扩展网站技术实战》之后,都会有不少收获。

P5,CENTOS一般需要选择的软件包,包括:Administration Tools, Development Libraries, Development Tools, Network Servers, System Tools等。

P7,在创建分区时,每创建一个新的分区,就需要手动输入挂接点Mount Point,选择文件类型,选择磁盘(如果存在多盘操作时),以及指定分区大小。

P32,比较流行的WEB服务器:Apache, Lighttpd, Nginx等。

P33,源码安装APACHE

解包tar zxvf httpd-2.2.12.tar.gz

切换目录 cd httpd-2.2.12

配置 ./confiure –prefix=/usr/local/apache –enable-so –enable-rewrite –with-mpm=worker

编译 make

安装 make install

检查编辑模块是否正确:apache/bin/apachectl –l

检查配置文件是否正确:apache/bin/apachectl –t

启动APACHE服务器:apache/bin/apachectl start

P52,设定LINUX的系统环境变量

/etc/profile 文件追加内容

export JAVA_HOME=/usr/local/jdk

export CLASSPATH=$JAVA_HOME/lib

保存文件后,执行 source /etc/profile,使修改立即生效。

P65,域名系统bind

wget http://ftp.../bind-9.5.2-p3.tar.gz

源码安装略

运行:/usr/local/named/sbin/named

P155,使用负载均衡的主要目的如下:

系统高可用性,某个组件的失效不会影响正常的服务;

系统可扩展性,可以透明扩充容量:宽带、服务器、存储、数据库等;

负载均衡能力,每个服务器可以根据权重分担负载;

一个完整的负载均衡项目,一般由虚拟服务器、故障隔离和失败切换3个功能框架组成。

虚拟服务器包括两层结构:负载均衡器和真实服务器。

故障隔离是指某个真实服务器失效或者发生故障时,系统自动将该服务器从转发队列中清理出去,相反,当服务器被修复后,系统再自动地把它加入到转发队列中

失效切换是针对负载均衡器来说的,当主负载均衡器发生故障时,备份负载均衡器自动接管主负载均衡器的工作;一旦主负载均衡器修复后,两者自动回到最初的角色。

Ipvsadm+keepalive=负载均衡

角色

所需IP

实现负载所需软件

操作

主负载均衡器

接口IP, VIP

Ipvsadm+keepalive

安装软件

备份负载均衡器

接口IP, VIP

Ipvsadm+keepalive

安装软件

真实服务器

接口IP, VIP

LVS客户端配置脚本

编写配置脚本

more /usr/local/bin/lvs_real

在多vrrp_instance负载均衡应用场景下,两个负载均衡器都转发用户请求。

P247,分布式文件系统的选择

Lustre, hadop, PNFS, MooseFS.

P258,MFS服务器安装包括:元数据服务器、元数据日志服务器、数据存储服务器

MFS客户端安装:

Mfsmount依赖fuse,安装fuse

tar zxvf fuse-2.7.4.tar.gz

cd fuse-2.7.4

./configure

make;make install

修改/etc/profile,然后执行 source /etc/profile使之生效

export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH

安装MFS客户端

tar zxvf mfs-1.6.11.tar.gz

cd mfs-1.6.11

Useradd mfs –s /sbin/nologin

./configure –prefix=/usr/local/mfs –with-default-user=mfs –with-default-group=mfs –enable-mfsmount

make;make install

挂接和使用MFS文件系统

创建挂接点:mkdir /mnt/mfs

加载FUSE模块:modprobe fuse

挂接:/usr/local/mfs/bin/mfsmount /mnt/mfs –H 192.168.1.19

将挂接命令追加到 /etc/rc.local ,可以实现开机自动挂接MFS.

P304,HADOOP项目:

Hadoop Common:通用工具

Chukwa:开源数据收集系统,用于大规模分布环境的状态监控

Hbase:可扩展的分布式数据库

HDFS:分布式文件系统

MapReduce:分布式并行计算框架

Hive:数据仓库

Pig:大数据集分析平台

Zookeeper:分布式应用的高性能协作服务

P325,GRE/IP隧道网关:通过穿越互联网,提供网络到网络的私有访问,与VPN比较,VPN是点到面(一个用户拨号,访问一个私有网络),而隧道则是面到面(网络访问网络)。

P339,监控系统Nagios,要实现资源和服务两个方面的监控,需要配置服务器端(Nagios Server)和被监控端(NRPE-Nagios Remote Plugin Executor)

大数据系列相关文章:

最新评论
istoolate2014-09-09 10:26:25
全国计算机软件技术行业资格水平考试
天使羽翼2014-09-09 03:07:05
#大数据一种收集、分析和使用数据的文化#真正的问题不是在于技术,而是在于过程。与所有IT投资一样,大数据成功的关键在于迭代,而不是关于Hadoop、NoSQL、Splunk或者任何特定的供应商或技术。而是关于迭代。--技术方案 RPfyQnC
八戒二货不解释2014-09-09 07:38:45
[图片]
若只如初见2014-09-09 06:22:41
发表了博文《Hadoop面试题目汇总》一、知识点了解MapReduce大致流程,map,shuffle,reduce了解combiner,partition作用,设置compression搭建hadohttp://t.cn/RP8WL58
小雨2014-09-08 10:10:45
xu你家电费没有交,晚上我去收电费
雨宝宝2014-09-08 02:56:07
sqoop。
teddyboy2014-09-07 10:21:14
这篇文章讲了Hadoop和 lucence 和 Nutch 的关系,目前搜索上Lucence 貌似用的比较多哦。 Hadoop是什么? (分享自 @推酷网) http://t.cn/8shIQ5Y
慧数中国2014-09-07 06:37:08
乔子2014-09-07 06:35:02
【大数据与Hadoop之间的关系】Hadoop是一个能够对大量数据进行分布式处理的软件框架,它是一种技术的实现。很多人认为Hadoop和大数据基本上是一个意思。这是错误的,详见:http://t.cn/8srrqBZ
janjat2014-09-07 12:23:37
明天正式开始学Hadoop
 
  • Hadoop生态系统资料推荐