zhan8610189
- 浏览: 75463 次
- 性别:
- 来自: 北京
-
最新评论
-
gwgyk：
楼主你好，我想问问，ganglia的监控数据默认是保持多长时间 ...
ganglia监控安装 -
Hot2864：
楼主对ambari理解很深刻，近来也在研究这个东西，是否可以交 ...
Ambari深入学习（II）－实现细节 -
xiezhenyuan：
您好！非常感谢您共享了这么宝贵的资料，本人水平很低，在研究您传 ...
批量Load到HBase -
huazheng333：
hustlxf 写道非常珍贵的资料，目前正在研究这一块，谢谢分 ...
Ambari深入学习（I）－系统架构 -
huazheng333：
最近研究ambari，加我 QQ:287114032，请教个问 ...
Ambari深入学习（III）－开源使用及其改进思考
文章列表
Ambari采用的不是一个新的思想和架构，也不是完成了软件的新的革命，而是充分利用了一些已有的优秀开源软件，巧妙地把它们结合起来，使其在分布式环境中做到了集群式服务管理能力、监控能力、展示能力。这些优秀开源 ...
在第一节中，我们简单讲了一下Ambari的系统架构。我们这一节主要分析Ambari的源代码，总览Ambari的具体实现方式及其工作细节。
一、Ambari-Server启动
Ambari-Server是一个WEB Server，提供统一的REST API接口，同时向web和agent开放了两个不同的端口（默认前者是8080, 后者是8440或者8441）。它是由Jetty Server容器构建起来的，通过Spring Framework构建出来的WEB服务器，其中大量采用了google提供的Guice注解完成spring框架所需要的注入功能（想一想，之前spring框架需要加载一个a ...
Ambari是hadoop分布式集群配置管理工具，是由hortonworks主导的开源项目。它已经成为apache基金会的孵化器项目，已经成为hadoop运维系统中的得力助手，引起了业界和学术界的关注。现在我们将深入学习Ambari原理及其架构。
Ambari架构采用的是Server/Client的模式，主要由两部分组成：ambari-agent和ambari-server。ambari依赖其它已经成熟的工具，例如其ambari-server 就依赖python，而ambari-agent还同时依赖ruby, puppet，facter等工具，还有它也依赖一些监控工具nagios和 ...
Nagios安装部署
- 博客分类：
- Nagios
一、nagios 安装
nagios是一个分布式的服务监控系统，能够很方便地监控各服务的运行状态，它不是ganglia的替代品，而是通常与ganglia集成在一起，完成强大的系统监控功能。
在安装nagios监控系统时，至少需要安装如下已经个包。这些包都可以直接在官网上下载。
nagios-core：监控引擎及基本的监控页面
nagios-plugin：通过plugin可以监控服务，应用，度量值等指标
nagios-frontend：前端监控页面加强版
我选择安装的版本是：gd-2.0.35，nagios-3.5.0，nagios-plugins-1.4.16，nrpe-2.14 ...
当linux系统上有多个单独网卡，又想充分利用这些网卡，同时对外提供一个统一的网络地址，以使得增大网络的吞吐量，同时也提高网络的可用性，这时就需要bond来帮助我们解决这个问题。linux中bond感觉有点带有bound和bind的意思，从字面意义上，就可以看出bond的作用是聚合多个东西，组合成一个统一的东西使用。
bond的配置在很简单，但是配置不好，很容易造成严重的网络问题。bonding功能是linux内核就自带了，因此，通常不需要安装它，只需要把bonding模块加载到内核里即可。
如下是配置bond网卡的步骤。配置需求是有两个网卡eth0和etho1，把它们俩bonding到 ...
ganglia监控安装
- 博客分类：
- ganglia
一、引言
ganglia是一个优秀的分布式集群网络监控系统，起源于UC Berkeley发起的一个开源项目。该项目起初的定位就是开发出一个能监控数千计节点的监控服务系统，把各节点的状态信息汇总一起，以供使用者能够方便集中地观察集群的相关指标。在ganglia里面，采集的指标称之为度量数据。这些度量数据包含有cpu, memory，硬盘使用情况等。当然，我们也可以为ganglia写一些插件，让ganglia能够采集得到用户提供的特定数据。通过这些度量数据，你可以观察到节点的运行状况，分析集群是否存在问题。
二、ganglia安装
现在那些对集群稍有要求的公司都会用到ganglia。 ...
引言
在java语言里访问数据库一般是通过jdbc去访问，jdbc一般用于客户端去联接数据库，并且把相应的sql语句传给数据库服务器，服务器接收到sql请求就开始分发给sql执行引擎解析sql并执行相应任务，在服务器端执行完得到的结 ...
引言
最近单位发了一台mac air的开发机，它给我装的是Win7系统。我通过网络重装成 10.8.4版本的Mac OS Mountain Loin系统。这是我的安装相关软件笔记，发表出来以供新手参考。内容比较少，会继续补充。
在网上找到一些比较精华的文章
http://bbs.weiphone.com/read-htm-tid-5880926.html 在这篇文章里有讲了mac里面的一些基本操作和功能：例如，notification的使用，iMessage的使用，还有一些界面的shortcuts等等。这篇文章是入门篇。看完这篇文章就会对mac系统及其相关软 ...
1. Tez简介
Tez是基于Hadoop Yarn之上的DAG（有向无环图，Directed Acyclic Graph）计算框架。它把Ｍap/Reduce过程拆分成若干个子过程，同时可以把多个Ｍap/Reduce任务组合成一个较大的DAG任务，减少了Ｍap/Reduce之间的文件存储。同时合理组 ...
由于有时需要使用到MPI集群来进行迭代运算，就尝试着自己去搭建着MPI集群。不过这也是到去年工作的事情了。我现在凭我的记忆去把它回忆出来。
从零开始，搭建MPI集群是一件很费周折的事情。MPI是一种编程模型，业界有很多种实现，其中开源版本就有好几个版本。对比过openfabrics公司提供的OFED和俄亥俄州立大学的mvapich2，我最终在选型时选取了mvapich2。
服务器系统有 centos 5.8/6.3，安装的版本mvapich2-1.9a。成功编译及安装上mvapich2-1.9a前，我安装了很多依赖包。安装过程如下：
yum install gcc- ...
HBase Master管理功能总结
- 博客分类：
- HBase
近段时间，对HBase 的Master节点相关的代码进行了学习，感觉它的设计思路是尽量把master节点做成一个很轻的管理节点。这里很轻的意思就是只做自己该做的一些事，很多不该做的事情都移出去，移给zookeeper，移给regionserver，让自己变得简单。
1. HMaster接口
HMaster类继承了四个接口， HMasterInterface, HMasterRegionInterface, MasterServices, Server。
1.1 HMasterInterface
主要包含了创建表的DDL方法：如createTable, deleteTable, alt ...
1. Yarn应用兼容
Hadoop Yarn框架是Hadoop 2.0以上的新一代计算框架，在它上面可以跑多类应用，不仅能够跑经典MR计算，还能在该框架上实现实时计算，交互式计算，流式计算等等。正因为这样，Yarn得到了前所未有的关注，发展速度也比MRv1快。MRv1耗时有8年才使其稳定，而Yarn才发展了2年，就已经被许多公司采用。
既然Hadoop能在Yarn上实现多类应用框架，那么也可以这么说，它能够同时在Yarn上运行多类应用。这就会遇到Yarn对各类应用的同时支持问题。
那么它是怎么做到这样完成各类应用的兼容呢？
我在有一篇文章讲解如何在Yarn上实现一 ...
1. 引言
hadoop 0.23系列后，就对Map/Reduce进行了完全重写，把原有的MR计算框架替代成了新一代Yarn计算框架－ Yarn。Yarn有一点类似于Mesos（它们之间的对比请看如下链接How does YARN compare to Mesos?），运行在hdfs之上，用JAVA写的计算资源管理框架。而Map/Reduce被看成是一个成熟的应用框架运行在Yarn计算框架之上。我们可以在Yarn上开发各种各样的计算应用。业界也开始着手在Yarn上开发自己相应的计算应用。例如：Tez， Hama，storm, kitten等，详情可以参考董西成大哥的一篇文章＜汇总运行在Ha ...
这是我很早以前开始学习hadoop时写的一篇文章，文章内容比较粗糙，现在张贴出来。以飨读者。
1. Introduction
Kerberos Security Management Mechanism is new to hadoop 1.0 and Cloudera Distributed Hadoop. 在hadoop 1.0和CDH3中新加上了kerberos安全机制来控制hadoop集群的访问权限。在之前的版本,都没有kerberos安全论 证 之 说 , 默 认 集 群 是 可 靠 的 , 值 得 信 赖 的 。 在mr和hdfs交 互 时 都 不需要认证。
没 ...
近段时间，怀着一个好奇的心态去学习一下yarn，并且简单地看了一下源代码。我直接从hadoop-common的trunk中下载源码并且编译运行，这样与社区比较同步。如果你对maven 比较了解的话，编译起来都很简单的。
1. Service
在hadoop 3. ...