Hadoop运行时有三种模式：

单机模式

伪分布式模式

完全分布式模式

前两种可以在单机运行，最后一种用于真实的集群环境，通常用在生产环境上。我们可以搭建本地的伪分布式模式来模拟分布式环境的执行。 (更多…)

一、概述

S4（Simple Scalable Streaming System）最初是Yahoo!为提高搜索广告有效点击率的问题而开发的一个平台，通过统计分析用户对广告的点击率，排除相关度低的广告，提升点击率。目前该项目刚启动不久，所以也可以理解为是他们提出的一个分布式流计算（Distributed Stream Computing）的模型。 (更多…)

为了支持高并发访问和海量数据的场景，在搭建应用时需要努力构建可伸缩的系统，这样在后期系统遇到瓶颈时可以简单地通过垂直伸缩或水平伸缩扩展系统。本文整理借鉴了林昊老师对构建可伸缩系统的文章。

一、垂直伸缩

垂直伸缩指通过增加或升级单台机器的硬件来获得对高并发访问和大数据量的更好支持。

1、支持高并发访问

可以增加CPU和内存，同时需要对系统进行一定调整，尽可能使得软件性能随硬件性能线性增长。

增加CPU时，需要进行如下调整：

首先需要减小锁的开销。当Java程序中线程比较多时，线程的上下文切换开销会增大，对锁的竞争也会变得更激烈，所以通常意义上线程并不是越多越好。当系统因为锁的竞争而导致CPU利用率较低时，可以采取以下策略减少锁带来的开销：

a、使用Java API中的并发类库

可以采用java.util.concurrent等包下面的并发类，通常它们已经经过了充分的优化，能有效地支持高并发环境下的操作，并发类中大量采用了非阻塞算法，有些利用了CAS实现无锁。这里有一个小提示：使用并发哈希表时应优先采用ConcurrentHashMap而不是Hashtable，前者通过分解锁的方法使得效率更高。 (更多…)