<?xml version="1.0" encoding="UTF-8"?>
<rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	>

<channel>
	<title>舒の随想日记 &#187; 2011 &#187; 十二月</title>
	<atom:link href="http://blog.hesey.net/2011/12/feed" rel="self" type="application/rss+xml" />
	<link>http://blog.hesey.net</link>
	<description>思考生活，关注科技。To live is to CHANGE the world.</description>
	<lastBuildDate>Tue, 03 Apr 2012 13:15:33 +0000</lastBuildDate>
	<language>en</language>
	<sy:updatePeriod>hourly</sy:updatePeriod>
	<sy:updateFrequency>1</sy:updateFrequency>
	<generator>http://wordpress.org/?v=3.3.2</generator>
		<item>
		<title>回首2011</title>
		<link>http://blog.hesey.net/2011/12/review-my-2011.html?utm_source=rss&#038;utm_medium=rss&#038;utm_campaign=review-my-2011</link>
		<comments>http://blog.hesey.net/2011/12/review-my-2011.html#comments</comments>
		<pubDate>Sat, 31 Dec 2011 14:08:54 +0000</pubDate>
		<dc:creator>Hesey</dc:creator>
				<category><![CDATA[思考]]></category>

		<guid isPermaLink="false">http://blog.hesey.net/?p=884</guid>
		<description><![CDATA[如果要用一个词来形容2011的话，我想，就用“激动”好了。 这一年我从学校出来，由一个胆胆颤颤的学生，正式转变成一名工作者，经济上的收入虽然不高，但勉强可以做到自收自支，更多的是，开始把自己的能力发挥出来，能够做一些真正产生影响的东西，这是我一直以来都想做的事情。 这一年，很多在书上看到的技术产品，总算可以真的亲手去用，去体验，去借助我的代码直接触摸那些曾经让我觉得无比高耸的高峰。 这一年，我终于成为团队的一员，从小作坊的独立开发，慢慢适应协同开发、合作，不得不说，和一群相投的人一起做事，真的很开心！ Timeline 3月份到了学校以后，心态比较焦虑，关于实习的事情，一方面自己很想有机会能出去看看，能真的去做一些事情，另一方面，又唯恐自己还达不到要求，做得不好。那段时间一直上自习看书，和考研的兄弟们一起窝在考研自习室钻研。后来正巧朋友飘零发推说招实习生，周末匆匆忙忙准备了一份简历就投过去了，周一下午我还在自习室看分布式，大概四点二十意外接到了面试的电话，全是技术问题，自己觉得答得比较一般了，有两个问题没答得比较顺畅。 晚上七点半的时候，面试官，也就是我现在的老大，打来电话，恭喜我通过面试，正式“邀请”我去淘宝实习（当时觉得，这么一家大公司，对一个学生能用“邀请”这个词，真是很难得）。当时和女朋友坐在公交车上，她知道我当时有多开心。 然后就是完成在学校的任务了，师兄列了一些需要掌握的知识点出来，我就自己看书去学，这个过程中，眼界开阔了许多，也因为更有方向感，能够定下心来深入地去学习一番，这段时间，可以说自己的成长是飞速的。 7月15号终于完成了学校的实训项目，过了一周我就到了公司。 其实刚来的时候，真的很不习惯，首先就是自己会的东西，和现有的事情没法很好地接轨，简单地说，会的用不上，要做的都不会。那段时间真的很纠结，因为自己很想尽快上手去做一些有价值的事情，自己也主动找老大聊了几次，慢慢找到方向感。 后来就是做的第一个项目了，在这个项目中，真正接触到了很多以前只是在文字上见过的东西，例如JNI（为此我还复习了一点C/C++）、HSF、Tair、Hadoop等等，像分布式RPC、分布式缓存、并发一系列的东西，能够说自己用以前自己的理解去用起来，实现了一个高效的异步生产消费模型，充分发挥了机器的能力，把CPU、IO利用率都提升了很多，也成为后来处理海量数据的一个基础设施。 后面越来越熟悉现有的架构、框架，慢慢有些观念也改变了，比如业务和技术，比如对产品的理解，越来越希望能把自己的产品做得更好，思考什么才是更好，用什么样的技术去做。做的很多东西也上线了，真正的对用户产生了影响。 2011年一共写了13篇Blog，数量不多，但质量都还可以，明年希望能产出更多分享的东西。 2011年，成长良多，要感激很多人，身边的师兄们，网上的朋友们，也感谢2011年的自己，很快适应了新的环境，也总算做了一点事情，但还没到我对自己期望的程度。 2012年，又是一年，尽管看起来这一年对于很多公司来说将并不好过。我的愿望很简单：希望能做更多落地的事情，做一些实实在在的事情，2011年我给了自己一个希冀，希望2012年年底，能对自己有一个满意的答复。希望年底再总结的时候，能说今年干得还不错。 最后，新的一年，希望大家都有一个好的起点。 落后的，只要踏踏实实，很快会赶上； 领先的，想的也要更多一点。 总之，我们又有一整年的时间可以挥霍，只这一点便已让人感到无比幸福！]]></description>
			<content:encoded><![CDATA[<p>如果要用一个词来形容2011的话，我想，就用“<span style="color: #ff0000;"><strong>激动</strong></span>”好了。</p>
<p>这一年我从学校出来，由一个胆胆颤颤的学生，正式转变成一名工作者，经济上的收入虽然不高，但勉强可以做到自收自支，更多的是，开始把自己的能力发挥出来，能够做一些<span style="color: #ff0000;"><strong>真正产生影响的东西</strong></span>，<span style="color: #ff0000;"><strong>这是我一直以来都想做的事情</strong></span>。</p>
<p>这一年，很多在书上看到的技术产品，总算可以真的亲手去用，去体验，去借助我的代码直接触摸那些曾经让我觉得无比高耸的高峰。</p>
<p>这一年，我终于成为团队的一员，从小作坊的独立开发，慢慢适应协同开发、合作，不得不说，和一群相投的人一起做事，真的很开心！<span id="more-884"></span></p>
<p><span style="color: #ff6600;"><strong>Timeline</strong></span></p>
<p>3月份到了学校以后，心态比较焦虑，关于实习的事情，一方面自己很想有机会能出去看看，能真的去做一些事情，另一方面，又唯恐自己还达不到要求，做得不好。那段时间一直上自习看书，和考研的兄弟们一起窝在考研自习室钻研。后来正巧朋友飘零发推说招实习生，周末匆匆忙忙准备了一份简历就投过去了，周一下午我还在自习室看分布式，大概四点二十意外接到了面试的电话，全是技术问题，自己觉得答得比较一般了，有两个问题没答得比较顺畅。</p>
<p>晚上七点半的时候，面试官，也就是我现在的老大，打来电话，恭喜我通过面试，正式“邀请”我去淘宝实习（当时觉得，这么一家大公司，对一个学生能用“邀请”这个词，真是很难得）。当时和女朋友坐在公交车上，她知道我当时有多开心。</p>
<p>然后就是完成在学校的任务了，师兄列了一些需要掌握的知识点出来，我就自己看书去学，这个过程中，眼界开阔了许多，也因为更有方向感，能够定下心来深入地去学习一番，这段时间，可以说自己的成长是飞速的。</p>
<p>7月15号终于完成了学校的实训项目，过了一周我就到了公司。</p>
<p>其实刚来的时候，真的很不习惯，首先就是自己会的东西，和现有的事情没法很好地接轨，简单地说，会的用不上，要做的都不会。那段时间真的很纠结，因为自己很想尽快上手去做一些有价值的事情，自己也主动找老大聊了几次，慢慢找到方向感。</p>
<p>后来就是做的第一个项目了，在这个项目中，真正接触到了很多以前只是在文字上见过的东西，例如JNI（为此我还复习了一点C/C++）、HSF、Tair、Hadoop等等，像分布式RPC、分布式缓存、并发一系列的东西，能够说自己用以前自己的理解去用起来，实现了一个高效的异步生产消费模型，充分发挥了机器的能力，把CPU、IO利用率都提升了很多，也成为后来处理海量数据的一个基础设施。</p>
<p>后面越来越熟悉现有的架构、框架，慢慢有些观念也改变了，比如业务和技术，比如对产品的理解，越来越希望能把自己的产品做得更好，思考什么才是更好，用什么样的技术去做。<span style="color: #ff0000;"><strong>做的很多东西也上线了，真正的对用户产生了影响。</strong></span></p>
<p>2011年一共写了13篇Blog，<span style="color: #ff0000;"><strong>数量不多，但质量都还可以，明年希望能产出更多分享的东西。</strong></span></p>
<p>2011年，成长良多，要感激很多人，身边的师兄们，网上的朋友们，也感谢2011年的自己，很快适应了新的环境，也总算做了一点事情，但还没到我对自己期望的程度。</p>
<p>2012年，又是一年，尽管看起来这一年对于很多公司来说将并不好过。我的愿望很简单：<span style="color: #ff0000;"><strong>希望能做更多落地的事情，做一些实实在在的事情</strong></span>，2011年我给了自己一个希冀，希望2012年年底，能对自己有一个满意的答复。希望年底再总结的时候，能说今年干得还不错。</p>
<p>最后，<span style="color: #ff0000;"><strong>新的一年，希望大家都有一个好的起点。</strong></span></p>
<p>落后的，只要踏踏实实，很快会赶上；</p>
<p>领先的，想的也要更多一点。</p>
<p>总之，我们又有一整年的时间可以挥霍，只这一点便已让人感到无比幸福！</p>
]]></content:encoded>
			<wfw:commentRss>http://blog.hesey.net/2011/12/review-my-2011.html/feed</wfw:commentRss>
		<slash:comments>4</slash:comments>
		</item>
		<item>
		<title>本机搭建Hadoop伪分布式模式</title>
		<link>http://blog.hesey.net/2011/12/build-pseudo-distributed-mode-on-localhost.html?utm_source=rss&#038;utm_medium=rss&#038;utm_campaign=build-pseudo-distributed-mode-on-localhost</link>
		<comments>http://blog.hesey.net/2011/12/build-pseudo-distributed-mode-on-localhost.html#comments</comments>
		<pubDate>Thu, 29 Dec 2011 12:34:40 +0000</pubDate>
		<dc:creator>Hesey</dc:creator>
				<category><![CDATA[分布式]]></category>
		<category><![CDATA[技术]]></category>

		<guid isPermaLink="false">http://blog.hesey.net/?p=878</guid>
		<description><![CDATA[Hadoop运行时有三种模式： 单机模式 伪分布式模式 完全分布式模式 前两种可以在单机运行，最后一种用于真实的集群环境，通常用在生产环境上。我们可以搭建本地的伪分布式模式来模拟分布式环境的执行。 步骤如下： 1、去http://www.apache.org/dyn/closer.cgi/hadoop/core/下载Hadoop 2、编辑conf/hadoop-env.sh，将 # export JAVA_HOME=/usr/lib/j2sdk1.5-sun 这行改为 export JAVA_HOME=/usr/local/jdk1.6.0_30 路径是JDK安装的路径，可以在Shell用which java查看，注意是JDK不是JRE噢~ 3、解压后，编辑conf目录下的文件： 给core-site.xml添加配置： &#60;property&#62; &#60;name&#62;fs.default.name&#60;/name&#62; &#60;value&#62;hdfs://127.0.0.1:9000/&#60;/value&#62; &#60;/property&#62; &#60;property&#62; &#60;name&#62;hadoop.tmp.dir&#60;/name&#62; &#60;!-- 配置工作的临时目录 --&#62; &#60;value&#62;/home/hesey/tmp/hadoop-hesey&#60;/value&#62; &#60;/property&#62; 给mapred-site.xml添加配置： &#60;property&#62; &#60;name&#62;mapred.job.tracker&#60;/name&#62; &#60;value&#62;127.0.0.1:9001&#60;/value&#62; &#60;/property&#62; 给hdfs-site.xml添加配置： &#60;property&#62; &#60;name&#62;dfs.replication&#60;/name&#62; &#60;value&#62;1&#60;/value&#62; &#60;/property&#62; 4、在Hadoop目录下执行： bin/hadoop namenode -format 格式化NameNode 5、在Hadoop目录下执行： bin/start-all.sh 启动所有组件 6、Shell下执行jps命令，可以看到： 3919 DataNode 4119 SecondaryNameNode 3740 NameNode 4427 [...]]]></description>
			<content:encoded><![CDATA[<p>Hadoop运行时有三种模式：</p>
<blockquote><p>单机模式</p>
<p>伪分布式模式</p>
<p>完全分布式模式</p></blockquote>
<p>前两种可以在单机运行，最后一种用于真实的集群环境，通常用在生产环境上。我们可以搭建本地的伪分布式模式来模拟分布式环境的执行。<span id="more-878"></span></p>
<p>步骤如下：</p>
<p>1、去<a href="http://www.apache.org/dyn/closer.cgi/hadoop/core/">http://www.apache.org/dyn/closer.cgi/hadoop/core/</a>下载Hadoop</p>
<p>2、编辑conf/hadoop-env.sh，将</p>
<pre class="brush:[bash]"># export JAVA_HOME=/usr/lib/j2sdk1.5-sun</pre>
<p>这行改为</p>
<pre class="brush:[bash]">export JAVA_HOME=/usr/local/jdk1.6.0_30</pre>
<p>路径是JDK安装的路径，可以在Shell用which java查看，注意是JDK不是JRE噢~</p>
<p>3、解压后，编辑conf目录下的文件：</p>
<p>给core-site.xml添加配置：</p>
<pre class="brush:[xml]">&lt;property&gt;
&lt;name&gt;fs.default.name&lt;/name&gt;
&lt;value&gt;hdfs://127.0.0.1:9000/&lt;/value&gt;
&lt;/property&gt;

&lt;property&gt;
&lt;name&gt;hadoop.tmp.dir&lt;/name&gt;
&lt;!-- 配置工作的临时目录 --&gt;
&lt;value&gt;/home/hesey/tmp/hadoop-hesey&lt;/value&gt;
&lt;/property&gt;</pre>
<p>给mapred-site.xml添加配置：</p>
<pre class="brush:[xml]">&lt;property&gt;
&lt;name&gt;mapred.job.tracker&lt;/name&gt;
&lt;value&gt;127.0.0.1:9001&lt;/value&gt;
&lt;/property&gt;</pre>
<p>给hdfs-site.xml添加配置：</p>
<pre class="brush:[xml]">&lt;property&gt;
&lt;name&gt;dfs.replication&lt;/name&gt;
&lt;value&gt;1&lt;/value&gt;
&lt;/property&gt;</pre>
<p>4、在Hadoop目录下执行：</p>
<pre class="brush:[bash]">bin/hadoop namenode -format</pre>
<p>格式化NameNode</p>
<p>5、在Hadoop目录下执行：</p>
<pre class="brush:[bash]">bin/start-all.sh</pre>
<p>启动所有组件</p>
<p>6、Shell下执行jps命令，可以看到：</p>
<p>3919 DataNode<br />
4119 SecondaryNameNode<br />
3740 NameNode<br />
4427 Jps<br />
4365 TaskTracker<br />
4187 JobTracker</p>
<p>这个时候就可以跑Job啦，如果有错误可以去logs目录下面看日志</p>
]]></content:encoded>
			<wfw:commentRss>http://blog.hesey.net/2011/12/build-pseudo-distributed-mode-on-localhost.html/feed</wfw:commentRss>
		<slash:comments>0</slash:comments>
		</item>
	</channel>
</rss>

