hadoop源码情景分析（举例说明hadoop生态）
本文目录一览：
hadoop搭建完全分布式完成，可是不会用
1、能搭好环境说明水平还不错。
2、下边应该分以下几步走：
一，依据示例程序，自己手写wordcount之类的示例程序，以此充分了解m/r和hdfs的简单原理。
二，针对某些知识点，如hadoop应用场景、hadoop的简单应用等，去百度一下搞定，这样的问题最关键、最需要做的。
三，深入阅读hadoop的源码，把框架的数据流或说工作流搞个大致清楚。
四，试着用hadoop解决一些实际问题和项目应用。
参考下吧。
hadoop hdfs 源码怎么看
在使用Hadoop的过程中，很容易通过FileSystem类的API来读取HDFS中的文件内容，读取内容的过程是怎样的呢？今天来分析客户端读取HDFS文件的过程，下面的一个小程序完成的功能是读取HDFS中某个目录下的文件内容，然后输出到控制台，代码如下：
[java] view plain copy
public class LoadDataFromHDFS {
public static void main(String[] args) throws IOException {
new LoadDataFromHDFS().loadFromHdfs("hdfs://localhost:9000/user/wordcount/");
}
public void loadFromHdfs(String hdfsPath) throws IOException {
Configuration conf = new Configuration();
Path hdfs = new Path(hdfsPath);
FileSystem in = FileSystem.get(conf);
//in = FileSystem.get(URI.create(hdfsPath), conf);//这两行都会创建一个DistributedFileSystem对象
FileStatus[] status = in.listStatus(hdfs);
for(int i = 0; i status.length; i++) {
byte[] buff = new byte[1024];
FSDataInputStream inputStream = in.open(status[i].getPath());
while(inputStream.read(buff) 0) {
System.out.print(new String(buff));
}
inputStream.close();
}
}
}
FileSystem in = FileSystem.get(conf)这行代码创建一个DistributedFileSystem，如果直接传入一个Configuration类型的参数，那么默认会读取属性fs.default.name的值，根据这个属性的值创建对应的FileSystem子类对象，如果没有配置fs.default.name属性的值，那么默认创建一个org.apache.hadoop.fs.LocalFileSystem类型的对象。但是这里是要读取HDFS中的文件，所以在core-site.xml文件中配置fs.default.name属性的值为hdfs://localhost:9000，这样FileSystem.get(conf)返回的才是一个DistributedFileSystem类的对象。 还有一种创建DistributedFileSystem这种指定文件系统类型对像的方法是使用FileSystem.get(Configuration conf)的一个重载方法FileSystem.get(URI uri, Configuration)，其实调用第一个方法时在FileSystem类中先读取conf中的属性fs.default.name的值，再调用的FileSystem.get(URI uri, Configuration)方法。
hadoop应用在哪些领域或场景
1. 存储。IBM貌似才刚推出关于存储的计划。这样读写的速度更快，并且高容错，同时也可采用一般机器进行水平扩展，而不需要大型机这样的高性能机器。
2. 网页索引资料库。貌似搜索领域现在运用Hadoop比较多。国内估计BAT都在用吧，国外的典型应该是Yahoo了。
3. 日志分析。类似日志分析这样的数据挖掘领域貌似也应用的较多。
4. 商品推荐。Amazon用来进行协同过滤的商品推荐，个性化广告的推送也应该属于此类。
5. 垃圾邮件的识别与过滤。
大数据处理系统 hadoop源代码情景分析 怎么样
同学们好，导生好：（鞠躬）
首先，我很荣幸能能够站在这里，和这么多的想为大家服务的同学们一起竞选班委职务。我今天要竞选的职位是心理委员。恩，大家看到我的稿子很简陋吧（一张皱巴巴的纸），在这里，我想要说明一下情况。这是我有生以来第三次上台正式演讲。我相信，这对在下面的身经百战的同学们来说，我肯定是个菜鸟。但是，我们大家都是freshman——大学新生嘛，只是我更fresh而已，没什么的，我认为。我不相信我就不能把这个工作做好。他们多的也许更多的是经验，而我更多的则是热情和耐心。
接下来，我想要说明我来竞选这个职位的原因。 我听我的一个朋友说，心理委员的事不多，任务少i，不大重要。但是呢，我不这样认为，为什么呢？请看“心理”可拆分为“心，王，里”，也就是说，心，里的中间是王字。说明心里是很重要的。我们心里想的是我们的思维吧，我们的思维决定我们的态度和行为，行为决定一切，态度决定人生的高度。当一个好的心理委员，帮同学们排遣心理问题，解决心理的疙瘩，让同学的变得更加坚强乐观，从而更好的生活学习工作。所以，心理委员的意义和重要性是很大的。
第二，我刚才说到，我这是第三次在台上正式演讲，这是我我对我自己的一大挑战和改变。总结出来就是改变自己。英国天主教会的墓志铭上这样写着：“我只有先改变自己，然后可以去影响家人，才可能去改变社会，最终改变我的国家。”在这个漫长的暑假，我花了一个月的时间来等待结果，一个月的时间来悲痛，一个月的时间来思考，我以后到底该怎么走，怎么办，怎么在社会中立足。今天，我能够站在这里，我想，我做到了我的第一点要求，就是改变自己。在这里，我想要补充一下这个改变，并不是要说改变成对立的，而是完善和挑战自己。
第三，说到暑假和学校，我想应该有人来的时候和我一样的心情。我记得我那天和我的朋友说的最多的一句话就是：“我现在的心情不是后悔，而是凄凉。”但是，这种心情很快就消减了。很重要的原因就是我在11号的时候，去参加了学校学生会和校团委的招新。那天，人很多，有很多优秀的人才。有很多优秀到我们再怎么努力都无法达到的优秀。然后，我就想，为什么觉得凄凉呢，是觉得自己有才能，在这里是埋没了吧，觉得在这里特委屈吧。但是，如果自己真的是人才，就把自己 彰显出来吧，把你自己的能力展示出来，而不是金屋藏娇。是金子，总是要发光的，我们要相信这一点。虽然，在这个社会上，只看文凭的现象还是存在，但是，企业为了发展，一定要注重我们的能力的。所以，我们要有信心，然后，去努力。现在的我们，既然在这里，就已经没有如果没有当年没有曾今了，我们要做的就是不断完善后的一个全新的自己。
我以前耍得很好的朋友，他们都觉得我很奇怪。他们说，看你平时蹦蹦跳跳笑得没心没肺的，咋写的东西就是那个啥青春伤感文学之类的东西。我觉得这并不是一种矛盾。因为我一直信奉一句话，就是“消极是一种态度，而积极是一种人生态度。”我们可以做最坏的打算，求最小的功利，但是，一定要做最大的努力，有最大和激情和勇气。这是我的理解。
如果，我当选了心理委员，我一定会利用课余时间，用QQ，短信等手段，多找找同学聊天，更多的了解大家；同时，我很愿意倾听大家的烦恼，帮大家排忧解难。我会去看一些心理方面的专业书，用科学的方法帮助大家。由于时间仓促，我真的不了解心理委员具体的工作是什么，所以，一些具体的方案我希望在以后去指定实施。
如果我没有当选，也没有关系，毕竟我是新手，还应该更多的学习。不管怎样，我都希望，我的这两句话，都能帮助你们。“改变自己（完善和挑战）和消极是一种态度，而积极是一种人生态度。”
好，以上是我的全部发言。谢谢大家。
