编译hadoop生成eclipse插件

编译hadoop生成eclipse插件
这个问题困扰我很久,今天做一记录。 这里我要重点讲讲hadoop的eclipse插件的制作。我最早安装hadoop版本是0.20.2其目录/contrib/eclipse-plugin下存在hadoop-0.20.2-eclipse-plugin.jar,因此如果你搭建的hadoop是0.20.2,那么在eclipse进行配置,那么是可以使用的,但是如果搭建的是其它版本的hadoop,安装不对应的插件到eclipse里面后是没办法正常使用,下面介绍hadoop的eclipse 插件生成的技术。 hadoo...

基于Hadoop-0.20.2的完全分布式集群搭建详细过程

基于Hadoop-0.20.2的完全分布式集群搭建详细过程
之前的学习都是基于伪分布式环境,但是要想深入学习hadoop数据分析技术,就必须将hadoop集群搭建起来。 说来简单,但是应该怎么做呢?不急,本文的主要目的就是流水式的记录,看了之后也能够亲自动手实施这些过程。由于资源问题,只能通过虚拟机来实施模 拟集群环境,虽然说是虚机模拟,但是在虚机上的hadoop的集群搭建过程也可以使用在实际的物理节点中,思想是一样的。如果你有足够的节点也可以在虚拟 机...

搭建yarn(hadoop-2.2.0)环境详细过程

搭建yarn(hadoop-2.2.0)环境详细过程
磨刀不误砍柴工,在这里我们先了解一个问题: MapReduce和YARN是什么关系? 答:YARN并不是下一代MapReduce(MRv2),下一代MapReduce与第一代MapReduce(MRv1)在编程接口、数据处理 引擎(MapTask和ReduceTask)是完全一样的, 可认为MRv2重用了MRv1的这些模块,不同的是资源管理和作业管理系统,MRv1中资源管理和作业管理均是由JobTracker实现的,集两个功能 于一身,而在MRv2中,将这两部分分开了,其...

ubuntu12.04手动添加启动图标到系统左侧菜单栏 (启动器)

ubuntu12.04手动添加启动图标到系统左侧菜单栏 (启动器)
今天我在Ubuntu下安装eclipse的Scala IDE后只能进入安装目录点击启动图标打开程序,很不爽,我记得有的程序只要打开就会出现的左侧菜单栏,到时候选择锁定到启动器即可。不过有的情况可能不会出现。所以下面以此为例,记录一下如何把程序启动图标添加到系统菜单栏(启动器)中。 添加的方法很简单,在/usr/share/applications 目录下有很多以desktop 结尾的文件。它们就是我们在菜单中看到的快捷方式。按葫...

形象理解K-Means算法

形象理解K-Means算法
前段时间老师给我的任务是让我使用MapReduces和Spark分别实现K-means算法来比较MapReduces和Spark。首先问题是K-means算法是什么? K-means算法的中心思想其实就是迭代,通过不断的迭代,使聚类效果达到局部最优,为什么我们说局部最优呢?因为K-means算法的效果的优劣性和最初选取的中心点是有莫大关系的,我们只能在初始中心点的基础上达到局部最优解。K-means算法是基于距离的聚类算法,采用距离作为相...

基于Eclipse的Hadoop应用开发环境配置

基于Eclipse的Hadoop应用开发环境配置
经过hadoop环境搭建,运行wordcount第一个程序,接下来我们运用eclipse来开发运行hadoop程序。 Eclipse版本:eclipse-jee-kepler-SR2-linux-gtk.tar 一、添加插件 复制hadoop安装目录/contrib/eclipse-plugin/hadoop-0.20.2-eclipse-plugin.jar 到eclipse安装目录/plugins/ 下。 二、重启eclipse 配置hadoop installation directory。 如果安装插件成功,打开Window—>Preferens,你会发现Hadoop Map/Red...

Hadoop中运行WordCount

Hadoop中运行WordCount
上一篇文章搭建Hadoop环境的详细过程中已经详细介绍了如何搭建Hadoop环境,今天介绍如何运行Hadoop环境下的第一个实例WordCount。 在伪分布模式下运行一下hadoop自带的例子WordCount来感受以下MapReduce过程:这时注意程序是在文件系统dfs运行的,创建的文件也都基于文件系统: 1、准备需要进行wordcount的文件 首先在”/home/hadoop”目录下创建文件夹”file”。接着创建两个文本文件file1.txt和file2.txt,使...

搭建Hadoop环境的详细过程

搭建Hadoop环境的详细过程
即上一篇《初步了解Hadoop》已经过去好多天了,今天继续hadoop学习之旅。大体了解hadoop原理,我们想先搭建hadoop环境,在这个过程中慢慢体会一下hadoop。 我在这里说的是hadoop伪分布式模式(Pseudo-Distributed Mode),其实网上已经有很多教程,在这里我详详细细的描述整个搭建过程,也算是自己重新回忆一下。 准备阶段(下载地址我这里就不给出了): Win7旗舰版 Vmware-9.0.2 ubuntu-12.04 hadoop-0.2...

初步了解Hadoop

初步了解Hadoop
前段时间写了《Hadoop学习之准备阶段》到现在已经过去好多天了,我们要学习Hadoop必须先要了解Hadoop是什么?在这里先简单了解一下Hadoop,在之后的学习中要努力对Hadoop有更深的了解。 Hadoop 是Apache 下的一个项目,由HDFS、MapReduce、HBase、Hive 和ZooKeeper等成员组成。其中,HDFS 和MapReduce 是两个最基础最重要的成员。 HDFS 是Google GFS 的开源版本,一个高度容错的分布式文件系统,它能够提供...

Hadoop学习之准备阶段

Hadoop学习之准备阶段
说来惭愧,前段时间去成都参加研究生复试时第一次听说到Hadoop这个概念,当时大海跟我提到说起,当时我对Hadoop的原理、具体功能一概不知。孰知,通过复试后和我选得导师聊起,她说他们现在做的项目就是与Hadoop有关。当时对于Hadoop我连问问题都不知道怎么问起。尴尬啊。于是在想,回去之后一定要提前了解了解,先学学基础知识,本来比别人笨了,再不学就越拉越远。 回来之后,买书,纯理论性的,知识点好...
Copyright © 风恋尘香 保留所有权利.   Theme  Ality

用户登录