搭建yarn(hadoop-2.2.0)环境详细过程

搭建yarn(hadoop-2.2.0)环境详细过程
磨刀不误砍柴工,在这里我们先了解一个问题: MapReduce和YARN是什么关系? 答:YARN并不是下一代MapReduce(MRv2),下一代MapReduce与第一代MapReduce(MRv1)在编程接口、数据处理 引擎(MapTask和ReduceTask)是完全一样的, 可认为MRv2重用了MRv1的这些模块,不同的是资源管理和作业管理系统,MRv1中资源管理和作业管理均是由JobTracker实现的,集两个功能 于一身,而在MRv2中,将这两部分分开了,其...

ubuntu12.04手动添加启动图标到系统左侧菜单栏 (启动器)

ubuntu12.04手动添加启动图标到系统左侧菜单栏 (启动器)
今天我在Ubuntu下安装eclipse的Scala IDE后只能进入安装目录点击启动图标打开程序,很不爽,我记得有的程序只要打开就会出现的左侧菜单栏,到时候选择锁定到启动器即可。不过有的情况可能不会出现。所以下面以此为例,记录一下如何把程序启动图标添加到系统菜单栏(启动器)中。 添加的方法很简单,在/usr/share/applications 目录下有很多以desktop 结尾的文件。它们就是我们在菜单中看到的快捷方式。按葫...

形象理解K-Means算法

形象理解K-Means算法
前段时间老师给我的任务是让我使用MapReduces和Spark分别实现K-means算法来比较MapReduces和Spark。首先问题是K-means算法是什么? K-means算法的中心思想其实就是迭代,通过不断的迭代,使聚类效果达到局部最优,为什么我们说局部最优呢?因为K-means算法的效果的优劣性和最初选取的中心点是有莫大关系的,我们只能在初始中心点的基础上达到局部最优解。K-means算法是基于距离的聚类算法,采用距离作为相...

Eclipse统计项目代码行数

Eclipse统计项目代码行数
使用Eclipse可以方便的统计工程或文件的代码行数。 方法如下: 1.在菜单栏点击Search,然后点击File... 2.选中正则表达式(Regular expression),并在搜索文本框输入\n 3.在文件名中输入*或*.java 4.在范围里选中Enclosing projects 5.在Search窗口就会显示出项目或文件的代码行数    

基于Eclipse的Hadoop应用开发环境配置

基于Eclipse的Hadoop应用开发环境配置
经过hadoop环境搭建,运行wordcount第一个程序,接下来我们运用eclipse来开发运行hadoop程序。 Eclipse版本:eclipse-jee-kepler-SR2-linux-gtk.tar 一、添加插件 复制hadoop安装目录/contrib/eclipse-plugin/hadoop-0.20.2-eclipse-plugin.jar 到eclipse安装目录/plugins/ 下。 二、重启eclipse 配置hadoop installation directory。 如果安装插件成功,打开Window—>Preferens,你会发现Hadoop Map/Red...

Hadoop中运行WordCount

Hadoop中运行WordCount
上一篇文章搭建Hadoop环境的详细过程中已经详细介绍了如何搭建Hadoop环境,今天介绍如何运行Hadoop环境下的第一个实例WordCount。 在伪分布模式下运行一下hadoop自带的例子WordCount来感受以下MapReduce过程:这时注意程序是在文件系统dfs运行的,创建的文件也都基于文件系统: 1、准备需要进行wordcount的文件 首先在”/home/hadoop”目录下创建文件夹”file”。接着创建两个文本文件file1.txt和file2.txt,使...

搭建Hadoop环境的详细过程

搭建Hadoop环境的详细过程
即上一篇《初步了解Hadoop》已经过去好多天了,今天继续hadoop学习之旅。大体了解hadoop原理,我们想先搭建hadoop环境,在这个过程中慢慢体会一下hadoop。 我在这里说的是hadoop伪分布式模式(Pseudo-Distributed Mode),其实网上已经有很多教程,在这里我详详细细的描述整个搭建过程,也算是自己重新回忆一下。 准备阶段(下载地址我这里就不给出了): Win7旗舰版 Vmware-9.0.2 ubuntu-12.04 hadoop-0.2...

浅谈HTTP中Get与Post的区别

浅谈HTTP中Get与Post的区别
Http定义了与服务器交互的不同方法,最基本的方法有4种,分别是 GET,POST,PUT,DELETE。URL全称是资源描述符,我们可以这样认为:一个URL地址,它用于描述一个网络上的资源,而HTTP中的 GET,POST,PUT,DELETE就对应着对这个资源的查,改,增,删4个操作。到这里,大家应该有个大概的了解了,GET一般用于获取/查询资源信息,而POST一般用于更新资源信息。 1.根据HTTP规范,GET用于信息获取,而且应该是...

初步了解Hadoop

初步了解Hadoop
前段时间写了《Hadoop学习之准备阶段》到现在已经过去好多天了,我们要学习Hadoop必须先要了解Hadoop是什么?在这里先简单了解一下Hadoop,在之后的学习中要努力对Hadoop有更深的了解。 Hadoop 是Apache 下的一个项目,由HDFS、MapReduce、HBase、Hive 和ZooKeeper等成员组成。其中,HDFS 和MapReduce 是两个最基础最重要的成员。 HDFS 是Google GFS 的开源版本,一个高度容错的分布式文件系统,它能够提供...

HTML速成指南

HTML速成指南
因为后期任务需要,加上自己忘得差不多了,在这里再熟悉熟悉HTML。 我们在开发web页面的时候,就是用HTML来描述页面应该长的什么样子,以及它应该有怎么样子的表现。 HTML有数十个标记,还有成百上千标记属性。HTML的目标是拿到一个文本文档,然后为它增加一些标记,告诉浏览器如何对这个文本格式化。下面列举一些主要标记及其实现效果。 <html></html> 创建一个HTML文档 <head></h...
Copyright © 风恋尘香 保留所有权利.   Theme  Ality

用户登录