一、环境 Hadoop集群：使用Ambari搭建 Debug:Windows10 + jdk 1.8.0 +maven 二、步骤 2.1 创建Maven项目 2.2 配置文件 从Ambari中下载Hbase配置文件hbase-site.xml，并放在项目： /src/main/resources/hbase 2.3 将配置路径加入到classpath 2.3 给pom.xml添加依赖 我的pom.xml最终如下： <project xmlns="http://maven.apache.org/POM/4.0.…
1、安装环境说明 安装前请先安装好centos7/jdk/mysql57 #安装常用工具 yum install -y vim wget curl #安装epel yum install -y epel-release #安装java yum install -y java-1.8.0-openjdk.x86_64 yum install -y java-1.8.0-openjdk-devel.x86_64 #安装Mysql57 wget http://dev.mysql.com/get/mysql57-commu…
如题WordCount！ 一、普通版本 1、TokenizerMapper.java package hadooptest2; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache…
Hadoop由Java编写的，所有通过JavaAPI可以调用所有的HDFS的交互操作接口，最常用的是FileSystem类，它是有Hadoop fs 实现。 一、读取文件内容 1、Java.net.URL读取HDFS文件内容 import java.io.InputStream; import java.net.MalformedURLException; import java.net.URL; import org.apache.hadoop.fs.FsUrlStreamHandlerFactory; impo…
刚用Ambari搭建好Hadoop，就开始写Hello World! 一、背景 1、Hadoop版本 经查看为2.7.1 [root@TJ1-000 ~]# hadoop version Hadoop 2.7.1.2.4.0.0-169 Subversion git@github.com:hortonworks/hadoop.git -r 26104d8ac833884c8776473823007f176854f2eb Compiled by jenkins on 2016-02-10T06:18Z Compile…