1、安装环境说明 安装前请先安装好centos7/jdk/mysql57 #安装常用工具 yum install -y vim wget curl #安装epel yum install -y epel-release #安装java yum install -y java-1.8.0-openjdk.x86_64 yum install -y java-1.8.0-openjdk-devel.x86_64 #安装Mysql57 wget http://dev.mysql.com/get/mysql57-commu…
如题WordCount！ 一、普通版本 1、TokenizerMapper.java package hadooptest2; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache…
Hadoop由Java编写的，所有通过JavaAPI可以调用所有的HDFS的交互操作接口，最常用的是FileSystem类，它是有Hadoop fs 实现。 一、读取文件内容 1、Java.net.URL读取HDFS文件内容 import java.io.InputStream; import java.net.MalformedURLException; import java.net.URL; import org.apache.hadoop.fs.FsUrlStreamHandlerFactory; impo…
由于之前的机器安装了mysql5.6，现在想升级到mysql5.7。 一、卸载mysql-5.6 初级思路： 1、卸载mysql5.6 2、升级到mysql5.7 初级思路遇到的问题： 1、卸载mysql 5.7后，使用Google的方式，安装mysql57-community-release-el7-7.noarch.rpm时遇到了问题，原因是： Error: mysql57-community-release conflicts with mysql-community-release-el7-5.noarch…
需求：由于一张表按照日期水平分表，所以需要定时做一些事情，比如说分表。 表名格式：historydata_XXXX（如history_20170218） 具体需求：每日定时创建后续15天空表。 一、打开mysql 定时任务 方法1：修改my.ini 添加一行： event_scheduler=ON 方法2：命令行状态输入 mysql> set global event_scheduler =1; 二、添加存储过程 1、右键函数，选择新建函数 2、选择‘过程’ 3、该存储过程不用参数 4、输入创建…
有张表，每天会增加很多条数据，但是保存过长的数据不再有意义，所以需要将过期数据删除掉。 非过期数据定义：最新的500条数据 过去数据定义：除了非过期数据的所有数据 表名：historydata_20160901 主键：historydataid SQL语句： delete from historydata_20160902 where historydataid <( select historydataid from ( select historydataid from historydata_20160…
刚用Ambari搭建好Hadoop，就开始写Hello World! 一、背景 1、Hadoop版本 经查看为2.7.1 [root@TJ1-000 ~]# hadoop version Hadoop 2.7.1.2.4.0.0-169 Subversion git@github.com:hortonworks/hadoop.git -r 26104d8ac833884c8776473823007f176854f2eb Compiled by jenkins on 2016-02-10T06:18Z Compile…
首次安装Gitlab时SMTP发送邮件不能使用，当时没太在意，今日发现需要这个功能随探究一下。 一、环境 OS:Centos7 Version:GitLab 8.11.5 二、配置 1、打开/etc/gitlab/gitlab.rb 添加： gitlab_rails['smtp_enable'] = true gitlab_rails['smtp_address'] = "smtp.ym.163.com" gitlab_rails['smtp_port'] = 25 gitlab_rails['smtp_user_…
CentOS 7 开放防火墙端口 命令 最近公司新的server要求用CentOS7， 发现以前CentOS 6 系列中的 iptables 相关命令不能用了，查了下，发现Centos 7使用firewalld代替了原来的iptables。 使用方法如下： >>> 关闭防火墙 systemctl stop firewalld.service #停止firewall systemctl disable firewalld.service #禁止firewall开…
一、Mycat简介 二、JVM/JDK运行环境配置 1、查看JDK版本 yum search java|grep jdk 2、安装JDK 博主选择的是1.8.0 yum install java-1.8.0-openjdk /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.111-2.b15.el7_3.x86_64/ 3、设置环境变量 编辑/etc/profile文件 vim /etc/profile 顶部插入以下内容： #set java environment JAVA_HOME=/…