Hadoop由Java编写的，所有通过JavaAPI可以调用所有的HDFS的交互操作接口，最常用的是FileSystem类，它是有Hadoop fs 实现。 一、读取文件内容 1、Java.net.URL读取HDFS文件内容 import java.io.InputStream; import java.net.MalformedURLException; import java.net.URL; import org.apache.hadoop.fs.FsUrlStreamHandlerFactory; impo…
由于日常工作关系，想搭建一个内部文件系统，所以就选择了seafile。 环境： 硬件：Minowboard MAX开发板 系统：Windows 10 一、windows上安装seafile 详见seafile官网 二、发现问题！！！ 网页上可以正常使用seafile，但是客户端登录seafile后不能同步文件，始终显示“connecting server”。经过检查后发现，主链接的/seahttp路由始终显示404 ERROR。经过观察之后，找到如下解决方法。 1、安装nginx，做反向 博主使用phpstudy自…
由于之前的机器安装了mysql5.6，现在想升级到mysql5.7。 一、卸载mysql-5.6 初级思路： 1、卸载mysql5.6 2、升级到mysql5.7 初级思路遇到的问题： 1、卸载mysql 5.7后，使用Google的方式，安装mysql57-community-release-el7-7.noarch.rpm时遇到了问题，原因是： Error: mysql57-community-release conflicts with mysql-community-release-el7-5.noarch…
上次测试了不同平台下java编译运行，但是由于很多依赖库，导致程序执行起来比较麻烦，所以测试下eclipse直接打包。 打包环境：Windows: Windows10+jre+eclipse 运行环境：centos 一、步骤 文件目录： 步骤：（我就不详细描述了） * Generate the manifest file：是系统帮我们自动生成MANIFEST.MF文件，如果你的项目没有引用其他class-path，那可以选择这一项。 * Use existing mainfest from workspace：这是…
第一次正式使用java，不知如何编译，遂研究一下。 操作系统：Centos 7 1、安装Java编译环境 yum install java-devel 2、测试java与javac工具 [root@localhost DataStorageSystemRMQDistributeNode]# java -version openjdk version "1.8.0_121" OpenJDK Runtime Environment (build 1.8.0_121-b13) OpenJDK 64-Bit Server …
由于开始工作了，对当天天气预报比较关注，但是又经常出门忘记看天气，所以就做个整点报天气的程序了。 语言：C# 框架：.NET 系统：Windows 10 代码如下： using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.Threading.Tasks; using System.Threading; using System.Speech.Synthesis; using …
需求：由于一张表按照日期水平分表，所以需要定时做一些事情，比如说分表。 表名格式：historydata_XXXX（如history_20170218） 具体需求：每日定时创建后续15天空表。 一、打开mysql 定时任务 方法1：修改my.ini 添加一行： event_scheduler=ON 方法2：命令行状态输入 mysql> set global event_scheduler =1; 二、添加存储过程 1、右键函数，选择新建函数 2、选择‘过程’ 3、该存储过程不用参数 4、输入创建…
有张表，每天会增加很多条数据，但是保存过长的数据不再有意义，所以需要将过期数据删除掉。 非过期数据定义：最新的500条数据 过去数据定义：除了非过期数据的所有数据 表名：historydata_20160901 主键：historydataid SQL语句： delete from historydata_20160902 where historydataid <( select historydataid from ( select historydataid from historydata_20160…
刚用Ambari搭建好Hadoop，就开始写Hello World! 一、背景 1、Hadoop版本 经查看为2.7.1 [root@TJ1-000 ~]# hadoop version Hadoop 2.7.1.2.4.0.0-169 Subversion git@github.com:hortonworks/hadoop.git -r 26104d8ac833884c8776473823007f176854f2eb Compiled by jenkins on 2016-02-10T06:18Z Compile…
首次安装Gitlab时SMTP发送邮件不能使用，当时没太在意，今日发现需要这个功能随探究一下。 一、环境 OS:Centos7 Version:GitLab 8.11.5 二、配置 1、打开/etc/gitlab/gitlab.rb 添加： gitlab_rails['smtp_enable'] = true gitlab_rails['smtp_address'] = "smtp.ym.163.com" gitlab_rails['smtp_port'] = 25 gitlab_rails['smtp_user_…