azkaban任务调度器使用-折腾笔记

一、使用教程

请见以下链接：

• http://www.jianshu.com/p/484564beda1d
• http://www.jianshu.com/p/01188607a794
• https://zhuanlan.zhihu.com/p/22184691?refer=dataeye

二、服务器信息

azkaban地址：http://127.0.0.1:8081

账号：azkaban

密码：azkaban

三、使用规范

1、多版本python选择

系统默认python版本为2.7.5，如果使用python2.7.5的代码，直接运行即可。

若采用python 3.5.1的代码，需先激活virtualenv中的python3.5.1虚拟环境。

激活方法：

[root@localhost simulate]# source /usr/local/py3.5.1/python-3.5/bin/activate
(python-3.5) [root@localhost simulate]# python -V
Python 3.5.1

2、任务可执行文件存放路径

所有任务可执行文件均存储在/home/jobs/路径中，不用的项目需建立单独的文件夹。

例如：

/home/jobs/simulate/PrototypeDataSimulation/spc_dataGenerator.py

3、文件上传方法

请使用filezilla+sftp的方式上传。

四、使用技巧

1、python virtualenv虚拟环境job command技巧

type=command
command=bash -c "source /usr/local/py3.5.1/python-3.5/bin/activate && python /home/jobs/simulate/PrototypeDataSimulation/spc_dataGenerator.py"

2、http api 调用技巧

使用curl命令调用。

curl http://api.abc.com/v1/getname

-