【ketlle】本地开发kitlle job提交至linux生产环境上执行流程

【ketlle】本地开发kitlle job提交至linux生产环境上执行

• • 前言
  • 操作步骤
  • 后记

前言

因为kettle提供可视化界面，所以我们在本地开发的时候拖拽开发十分便捷，开发完成后，我们需要丢到测试或者生产环境中运行一下，这里介绍一下整个流程。

操作步骤

将整个工程打包（包含kjb和ktr），拖至线上机器，解压在某一路径下，然后进到kittle的安装路径下，找到名为kitchen.sh的脚本：

接着执行（把kjb里面涉及的环境变量拷贝到线上kettle的kettle.properties中）：

# -file /var/lib/hadoop-yarn/dw_etl/mysql_oracle_to_hdfs_20200119/下为逻辑文件
# -logfile /var/lib/hadoop-yarn/ml/KETTLE_JOB_`data +%y%m%d`为打印日志文件
sh kitchen.sh -file /var/lib/hadoop-yarn/dw_etl/mysql_oracle_to_hdfs_20200119/KETTLE_JOB.kjb -logfile /var/lib/hadoop-yarn/ml/KETTLE_JOB_`data +%y%m%d`

执行效果如下：

后记

因为本地环境的网速限制，传输数据的过程十分缓慢，换到线上环境就十分迅速了。

【ketlle】本地开发kitlle job提交至linux生产环境上执行流程

【ketlle】本地开发kitlle job提交至linux生产环境上执行

• • 前言
  • 操作步骤
  • 后记

前言

因为kettle提供可视化界面，所以我们在本地开发的时候拖拽开发十分便捷，开发完成后，我们需要丢到测试或者生产环境中运行一下，这里介绍一下整个流程。

操作步骤

将整个工程打包（包含kjb和ktr），拖至线上机器，解压在某一路径下，然后进到kittle的安装路径下，找到名为kitchen.sh的脚本：

接着执行（把kjb里面涉及的环境变量拷贝到线上kettle的kettle.properties中）：

# -file /var/lib/hadoop-yarn/dw_etl/mysql_oracle_to_hdfs_20200119/下为逻辑文件
# -logfile /var/lib/hadoop-yarn/ml/KETTLE_JOB_`data +%y%m%d`为打印日志文件
sh kitchen.sh -file /var/lib/hadoop-yarn/dw_etl/mysql_oracle_to_hdfs_20200119/KETTLE_JOB.kjb -logfile /var/lib/hadoop-yarn/ml/KETTLE_JOB_`data +%y%m%d`

执行效果如下：

后记

因为本地环境的网速限制，传输数据的过程十分缓慢，换到线上环境就十分迅速了。