Airflow：如何从其他服务器进行SSH和运行BashOperator

  • Z时代
  • 2024-01-10
  • 分类：问答

是否可以通过SSH切换到其他服务器并使用Airbnb的Airflow运行BashOperator？我正在尝试使用Airflow运行一个配置单元sql命令，但是我需要SSH到另一个盒子才能运行配置单元外壳。我的任务应如下所示：

  1. SSH到server1

  2. 启动Hive Shell

  3. 运行Hive命令

谢谢！

回答：

我想我只是想通了：

  1. 在用户界面中的管理>连接下创建SSH连接。注意：如果您重置数据库，连接将被删除

  2. 在Python文件中添加以下内容

    from airflow.contrib.hooks import SSHHook

    sshHook = SSHHook(conn_id=)

  3. 添加SSH操作员任务

    t1 = SSHExecuteOperator(
    task_id="task1",
    bash_command=<YOUR COMMAND>,
    ssh_hook=sshHook,
    dag=dag)

谢谢！

以上是 Airflow：如何从其他服务器进行SSH和运行BashOperator 的全部内容， 来源链接： utcz.com/qa/405188.html

回到顶部