如何使用 Boto3 检查正在运行的 Glue Job 的状态？

Z时代
2024-01-10
分类：综合

问题陈述- 使用 Python 中的 boto3 库运行粘合作业并获取成功或失败的状态。例如，运行作业run_s3_file_job并获取它的状态。

解决这个问题的方法/算法

步骤 1 - 导入 boto3 和 botocore 异常以处理异常。

第 2 步- job_name是必需参数，而arguments是函数中的可选参数。很少有工作需要参数来运行。在这种情况下，参数可以作为 dict 传递。

例如：arguments = {'arguments1' = 'value1', 'arguments2' = 'value2'}

如果作业不带参数，则只需传递 job_name。

步骤 3 - 使用 boto3 库创建 AWS 会话。确保在默认配置文件中提到 region_name。如果未提及，则在创建会话时显式传递 region_name。

第 4 步- 为胶水创建一个 AWS 客户端。

第 5 步- 现在使用 start_job_run 函数并根据需要传递 JobName 和参数。

第 6 步- 一旦作业开始，它会为job_run_id提供作业的元数据。

第 7 步- 使用函数get_job_run并从上一个函数的结果中传递参数RunId。它返回有关状态的字典。

第 8 步- 现在，获取工作的特定状态。如果作业未完成，则状态可能为正在运行，否则为 SUCCEEDED/FAILED。

第 9 步- 如果在检查作业时出现问题，则处理通用异常。

示例

使用以下代码运行并获取现有粘合作业的状态 -

import boto3
frombotocore.exceptionsimport ClientError
def run_glue_job_get_status(job_name, arguments = {}):
   session = boto3.session.Session()
   glue_client = session.client('glue')
   try:
      job_run_id = glue_client.start_job_run(JobName=job_name, Arguments=arguments)
      status_detail = glue_client.get_job_run(JobName=job_name, RunId = job_run_id.get("JobRunId"))
      status = status_detail.get("JobRun").get("JobRunState")
      return status
   except ClientError as e:
      raise Exception( "boto3 client error in run_glue_job_get_status: " + e.__str__())
   except Exception as e:
      raise Exception( "Unexpected error in run_glue_job_get_status: " + e.__str__())
#Get status 1st time
print(run_glue_job_get_status("run_s3_file_job"))
#Get status 2nd time after waiting
time.sleep(10)
print(run_glue_job_get_status("run_s3_file_job"))