如何使用 Boto3 检查 Glue Job 是否存在？

  • Z时代
  • 2024-01-10
  • 分类：综合

问题陈述- 使用 Python 中的 boto3 库检查粘合作业是否存在。例如，检查AWS 胶中是否存在run_s3_file_job。

解决这个问题的方法/算法

步骤 1 - 导入 boto3 和 botocore 异常以处理异常。

Step 2 - job_name 是函数中的参数。

步骤 3 - 使用 boto3 库创建 AWS 会话。确保在默认配置文件中提到region_name。如果未提及， 则在创建会话时显式传递region_name。

第 4 步- 为胶水创建一个 AWS 客户端。

第 5 步- 现在使用get_job函数并传递JobName。

第 6 步- 如果作业存在，则响应将包含有关该作业的所有详细信息，否则将引发异常。

第 7 步- 如果检查作业时出现问题，则处理通用异常。

示例

使用以下代码检查粘合作业是否存在 -

import boto3
frombotocore.exceptionsimport ClientError
def check_glue_job_exists(job_name):
   session = boto3.session.Session()
   glue_client = session.client('glue')
   try:
      response = glue_client.get_job(JobName=job_name)
   return response
   except ClientError as e:
      raise Exception( "boto3 client error in check_glue_job_exists: " + e.__str__())
   except Exception as e:
      raise Exception( "Unexpected error in check_glue_job_exists: " + e.__str__())
#To check existing job
print(check_glue_job_exists("run_s3_file_job"))
#Job doesn’t exist
print(check_glue_job_exists("run_s3_file_job_not_exist"))
输出结果
#To check existing job
{'Job': {'Name': 'run_s3_file_job', 'Description': 'Glue job for the
test', 'Role': 'arn:aws:iam::12345:role/delegated/glue-service-role',
'CreatedOn': datetime.datetime(2021, 02, 10, 15, 7, 3, 638000,
tzinfo=tzlocal()), 'LastModifiedOn': datetime.datetime(2021, 02, 10, 15,
7, 3, 638000, tzinfo=tzlocal()), 'ExecutionProperty':
{'MaxConcurrentRuns': 1}, 'Command': {'Name': 'glueetl',
'ScriptLocation': 's3://test/pipeline.py', 'PythonVersion': '3'},
'DefaultArguments': { '--job-language': 'python', 'Step': '0'},
'MaxRetries': 0, 'AllocatedCapacity': 4, 'Timeout': 2880, 'MaxCapacity':
4.0, 'WorkerType': 'G.1X', 'NumberOfWorkers': 4, 'GlueVersion': '2.0'},
'ResponseMetadata': {'RequestId': 'e3ec9e2c-e75d-4443-bfeafef674fff7e9', 'HTTPStatusCode': 200, 'HTTPHeaders': {'date': 'Sat, 13
Feb 2021 13:20:27 GMT', 'content-type': 'application/x-amz-json-1.1',
'content-length': '1501', 'connection': 'keep-alive', 'x-amznrequestid': 'e3ec9e2c-e75d-4443-bfea-fef674fff7e9'}, 'RetryAttempts':
0}}
#Job doesn’t exist
botocore.errorfactory.EntityNotFoundException: An error occurred
(EntityNotFoundException) when calling the GetJob operation: Job with
name: run_s3_file_job_not_exist not found.

以上是 如何使用 Boto3 检查 Glue Job 是否存在？ 的全部内容， 来源链接： utcz.com/z/359961.html

回到顶部