调度程序不排队作业

我试图测试Kubernetes上的气流。调度程序,工作者,队列和Web服务器都在不同的部署上,我使用Celery Executor来运行我的任务。调度程序不排队作业

除了调度程序无法排队工作以外,一切正常。当我从Web UI或CLI手动执行它时,Airflow能够正常运行我的任务,但我试图测试调度程序以使其工作。

我的配置几乎一样,因为它是在单个服务器上:

sql_alchemy_conn = postgresql+psycopg2://username:[email protected]/db 

broker_url = amqp://user:[email protected]$RABBITMQ_SERVICE_HOST:5672/vhost

celery_result_backend = amqp://user:[email protected]$RABBITMQ_SERVICE_HOST:5672/vhost

我相信,随着这些配置,我应该能够让它运行,但由于某些原因,只有工人能够看到DAG和他们的状态,但不看调度器,即使调度器能够记录他们的心跳就好。还有什么我应该调试或看看?

回答:

首先,您将postgres用作气流数据库,不是吗?你是否为postgres部署了一个pod和服务?如果是的话,你请验证您的配置文件,你必须:

sql_alchemy_conn = postgresql+psycopg2://username:[email protected]/db 

您可以使用此github。我在3周前用它进行了第一次测试,效果非常好。 入口点对验证rabbitMq和Postgres是否配置良好很有用。

以上是 调度程序不排队作业 的全部内容, 来源链接: utcz.com/qa/258616.html

回到顶部