调度程序不排队作业
我试图测试Kubernetes上的气流。调度程序,工作者,队列和Web服务器都在不同的部署上,我使用Celery Executor来运行我的任务。调度程序不排队作业
除了调度程序无法排队工作以外,一切正常。当我从Web UI或CLI手动执行它时,Airflow能够正常运行我的任务,但我试图测试调度程序以使其工作。
我的配置几乎一样,因为它是在单个服务器上:
sql_alchemy_conn = postgresql+psycopg2://username:[email protected]/db broker_url = amqp://user:[email protected]$RABBITMQ_SERVICE_HOST:5672/vhost
celery_result_backend = amqp://user:[email protected]$RABBITMQ_SERVICE_HOST:5672/vhost
我相信,随着这些配置,我应该能够让它运行,但由于某些原因,只有工人能够看到DAG和他们的状态,但不看调度器,即使调度器能够记录他们的心跳就好。还有什么我应该调试或看看?
回答:
首先,您将postgres用作气流数据库,不是吗?你是否为postgres部署了一个pod和服务?如果是的话,你请验证您的配置文件,你必须:
sql_alchemy_conn = postgresql+psycopg2://username:[email protected]/db
您可以使用此github。我在3周前用它进行了第一次测试,效果非常好。 入口点对验证rabbitMq和Postgres是否配置良好很有用。
以上是 调度程序不排队作业 的全部内容, 来源链接: utcz.com/qa/258616.html