跳转到主要内容

工作队列

项目描述

Mature License: LGPL-3 OCA/queue Translate me on Weblate Try me on Runboat

此插件向Odoo添加了一个集成的作业队列。

它允许推迟执行异步的方法调用。

作业由Jobrunner在各自的交易中在后台执行。

示例

from odoo import models, fields, api

class MyModel(models.Model):
   _name = 'my.model'

   def my_method(self, a, k=None):
       _logger.info('executed with a: %s and k: %s', a, k)


class MyOtherModel(models.Model):
    _name = 'my.other.model'

    @api.multi
    def button_do_stuff(self):
        self.env['my.model'].with_delay().my_method('a', k=2)

在上面的代码片段中,当我们调用button_do_stuff时,将推迟一个捕获方法和参数的作业。它将在Jobrunner有空闲桶时执行,如果没有其他作业在运行,这可能是瞬间的。

功能

  • 作业视图,作业存储在PostgreSQL中

  • Jobrunner:执行作业,由于PostgreSQL的NOTIFY而高效

  • 通道:为根通道及其子通道提供容量,并在其中隔离作业。例如,可以将重作业限制为一次执行,而轻作业则可以每次执行4个。

  • 重试:通过引发异常类型来重试作业的能力

  • 重试模式:前三次尝试,10秒后重试,接下来的五次尝试,1分钟后重试,……

  • 作业属性:优先级、预计到达时间(ETA)、自定义描述、重试次数

  • 相关操作:将作业视图上的操作链接到作业,例如打开由作业关心的记录

目录

安装

请确保已安装 requests 库。

配置

  • 使用环境变量和命令行

    • 调整环境变量(可选)

      • ODOO_QUEUE_JOB_CHANNELS=root:4 或其他通道配置。默认是 root:1

      • 如果未设置 xmlrpc_portODOO_QUEUE_JOB_PORT=8069

    • 使用 --load=web,queue_job--workers 大于 1 启动 Odoo。 [1]

  • 使用 Odoo 配置文件

[options]
(...)
workers = 6
server_wide_modules = web,queue_job

(...)
[queue_job]
channels = root:2
  • 通过检查 odoo 日志文件来确认运行者是否正确启动

...INFO...queue_job.jobrunner.runner: starting
...INFO...queue_job.jobrunner.runner: initializing database connections
...INFO...queue_job.jobrunner.runner: queue job runner ready for db <dbname>
...INFO...queue_job.jobrunner.runner: database connections ready
  • 创建任务(例如使用 base_import_async)并观察它们立即并行启动。

  • 提示:要启用队列任务的调试日志,使用 --log-handler=odoo.addons.queue_job:DEBUG

使用

要使用此模块,您需要

  1. 转到 作业队列 菜单

开发者

延迟作业

将任务入队到方法的一个快速方法是使用记录或模型上的 with_delay()

def button_done(self):
    self.with_delay().print_confirmation_document(self.state)
    self.write({"state": "done"})
    return True

在这里,方法 print_confirmation_document() 将作为任务异步执行。 with_delay() 可以接受多个参数来更精确地定义任务的执行方式(优先级,……)。

传递给被延迟方法的全部参数都存储在任务中,并在异步执行时传递给该方法,包括 self,因此在工作执行期间保持当前记录(注意:上下文不会保留)。

可以在任务之间表达依赖关系。要启动任务图,请在记录或模型上使用 delayable()

def button_done(self):
    delayable = self.delayable()
    delayable.print_confirmation_document(self.state)
    delayable.delay()
    self.write({"state": "done"})
    return True

Delayable 对象的方法返回自身,因此它可以作为构建器模式使用,在某些情况下允许动态构建任务。

def button_generate_simple_with_delayable(self):
    self.ensure_one()
    # Introduction of a delayable object, using a builder pattern
    # allowing to chain jobs or set properties. The delay() method
    # on the delayable object actually stores the delayable objects
    # in the queue_job table
    (
        self.delayable()
        .generate_thumbnail((50, 50))
        .set(priority=30)
        .set(description=_("generate xxx"))
        .delay()
    )

定义依赖关系的最简单方法是使用 Delayable 上的 .on_done(job)

def button_chain_done(self):
    self.ensure_one()
    job1 = self.browse(1).delayable().generate_thumbnail((50, 50))
    job2 = self.browse(1).delayable().generate_thumbnail((50, 50))
    job3 = self.browse(1).delayable().generate_thumbnail((50, 50))
    # job 3 is executed when job 2 is done which is executed when job 1 is done
    job1.on_done(job2.on_done(job3)).delay()

可以使用 chain()group() 基本操作将 Delayable 链接起来,形成更复杂的图。一个链表示按顺序执行的作业序列,一个组表示可以并行执行的作业。使用 chain() 与使用多个嵌套的 on_done() 具有相同的效果,但更易读。两者可以组合形成一个图,例如,我们可以分组 [A] 的作业,这将阻塞另一个组 [B] 的作业。只有当组 [A] 中的所有作业都执行完毕时,组 [B] 的作业才会执行。代码如下

from odoo.addons.queue_job.delay import group, chain

def button_done(self):
    group_a = group(self.delayable().method_foo(), self.delayable().method_bar())
    group_b = group(self.delayable().method_baz(1), self.delayable().method_baz(2))
    chain(group_a, group_b).delay()
    self.write({"state": "done"})
    return True

当作业图发生故障时,依赖于已失败作业的作业执行将停止。它们将保持 wait_dependencies 状态,直到它们的“父”作业成功。这可以通过两种方式发生:要么父作业重试并在第二次尝试中成功,要么用户手动将父作业“设置为完成”。在这两种情况下,依赖关系得到解决,图将继续处理。或者,用户可以取消失败作业及其所有依赖作业。在所有情况下,不依赖于失败作业的图中的其他作业将继续执行。

注意:delay()必须在图顶层的可延迟对象、链或组上调用。在上面的示例中,如果它在group_a上调用,那么group_b将永远不会被延迟(但会显示警告)。

作业排队选项

  • 优先级:默认为10,越接近0,执行越快

  • eta:作业到达的估计时间。在此日期/时间之前不会执行

  • max_retries:默认为5,在放弃并设置作业状态为‘失败’之前的最大重试次数。0表示无限重试。

  • description:作业的人类描述。如果未设置,则描述将从函数文档或方法名称计算得出

  • channel:用于处理函数的通道的完整名称。如果指定,则覆盖函数上定义的通道

  • identity_key:唯一标识作业的键,如果指定且尚未运行具有相同键的作业,则不会创建新的作业

配置作业的默认选项

在早期版本中,可以使用@job装饰器配置作业。现在已弃用,它们可以使用可选的queue.job.functionqueue.job.channel XML记录进行配置。

通道示例

<record id="channel_sale" model="queue.job.channel">
    <field name="name">sale</field>
    <field name="parent_id" ref="queue_job.channel_root" />
</record>

作业函数示例

<record id="job_function_sale_order_action_done" model="queue.job.function">
    <field name="model_id" ref="sale.model_sale_order" />
    <field name="method">action_done</field>
    <field name="channel_id" ref="channel_sale" />
    <field name="related_action" eval='{"func_name": "custom_related_action"}' />
    <field name="retry_pattern" eval="{1: 60, 2: 180, 3: 10, 5: 300}" />
</record>

name的一般形式为:<model.name>.method

通道、相关操作和重试模式选项是可选的,它们在下面有文档说明。

在编写模块时,如果2个或更多模块添加具有相同名称(以及通道的父级)的作业函数或通道,它们将在同一记录中合并,即使它们有不同的xmlids。在卸载时,当所有使用它的模块都卸载时,合并的记录将被删除。

作业函数:通道

作业将被延迟的通道。默认通道是root

作业函数:相关操作

“相关操作”作为按钮出现在作业视图中。按钮将执行定义的操作。

默认情况下,该按钮将打开与作业相关的记录视图(存在单个记录时为表单视图,存在多个记录时为列表视图)。在许多情况下,默认相关操作就足够了,不需要自定义,但可以通过在作业函数上提供一个字典来自定义它

{
    "enable": False,
    "func_name": "related_action_partner",
    "kwargs": {"name": "Partner"},
}
  • enable:当False时,按钮无效果(默认:True

  • func_name:返回操作的queue.job上方法的名称

  • kwargs:传递给相关操作方法的额外参数

相关操作代码示例

class QueueJob(models.Model):
    _inherit = 'queue.job'

    def related_action_partner(self, name):
        self.ensure_one()
        model = self.model_name
        partner = self.records
        action = {
            'name': name,
            'type': 'ir.actions.act_window',
            'res_model': model,
            'view_type': 'form',
            'view_mode': 'form',
            'res_id': partner.id,
        }
        return action

作业函数:重试模式

当作业因可重试的错误类型失败时,它会自动稍后重试。默认情况下,重试总是10分钟后。

可以在作业函数上配置重试模式。一个模式代表的是“从X次尝试开始,延迟Y秒”。它以字典的形式表示,其中键是尝试次数,值是延迟的秒数(整数)

{
    1: 10,
    5: 20,
    10: 30,
    15: 300,
}

根据此配置,我们可以知道

  • 前5次重试延迟10秒

  • 第5次到第10次重试延迟20秒

  • 第10次到第15次重试延迟30秒

  • 所有后续的重试延迟5分钟

绕过运行中的Odoo上的作业

当你正在开发(例如:连接器模块)时,你可能想绕过队列作业并立即运行你的代码。

要这样做,你可以在你的环境中设置TEST_QUEUE_JOB_NO_DELAY=1

在测试中绕过作业

在编写与作业相关的方法的测试时,总是难以处理延迟的记录集。为了使你的测试生活更容易,你可以在上下文中设置test_queue_job_no_delay=True

提示:你可以在测试用例级别这样做

@classmethod
def setUpClass(cls):
    super().setUpClass()
    cls.env = cls.env(context=dict(
        cls.env.context,
        test_queue_job_no_delay=True,  # no jobs thanks
    ))

然后,所有测试将同步执行作业方法,不会延迟任何作业。

测试

断言已入队的作业

测试作业的推荐方法,而不是直接同步运行它们,是将测试分为两部分

  • 一个测试中作业被模拟(使用 trap_jobs() 捕获作业,测试仅验证作业是否已使用预期的参数被延迟

  • 一个仅同步调用作业方法的测试,以验证该方法的正确行为

这样进行意味着你可以证明作业将在运行时正确入队,并确保你的代码在测试和生产环境中具有相同的行为(因为同步运行作业可能具有不同的行为,因为它们处于相同的交易中/方法中间)。此外,它为你提供了更多控制权,在调用作业方法的参数(这次是在第二种类型的测试中同步调用),并且使测试更小。

在入队的作业上进行这种断言的最佳方式是使用 odoo.addons.queue_job.tests.common.trap_jobs()

一个非常小的示例(更多详细信息请参阅 tests/common.py

# code
def my_job_method(self, name, count):
    self.write({"name": " ".join([name] * count)

def method_to_test(self):
    count = self.env["other.model"].search_count([])
    self.with_delay(priority=15).my_job_method("Hi!", count=count)
    return count

# tests
from odoo.addons.queue_job.tests.common import trap_jobs

# first test only check the expected behavior of the method and the proper
# enqueuing of jobs
def test_method_to_test(self):
    with trap_jobs() as trap:
        result = self.env["model"].method_to_test()
        expected_count = 12

        trap.assert_jobs_count(1, only=self.env["model"].my_job_method)
        trap.assert_enqueued_job(
            self.env["model"].my_job_method,
            args=("Hi!",),
            kwargs=dict(count=expected_count),
            properties=dict(priority=15)
        )
        self.assertEqual(result, expected_count)


 # second test to validate the behavior of the job unitarily
 def test_my_job_method(self):
     record = self.env["model"].browse(1)
     record.my_job_method("Hi!", count=12)
     self.assertEqual(record.name, "Hi! Hi! Hi! Hi! Hi! Hi! Hi! Hi! Hi! Hi! Hi! Hi!")

如果你愿意,你仍然可以在单个测试中测试整个流程,通过在测试中调用 jobs_tester.perform_enqueued_jobs()

def test_method_to_test(self):
    with trap_jobs() as trap:
        result = self.env["model"].method_to_test()
        expected_count = 12

        trap.assert_jobs_count(1, only=self.env["model"].my_job_method)
        trap.assert_enqueued_job(
            self.env["model"].my_job_method,
            args=("Hi!",),
            kwargs=dict(count=expected_count),
            properties=dict(priority=15)
        )
        self.assertEqual(result, expected_count)

        trap.perform_enqueued_jobs()

        record = self.env["model"].browse(1)
        record.my_job_method("Hi!", count=12)
        self.assertEqual(record.name, "Hi! Hi! Hi! Hi! Hi! Hi! Hi! Hi! Hi! Hi! Hi! Hi!")

运行 Odoo 时同步执行作业

当你正在开发(例如:连接器模块)时,你可能想绕过队列作业并立即运行你的代码。

为此,你可以在你的环境中设置 TEST_QUEUE_JOB_NO_DELAY=1

在测试中同步执行作业

你应该使用 trap_jobs,真的,但如果由于任何原因你不能使用它,并且仍然需要在测试中同步执行作业方法,你可以在上下文中设置 test_queue_job_no_delay=True

提示:你可以在测试用例级别这样做

@classmethod
def setUpClass(cls):
    super().setUpClass()
    cls.env = cls.env(context=dict(
        cls.env.context,
        test_queue_job_no_delay=True,  # no jobs thanks
    ))

然后,所有测试将同步执行作业方法,不会延迟任何作业。

在测试中,你需要像这样静音记录器

@mute_logger(‘odoo.addons.queue_job.models.base’)

技巧和窍门

  • 幂等性 (https://www.restapitutorial.com/lessons/idempotency.html):queue_job 应该是幂等的,这样它们可以在不影响数据的情况下重试多次。

  • 作业应该在开始时测试其相关性:作业将执行的时间是未知的,这是故意的。因此,作业的第一个任务应该是检查相关的工作在执行时刻是否仍然相关。

模式

随着时间的推移,出现了两种主要模式

  1. 对于向用户公开的数据,模型应存储数据,模型应该是作业的创建者。作业对用户是隐藏的

  2. 对于不向用户公开的技术数据,通常可以直接创建直接带有作为参数传递给作业的数据的作业,而不需要中间模型。

已知问题/路线图

  • 创建新的数据库或将在现有数据库上安装 queue_job 之后,Odoo 必须重新启动,以便运行器检测到它。

  • 当Odoo正常关闭时,它会等待正在运行的任务完成。然而,当Odoo服务器崩溃或被强制停止时,正在运行的任务会被中断,而运行器没有机会知道它们已被终止。在这种情况下,任务可能在Odoo服务器停止后仍然处于已启动已排队的状态。由于运行器无法知道它们是否实际在运行,也不知道是否安全重启任务,因此不会尝试自动重启它们。因此,这些陈旧的任务会填满运行队列,阻止其他任务启动。因此,您必须手动重新排队,无论是从任务视图,还是通过运行以下SQL语句在启动Odoo之前

update queue_job set state='pending' where state in ('started', 'enqueued')

变更日志

下一页

  • [新增] 将jobrunner作为工作进程而不是主进程中的线程运行(当使用–workers > 0时运行)

  • [参考] @job@related_action已弃用,任何方法都可以延迟,并使用queue.job.function记录进行配置

12.0.1.1.0 (2019-11-01)

重要:许可证已从AGPL3更改为LGPL3。

  • [重要] 如果root通道的容量被明确设置为0,则不要启动Jobrunner

  • [新增] 使用多操作将多个任务设置为完成的能力(#59的端口)

  • [参考] 从添加器提取一个方法来处理任务失败时的消息发布,允许从添加器修改此行为

  • [新增] 允许从server_environment配置Jobrunner(详细信息请参阅#124

  • [新增] 环境变量TEST_QUEUE_JOB_NO_DELAY=1用于测试和调试(详细信息请参阅#114

  • [修复] 压力下的竞争条件,当启动任务需要超过1秒时(详细信息请参阅#131

  • [修复] 任务上的retry_postone在错误时可以回滚(详细信息请参阅#130

  • [修复] Autovacuum计划任务配置错误(详细信息请参阅#163

12.0.1.0.0 (2018-10-02)

  • [迁移] 从11.0分支到rev. b0945be

错误跟踪器

错误在GitHub Issues上跟踪。如有问题,请检查是否已报告您的问题。如果您是第一个发现它的,请通过提供详细且受欢迎的反馈帮助我们解决问题。

请不要直接联系贡献者以寻求支持或技术问题的帮助。

鸣谢

作者

  • Camptocamp

  • ACSONE SA/NV

贡献者

维护者

本模块由OCA维护。

Odoo Community Association

OCA,或Odoo社区协会,是一个非营利组织,其使命是支持Odoo功能的协作开发并推广其广泛应用。

当前维护者:维护者

guewen

此模块是GitHub上的OCA/queue项目的组成部分。

欢迎您贡献。有关如何贡献的信息,请访问https://odoo-community.org/page/Contribute

项目详情


发布历史 发布通知 | RSS源

下载文件

下载适用于您平台的文件。如果您不确定选择哪个,请了解有关安装包的更多信息。

源分发

此版本未提供源分发文件。请参阅生成分发存档的教程

构建分发

odoo12_addon_queue_job-12.0.4.1.0-py3-none-any.whl (322.0 kB 查看哈希值)

上传时间 Python 3

AWS AWS 云计算和安全赞助商 Datadog Datadog 监控 Fastly Fastly CDN Google Google 下载分析 Microsoft Microsoft PSF 赞助商 Pingdom Pingdom 监控 Sentry Sentry 错误日志 StatusPage StatusPage 状态页面