固执：评估具有一致激励机制的智能体固执程度的实验环境

固执 是多智能体强化学习领域的一项实验。实验的目标是观察强化学习智能体是否可以通过互相斗争来学习相互传递重要信息，尽管它们“站在同一阵营”。通过运行实验并使用以下文档中记录的命令生成图表，您可以复制我们论文中展示的结果。通过修改代码中定义的环境规则，您可以以不同的方式扩展实验，以研究这一场景。

固执 将在 人工智能中的叛乱和反抗研讨会 上展出，该研讨会将在 国际自主代理和多智能体系统会议 上举办。阅读 完整论文。摘要

多智能体强化学习（MARL）的最新研究在学习和合作的社会行为方面取得了成功。在混合总和设置中智能体的社会困境已经得到广泛研究，但在完全合作设置中的社会困境研究很少，在这种情况下，智能体没有从另一个智能体的损失中获益的可能。

虽然完全一致的利益有利于代理人之间的合作，但这并不能保证合作一定发生。我们提出了一种衡量代理人之间“固执”程度的指标，旨在捕捉其名称所来源的人类社会行为：一种逐渐升级并可能造成灾难性的分歧。我们希望推动对代理人固执倾向、对应代理人的反应以及由此产生的社会动态的研究。

在这篇论文中，我们介绍了Stubborn，一个用于评估具有完全一致激励的代理人之间固执程度的实验环境。在我们的初步结果中，代理人学会了利用他们的合作伙伴的固执程度作为信号来改善他们在环境中所做的选择。 继续阅读...

安装

python3 -m venv "${HOME}/stubborn_env"
source "${HOME}/stubborn_env/bin/activate"
pip3 install stubborn

文档

显示命令列表

python -m stubborn --help

显示特定命令的参数和选项

python -m stubborn run --help

基本用法

运行

运行Stubborn实验，训练代理并评估其性能

python3 -m stubborn run

绘图

已实现了两个绘图命令。默认情况下，它们都会绘制您最后进行的非常最后一次运行的图表。

绘制一个显示代理人在学习过程中的奖励的图表

python3 -m stubborn plot-reward

绘制一个显示一个代理人的坚持程度作为另一个代理人的固执程度的函数的图表，该固执程度在论文中定义为$\zeta_{n,d}$

python3 -m stubborn plot-insistence

引用

如果您在研究中使用了Stubborn，请引用随附的论文

@article{Rachum2023Stubborn,
  title={Stubborn: An Environment for Evaluating Stubbornness between Agents with Aligned Incentives},
  author={Rachum, Ram and Nakar, Yonatan and Mirsky, Reuth},
  year = {2023},
  journal = {Proceedings of the Workshop on Rebellion and Disobedience in AI at The International Conference on Autonomous Agents and Multiagent Systems}
}