maxentropy：Python中的最大熵和最小发散模型

目的

此软件包帮助您从您编码为广义矩约束的先验信息中构建概率分布（贝叶斯先验）。

您可以使用它来

1. 找到满足您约束的最平坦的分布，使用最大熵原理（仅限离散分布）

2. 或找到与给定先验模型“最接近”的模型（在KL发散意义上），同时满足您的附加约束。

背景

最大熵原理已被证明 [Cox 1982, Jaynes 2003] 是从可用作“可测试信息”的先验信息中构建离散概率分布的唯一一致方法。

如果约束具有线性矩约束的形式，则该原理会导致一种独特的指数形式概率分布。大多数已知的概率分布都是最大熵分布的特殊情况。这包括均匀分布、几何分布、指数分布、帕累托分布、正态分布、冯·米塞斯分布、柯西分布等：请参见 此处。

示例：在已知约束下构建先验主题

请参阅notebooks 文件夹。

快速入门指南

这是一个很好的起点：加载骰子示例（scikit-learn 估计器 API）

历史

此包以前位于 SciPy（https://scipy.org.cn）中，作为 v0.5 到 v0.10 版本的 scipy.maxentropy。它维护不足，并在 SciPy v0.11 中被移除。此后，它被重新启用并重构以使用 scikit-learn 估计器接口。

版权

© Ed Schofield，2003-2019