pytorch-mighty

为您的pytorch模型提供的Mighty监控训练器。由Visdom提供支持。

文档： https://pytorch-mighty.readthedocs.io/en/latest/

安装

需要Python 3.6+

1. 安装PyTorch
   • CPU后端：conda install pytorch torchvision cpuonly -c pytorch
   • GPU后端：conda install pytorch torchvision cudatoolkit=10.2 -c pytorch
2. $ pip install pytorch-mighty

快速开始

在运行任何脚本之前，启动Visdom服务器

$ python -m visdom.server -port 8097

然后运行python examples.py或使用以下代码

import torch
import torch.nn as nn
from torchvision import transforms
from torchvision.datasets import MNIST

from mighty.models import MLP
from mighty.monitor.monitor import MonitorLevel
from mighty.trainer import TrainerGrad
from mighty.utils.data import DataLoader

model = MLP(784, 128, 10)

optimizer = torch.optim.Adam(model.parameters(), lr=1e-3)
scheduler = torch.optim.lr_scheduler.ReduceLROnPlateau(optimizer)

data_loader = DataLoader(MNIST, transform=transforms.ToTensor())

trainer = TrainerGrad(model,
                      criterion=nn.CrossEntropyLoss(),
                      data_loader=data_loader,
                      optimizer=optimizer,
                      scheduler=scheduler)
# trainer.restore()  # uncomment to restore the saved state
trainer.monitor.advanced_monitoring(level=MonitorLevel.SIGNAL_TO_NOISE)
trainer.train(n_epochs=10, mutual_info_layers=0)

最后，导航到http://localhost:8097以查看训练进度。

文章，实现或重用于包中

1. Fong, R. C.，Vedaldi, A. (2017)。通过有意义的扰动对黑盒进行可解释的说明。

   • 论文：https://arxiv.org/abs/1704.03296
   • 在：trainer/mask.py

2. Belghazi, M. I.，Baratin, A.，Rajeswar, S.，Ozair, S.，Bengio, Y.，Courville, A.，Hjelm, R. D. (2018)。Mine：相互信息神经网络估计。

   • 论文：https://arxiv.org/abs/1801.04062
   • 在：monitor/mutual_info/neural_estimation.py

3. Kraskov, A.，Stögbauer, H.，Grassberger, P. (2004)。估计互信息。

   • 论文：https://arxiv.org/abs/1208.4475
   • 在：monitor/mutual_info/npeet.py
   • 原始源代码： https://github.com/gregversteeg/NPEET

4. Ince, R. A.，Giordano, B. L.，Kayser, C.，Rousselet, G. A.，Gross, J.，& Schyns, P. G. (2017). 基于高斯卷积估计的互信息神经影像数据分析统计框架。人类大脑图谱，38(3)，1541-1573。

   • 论文：http://dx.doi.org/10.1002/hbm.23471
   • 在 monitor/mutual_info/gcmi.py 中使用
   • 原始源代码：https://github.com/robince/gcmi

5. 用于估计互信息的 IDTxl 包

   • 在 monitor/mutual_info/idtxl.py 中使用

使用 pytorch-mighty 的项目

• MCMC_BinaryNet - 马尔可夫链蒙特卡洛二进制网络优化。
• EmbedderSDR - 将图像编码为二进制稀疏分布式表示（SDR）。
• sparse-representation - 用于 P0-和 P1-问题的基追踪求解器，将数据编码到高维稀疏向量中。
• entropy-estimators - 估计多元随机变量之间的熵和互信息。

在 http://visdom.kyivaigroup.com:8097/ 上查看更多示例。请给浏览器几分钟来解析 json 数据。