PyTorch中的贝叶斯优化
项目描述
BoTorch是一个基于PyTorch的贝叶斯优化库。
BoTorch目前处于测试版，并且正在积极开发中！
为什么选择BoTorch？
BoTorch
- 提供了一个模块化和易于扩展的接口，用于组合贝叶斯优化的基本组件，包括概率模型、获取函数和优化器。
- 利用PyTorch的强大功能，包括自动微分、对高度并行化现代硬件（例如GPU）的原生支持，以及动态计算图。
- 支持基于蒙特卡洛的获取函数，通过重参数化技巧，这使得在不强加对底层模型的限制性假设的情况下实现新想法变得简单。
- 能够与PyTorch中的深度和/或卷积架构无缝集成。
- 对GPyTorch中的最先进概率模型提供了一级支持，包括对多任务高斯过程（GPs）深度核学习、深度GPs和近似推理的支持。
目标受众
BoTorch的主要受众是贝叶斯优化和AI的研究人员和高级实践者。我们建议将BoTorch用作实现Ax新算法的低级API。Ax被设计成一个易于使用的平台，同时足够灵活，使贝叶斯优化研究人员能够将其插入以处理特征转换、（元）数据管理、存储等。我们建议不积极进行贝叶斯优化研究的最终用户简单地使用Ax。
安装
安装要求
- Python >= 3.10
- PyTorch >= 2.0.1
- gpytorch == 1.13
- linear_operator == 0.5.3
- pyro-ppl >= 1.8.4
- scipy
- multiple-dispatch
仅针对MacOS用户（Intel处理器）的先决条件
在安装BoTorch之前，我们建议首先手动安装PyTorch，它是BoTorch的必需依赖项。按照PyTorch安装说明安装它，确保它与MKL库正确链接，MKL是一个优化Intel处理器数学计算的库。这将导致贝叶斯优化的速度提高一个数量级，因为目前通过pip安装PyTorch不会与MKL链接。
当前的PyTorch安装说明建议
- 安装Anaconda。注意，有针对Intel和M1 Mac的不同安装程序。
- 按照PyTorch安装说明安装PyTorch。目前，这建议运行
conda install pytorch torchvision -c pytorch。
如果您想自定义安装，请按照PyTorch安装说明从源代码构建。
选项1：安装最新版本
BoTorch的最新版本可以通过Anaconda（推荐）或pip轻松安装。
要从Anaconda安装BoTorch，请运行
conda install botorch -c pytorch -c gpytorch -c conda-forge
上述命令安装 BoTorch 及其所需依赖项。 -c pytorch -c gpytorch -c conda-forge 表示首选安装来源是 PyTorch 通道，其次是 GPyTorch 通道，最后是 conda-forge。
或者，使用 pip 安装
pip install botorch
注意：确保使用的 pip 是新创建的 Conda 环境中的那个。如果您使用的是基于 Unix 的操作系统，可以使用 which pip 来检查。
选项 2：从最新主分支安装
如果您想尝试我们的最新功能（并且不介意偶尔遇到一些错误），可以直接从 GitHub 安装最新开发版本。如果您还想安装当前 gpytorch 和 linear_operator 的开发版本，请确保已设置 ALLOW_LATEST_GPYTORCH_LINOP 环境变量。
pip install --upgrade git+https://github.com/cornellius-gp/linear_operator.git
pip install --upgrade git+https://github.com/cornellius-gp/gpytorch.git
export ALLOW_LATEST_GPYTORCH_LINOP=true
pip install --upgrade git+https://github.com/pytorch/botorch.git
选项 3：可编辑/开发安装
如果您想为 BoTorch 贡献力量，您需要以可编辑的方式安装，以便您可以在本地安装中更改文件并反映更改。
如果您想在选项 2 中安装当前 gpytorch 和 linear_operator 的开发版本，请先进行此操作。
选项 3a：简约的可编辑安装
git clone https://github.com/pytorch/botorch.git
cd botorch
pip install -e .
选项 3b：带有开发和教程依赖的可编辑安装
git clone https://github.com/pytorch/botorch.git
cd botorch
export ALLOW_BOTORCH_LATEST=true
pip install -e ".[dev, tutorials]"
dev：指定开发所需工具（测试、代码风格检查、文档构建；参见下方的 贡献力量）。tutorials：还安装运行教程笔记本所需的所有包。- 您也可以仅安装 dev 或教程依赖项，而不安装两者，例如，将最后一个命令更改为
pip install -e ".[dev]"。
入门指南
以下是贝叶斯优化循环主要组件的简要概述。有关更多详细信息，请参阅我们的 文档 和 教程。
- 将高斯过程模型拟合到数据
import torch
from botorch.models import SingleTaskGP
from botorch.models.transforms import Normalize, Standardize
from botorch.fit import fit_gpytorch_mll
from gpytorch.mlls import ExactMarginalLogLikelihood
# Double precision is highly recommended for GPs.
# See https://github.com/pytorch/botorch/discussions/1444
train_X = torch.rand(10, 2, dtype=torch.double) * 2
Y = 1 - (train_X - 0.5).norm(dim=-1, keepdim=True) # explicit output dimension
Y += 0.1 * torch.rand_like(Y)
gp = SingleTaskGP(
train_X=train_X,
train_Y=Y,
input_transform=Normalize(d=2),
outcome_transform=Standardize(m=1),
)
mll = ExactMarginalLogLikelihood(gp.likelihood, gp)
fit_gpytorch_mll(mll)
- 构建一个获取函数
from botorch.acquisition import LogExpectedImprovement
logEI = LogExpectedImprovement(model=gp, best_f=Y.max())
- 优化获取函数
from botorch.optim import optimize_acqf
bounds = torch.stack([torch.zeros(2), torch.ones(2)]).to(torch.double)
candidate, acq_value = optimize_acqf(
logEI, bounds=bounds, q=1, num_restarts=5, raw_samples=20,
)
引用 BoTorch
如果您使用了 BoTorch，请引用以下论文
@inproceedings{balandat2020botorch,
title={{BoTorch: A Framework for Efficient Monte-Carlo Bayesian Optimization}},
author={Balandat, Maximilian and Karrer, Brian and Jiang, Daniel R. and Daulton, Samuel and Letham, Benjamin and Wilson, Andrew Gordon and Bakshy, Eytan},
booktitle = {Advances in Neural Information Processing Systems 33},
year={2020},
url = {http://arxiv.org/abs/1910.06403}
}
有关基于 BoTorch 的不完全同行评审论文的精选，请参阅 此处。
贡献力量
有关如何帮助的详细信息，请参阅 CONTRIBUTING 文件。
许可证
BoTorch 使用 MIT 许可证，如 LICENSE 文件所示。
下载文件
下载您平台对应的文件。如果您不确定选择哪个，请了解有关 安装包 的更多信息。