AIDE：机器学习代码生成代理

AIDE是一个LLM代理，它只需从任务的自然语言描述中生成机器学习任务的解决方案。在一个包含60多个Kaggle数据科学竞赛的基准测试中，AIDE展现了令人印象深刻的表现，平均超越了50%的Kaggle参赛者（详情请见我们的技术报告）。具体来说，AIDE具有以下特点

1. 用自然语言指导：用自然语言描述您的问题或额外需求以及专业知识。
2. 以源代码交付解决方案：AIDE将为经过测试的机器学习流程生成Python脚本。享受全面的透明度、可重复性和进一步改进源代码的自由！
3. 迭代优化：AIDE会自行迭代运行、调试、评估和改进ML代码。
4. 可视化：我们还提供工具来可视化AIDE产生的解决方案树，以便更好地理解其实验过程。这不仅让您了解哪些方法有效，还了解哪些方法无效。

如何使用AIDE？

设置

确保您已安装Python≥3.10并运行

pip install -U aideml

另外，安装unzip以允许代理自主提取您的数据。

设置您的OpenAI（或Anthropic）API密钥

export OPENAI_API_KEY=<your API key>
# or
export ANTHROPIC_API_KEY=<your API key>

通过命令行运行AIDE

要运行AIDE

aide data_dir="<path to your data directory>" goal="<describe the agent's goal for your task>" eval="<(optional) describe the evaluation metric the agent should use>"

例如，要对房价预测任务运行AIDE

aide data_dir="example_tasks/house_prices" goal="Predict the sales price for each house" eval="Use the RMSE metric between the logarithm of the predicted and observed values."

选项

• data_dir（必需）：包含与您的任务相关的所有数据（.csv文件、图像等）的目录。
• goal：描述您希望模型在任务中预测的内容，例如，“为比特币收盘价构建时间序列预测模型”或“预测房价”。
• eval：用于评估任务中ML模型的评估指标（例如，准确率、F1、均方根误差等）

或者，您可以提供整个任务描述作为desc_str字符串，或将其写入纯文本文件，并将路径作为desc_file传递（示例文件）。

aide data_dir="my_data_dir" desc_file="my_task_description.txt"

运行结果将存储在logs目录中。

• logs/<实验ID>/best_solution.py：根据验证指标的最佳解决方案的Python代码
• logs/<实验ID>/journal.json：一个包含实验运行元数据的JSON文件，包括所有中间步骤中生成的代码、计划、评估结果等。
• logs/<实验ID>/tree_plot.html：您可以在浏览器中打开它。它包含解决方案树的可视化，详细说明了寻找和优化ML代码的实验过程。您可以通过探索和交互树可视化来查看AIDE在每个步骤中提出的计划和代码。

workspaces目录将包含代理生成的所有文件和数据。

高级用法

要进一步自定义AIDE的行为，以下是一些有用的选项

• agent.code.model=... 用于配置代理应使用的编码模型（默认为gpt-4-turbo）
• agent.steps=... 用于配置代理应运行的改进迭代次数（默认为20）
• agent.search.num_drafts=... 用于配置代理应生成的初始草稿数量（默认为5）

您可以在config.yaml文件中查看更多选项。

在Python中使用AIDE

在您的Python脚本/项目中使用AIDE很容易。遵循上面的设置步骤，然后创建如下AIDE实验并开始运行

import aide
exp = aide.Experiment(
    data_dir="example_tasks/bitcoin_price",  # replace this with your own directory
    goal="Build a timeseries forcasting model for bitcoin close price.",  # replace with your own goal description
    eval="RMSLE"  # replace with your own evaluation metric
)

best_solution = exp.run(steps=10)

print(f"Best solution has validation metric: {best_solution.valid_metric}")
print(f"Best solution code: {best_solution.code}")

开发

要为开发安装AIDE，克隆此存储库并本地安装。

git clone https://github.com/WecoAI/aideml.git
cd aideml
pip install -e .

贡献指南将很快提供。

算法描述

AIDE的解决问题方法受人类数据科学家应对挑战的启发。它首先生成一系列初始解决方案草稿，然后根据性能反馈迭代地完善和改进它们。这个过程由我们称为解决方案空间树搜索的技术驱动。

在本质上，解决方案空间树搜索由三个主要组件组成

• 解决方案生成器：该组件通过创建新颖的草案或对现有解决方案进行修改，如修复错误或引入改进，来提出新的解决方案。
• 评估器：评估器通过运行每个提出的解决方案并比较其性能与目标来评估其质量。这是通过指示LLM包含打印评估指标的语句，并让另一个LLM解析打印的日志以提取评估指标来实现的。
• 基本解决方案选择器：解决方案选择器从探索的选项中选择最有希望的解决方案，作为下一次迭代精炼的起点。

通过反复应用这些步骤，AIDE在可能解决方案的广阔空间中导航，逐步优化其方法，直到收敛到给定数据科学问题的最优解决方案。

解决方案画廊