用于测试和示例的机器学习数据集加载器

用于测试和示例脚本的多种机器学习数据集加载器。之前在 thinc.extra.datasets 中。

设置和安装

可以通过pip安装此软件包

pip install ml-datasets

加载器

可以直接导入加载器或通过它们的字符串名称（如果它们通过命令行参数设置，这很有用）使用。某些加载器可能需要参数——请参阅源代码以获取详细信息。

# Import directly
from ml_datasets import imdb
train_data, dev_data = imdb()

# Load via registry
from ml_datasets import loaders
imdb_loader = loaders.get("imdb")
train_data, dev_data = imdb_loader()

可用的加载器

NLP数据集

其他机器学习数据集

数据集详细信息

IMDB

每个实例包含电影评论的文本，以及用0或1表示的情感。

train_data, dev_data = ml_datasets.imdb()
for text, annot in train_data[0:5]:
    print(f"Review: {text}")
    print(f"Sentiment: {annot}")

• 下载链接： http://ai.stanford.edu/~amaas/data/sentiment/
• 参考文献： Andrew L. Maas等人，2011

DBPedia

每个实例包含一个本体描述，以及将其分类到14个不同标签中的一个。

train_data, dev_data = ml_datasets.dbpedia()
for text, annot in train_data[0:5]:
    print(f"Text: {text}")
    print(f"Category: {annot}")

• 下载链接： 通过fast.ai
• 原始参考文献： Xiang Zhang等人，2015

CMU

每个实例包含一个电影描述，以及将其分类到适当的电影类型列表中。

train_data, dev_data = ml_datasets.cmu()
for text, annot in train_data[0:5]:
    print(f"Text: {text}")
    print(f"Genres: {annot}")

• 下载链接： http://www.cs.cmu.edu/~ark/personas/
• 原始参考文献： David Bamman等人，2013

Quora

train_data, dev_data = ml_datasets.quora_questions()
for questions, annot in train_data[0:50]:
    q1, q2 = questions
    print(f"Question 1: {q1}")
    print(f"Question 2: {q2}")
    print(f"Similarity: {annot}")

每个实例包含两个Quora问题，以及一个标签表示它们是否重复（0：不重复，1：重复）。真实标签包含一定量的噪声：不能保证它们是完美的。

• 下载链接： http://qim.fs.quoracdn.net/quora_duplicate_questions.tsv
• 原始参考文献： Kornél Csernai等人，2017

注册加载器

可以使用loaders注册表作为装饰器在外部注册加载器。例如

@ml_datasets.loaders("my_custom_loader")
def my_custom_loader():
    return load_some_data()

assert "my_custom_loader" in ml_datasets.loaders