Wikipedia2Vec

Wikipedia2Vec是一种用于从维基百科中获取单词和实体（即有对应维基百科页面的概念）嵌入（或向量表示）的工具。它由Studio Ousia开发和维护。

此工具允许您同时学习单词和实体的嵌入，并在连续向量空间中将相似的单词和实体彼此靠近。可以通过使用公开可用的维基百科存档作为输入的单个命令轻松训练嵌入。

此工具实现了传统的skip-gram模型来学习单词的嵌入，并实现了Yamada等（2016）提出的一种扩展，以学习实体的嵌入。

有关Wikipedia2Vec与现有嵌入工具（即FastText、Gensim、RDF2Vec和Wiki2vec）的经验比较，请参阅此处。

文档可在http://wikipedia2vec.github.io/在线获得。

基本用法

Wikipedia2Vec可以通过PyPI安装

% pip install wikipedia2vec

使用此工具，可以通过运行带有维基百科存档作为输入的train命令来学习嵌入。例如，以下命令下载最新的英文维基百科存档并从中学习嵌入：

% wget https://dumps.wikimedia.org/enwiki/latest/enwiki-latest-pages-articles.xml.bz2
% wikipedia2vec train enwiki-latest-pages-articles.xml.bz2 MODEL_FILE

然后，学习到的嵌入向量将被写入到模型文件。请注意，此命令可以接受许多可选参数。有关更多详细信息，请参阅我们的文档。

预训练嵌入

可以从此页面下载12种语言的预训练嵌入（即英语、阿拉伯语、中文、荷兰语、法语、德语、意大利语、日语、波兰语、葡萄牙语、俄语和西班牙语）。

应用场景

Wikipedia2Vec已应用于以下任务

• 实体链接：Yamada et al., 2016，Eshel et al., 2017，Chen et al., 2019，Poerner et al., 2020，van Hulst et al., 2020。
• 命名实体识别：Sato et al., 2017，Lara-Clares and Garcia-Serrano, 2019。
• 问答：Yamada et al., 2017，Poerner et al., 2020。
• 实体类型：Yamada et al., 2018。
• 文本分类：Yamada et al., 2018，Yamada and Shindo, 2019，Alam et al., 2020。
• 关系分类：Poerner et al., 2020。
• 同义句检测：Duong et al., 2018。
• 知识图谱补全：Shah et al., 2019，Shah et al., 2020。
• 虚假新闻检测：Singh et al., 2019，Ghosal et al., 2020。
• 电影剧情分析：Papalampidi et al., 2019。
• 新颖实体发现：Zhang et al., 2020。
• 实体检索：Gerritse et al., 2020。
• Deepfake检测：Zhong et al., 2020。
• 对话信息检索：Rodriguez et al., 2020。
• 查询扩展：Rosin et al., 2020。

参考文献

如果您在科学出版物中使用Wikipedia2Vec，请引用以下论文

Ikuya Yamada, Akari Asai, Jin Sakuma, Hiroyuki Shindo, Hideaki Takeda, Yoshiyasu Takefuji, Yuji Matsumoto, Wikipedia2Vec: An Efficient Toolkit for Learning and Visualizing the Embeddings of Words and Entities from Wikipedia。

@inproceedings{yamada2020wikipedia2vec,
  title = "{W}ikipedia2{V}ec: An Efficient Toolkit for Learning and Visualizing the Embeddings of Words and Entities from {W}ikipedia",
  author={Yamada, Ikuya and Asai, Akari and Sakuma, Jin and Shindo, Hiroyuki and Takeda, Hideaki and Takefuji, Yoshiyasu and Matsumoto, Yuji},
  booktitle = {Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations},
  year = {2020},
  publisher = {Association for Computational Linguistics},
  pages = {23--30}
}

嵌入模型最初在以下论文中提出

Ikuya Yamada, Hiroyuki Shindo, Hideaki Takeda, Yoshiyasu Takefuji, Joint Learning of the Embedding of Words and Entities for Named Entity Disambiguation。

@inproceedings{yamada2016joint,
  title={Joint Learning of the Embedding of Words and Entities for Named Entity Disambiguation},
  author={Yamada, Ikuya and Shindo, Hiroyuki and Takeda, Hideaki and Takefuji, Yoshiyasu},
  booktitle={Proceedings of The 20th SIGNLL Conference on Computational Natural Language Learning},
  year={2016},
  publisher={Association for Computational Linguistics},
  pages={250--259}
}

此示例中实现的文本分类模型在以下论文中提出

Ikuya Yamada, Hiroyuki Shindo, Neural Attentive Bag-of-Entities Model for Text Classification。

@article{yamada2019neural,
  title={Neural Attentive Bag-of-Entities Model for Text Classification},
  author={Yamada, Ikuya and Shindo, Hiroyuki},
  booktitle={Proceedings of The 23th SIGNLL Conference on Computational Natural Language Learning},
  year={2019},
  publisher={Association for Computational Linguistics},
  pages = {563--573}
}

许可证

Apache License 2.0