fasttext-wheel 0.9.2

目录

• 需求

• 安装

• 使用概述

• 词表示模型

• 文本分类模型

• 重要：预处理数据 / 编码约定

• 更多示例

• API

• train_unsupervised参数

• train_supervised参数

• 模型对象

词表示模型

如此处所述，为了学习词向量，我们可以使用如下fasttext.train_unsupervised函数

import fasttext

# Skipgram model :
model = fasttext.train_unsupervised('data.txt', model='skipgram')

# or, cbow model :
model = fasttext.train_unsupervised('data.txt', model='cbow')

其中data.txt是一个包含utf-8编码文本的训练文件。

返回的model对象代表您学习的模型，您可以使用它来检索信息。

print(model.words)   # list of words in dictionary
print(model['king']) # get the vector of the word 'king'

model.save_model("model_filename.bin")

model = fasttext.load_model("model_filename.bin")

文本分类模型

为了使用此处描述的方法训练一个文本分类器，我们可以像这样使用 fasttext.train_supervised 函数

import fasttext

model = fasttext.train_supervised('data.train.txt')

其中 data.train.txt 是一个文本文件，每行包含一个训练句子和标签。默认情况下，我们假设标签是以字符串 __label__ 开头的单词。

一旦模型训练完成，我们可以检索单词和标签的列表。

print(model.words)
print(model.labels)

为了通过计算测试集上的精确率（P@1）和召回率来评估我们的模型，我们使用 test 函数。

def print_results(N, p, r):
    print("N\t" + str(N))
    print("P@{}\t{:.3f}".format(1, p))
    print("R@{}\t{:.3f}".format(1, r))

print_results(*model.test('test.txt'))

我们还可以预测特定文本的标签。

model.predict("Which baking dish is best to bake a banana bread ?")

默认情况下，predict 仅返回一个标签：概率最高的标签。您也可以通过指定参数 k 来预测多个标签。

model.predict("Which baking dish is best to bake a banana bread ?", k=3)

如果您想预测多个句子，可以将字符串数组传递给函数。

model.predict(["Which baking dish is best to bake a banana bread ?", "Why not put knives in the dishwasher?"], k=3)

当然，您也可以像在单词表示使用中那样，将模型保存到/从文件中。

有关fasttext的文本分类使用方法的更多信息，您可以参考我们的文本分类教程。

# with the previously trained `model` object, call :
model.quantize(input='data.train.txt', retrain=True)

# then display results and save the new model :
print_results(*model.test(valid_data))
model.save_model("model_filename.ftz")

重要：预处理数据 / 编码约定

通常，正确预处理数据非常重要。特别是我们根目录下的示例脚本执行了这一操作。

fastText假定文本使用UTF-8编码。所有文本都必须是Python2中的unicode 和Python3中的 str。传递的文本将由pybind11 编码为UTF-8，然后传递给fastText C++库。这意味着在构建模型时使用UTF-8编码的文本非常重要。在类Unix系统中，您可以使用iconv 转换文本。

fastText将根据以下ASCII字符（字节）进行标记化（将文本分割成片段）。特别是，它对UTF-8空白不敏感。我们建议用户将UTF-8空白/单词边界转换为以下符号之一。

• 空格

• 制表符

• 垂直制表符

• 回车符

• 换页符

• 空字符

换行符用于分隔文本行。特别是，如果遇到换行符，EOS标记将被附加到文本行上。唯一的例外是，如果标记的数量超过了在Dictionary头文件中定义的MAX_LINE_SIZE常量。这意味着如果您有不是通过换行符分隔的文本，例如fil9数据集，它将被分割成具有MAX_LINE_SIZE个标记的块，并且不会附加EOS标记。

令牌的长度是指UTF-8字符的数量，这是通过考虑字节的前两位来识别多字节序列的后续字节。了解这一点对于选择子词的最小和最大长度特别重要。此外，EOS令牌（在字典头文件中指定）被视为一个字符，不会分解为子词。

更多示例

为了更好地了解fastText模型，请参阅主要的README，特别是我们网站上的教程。

您可以在文档文件夹中找到更多Python示例。

与任何包一样，您可以使用帮助函数了解任何Python函数。

例如

+>>> import fasttext
+>>> help(fasttext.FastText)

Help on module fasttext.FastText in fasttext:

NAME
    fasttext.FastText

DESCRIPTION
    # Copyright (c) 2017-present, Facebook, Inc.
    # All rights reserved.
    #
    # This source code is licensed under the MIT license found in the
    # LICENSE file in the root directory of this source tree.

FUNCTIONS
    load_model(path)
        Load a model given a filepath and return a model object.

    tokenize(text)
        Given a string of text, tokenize it and return a list of tokens
[...]

train_unsupervised 参数

input             # training file path (required)
model             # unsupervised fasttext model {cbow, skipgram} [skipgram]
lr                # learning rate [0.05]
dim               # size of word vectors [100]
ws                # size of the context window [5]
epoch             # number of epochs [5]
minCount          # minimal number of word occurences [5]
minn              # min length of char ngram [3]
maxn              # max length of char ngram [6]
neg               # number of negatives sampled [5]
wordNgrams        # max length of word ngram [1]
loss              # loss function {ns, hs, softmax, ova} [ns]
bucket            # number of buckets [2000000]
thread            # number of threads [number of cpus]
lrUpdateRate      # change the rate of updates for the learning rate [100]
t                 # sampling threshold [0.0001]
verbose           # verbose [2]

train_supervised 参数

input             # training file path (required)
lr                # learning rate [0.1]
dim               # size of word vectors [100]
ws                # size of the context window [5]
epoch             # number of epochs [5]
minCount          # minimal number of word occurences [1]
minCountLabel     # minimal number of label occurences [1]
minn              # min length of char ngram [0]
maxn              # max length of char ngram [0]
neg               # number of negatives sampled [5]
wordNgrams        # max length of word ngram [1]
loss              # loss function {ns, hs, softmax, ova} [softmax]
bucket            # number of buckets [2000000]
thread            # number of threads [number of cpus]
lrUpdateRate      # change the rate of updates for the learning rate [100]
t                 # sampling threshold [0.0001]
label             # label prefix ['__label__']
verbose           # verbose [2]
pretrainedVectors # pretrained word vectors (.vec file) for supervised learning []

model 对象

train_supervised、train_unsupervised 和 load_model 函数返回一个 _FastText 类的实例，我们通常称之为 model 对象。

该对象将训练参数作为属性公开： lr、dim、ws、epoch、minCount、minCountLabel、minn、maxn、neg、wordNgrams、loss、bucket、thread、lrUpdateRate、t、label、verbose、pretrainedVectors。因此，model.wordNgrams 将给出用于训练此模型所使用的最大词ngram长度。

此外，该对象还公开了几个函数

get_dimension           # Get the dimension (size) of a lookup vector (hidden layer).
                        # This is equivalent to `dim` property.
get_input_vector        # Given an index, get the corresponding vector of the Input Matrix.
get_input_matrix        # Get a copy of the full input matrix of a Model.
get_labels              # Get the entire list of labels of the dictionary
                        # This is equivalent to `labels` property.
get_line                # Split a line of text into words and labels.
get_output_matrix       # Get a copy of the full output matrix of a Model.
get_sentence_vector     # Given a string, get a single vector represenation. This function
                        # assumes to be given a single line of text. We split words on
                        # whitespace (space, newline, tab, vertical tab) and the control
                        # characters carriage return, formfeed and the null character.
get_subword_id          # Given a subword, return the index (within input matrix) it hashes to.
get_subwords            # Given a word, get the subwords and their indicies.
get_word_id             # Given a word, get the word id within the dictionary.
get_word_vector         # Get the vector representation of word.
get_words               # Get the entire list of words of the dictionary
                        # This is equivalent to `words` property.
is_quantized            # whether the model has been quantized
predict                 # Given a string, get a list of labels and a list of corresponding probabilities.
quantize                # Quantize the model reducing the size of the model and it's memory footprint.
save_model              # Save the model to the given path
test                    # Evaluate supervised model using file given by path
test_label              # Return the precision and recall score for each label.

属性 words、labels 返回字典中的单词和标签

model.words         # equivalent to model.get_words()
model.labels        # equivalent to model.get_labels()

该对象重写了 __getitem__ 和 __contains__ 函数，以便返回单词的表示并检查单词是否在词汇表中。

model['king']       # equivalent to model.get_word_vector('king')
'king' in model     # equivalent to `'king' in model.get_words()`

加入fastText社区

• Facebook页面

• Stack overflow

• Google群组

• GitHub