TextDistance

TextDistance -- 通过多种算法比较两个或更多序列之间距离的python库。

功能

• 30+算法
• 纯Python实现
• 简单使用
• 比较多个序列
• 某些算法在一个类中有多个实现。
• 可选的numpy使用以获得最大速度。

算法

基于编辑

基于标记

基于序列

基于压缩

归一化压缩距离，使用不同的压缩算法。

经典压缩算法

普通压缩算法

正在开发中的算法，将两个字符串比较为位数组

有关NCD的更多详细信息，请参阅博客文章。

音韵

简单

安装

稳定

仅纯Python实现

pip install textdistance

带有额外库以获得最大速度

pip install "textdistance[extras]"

带有所有库（用于基准测试和测试）

pip install "textdistance[benchmark]"

带有特定算法的额外功能

pip install "textdistance[Hamming]"

具有可用额外功能的算法：DamerauLevenshtein，Hamming，Jaro，JaroWinkler，Levenshtein。

开发

通过pip

pip install -e git+https://github.com/life4/textdistance.git#egg=textdistance

或克隆存储库并安装一些额外功能

git clone https://github.com/life4/textdistance.git
pip install -e ".[benchmark]"

用法

所有算法都有2个接口

1. 具有特定算法参数的类，用于自定义。
2. 具有默认参数的类实例，用于快速简单使用。

所有算法都有一些公共方法

1. .distance(*sequences) -- 计算序列之间的距离。
2. .similarity(*sequences) -- 计算序列的相似度。
3. .maximum(*sequences) -- 距离和相似度的最大可能值。对于任何序列：distance + similarity == maximum。
4. .normalized_distance(*sequences) -- 序列之间的归一化距离。返回值是一个在0和1之间的浮点数，其中0表示相等，1表示完全不同。
5. .normalized_similarity(*sequences) -- 序列的归一化相似度。返回值是一个在0和1之间的浮点数，其中0表示完全不同，1表示相等。

最常见的初始化参数

1. qval -- 将序列分割成q-gram的q值。可能的值
   • 1（默认）-- 按字符比较序列。
   • 2或更多 -- 将序列转换为q-gram。
   • None -- 按单词分割序列。
2. as_set -- 对于基于令牌的算法
   • True -- t 和 ttt 相等。
   • False（默认）-- t 和 ttt 不同。

示例

例如，汉明距离

import textdistance

textdistance.hamming('test', 'text')
# 1

textdistance.hamming.distance('test', 'text')
# 1

textdistance.hamming.similarity('test', 'text')
# 3

textdistance.hamming.normalized_distance('test', 'text')
# 0.25

textdistance.hamming.normalized_similarity('test', 'text')
# 0.75

textdistance.Hamming(qval=2).distance('test', 'text')
# 2

任何其他算法都有相同的接口。

文章

一些带有如何在现实世界中使用textdistance的示例的文章

• Python模糊匹配指南
• 字符串相似度 — 基础知识算法指南！
• 归一化压缩距离

额外库

对于主算法textdistance，如果可能的话，尝试调用已知的外部库（按速度排序优先），如果系统已安装且可用（此实现可以比较此类型的序列）。安装 textdistance，以使用此功能所需的额外功能。

您可以通过在初始化时传递external=False参数来禁用此功能

import textdistance
hamming = textdistance.Hamming(external=False)
hamming('text', 'testit')
# 3

支持的库

1. 距离
2. jellyfish
3. py_stringmatching
4. pylev
5. Levenshtein
6. pyxDamerauLevenshtein

算法

1. DamerauLevenshtein
2. Hamming
3. Jaro
4. JaroWinkler
5. Levenshtein

基准测试

不安装额外功能

总计：24个库。

是的，这很慢。仅在附加功能的情况下在生产中使用TextDistance。

Textdistance使用基准测试结果进行算法优化，并尝试首先调用最快速的外部库（如果可能）。

您可以在您的系统上手动运行基准测试

pip install textdistance[benchmark]
python3 -m textdistance.benchmark

TextDistance将基准测试结果表显示给您系统的系统，并将库优先级保存到TextDistance文件夹中的libraries.json文件中。此文件将由textdistance用于调用最快的算法实现。默认的libraries.json已包含在包中。

运行测试

您只需要task。有关可用命令的列表，请参阅Taskfile.yml。例如，要运行包括第三方库使用的测试，请执行task pytest-external:run。

贡献

欢迎PR！

• 发现bug了吗？修复它！
• 想要添加更多算法？当然可以！只需按照库中其他算法的相同接口实现它，并添加一些测试。
• 能让某事更快吗？太棒了！只需避免外部依赖，并记住一切不仅应该与字符串一起工作。
• 还有你认为好的其他东西吗？做吧！只需确保CI通过，以及README中的所有内容仍然适用（接口、功能等）。
• 没有时间编码？告诉你的朋友和订阅者关于textdistance。用户越多，贡献越多，功能越强大。

谢谢你 :heart