高性能持久Bloom过滤器
项目描述
[](https://travis-ci.org/crankycoder/hydra)
Hydra:Python Bloom过滤器。
使用Cython 0.24或更高版本编译。
—
Hydra是一个高性能的Bloom过滤器。它基本上是将Cassandra的Bloom过滤器移植过来,并加入了一些有趣的Cython技巧。
1) 它使用内存映射I/O进行持久化。在Linux上,mmap使用MAP_POPULATE标志,所以整个文件都加载到内核空间虚拟内存中。换句话说 - 快速。
2) 哈希函数使用MurmurHash3算法,因此它应该很快,并且具有优秀的键分布和雪崩特性。
3) 过滤器导出类似于集合的接口。使用 .add(..)、.contains() 或使用 “in” 操作符。
测试。OMG没有测试的人有什么问题?
过滤器支持使用fdatasync()定期强制同步到磁盘,或者您也可以在过滤器超出作用域或进程终止时让资源释放器将所有内容刷新到磁盘。
水蛇是多头的蛇。它们也是胸前带有蛇形标志的坏小子,经常试图殴打尼克·弗瑞。现在它是一个布隆过滤器。
大多数时候,我不愿意再创建另一个名为PySomeLibraryName的库。
构建、安装开发版本并测试
$ pip install -r requirements.txt $ cythonize src/_hydra.pyx $ python setup.py develop $ python setup.py test
项目详情
关闭
Hydra-2.5.tar.gz的散列
算法 | 散列摘要 | |
---|---|---|
SHA256 | 247091b9c279c77686ea995f0f07070a28870c1942959b1474ad57076074384a |
|
MD5 | 24ed6ae0dbff2c3b5bf2c657ef071382 |
|
BLAKE2b-256 | 6eac7a7596cb752fe807be2f6fa11ed561e39efa86f556214733fc7df0e985d9 |