私人、个性化的可搜索知识库,来自您自己的笔记。
项目描述
Knowt
Knowt将笔记转化为知识。您可以搜索您的笔记来寻找上周在咖啡馆看到的那个人的名字,甚至可以和过去的自己就任何话题进行对话。它不会帮您写学期论文,也不会帮您画梦幻般的图画,但它会帮助您记住重要的事情,您最喜欢的那些人写下的事情。
入门
如今,我最喜欢的人在开源社区,如Hacker Public Radio。因此,knowt
附带从15+年连续广播的4,000+ HPR集数中记录的每一集的展示笔记。您对HPR成百上千的贡献者有什么问题吗?
$ pip install knowt
$ knowt what is Haycyon?
安装
Python虚拟环境
要设置项目环境,请按照以下步骤操作
- 克隆项目仓库或将项目文件下载到您的本地计算机。
- 导航到项目目录。
- 在项目目录中创建Python虚拟环境
pip install virtualenv
python -m virtualenv .venv
- 激活虚拟环境(mac/linux)
source .venv/bin/activate
安装依赖项
现在您已经有了虚拟环境,您准备好安装一些Python包并下载语言模型(spaCy和BERT)。
- 使用
requirements.txt
文件安装所需包
pip install -e .
- 下载小的BERT嵌入模型(您可以使用任何您喜欢的开源模型)
python -c 'from sentence_transformers import SentenceTransformer; sbert = SentenceTransformer("paraphrase-MiniLM-L6-v2")'
快速入门
您可以通过运行 search_engine.py
脚本来搜索营养和健康文档的示例语料库。
搜索您的个人文档
- 将
data/corpus
中的文本文件替换为您自己的文件。 - 使用以下命令启动命令行搜索引擎:
python search_engine.py --refresh
--refresh
标志确保根据您的文档创建一个全新的索引。否则,它可能会忽略 data/corpus
目录并重新使用 data/cache
目录中现有的索引和语料库。
search_engine.py
脚本首先将文本文件分割成句子。然后,它将通过统计文档中的单词和字符模式创建一个“反向索引”。它还会创建语义嵌入,允许您就模糊概念提出问题,甚至不需要知道您在文档中使用的任何单词。
贡献
提交一个问题(错误或功能建议)或合并请求,有人将在一周内回复。
项目详情
关闭
knowt-0.1.5.tar.gz 的哈希
算法 | 哈希摘要 | |
---|---|---|
SHA256 | f8d27f2d8863b7a0afd328548c5db1c7ac0381c07d26ae09ef99ae052695bde6 |
|
MD5 | 1e65273f670815df3a1e0feb0b5a64e9 |
|
BLAKE2b-256 | 4bbf30017bfde3e640bd07346f92799c3aab5eccc45bd7ff5d727a313ff2f5d2 |