跳转到主要内容

私人、个性化的可搜索知识库,来自您自己的笔记。

项目描述

Knowt

Knowt将笔记转化为知识。您可以搜索您的笔记来寻找上周在咖啡馆看到的那个人的名字,甚至可以和过去的自己就任何话题进行对话。它不会帮您写学期论文,也不会帮您画梦幻般的图画,但它会帮助您记住重要的事情,您最喜欢的那些人写下的事情。

入门

如今,我最喜欢的人在开源社区,如Hacker Public Radio。因此,knowt附带从15+年连续广播的4,000+ HPR集数中记录的每一集的展示笔记。您对HPR成百上千的贡献者有什么问题吗?

$ pip install knowt
$ knowt what is Haycyon?

安装

Python虚拟环境

要设置项目环境,请按照以下步骤操作

  1. 克隆项目仓库或将项目文件下载到您的本地计算机。
  2. 导航到项目目录。
  3. 在项目目录中创建Python虚拟环境
pip install virtualenv
python -m virtualenv .venv
  1. 激活虚拟环境(mac/linux)
source .venv/bin/activate

安装依赖项

现在您已经有了虚拟环境,您准备好安装一些Python包并下载语言模型(spaCy和BERT)。

  1. 使用requirements.txt文件安装所需包
pip install -e .
  1. 下载小的BERT嵌入模型(您可以使用任何您喜欢的开源模型)
python -c 'from sentence_transformers import SentenceTransformer; sbert = SentenceTransformer("paraphrase-MiniLM-L6-v2")'

快速入门

您可以通过运行 search_engine.py 脚本来搜索营养和健康文档的示例语料库。

搜索您的个人文档

  1. data/corpus 中的文本文件替换为您自己的文件。
  2. 使用以下命令启动命令行搜索引擎:
python search_engine.py --refresh

--refresh 标志确保根据您的文档创建一个全新的索引。否则,它可能会忽略 data/corpus 目录并重新使用 data/cache 目录中现有的索引和语料库。

search_engine.py 脚本首先将文本文件分割成句子。然后,它将通过统计文档中的单词和字符模式创建一个“反向索引”。它还会创建语义嵌入,允许您就模糊概念提出问题,甚至不需要知道您在文档中使用的任何单词。

贡献

提交一个问题(错误或功能建议)或合并请求,有人将在一周内回复。

项目详情


下载文件

下载适合您平台的文件。如果您不确定该选择哪个,请了解更多关于 安装包 的信息。

源分布

knowt-0.1.5.tar.gz (21.1 MB 查看哈希)

上传时间

支持