古腾堡 0.8.2

Python 3

此软件包依赖于BSD-DB。自2.7版本以来，bsddb模块已从Python标准库中删除。这意味着如果您想在Python 3上使用gutenberg，您需要手动安装BSD-DB。

如果将BSD-DB运行在您的平台上很困难，请查看gutenbergpy，它只依赖于SQLite或MongoDB。

sudo apt-get install libdb++-dev
export BERKELEYDB_DIR=/usr
pip install .

brew install berkeley-db4
pip install .

pip install bsddb3‑6.2.1‑cp35‑cp35m‑win_amd64.whl
pip install .

YES_I_HAVE_THE_RIGHT_TO_USE_THIS_BERKELEY_DB_VERSION=1

Apache Jena Fuseki

作为BSD-DB后端的替代方案，此软件包还可以使用Apache Jena Fuseki作为元数据存储。Apache Jena Fuseki后端通过设置GUTENBERG_FUSEKI_URL环境变量到Fuseki监听的HTTP端点来激活。如果Fuseki服务器启用了HTTP基本身份验证，可以通过GUTENBERG_FUSEKI_USER和GUTENBERG_FUSEKI_PASSWORD环境变量提供用户名和密码。

对于本地开发，可以通过Docker运行Fuseki服务器

docker run \
    --detach \
    --publish 3030:3030 \
    --env ADMIN_PASSWORD=some-password \
    --volume /some/mount/location:/fuseki \
    stain/jena-fuseki:3.6.0 \
    /jena-fuseki/fuseki-server --loc=/fuseki --update /ds

export GUTENBERG_FUSEKI_URL=http://localhost:3030/ds
export GUTENBERG_FUSEKI_USER=admin
export GUTENBERG_FUSEKI_PASSWORD=some-password

下载文本

from gutenberg.acquire import load_etext
from gutenberg.cleanup import strip_headers

text = strip_headers(load_etext(2701)).strip()
print(text)  # prints 'MOBY DICK; OR THE WHALE\n\nBy Herman Melville ...'

python -m gutenberg.acquire.text 2701 moby-raw.txt
python -m gutenberg.cleanup.strip_headers moby-raw.txt moby-clean.txt

查找元数据

可以查询有关电子书的元数据。

from gutenberg.query import get_etexts
from gutenberg.query import get_metadata

print(get_metadata('title', 2701))  # prints frozenset([u'Moby Dick; Or, The Whale'])
print(get_metadata('author', 2701)) # prints frozenset([u'Melville, Hermann'])

print(get_etexts('title', 'Moby Dick; Or, The Whale'))  # prints frozenset([2701, ...])
print(get_etexts('author', 'Melville, Hermann'))        # prints frozenset([2701, ...])

您可以通过调用以下内容获取可以查询的元数据的完整列表

from gutenberg.query import list_supported_metadatas

print(list_supported_metadatas()) # prints (u'author', u'formaturi', u'language', ...)

在您使用任何gutenberg.query函数之前，您必须填充本地元数据缓存。此一次性过程将花费相当长的时间才能完成（在我的机器上需要18小时），但一旦完成，对get_etexts或get_metadata的任何后续调用都将非常快。如果您未填充缓存，调用将引发异常。

要填充缓存

from gutenberg.acquire import get_metadata_cache
cache = get_metadata_cache()
cache.populate()

如果您需要更精细地控制缓存（例如存储位置或使用的后端），您可以使用 set_metadata_cache 函数在填充之前切换缓存的后端。例如，要使用 Sqlite 缓存后端而不是默认的 Sleepycat 后端，并将缓存存储在自定义位置，请执行以下操作

from gutenberg.acquire import set_metadata_cache
from gutenberg.acquire.metadata import SqliteMetadataCache

cache = SqliteMetadataCache('/my/custom/location/cache.sqlite')
cache.populate()
set_metadata_cache(cache)