tableau-to-sqlite

从Tableau获取数据到SQLite数据库。是TableauScraper的包装器。

安装

使用pip安装此工具

$ pip install tableau-to-sqlite

用法

如果您有一个像这样的Tableau仪表板URL

https://results.mo.gov/t/COVID19/views/VaccinationsDashboard/Vaccinations

您可以将其直接传递给工具

tableau-to-sqlite tableau.db \
  https://results.mo.gov/t/COVID19/views/VaccinationsDashboard/Vaccinations

这将创建一个名为tableau.db的SQLite数据库，包含该仪表板中每个工作表的表格。

如果仪表板托管在https://public.tableau.com/，您可以提供视图名称。这将是由一个/符号分隔的两个字符串 - 例如这样

OregonCOVID-19VaccineProviderEnrollment/COVID-19VaccineProviderEnrollment

现在运行工具如下

tableau-to-sqlite tableau.db \
    OregonCOVID-19VaccineProviderEnrollment/COVID-19VaccineProviderEnrollment

获取JSON或CSV格式的数据

如果您正在构建git爬虫，您可能希望将此工具收集到的数据转换为CSV或JSON格式，以便将其存入您的存储库。

您可以使用sqlite-utils完成此操作。使用pip安装它

pip install sqlite-utils

您可以像这样将表格作为JSON导出

sqlite-utils rows tableau.db \
   'Admin Site and County Map Site No Info' > tableau.json

或作为CSV导出

sqlite-utils rows tableau.db --csv \
   'Admin Site and County Map Site No Info' > tableau.csv

开发

要为此工具做出贡献，首先检出代码。然后创建一个新的虚拟环境

cd tableau-to-sqlite
python -mvenv venv
source venv/bin/activate

或者如果您使用的是pipenv

pipenv shell

现在安装依赖项和测试

pip install -e '.[test]'

运行测试

pytest