hacker-news-to-sqlite

创建一个包含从Hacker News获取的数据的SQLite数据库。

如何安装

$ pip install hacker-news-to-sqlite

使用方法

$ hacker-news-to-sqlite user hacker-news.db your-username
Importing items:  37%|███████████                        | 845/2297 [05:09<11:02,  2.19it/s]

将您所有的Hacker News提交和评论导入名为hacker-news.db的SQLite数据库。

$ hacker-news-to-sqlite trees hacker-news.db 22640038 22643218

获取包含任何内容ID的完整评论树。

使用Datasette浏览您的数据

您可以使用Datasette来浏览您的数据。按照以下方式安装Datasette

$ pip install datasette

现在像这样运行它针对您的hacker-news.db文件

$ datasette hacker-news.db

访问https://localhost:8001/以搜索和探索您的数据。

您可以使用datasette-render-timestamps和datasette-render-html插件来改进您数据的显示。按照以下方式安装它们

$ pip install datasette-render-timestamps datasette-render-html

现在将以下配置保存到名为metadata.json的文件中

{
    "databases": {
        "hacker-news": {
            "tables": {
                "items": {
                    "plugins": {
                        "datasette-render-html": {
                            "columns": [
                                "text"
                            ]
                        },
                        "datasette-render-timestamps": {
                            "columns": [
                                "time"
                            ]
                        }
                    }
                },
                "users": {
                    "plugins": {
                        "datasette-render-timestamps": {
                            "columns": [
                                "created"
                            ]
                        }
                    }
                }
            }
        }
    }
}

像这样运行Datasette

$ datasette -m metadata.json hacker-news.db

时间戳列现在将渲染为可读日期，并且您帖子中的任何HTML都将显示为渲染的HTML。