invenio-rdm-migrator 5.0.0

开发

pip install -e .

pip install -e ."[tests,alchemy]"

./run-tests.sh

如何运行它

要运行迁移，您需要

• 一个正在运行的InvenioRDM实例。

• 如果您的数据包含对其他记录的引用（例如，词汇表），则还需要运行设置步骤。

invenio-cli services setup --force --no-demo-data

• 安装Invenio-RDM-Migrator，其他依赖关系必须由实例的Pipfile处理。

$ pip install invenio-rdm-migrator

• 在您的实例上创建/编辑配置文件，例如streams.yaml

data_dir: /path/to/data
tmp_dir: /path/to/tmp
state_dir: /path/to/state
log_dir: /path/to/logs
db_uri: postgresql+psycopg2://inveniordm:inveniordm@localhost:5432/inveniordm
old_secret_key: CHANGE_ME
new_secret_key: CHANGE_ME
records:
    extract:
        filename: /path/to/records.json

• 您需要创建一个小的Python脚本，将ETL的不同块组合在一起。您可以在以下位置找到示例：my-site/site/my_site/migrator/__main__.py。

from invenio_rdm_migrator.streams import StreamDefinition
from invenio_rdm_migrator.streams.records.load import RDMRecordCopyLoad

if __name__ == "__main__":
    RecordStreamDefinition = StreamDefinition(
        name="records",
        extract_cls=JSONLExtract,
        transform_cls=ZenodoToRDMRecordTransform,
        load_cls=RDMRecordCopyLoad,
    )

    runner = Runner(
        stream_definitions=[
            RecordStreamDefinition,
        ],
        config_filepath="path/to/your/streams.yaml",
    )

    runner.run()

• 最后，您可以执行上述代码。由于它位于Python包的__main__文件中，您可以将其作为模块运行

$ python -m my_site.migrator

• 迁移完成后，在您的实例中您可以重新索引数据。以下列出的记录为例，它看起来像

$ invenio-cli pyshell

In [1]: from invenio_access.permissions import system_identity
In [2]: from invenio_rdm_records.proxies import current_rdm_records_service
In [3]: current_rdm_records_service.rebuild_index(identity=system_identity)

ETL（提取/转换/加载）架构

本模块 extract 包含四个包：transform、load 和 streams。前三个对应 ETL 流程的三个步骤。streams 包包含运行流程的逻辑和不同的 ETL 类的实现（例如 records）。

class XMLExtract(Extract):
...

    def run(self):
        with open("file.xml") as file:
            for entry in file:
                yield xml.loads(entry)

{
    "record": self._record(entry),
    "draft": self._draft(entry),
    "parent": self._parent(entry),
}

$ /path/to/data/tables1668697280.943311
    |
    | - pidstore_pid.csv
    | - rdm_parents_metadata.csv
    | - rdm_records_metadata.csv
    | - rdm_versions_state.csv

{
    "tx_id": the actual transaction id, useful for debug and error handling
    "action": this information refers to the semantic meaning of the group
                   for example: record metadata update or file upload
    "operations": [
        {
            "op": c (create), u (update), d (delete)
            "table": the name of the table in the source system (e.g. Zenodo)
            "data": the transformed data, this can use any `Transform` implementation
        }
    ]
}

状态

在迁移运行期间，需要在不同的流或同一流上的不同生成器之间共享信息。例如，记录流需要访问在社区流中填充的UUID到slug映射；或者草稿生成器需要知道在记录生成器上已创建哪些父记录，以保持版本状态一致。

所有这些信息都持久化到SQLite数据库中。这个状态数据库在每次流处理期间保持在内存中，如果在没有错误的情况下流完成，它将持久化到磁盘。状态将使用流名称（例如，records.db）保存，以避免覆盖以前的州。因此，迁移可以从任何流重新启动。

有两种方法可以向状态添加更多信息

• 完整的实体，例如记录或用户，需要自己的数据库表。必须在state.py:State._initialize_db中定义它们。此外，为了抽象对表的访问，需要一个状态实体。它需要在Runner.py:Runner构造函数中初始化并将其添加到state_entities字典中。

• 独立值，例如生成的主键的最大值。这些可以存储在global_state中。此状态有两个列：键和值；向其中添加信息将类似于{key: name_of_the_value, value: actual_value}。

注释

使用python生成器

使用生成器而不是列表，我们可以只遍历一次数据，并对其执行E-T-L步骤。而不是为E循环，为T循环，为L循环。此外，这还允许我们在写入时打开csv文件，并在最后关闭它们（打开/关闭是一个昂贵的操作，当重复3M次时）。

更改

版本5.0.0（发布于2024-07-12）

• 更改子模块的打包方式（破坏性更改）

• 安装：可选安装sqlalchemy版本2（解决了与当前InvenioRDM安装的依赖项冲突）

版本4.4.1

• 修复可空模型字段的默认值。

版本4.4.0

• 添加GitHub流。

• 为用户模型添加verified_at和blocked_at。

• 处理记录的父DOI。

• 将媒体文件添加到记录和草稿。

• 将 deletion_status 添加到记录模型中。

• 切换到 orjson 以进行 JSON 序列化和反序列化。

• 为转换添加多进程处理。

• 重构状态，使其也使用 Python 字典进行缓存。

版本 4.3.0

• 添加社区基本 CRUD 操作。

• 添加数据库会话固件。

版本 4.2.0

• 将 FileUploadAction 重命名为 DraftFileUploadAction。

版本 4.1.0

• 添加文件上传操作。

• 添加草稿编辑操作。

版本 4.0.0

• 通过加载和转换对操作进行命名空间。

版本 3.1.0

• 将 DatetimeMixin 添加到转换时间戳为 ISO 格式日期字符串。

• 将 JSONLoadMixin 添加到从字符串中加载字典。

版本 3.0.0

• Operation 实例已将模型和数据拆分为两个属性。

• 添加用户操作。

• PostgreSQLTx 的 resolve_references 函数现在有一个默认行为（pass）。

• 为草稿和用户相关模型添加可空配置。

• 修复了少量错误。

版本 2.0.0

• 使状态全局可用。

• 将事务重构为操作。创建事务和加载数据类。

• 移除了空的 Kafka 提取模块。

• 改进了错误处理并创建了专用类。

• 将 dict_set 移至 utils。

• 从测试矩阵中删除 Python 3.8。

版本 1.0.0

• 首次公开发布。