跳转到主要内容

海洋数据质量控制

项目描述

https://joss.theoj.org/papers/10.21105/joss.02063/status.svg https://zenodo.org/badge/10284681.svg Documentation Status https://img.shields.io/travis/castelao/CoTeDe.svg https://codecov.io/gh/castelao/CoTeDe/branch/master/graph/badge.svg https://img.shields.io/pypi/v/cotede.svg https://mybinder.org/badge_logo.svg

CoTeDe是一个开源的Python包,用于质量监控(QC)海洋数据,如温度和盐度。它旨在服务于个别科学家以及大型数据中心上的实时操作。为了实现这一点,CoTeDe具有高度的定制性,用户可以完全控制组成所需测试集,包括每个测试的具体参数,或从预设的QC流程列表中进行选择。

我相信我们可以通过更灵活的分类技术,包括机器学习,做得比我们过去做得更好。我的目标是最大限度地减少手动专家QC的负担,提高海洋数据QC流程的一致性、性能和可靠性,特别是对于实时操作。

CoTeDe是从2006年开始的几代质量控制系统的结果,最初用于TSG的实时QC,后来扩展到其他平台,包括CTD、XBT、滑翔机和其他设备。

为什么选择CoTeDe

CoTeDe包含几个QC流程,可以以不同的方式轻松组合

  • 根据GTSPP、EGOOS、XBT、Argo或QARTOD的建议预设标准测试;

  • 自定义测试集,包括用户定义的阈值;

  • 两种不同的模糊逻辑方法:Timms 等人于 2011 年和 Morello 等人于 2014 年提出,以及使用中位线进行常规去模糊化;

  • 基于异常检测的一种新方法,由 Castelao 在 2021 年描述(自 2014 年以来可用 http://arxiv.org/abs/1503.02714)。

每个测量平台都是一个不同的领域,拥有自己的流程、元数据和有意义的可视化。因此,CoTeDe 专注于提供具有这些流程的稳健框架,并让每个应用程序和用户决定如何进行质量控制。例如,pySeabird 包是另一个理解 CTD 并将 CoTeDe 作为插件进行质量控制的应用程序。

文档

详细文档可在 http://cotede.readthedocs.org 查找,而包含示例的笔记本集合可在 http://nbviewer.ipython.org/github/castelao/CoTeDe/tree/master/docs/notebooks/ 查找。

引用

如果您在您的作品/包中使用 CoTeDe 或复制其部分,请考虑包括此引用

Castelão, G. P. (2020)。海洋数据质量控制框架。开源软件杂志,5(48),2063,https://doi.org/10.21105/joss.02063

@article{Castelao2020,
  doi = {10.21105/joss.02063},
  url = {https://doi.org/10.21105/joss.02063},
  year = {2020},
  publisher = {The Open Journal},
  volume = {5},
  number = {48},
  pages = {2063},
  author = {Guilherme P. Castelao},
  title = {A Framework to Quality Control Oceanographic Data},
  journal = {Journal of Open Source Software}
}

对于在 CoTeDe 中实现的具体异常检测技术,请包括以下引用

Castelão, G. P. (2021)。海洋数据质量控制的一种机器学习方法。计算机与地球科学,https://doi.org/10.1016/j.cageo.2021.104803

@article{Castelao2021,
  doi = {10.1016/j.cageo.2021.104803},
  url = {https://doi.org/10.1016/j.cageo.2021.104803},
  year = {2021},
  publisher = {Elsevier},
  author = {Guilherme P. Castelao},
  title = {A Machine Learning Approach to Quality Control Oceanographic Data},
  journal = {Computers and Geosciences}
}

如果您关注可重复性,请在本页顶部提供 Zenodo 提供的 DOI,它与特定的发布(版本)相关联。

项目详情


下载文件

下载适用于您的平台的文件。如果您不确定选择哪个,请了解有关 安装包 的更多信息。

源代码发行版

cotede-0.23.9.tar.gz (411.0 kB 查看散列)

上传时间 源代码

构建发行版

cotede-0.23.9-py3-none-any.whl (72.5 kB 查看散列)

上传时间 Python 3

支持者