海洋数据质量控制
项目描述
CoTeDe是一个开源的Python包,用于质量监控(QC)海洋数据,如温度和盐度。它旨在服务于个别科学家以及大型数据中心上的实时操作。为了实现这一点,CoTeDe具有高度的定制性,用户可以完全控制组成所需测试集,包括每个测试的具体参数,或从预设的QC流程列表中进行选择。
我相信我们可以通过更灵活的分类技术,包括机器学习,做得比我们过去做得更好。我的目标是最大限度地减少手动专家QC的负担,提高海洋数据QC流程的一致性、性能和可靠性,特别是对于实时操作。
CoTeDe是从2006年开始的几代质量控制系统的结果,最初用于TSG的实时QC,后来扩展到其他平台,包括CTD、XBT、滑翔机和其他设备。
为什么选择CoTeDe
CoTeDe包含几个QC流程,可以以不同的方式轻松组合
根据GTSPP、EGOOS、XBT、Argo或QARTOD的建议预设标准测试;
自定义测试集,包括用户定义的阈值;
两种不同的模糊逻辑方法:Timms 等人于 2011 年和 Morello 等人于 2014 年提出,以及使用中位线进行常规去模糊化;
基于异常检测的一种新方法,由 Castelao 在 2021 年描述(自 2014 年以来可用 http://arxiv.org/abs/1503.02714)。
每个测量平台都是一个不同的领域,拥有自己的流程、元数据和有意义的可视化。因此,CoTeDe 专注于提供具有这些流程的稳健框架,并让每个应用程序和用户决定如何进行质量控制。例如,pySeabird 包是另一个理解 CTD 并将 CoTeDe 作为插件进行质量控制的应用程序。
文档
详细文档可在 http://cotede.readthedocs.org 查找,而包含示例的笔记本集合可在 http://nbviewer.ipython.org/github/castelao/CoTeDe/tree/master/docs/notebooks/ 查找。
引用
如果您在您的作品/包中使用 CoTeDe 或复制其部分,请考虑包括此引用
Castelão, G. P. (2020)。海洋数据质量控制框架。开源软件杂志,5(48),2063,https://doi.org/10.21105/joss.02063
@article{Castelao2020, doi = {10.21105/joss.02063}, url = {https://doi.org/10.21105/joss.02063}, year = {2020}, publisher = {The Open Journal}, volume = {5}, number = {48}, pages = {2063}, author = {Guilherme P. Castelao}, title = {A Framework to Quality Control Oceanographic Data}, journal = {Journal of Open Source Software} }
对于在 CoTeDe 中实现的具体异常检测技术,请包括以下引用
Castelão, G. P. (2021)。海洋数据质量控制的一种机器学习方法。计算机与地球科学,https://doi.org/10.1016/j.cageo.2021.104803
@article{Castelao2021, doi = {10.1016/j.cageo.2021.104803}, url = {https://doi.org/10.1016/j.cageo.2021.104803}, year = {2021}, publisher = {Elsevier}, author = {Guilherme P. Castelao}, title = {A Machine Learning Approach to Quality Control Oceanographic Data}, journal = {Computers and Geosciences} }
如果您关注可重复性,请在本页顶部提供 Zenodo 提供的 DOI,它与特定的发布(版本)相关联。
项目详情
下载文件
下载适用于您的平台的文件。如果您不确定选择哪个,请了解有关 安装包 的更多信息。
源代码发行版
构建发行版
cotede-0.23.9.tar.gz 的散列
算法 | 散列摘要 | |
---|---|---|
SHA256 | c3f562916e2e75b4768aa39a1af1391f3ccbe0906ecb213b93c364d2e0bb7a0b |
|
MD5 | 4047c1966f6efa64c6eeaf6539819a6e |
|
BLAKE2b-256 | e8956029f5a77efd514a2a77476cefac78ce13b46251fcc51ecc72ecbbd50b1b |
cotede-0.23.9-py3-none-any.whl 的哈希值
算法 | 散列摘要 | |
---|---|---|
SHA256 | e224cafbecd31d481e1192c05a47aec9d51c472736f7a71289c8457407367a5f |
|
MD5 | fcfd021da048ab761ce72cdbaf6e01bf |
|
BLAKE2b-256 | 12a7f2b075822e6d62439ff16f6bb650a84014d12848baa1002d82e86d234f83 |