BirdVoxDetect: 飞行叫声的检测和分类

BirdVoxDetect是一个预训练的深度学习系统，它可以从音频记录中检测鸣禽的飞行叫声，并检索相应的物种。它依赖于通道能量归一化（PCEN）和上下文自适应卷积神经网络（CA-CNN）以提高对背景噪声的鲁棒性。它既作为Python库也作为Windows、OS X和GNU/Linux的命令行工具提供。

安装

安装BirdVoxDetect最简单的方法是使用pip包管理系统，如果需要，它还将安装额外的依赖项。

pip install birdvoxdetect

请注意，birdvoxdetect需要

• Python (3.6, 3.7或3.8)
• librosa (==0.7.0)
• tensorflow (>=2.2)
• scikit-learn (==0.21.2)
• birdvoxclassify (>=0.3)
• h5py
• pandas

使用方法

从命令行

分析一个文件

birdvoxdetect path/to/file.wav

分析多个文件

birdvoxdetect path/to/file1.wav path/to/file2.wav

分析一个文件夹

birdvoxdetect path/to/folder

在Windows上

birdvoxdetect path\to\folder

可选参数

--clip-duration CLIP_DURATION, -d CLIP_DURATION
                      Duration of the exported clips, expressed in seconds
                      (fps). The default value is 1.0, that is, one second.
                      We recommend values of 0.5 or above.
--export-clips, -c    Export detected events as audio clips in WAV format.
--export-confidence, -C
                      Export the time series of model confidence values of
                      events in HDF5 format.
--export-faults, -f   Export list of sensor faults in CSV format.
--export-logger, -l   Export output of Python logger in TXT format.
--output-dir OUTPUT_DIR, -o OUTPUT_DIR
                      Directory to save the output file(s); The default
                      value is the same directory as the input file(s).
--predict-proba, -p   Export output probabilities in JSON format.
--quiet, -q           Print less messages on screen.
--suffix SUFFIX, -s SUFFIX
                      String to append to the output filenames.The default
                      value is the empty string.
--threshold THRESHOLD, -t THRESHOLD
                      Detection threshold, between 10 and 90. The default
                      value is 50. Greater values lead to higher precision
                      at the expense of a lower recall.
--verbose, -v         Print timestamps of detected events.
--version, -V         Print version number.

从Python

调用语法

import birdvoxdetect as bvd    
df = bvd.process_file('path/to/file.wav')

df 是一个包含三个列的Pandas DataFrame：时间、检测置信度和物种。

以下是测试套件的一个典型输出（文件路径 tests/data/audio/fd79e55d-d3a3-4083-aba1-4f00b545c3d6.wav）

Time (hh:mm:ss),Detection confidence (%),Order,Order confidence (%),Family,Family confidence (%),Species (English name),Species (scientific name),Species (4-letter code),Species confidence (%)
0,00:00:08.78,70.15%,Passeriformes,100.00%,Turdidae,100.00%,Swainson's thrush,Catharus ustulatus,SWTH,99.28%

联系

官方网站

请访问我们的网站以获取有关BirdVox项目的更多信息： https://wp.nyu.edu/birdvox

BirdVoxDetect的主要开发者是Vincent Lostanlen，法国国家科学研究中心（CNRS）的科学家。

讨论组

有关BirdVoxDetect的任何问题或公告，请参阅我们的讨论组： https://groups.google.com/g/birdvox

参考文献

在使用BirdVoxDetect时，请引用以下论文：

生物声学传感器网络中的鲁棒声事件检测
Vincent Lostanlen, Justin Salamon, Andrew Farnsworth, Steve Kelling, 和 Juan Pablo Bello
PLoS ONE 14(10): e0214168, 2019. DOI: https://doi.org/10.1371/journal.pone.0214168

截至v0.4版本，BirdVoxDetect中的物种分类依赖于一个分类学神经网络（TaxoNet），它作为BirdVoxClassify包的一部分分发。有关TaxoNet的更多详细信息，请参阅

Chirping up the Right Tree: Incorporating Biological Taxonomies into Deep Bioacoustic Classifiers
Jason Cramer, Vincent Lostanlen, Andrew Farnsworth, Justin Salamon, 和 Juan Pablo Bello
在2020年5月于西班牙巴塞罗那举行的IEEE国际声学、语音和信号处理会议（ICASSP）。