基于MobileViT的多特征融合鸟鸣声识别方法

大理大学学报 ›› 2025, Vol. 10 ›› Issue (6): 38-46.

基于MobileViT的多特征融合鸟鸣声识别方法

（1.大理大学工程学院，云南大理　671003； 2.大理大学东喜玛拉雅研究院，云南大理　671003；
3.中国科学院生态环境研究中心区域与城市生态安全全国重点实验室，北京　100085）

出版日期:2025-06-15 发布日期:2025-06-24
通讯作者: 赵恩铭，教授，博士，E-mail：zhaoem163@163.com。
作者简介:罗创，硕士研究生，主要从事深度学习算法、声纹识别技术研究。
基金资助:
国家自然科学基金项目（62065001）；云南省中青年学术和技术带头人后备人才项目（202205AC160001）；云
南省教育厅科学研究基金项目（2024Y852；2024Y847）

A Multi-Feature Fusion Bird Song Recognition Method Based on MobileViT

（1. College of Engineering, Dali University, Dali, Yunnan 671003, China; 2. Institute of Eastern-Himalaya Biodiversity Research,
Dali University, Dali, Yunnan 671003, China; 3. State Key Laboratory of Regional and Urban Ecology, Research Center for
Eco-Environmental Sciences, Chinese Academy of Sciences, Beijing 100085, China）

Online:2025-06-15 Published:2025-06-24

摘要/Abstract

摘要： 目的：鸟类多样性监测是一项重大挑战，鸟类更容易被听到而不是看到。为提高鸟鸣声识别的准确性，提出了一种基
于MobileViT的多特征融合鸟鸣声识别方法。方法：以北京百鸟数据库（BirdsData）为研究对象，从预处理后的鸟鸣声信号中提
取3种不同的语谱图样本集，分别作为输入训练3个基于MobileViT的单一特征模型。最后，对3个单一特征模型进行自适应
加权特征融合。结果：多特征融合模型在语谱图测试集上的识别准确率达到97.57%，较单一特征模型提升1.77%~2.24%。
结论：从相同鸟鸣声信号中提取的不同语谱图表征鸟鸣声的特征存在差异，而多特征融合模型可以从中学习到更为广泛的信
息，从而显著提高识别准确率。

关键词: 鸟鸣声识别, MobileViT, 多特征融合

Abstract: Objective: Monitoring bird diversity is a major challenge, as birds are more easily heard rather than seen. To improve the
accuracy of bird song recognition, a multi-feature fusion bird song recognition method based on MobileViT is proposed. Methods:
Using the Beijing BirdsData database as the research object, three different spectrogram sample sets were extracted from preprocessed bird song signals and used as inputs to train three single feature models based on MobileViT. Finally, adaptive weighted feature fusion on the three single feature models was performed. Results: The recognition accuracy of the multi-feature fusion model on the spectrogram test set reached 97.57%, with an improvement of 1.77%-2.24% compared to the single feature model. Conclusion: Different spectrograms extracted from the same bird song signal exhibit differences in the characteristics of bird song, and multifeature fusion models can learn more extensive information from them, thereby significantly improving recognition accuracy.

Key words: bird song recognition, MobileViT, multi-feature fusion

中图分类号:

TP391

罗　创, 陈波波, 张吉磊, 李延鹏, 房以好, 苏旭坤, 赵恩铭. 基于MobileViT的多特征融合鸟鸣声识别方法[J]. 大理大学学报, 2025, 10(6): 38-46.

Luo Chuang, Chen Bobo, Zhang Jilei, Li Yanpeng, Fang Yihao, Su Xukun, Zhao Enming. A Multi-Feature Fusion Bird Song Recognition Method Based on MobileViT[J]. Journal of Dali University, 2025, 10(6): 38-46.

参考文献

〔1〕 HUA F Y，WANG X Y，ZHENG X L，et al. Opportunities
for Biodiversity Gains under the World's Largest Reforesta⁃
tion Programme〔J〕. Nature Communications，2016，7（1）：
12717.
〔2〕 LOVETTE I J，FITZPATRICK J W. Handbook of Bird Biol⁃
ogy〔M〕. Hoboken：Wiley-Blackwell，2016.
〔3〕孙戈，曾立雄，钱法文，等. 鸟类监测技术现状与发展趋
势〔J〕. 地理信息世界，2022，29（6）：26-29.
〔4〕张明明，梁宇祥. 简析鸟类的野外调查和监测技术〔J〕.
林业科技，2023，48（6）：41-44.
〔5〕 WOOD C M，GUTIÉRREZ R J，ZACHARIAH PEERY M.
Acoustic Monitoring Reveals a Diverse Forest Owl Commu⁃
nity，Illustrating Its Potential for Basic and Applied Ecology
〔J〕. Ecology，2019，100（9）：e02764.
〔6〕 ANDERSON S E，DAVE A S，MARGOLIASH D. Template-
Based Automatic Recognition of Birdsong Syllables from
Continuous Recordings〔J〕. The Journal of the Acoustical
Society of America，1996，100（2 Pt 1）：1209-1219.
〔7〕阙鑫华，乔倩，蒋慧，等. 基于改进DTW算法的海岛水鸟
鸣声识别应用研究〔J〕. 农村经济与科技，2021，32（11）：
320-322.
〔8〕 ACEVEDO M A，CORRADA-BRAVO C J，CORRADABRAVO
H，et al. Automated Classification of Bird and Am⁃
phibian Calls Using Machine Learning：A Comparison of
Methods〔J〕. Ecological Informatics，2009，4（4）：206-214.
〔9〕 SHIU Y，PALMER K J，ROCH M A，et al. Deep Neural
Networks for Automated Detection of Marine Mammal
Species〔J〕. Scientific Reports，2020，10（1）：607.
〔10〕谢卓钒，李鼎昭，孙海信，等. 面向鸟鸣声识别任务的深
度学习技术〔J〕. 生物多样性，2023，31（1）：137-144.
〔11〕 CARVALHO S，GOMES E F. Automatic Classification of
Bird Sounds：Using MFCC and Mel Spectrogram Features
with Deep Learning〔J〕. Vietnam Journal of Computer
Science，2023，10（1）：39-54.
〔12〕谢将剑，李文彬，张军国，等. 基于Chirplet语图特征和
深度学习的鸟类物种识别方法〔J〕. 北京林业大学学
报，2018，40（3）：122-127.
〔13〕HONG L. Acoustic Bird Species Recognition at BirdCLEF
2023：Training Strategies for Convolutional Neural Net⁃
work and Inference Acceleration Using OpenVINO〔C〕//
CLEF（ Working Notes）. 2023：2043-2050.
〔14〕 KAHL S，WOOD C M，EIBL M，et al. BirdNET：A Deep
Learning Solution for Avian Diversity Monitoring〔J〕. Eco⁃
logical Informatics，2021，61：101236.
〔15〕王基豪，周晓彦，李大鹏，等. 基于卷积神经网络和
Transformer 网络的鸟声识别〔J〕. 声学技术，2023，42
（5）：675-683.
〔16〕 MOLAU S，PITZ M，SCHLUTER R，et al. Computing
Mel-Frequency Cepstral Coefficients on the Power Spec⁃
trum〔C〕//2001 IEEE International Conference on Acous⁃
tics，Speech，and Signal Processing. Proceedings. May 7-
11，2001，Salt Lake City，UT，USA. 2001：73-76.
〔17〕 GLOTIN H，RICARD J，BALESTRIERO R. Fast Chirplet
Transform to Enhance CNN Machine Listening - Valida⁃
tion on Animal Calls and Speech〔EB/OL〕. 〔2024-03-
04〕.https：//arxiv.org/abs/1611.08749v2.
〔18〕 MEHTA S，RASTEGARI M. MobileViT：Light-Weight，
General-Purpose，and Mobile-Friendly Vision Trans⁃
forme〔r EB/OL〕.〔 2024-03-04〕. https：//arxiv.org/abs/2110.
02178v2.
〔19〕DOSOVITSKIY A，BEYER L，KOLESNIKOV A，et al. An
Image Is Worth 16x16 Words：Transformers for Image
Recognition at Scale〔EB/OL〕. 〔2024-03-04〕. https：//
arxiv.org/pdf/2010. 11929.
〔20〕马维娣，吴钦木. 基于改进轻量化网络MobileViT的苹
果树叶病害识别〔J〕. 江苏农业科学，2024，52（3）：229-
236.
〔21〕 CHENG Q Q，LI X H，ZHU B，et al. Drone Detection
Method Based on MobileViT and CA-PANet〔J〕. Elec⁃

tronics，2023，12（1）：223.

〔22〕周旷，姜名. 基于迁移学习的小样本目标识别研究进展
与展望〔J〕. 航空科学技术，2023，34（2）：1-9.
〔23〕随婷婷，王晓峰. 一种基于CLMF的深度卷积神经网络
模型〔J〕. 自动化学报，2016，42（6）：875-882.
〔24〕裴燚，刘光宇，雷远彬，等.基于RetinaFace 和FaceNet
算法的佩戴口罩人脸识别系统研究〔J〕. 大理大学学
报，2024，9（12）：51-57.
〔25〕赵恩铭，姚志强，杨松，等.基于机器视觉的自动目标
跟随系统设计与实现〔J〕.大理大学学报，2022，7（6）：
42-47.

[1]	马　欣, 王才奎, 胡安顺, 刘　璇, 方炼标, 罗桂兰 . 云南省区域气候复杂层级网络建模与仿真分析[J]. 大理大学学报, 2024, 9(12): 36-45.
[2]	丰大程, 张璐璐, 李　慧. 基于二维码和人脸识别的身份认证系统研究[J]. 大理大学学报, 2024, 9(12): 46-50.
[3]	裴　燚, 刘光宇, 雷远彬, 张吉磊, 陈波波, 赵洪一, 赵恩铭. 基于RetinaFace和FaceNet算法的佩戴口罩人脸识别系统研究[J]. 大理大学学报, 2024, 9(12): 51-57.
[4]	陈波波, 雷远彬, 张吉磊, 赵洪一, 罗　创, 赵恩铭. 基于YOLO算法的牛体姿态估计研究[J]. 大理大学学报, 2024, 9(12): 58-64.
[5]	陈斌. 基于视频图像的人体异常情绪识别算法研究[J]. 大理大学学报, 2023, 8(12): 27-31.
[6]	牛镱潼, 孟德尧, 吴荣海, 任国鹏, 杨邓奇. 基于迁移学习的垃圾图像分类模型的比较研究[J]. 大理大学学报, 2022, 7(12): 8-14.
[7]	黄刘松, 张　飞 , 张学锋, 吴慧林. 基于网闸的异构数据库安全同步系统[J]. 大理大学学报, 2022, 7(12): 25-30.
[8]	赵恩铭, 杨　松, 罗　创, 刘光宇, 朱晓亮. 基于YOLOv5s的施工人员安全防护设备佩戴检测研究[J]. 大理大学学报, 2022, 7(12): 37-42.
[9]	曾　新, 张晓玲, 李晓伟. 高平均效用co-location模式挖掘的一种有效算法 [J]. 大理大学学报, 2022, 7(6): 9-17.
[10]	史晨阳, 杨自忠, 陈响育, 张宇航, 钱正坤, 王永良, 王建明. 基于迁移学习与数据增强的蜘蛛识别平台研建 [J]. 大理大学学报, 2022, 7(6): 26-36.
[11]	曾　新, 李振鹏, 杨　健, 李晓伟. 含稀有特征的高平均效用co-location模式挖掘算法[J]. 大理大学学报, 2021, 6(12): 5-11.
[12]	赵恩铭, 杨　松, 姚志强. 基于Faster-RCNN的民族服饰识别系统的设计与实现 [J]. 大理大学学报, 2021, 6(12): 23-28.
[13]	丁李, 曾水玲. 基于概率神经网络的手写苗文识别研究[J]. , 2018, 3(12): 18-23.
[14]	罗桂兰，杨自忠，张梅，吴仕龙，张倩，安东. 洱海湿地昆虫智能识别与实时监测系统[J]. , 2018, 3(6): 6-12.
[15]	黄嘉恒，李晓伟，陈本辉，杨邓奇. 基于哈希的图像相似度算法比较研究[J]. , 2017, 2(12): 32-37.