Чтобы следить за городским шумом, мало измерять громкость: нужно понимать, что именно шумит. В Политехническом институте ДВФУ проверили, как лучше подготовить звук, чтобы нейросеть узнавала его источник.
Для эксперимента собрали 63 минутные аудиозаписи, в сумме чуть больше часа звука. В них десять классов: вертолёт, выстрел, гудок, дождь, лай собаки, мотоцикл, плач ребёнка, поезд, речь и сирена. Распознавала их сверточно-рекуррентная нейросеть. Она выделяет характерные признаки звука и отслеживает, как они меняются во времени.
Нейросеть «слушает» не саму запись, а спектрограмму (изображение того, как частоты звука меняются со временем). Исследователи сравнили три способа её построения: на основе быстрого преобразования Фурье, мел-шкалы и шкалы Барк. Меняли и длину временного кадра (отрезка записи, который анализируется за раз): от 0,1 до 0,3 секунды.
Лучше всего сработало сочетание мел-спектрограммы и кадра 0,2 секунды. По словам авторов, оно даёт оптимальный баланс между временным и частотным разрешением. Качество оценивали по стандартным метрикам: точности, полноте и F1-мере.
«Эффективность систем распознавания шумов зависит не только от архитектуры нейронной сети, но и от способа подготовки исходных аудиоданных», — отметила профессор департамента электроники, телекоммуникации и приборостроения ДВФУ Любовь Стаценко. Работу выполнили магистрант Сергей Ушаков и аспирантка Диана Майер.
Отдельно исследователи составили шумовую карту кампуса. Замеры шумомером первого класса SVAN-959 обработали в QGIS и Google Earth Pro и нашли участки с повышенной нагрузкой днём и ночью. Самым тихим местом оказался центр лесопарковой зоны: он удалён от источников шума, а растительность поглощает звук.
«Эффективность систем распознавания шумов зависит не только от архитектуры нейронной сети, но и от способа подготовки исходных аудиоданных»
