Deep learning for speech enhancement applied to radio communications using non-conventional sound capture devices
Deep learning pour l'amélioration de signaux vocaux dans un contexte de radio-communications avec des dispositifs de captation sonore non conventionnels
Résumé
Capturing a clean voice signal in extremely noisy environments is a challenging task. When traditional microphones fail to achieve a sufficient speech-to-noise ratio, body-conducted microphones offer an alternative by significantly attenuating external noise. However, this comes at the cost of reduced audio bandwidth. This family of non-conventional sound capture devices, which includes bone vibration pickups, skin accelerometers, and in-ear and throat microphones, captures the body's internal vibrations, making them highly noise-resilient. However, since the body acts as a low-pass filter, high-frequency components of speech cannot be transmitted to the audio sensors. Additionally, physiological noises, such as heartbeat, breathing, and swallowing are also recorded, potentially interfering with speech clarity. This creates the need for a post-processing speech enhancement algorithm.This thesis, grounded in deep learning, aims to develop such an algorithm for real-time radio communication systems, with a focus on deployment in resource-constrained environments. Given that body-conducted microphones are non-conventional and deep learning relies heavily on data, it was necessary to construct a dedicated dataset for effective training and relevant testing for the target application, while also making it available to the community. We then focus on designing a speech enhancement algorithm tailored to the unique characteristics of these sensors. Our approach leverages deep learning to process the signal directly in the relevant frequency range while remaining in the waveform domain, performing joint bandwidth extension and denoising through adversarial training. The enhancement performance is evaluated from multiple perspectives, including speech quality, intelligibility, and speaker identity preservation. Additionally, computational constraints such as latency and memory consumption are considered to ensure suitability for edge deployment. Finally, recent advances in neural audio codecs are explored as potential foundation models for the body-conducted speech enhancement task. Their architecture closely aligns with the proposed extreme bandwidth extension network and they offer highly compressed representations suitable for radio communications.
Enregistrer un signal vocal propre dans un environnement extrêmement bruyant est une problématique de recherche non résolue. Lorsque les microphones traditionnels ne parviennent pas à atteindre un rapport signal à bruit suffisant, ceux à conduction corporelle offrent une alternative en atténuant de manière significative le bruit externe. Cependant, cela se fait au prix d'une réduction de la bande passante audio. Ces dispositifs de captation sonore non conventionnels, qui comprennent des capteurs à vibrations osseuses, des accéléromètres cutanés, des microphones intra-auriculaires et des laryngophones, enregistrent les vibrations internes du corps, ce qui les rend très résistants au bruit. Cependant, comme le corps agit comme un filtre passe-bas, les composantes haute fréquence de la parole ne peuvent pas être transmises aux capteurs audio. En outre, les bruits physiologiques, tels que les battements du cœur, la respiration et la déglutition, sont également enregistrés, ce qui peut nuire à la clarté de la parole. Il est donc nécessaire de disposer d'un algorithme de réhaussement de la parole en post-traitement.Cette thèse de doctorat, fondée sur l'apprentissage profond, vise à développer un tel algorithme pour les systèmes de radio-communications en temps réel, avec déploiement sur architecture matérielle légère en périphérie du réseau. Étant donné que les microphones à conduction corporelle ne sont pas courants et que l'apprentissage profond repose fortement sur les données, il a été nécessaire de construire un jeu de données dédié pour un entraînement efficace et des tests pertinents pour l'application cible, tout en le mettant à la disposition de la communauté, s'inscrivant dans la démarche de science ouverte. Nous nous concentrons ensuite sur la conception d'un algorithme de rehaussement de la parole adapté aux caractéristiques uniques de ces capteurs. Notre approche s'appuie sur un réseau de neurones profond qui traite le signal directement dans la gamme de fréquences pertinente tout en restant dans le domaine temporel, en réalisant conjointement une extension de bande passante et un débruitage par le biais d'un apprentissage adversarial. Les performances d'amélioration sont évaluées sous plusieurs angles, notamment la qualité de la parole, l'intelligibilité et la préservation de l'identité du locuteur. En outre, les contraintes de calcul telles que la latence et la consommation de mémoire sont prises en compte pour garantir l'adéquation avec le déploiement léger. Enfin, les avancées récentes en matière de codecs neuronaux sont étudiées en tant que modèles de fondation potentiels pour la tâche de rehaussement de la parole appliqué aux signaux vocaux captés par conduction corporelle. Leur architecture s'aligne avec celle du réseau précédemment proposé et ils offrent aussi des représentations hautement compressées adaptées aux communications radio.
| Origine | Version validée par le jury (STAR) |
|---|---|
| licence |

