BAPTISTE AVERTContact
Tous les projets

IA vocale

Uni-Translate

Traduire une conférence à mesure que la personne parle.

Ma contribution

Garder le fil de la voix.

L’audio arrive en continu, se découpe en fragments puis repart dans l’ordre. Ce qui a déjà été émis ne bouge plus.

Site Uni-Translate : présentation de la traduction de conférences en direct
Site Uni-Translate : présentation de la traduction de conférences en direct
Agrandir la capture

Uni-Translate

Site Uni-Translate : présentation de la traduction de conférences en direct

Un pipeline vocal en streaming.

FastAPI reçoit l’audio par WebSocket. Transcription, traduction et synthèse tournent dans des processus séparés, avec leurs propres dépendances, réunis dans une image Docker exécutée sur GPU.

Décider quand faire parler la traduction.

Une transcription change encore pendant que la personne parle. Un scoreur estime le risque à partir de la stabilité du texte : il autorise un préfixe ou attend le segment final.

Ne jamais revenir sur ce qui est dit.

Le préfixe déjà émis est protégé : s’il est révisé, la suite attend. Les fragments sont restitués dans l’ordre avec une référence vocale validée.

Visiter le site

Ma contribution

Le besoin

Dans une conférence en direct, attendre la fin d’une longue prise de parole retarde la traduction. Démarrer la voix trop tôt risque de prononcer un texte que la reconnaissance va encore corriger. Uni-Translate est mon produit personnel pour travailler ce compromis à chaque étape du flux vocal.

De la prise de parole à la voix traduite

Deux états du texte coexistent pendant la prise de parole. La transcription et la traduction continuent de se préciser tandis que le scoreur choisit ce qui peut passer vers la voix. Après synthèse, les fragments doivent être restitués dans leur ordre de lecture.

Comment fonctionne le flux

  1. Recevoir l’audio

    FastAPI reçoit le flux de la session par WebSocket.

  2. Transcrire et traduire

    Les moteurs produisent du texte qui se précise à mesure que la personne parle.

  3. Décider de l’émission

    Le scoreur observe la stabilité de la transcription et de la traduction.

  4. Synthétiser et restituer

    La voix de référence sert à produire les fragments, envoyés dans l’ordre.

Quand lancer la synthèse ?

Le passage est stable
Le préfixe validé part vers la synthèse pendant que la personne parle.
Le texte peut encore changer
Le système attend la fin du segment avant de le faire entendre.

Réalisations

  1. Recevoir le son pendant la prise de parole

    J’ai relié la réception audio par WebSocket à une session FastAPI. La transcription, la traduction et la synthèse se transmettent leurs résultats au fil de la session, pendant que le son continue d’arriver.

  2. Isoler les moteurs de traitement

    J’ai réparti les traitements Python dans des processus séparés qui gardent leurs propres dépendances. Une image Docker les réunit pour l’exécution sur GPU, avec une orchestration commune pour le flux de la session.

  3. Décider quand lancer la synthèse

    J’ai travaillé sur un scoreur qui observe la stabilité de la transcription et de la traduction. Selon le profil, il peut autoriser la partie déjà jugée stable ou attendre la fin du segment avant de produire l’audio.

  4. Préserver la continuité de la voix

    J’ai travaillé sur l’ordre de restitution des fragments et l’utilisation d’une référence vocale validée. Si une révision touche un passage déjà prononcé, la suite attend avant de repartir.

Projet suivantCreaBoost