Un enregistrement audio de parole:
contient de nombreuses informations que l’analyse acoustique « à l’oreille » avec les techniques de la linguistique ou l’analyse automatique avec un logiciel spécialisé peut révéler.
Ces informations peuvent être représentées sous forme de texte :
- Transcriptions diverses:
- brute euh après j’étais j’ai milité
- en français normé Après j’ai milité
- phonétique 2 apRE ZetE Ze milite
- Etiquetage
- Segmentation
- etc…
ou sous forme de graphique :
Oscillogramme
Spectrogramme
Courbe de hauteur (Pitch)
Courbe d’intensité
Formants
etc…
Ces informations, qui vont au-dela des mots, qui rendent compte de la « musique » de la parole, sont réservées habituellement à des spécialistes.
Notre désir a été de les rendre visibles, de les rendre audibles .
Le travail de programmation a pour but d’afficher ces informations (phonèmes, spectre, hauteur, intensité etc…) dynamiquement, pendant le déroulement de la parole, en synchronisation avec l’écoute.
Les spectateurs/acteurs sont ainsi confrontés à la projection visuelle et sonore de leur propre parole.
Les outils informatiques utilisés pour l’écriture des applications:
- Praat pour l’analyse de la voix parlée.
- Transcriber pour la transcription
- Elan pour l’analyse qualitative
- CRDO = Centre de Ressources pour la Description de l’Oral du CNRS pour la transformation en fichier xml
- Processing pour les représentations graphiques.
sont tous des logiciels libres et Open-Source.
Les réalisations logicielles seront elles-mêmes rendues accessibles et ouvertes
(Licence Creative Commons)
On a :
Fichier Audio ->
-> Transcription et Analyse (Transcriber, Elan)
-> Praat
-> Fichier .trs ou .TextGrid -> CRDO -> Fichier .xml (phonemes, français…)
-> Fichier .txt Hauteur (Tier Pitch)
-> Fichier .txt Intensitée (Tier Intensity)
-> Sketch Processing
-> Représentations visuelles -> Affichage
-> Ecoute en synchronisation avec l’affichage
-> Affichage à l’écran
-> Publication sur un site Web
On obtient:
- Le spectre, vertical, en niveau de gris, défile de gauche à droite.
- La durée du défilement est égale à la durée du fichier audio.
- Les mots qui apparaissent devant/derrière, en suivant l’avancée du spectre viennent
de la tiers 3 « Words » de Praat. - La position verticale de ces mots est liée à la courbe Intensity extraite de Praat.
- La couleur de ces mots est aussi liée à la courbe Intensity extraite de Praat.
- Un effet de « Blur » floute progressivement les gris du spectre et ces mots.
- A droite, de bas en haut défile point par point en blanc, la courbe Pitch de Praat.
- A droite, superposée a la courbe Pitch, la tiers 2 « syll » en phonétique de Praat s’écrit en bleu clair.
- La taille de ces syllabes est proportionnelle au Pitch.
- La position de ces syllabes suit la courbe Pitch.
- Au fond de l’écran apparaissent des photographies du quartier Kennedy
En changeant très peu de chose dans le sketch, on peut changer ces divers constituants de l’affichage.