L'homme rêvait de voler, c'est fait. Il voulait aussi l'audio en Midi ...dans un siècle peut être

J'ai pas mal utilisé Anthemscore en polyphonie, et en effet le résultat est variable mais il dispose d'une fonctionnalité intéressante, l'édition à partir du spectrogramme.

Tous les logiciels de conversion audio vers midi (ou partition en xml) se basent sur le spectrogramme de l'audio. Il s'agit s'agit d'une représentation temps (X) vs fréquence (Y) avec l'intensité (Z) représentée soit par densité ou par couleur. Ce spectrogramme est obtenu par utilisation d'une transformée de Fourier. Le spectrogramme est exploré soit de manière algorithmique soit par un réseau de neurones. Dans le cas d'Anthemscore ce réseau de neurone effectue de la reconnaisance de forme sur ces données à 3 dimensions.

Dans la phase d'édition, Anthemscore affiche le spectrogramme avec un "piano roll" des notes détectées (on peut jouer sur la sensbilité cad sur la probabilité minimale de détection pour afficher une note). Le piano roll est éditable (on peut ajouter supprimer ou modifier la durée des notes) avec un écoute soit de l'audio original, soit de la version "midi" ou d'un mélange des deux.

La dernière version permettrait de définir des groupes de notes et de les associer à des instruments (je n'ai pas testé mais ça paraît intéressant).

Alors, le résultat n'est pas immédiat, si la partie reconnaissance ne dure que quelques minutes, on peut passer une heure ou plus sur le spectrogramme, mais ensuite on a une partition déja lisible et beaucoup plus facilement éditable. Je privilégie la sortie en xml pour passer ensuite dans Musescore.

Toutes les partitions que j'ai déposé sur musescore.com ont été réalisée par cette méthode (sauf quelques unes trés anciennes faites quasiment à la main à la fin des années 90 avec Rosegarden).

Transformer un audio au format Mp3 en Midi.


Voilà un sujet qui tourne et tourne encore sur la toile. Un vieux fantasme qui à la peau dure.

De nombreux logiciels promettent la Lune et pour l’instant cela ne vole pas haut.

Il y a actuellement deux approches pour cette transformation.

L’audio – monophonique – et l’audio – polyphonique –

Pour le premier – Monophonique – tous les logiciels que j’ai pu tester y arrivent sans trop de problème.  
WIDI par exemple est très bon, ainsi que Anthemscore.  AudioScore y parvient, mais comme c’est une véritable usina à gaz dédiée principalement pour l’audio polyphonique, cela patauge un peu dans la semoule pour l’audio monophonique. Tous les traitements audio avec AudioScore dure des plombes et le résultat n’est pas probant.

Le principe est relativement simple la note LA (3 eme octave) à une fréquence qui lui a été déterminée en l’année 1885  : 440 hertz. C’est à partir de cette fréquence que tous les autres instruments s’accordent mutuellement.
De cette fréquence un tableau a été dressé pour les 11 autres octaves du -1 au  9 eme octave et pour les 12 notes de Do  à Do.

https://musicordes.fr/tableau-frequences-notes/

Les logiciels possèdent en leur mémoire ces fréquences et les comparent aux fréquences des notes une à une. Cela permet déjà de déterminer avec précision le nom de la note. Mais les logiciels ne s’arrêtent pas là.
Il faut d’après un fichier audio déterminer son  - Battement par Minute – BPM  et aussi sa tonalité.
La simple fréquence de la – première – note. - .donne déjà son nom  et son octave. A partir de cette comparaison il est là aussi, simple de déterminer la tonalité.
En 1815 (c’était hier) le métronome avait été inventé, et il permettait de battre de 108 à 160 battements pour une  minute.  On passait de – modérato – à – allegro – et le juste milieu de ces deux – mouvements – était 120 BPM.
Il est donc facile pour un logiciel de calculer combien de notes en une minute sont jouées et de là en déterminer le BPM.

Donc, pour la musique audio Monophonique, pour un logiciel bien conçu, c’est du gâteau.

WIDI  - ANTHEMSCORE et AUDIOSCORE pour ne donner que ceux là qui sont assez récents, tout va bien, les résultats sont magnifiques.

Mais alors ou rien ne va plus, c’est pour la polyphonie.  Sans rentrer dans les détails des fréquences tous les essais que j’ai pu faire avec des Mp3 de chansons simples – mélodie – basse – accompagnement (guitare seule)  - batterie  c’est la cacophonie sur le plan du résultat.
On ne comprend même plus la ligne de la mélodie. Les notes qui devraient être – détachées – et simple (ronde blanche croche xx xx ) se retrouvent toujours liées à d’autres formes de notes  blanche liée à une noire elle-même liée à une croche ..bref..Illisible pour jouer à vue Sans quantification.
Il en est de même pour les autres portées (accompagnement et basse)

A l’écoute, on reconnaît un peu l’air original et encore il faut vraiment y prêter une bonne oreille.
Si l’on édite le fichier Midi dans un éditeur de partition, c’est l’horreur, on à l’impression de voir une partition de musique classique tellement il y a de liaisons. C’est imbuvable.

Des essais ont également été fait en séparant les instruments d’un audio avec les applications ou sites dédiés à cet exercice. Vocalremover  Moises Ai.  Et c’est pareil, pourquoi et bien tout simplement parce que ces sites attenus les volumes des notes sans les supprimer et laisse les volumes des notes dans les pistes choisies.
Ainsi, l’oreille humaine n’entend plus que la voix de l’interprète et plus les autres notes, mais en réalité, les autres notes y sont toujours présentes, mais avec un volume plus bas.

Les logiciels eux voient toujours les notes par leur fréquence et pas par leur volume et le résultat est toujours aussi catastrophique pour de la polyphonique.

Pour s’en rendre compte, il suffit de regarder la taille des fichiers après analyse, ils sont identiques, alors que si des notes avaient été supprimées ils devraient être plus petits en taille.

Un Mp3 orchestré fait 4 000 Ko en entrée..et fait  8 000 ko  pour le fichier voix seule  et 8 000 ko pour l’orchestration seule ..cherchez l’erreur.

L’audio – polyphonique – en Midi par des logiciels, ce n’est pas encore pour demain.

Un bon fichier Midi doit pouvoir être édité en partition et lisible pour être joué à vue . Si ce n'est pas le cas, c'est bidon et de la simple transformation audio midi sans grand intérêt ou alors faut être sourd et surtout aveugle.

Lionel