Elastic Audio, Neuronale Netze, Phase Vocoder: Über Time Stretching und Pitch Shifting ist seit den ersten Anwendungen in den 80er Jahren v ...
Elastic Audio, Neuronale Netze, Phase Vocoder: Über Time Stretching und Pitch Shifting ist seit den ersten Anwendungen in den 80er Jahren viel geschrieben worden. Noch immer wollen einem die Texte aktueller Produkte glauben machen, dass es heute eine perfekte Lösung zum Verändern der Abspielgeschwindigkeit ohne Änderung der Tonhöhe gibt. Auch wenn die Prozesse in den letzten 20 Jahren bereits um Einiges besser geworden sind, perfekt sind sie bis heute nicht. Wo die Schwächen heutiger Verfahren liegen und wie Sie für Ihr Material das Beste aus Steinbergs populären WaveLab 6 herausholen können, zeigt Ihnen in diesem Artikel der Entwickler der DIRAC Time Stretching-Technologie Stephan Bernsee.
Es war einst der Alptraum eines jeden Studiobesitzers: der Drum Loop mit der groovigen Gitarre hatte einfach nicht das richtige Tempo, die Gesangslinie war bis auf den einen Ton "fast" gut, das Jingle für den Radiosender genau 2 Sekunden zu lang. In den 80er Jahren bedeutete dies eine ganze Menge grauer bzw. verlorener Haare, proportional zu den um die Ohren geschlagenen Nächten im Studio und zu der Anzahl der getrunkenen verflüssigten Java-Bohnen. Diese Zeiten sind zum Glück vorbei: heute hat man im Gegenteil das Problem, sich durch den Dschungel einer bisweilen recht unübersichtlichen Zahl an Applikationen und Kunstwörtern kämpfen zu müssen. Elastique, PHYSICS, DIRAC, MPEX - was soll das eigentlich alles und was hat man als Benutzer davon?
Wie alles begann
Zu der Zeit als sich Fachzeitschriften noch darüber freuten dass man jetzt Wellenformen mit der Maus zeichnen konnte, der PC noch als erweiterte Schreibmaschine der Sekretärin vorbehalten war und in der ernsthaftes Sound Design noch als das Privileg der stolzen (und zahlungskräftigen) Besitzer eines Fairlight-Systems galt, war alles eigentlich noch ganz übersichtlich. Wer einzelne Instrumentenspuren oder Stimme in Dauer oder Tonhöhe verändern wollte, hatte dabei noch Glück: durch geschicktes Einfügen und Weglassen von Schnipseln des Signals konnte man schon damals tatsächlich die zeitliche Dauer verändern. Aus dem englischen Wort für "Schnipsel" ("Grain") sollte sich dann auch bald der Name des verwendeten Prinzips herleiten: die Granularsynthese. Was zunächst als Durchbruch gefeiert wurde, sorgte bald für Ernüchterung: Echos, metallischer Klang und eine dramatische Veränderung des Grooves sorgten oft für unbrauchbare Ergebnisse. Doch nicht nur das - Pitch Shifting, also das Verändern der Tonhöhe ohne Veränderung des Tempos war nur innerhalb eines wenige Halbtöne umfassenden Bereichs erträglich, wollte man als Sänger nicht unversehens als Disney-Ente oder Godzilla Karriere machen. Noch schlimmer ging es zu, wenn man gar einen gesamten Mix verlangsamen oder transponieren wollte. Echos, schwammige Höhen, Verhallung oder Modulationen im Bassbereich machten die damals verwendeten Methoden für solche Zwecke völlig unbrauchbar.
Ende der 90er Jahre sollte sich dies dann endlich ändern. Nachdem 1994 Emagic's Logic Audio nur wenige Wochen vor dem Konkurrenzprodukt Digital Performer als weltweit erste Sequenzer-Software mit einer Formanten-Korrektur die Kunden begeistern konnte war es nun erstmals möglich, am Computer eine Tonhöhenänderung von Stimme ohne Mickey-Mouse und Godzilla-Effekt durchzuführen. Dies war ein ganz entscheidender Schritt in der computergestützen Musikproduktion, der uns bis heute unter anderem eine erhebliche Menge Remakes von Titeln der 80er Jahre beschert hat, von denen man sich bereits vor langer Zeit verabschiedet zu haben glaubte.
Ende der 90er Jahre war dann die Rechenleistung der Computer an einem Punkt angelangt an welchem man über Echtzeit-Bearbeitungen ernsthaft nachdenken konnte. Es begann die Ära der VST-PlugIns und damit auch eine neue Plattform für Time Stretching und Pitch Shifting-Produkte. In jeder Hinsicht unvergessen ist in diesem Zusammenhang der unüberhörbare und oft kopierte "Cher-Effekt". Diese Art des elektronischen Jodlers ging auf den kreativen Missbrauch des von Antares Systems entwickelten AutoTune PlugIns und dessen Möglichkeit der Tonhöhenkorrektur unsauberer Gesangspassagen zurück. Allen technokratischen Auswüchsen zum Trotz entstand zu dieser Zeit aber auch die erste Software die komplette Titel in Dauer und Tonhöhe verändern konnte ohne dass man gravierende klangliche Abstriche hinnehmen musste. Zunächst im Vertrieb von Steinberg avancierte die Prosoniq TimeFactory bald zu einem unersetzbaren Werkzeug in jedem Studio. Und wie immer wenn der Anfang gemacht ist, sollten alsbald viele weitere Applikationen anderer Hersteller folgen. Heute findet man Time Stretching und Pitch Shifting in fast jedem Programm zur Bearbeitung von Audio, meist sogar in überraschend guter Qualität.
Funktionsweise
Grundsätzlich kann man heute zwei populäre Technologien unterscheiden: Methoden die auf einer der Granularsynthese entlehnten Funktionsweise beruhen und Methoden auf Basis eines so genannten Phasen-Vocoders.
Die Granularsynthese
Das Prinzip der Granularsynthese ist einfach. Auch wenn sie im Zusammenhang mit Time Stretching und Pitch Shifting unter verschiedenen Namen gehandelt wird, bleibt die Funktionsweise stets dieselbe: Im Takt der Grundtonhöhe des Audiosignals werden Schnipsel des Klanges sozusagen "operativ" kopiert und eingefügt, oder aber entfernt. Dadurch erreicht man eine Verlängerung oder Verkürzung des Klanges ohne seine Tonhöhe zu beeinflussen. Es wird aber sofort klar, dass das Prinzip in dieser Form nicht sehr gut für polyphone Klangquellen funktionieren kann. Hier gibt es bedingt durch die Mehrstimmigkeit nicht nur eine einzelne Grundtonhöhe und des¬halb ist das Einfügen oder Auslassen von Klang-Schnipseln auch nicht ohne hörbare Konsequenz.
Man erreicht heute eine bessere Qualität in einem etwas größeren Bereich durch ein Auftrennen des Signals in mehrere Frequenzbänder, wie z.B. das Elastique Time Stretching-Verfahren der Berliner Firma Z-Plane eindrucksvoll zeigt. Durch diese Auftrennung erreicht man einen effektiven Bereich von 85% - 120% Time Stretch, entsprechend einem Pitch Shifting von +/- 3 Halbtönen. Bei diesem verbesserten Verfahren ergeben sich allerdings Probleme an den Übergängen der Frequenzbänder und Schwierigkeiten bei der zeitlichen Synchronisation. Die Ergebnisse klingen deshalb gerne etwas "holzig" und beim Verlangsamen von Sprache trennt sich das Signal nicht selten in hörbar unterschiedliche Frequenzbereiche auf. Aus diesem Grund verfügen solche Verfahren meistens zusätzlich noch über einen für Stimme optimierten "Voice Modus", der alternativ ausgewählt werden kann.
Trotz all dieser Probleme ist die Granularsynthese heute nach wie vor als Werkzeug für die Veränderung von Tonhöhe und Länge bei Einzelinstrumenten sehr gefragt. Zu den kommerziell erhältlichen Anwendungen gehören neben dem beliebten Celemony Melodyne auch das TC Helicon, Steinberg VoiceMachine, RBC VoiceTweaker, Antares AutoTune, Wavemechanics Pitch Doctor und viele mehr.
Der Phasen-Vocoder
Das zweite populäre Verfahren beruht auf der Verbesserung des Phasen-Vocoders, ein Ansatz der in den Jahren nach dem zweiten Weltkrieg in den USA durch James Flanagan und Roger Golden eigentlich für die Übertragung und Verschlüsselung von transatlantischen Telefongesprächen entwickelt wurde. In der Geburtsstunde der Digitalen Signalverarbeitung war der Phasen Vocoder ein sehr wichtiges Instrument zur Erforschung der menschlichen Sprache. Erst in den 90er Jahren wurde er dann aber entscheidend verbessert und konnte als Verfahren zum Time Stretching von Audio Verwendung finden.
Beim Phasen-Vocoder wird das Signal zunächst in einzelne Teiltöne, einfache Sinus-Funktionen unterschiedlicher Tonhöhe und Lautstärke, zerlegt. Dieser Ansatz leuchtet durchaus ein: ähnlich wie ein Prisma weißes Licht in einzelne Farben zerlegt kann man gemäß dem Theorem des französischen Mathematikers Jean-Baptiste Joseph Fourier auch einen Klang durch eine Summe einzelner Teiltöne darstellen. Verlangsamt man den zeitlichen Ablauf dieser Teiltöne so wird auch die Geschwindigkeit des Signals reduziert, in etwa so als würde man ein Orchester anweisen langsamer zu spielen.
Leider handelt es sich bei den Teiltönen aber nicht um ein Orchester sondern um rein mathematisch erzeugte Sinustöne und der größte Nachteil dieses Verfahrens liegt auch in der statischen Natur eben dieser Teiltöne begründet. Wie man mit einem Taschenrechner sehr gut selbst ausprobieren kann, liefert die Sinus-Funktion für jeden eingegebenen Wert einen Ausgangswert zwischen den Grenzen -1.0 und +1.0. Zudem wiederholen sich die Werte nach einem Wellendurchgang - der Periode - was bedeutet dass die Sinus-Funktion nach dieser Periode stets gleich aussieht. Man spricht deshalb von einer periodischen Funktion. Durch diese Gleichförmigkeit eignen sich Sinustöne zwar einerseits sehr gut für die Darstellung periodischer Klänge, wie beispielsweise ausklingende Instrumente und gehaltene Töne. Nicht jedes Signal lässt sich aber nach der Bearbeitung problemlos wieder originalgetreu als Summe von Sinustönen zusammensetzen. Klangelemente von kurzer zeitlicher Dauer - beispielsweise Klicks, Drums und Percussion - sind mit dieser Technik nur schwer zu bearbeiten, da sie einen impulshaften Charakter besitzen und nicht periodisch sind. Sie sind durch periodische Funktionen nicht effizient darstellbar und benötigen die exakte Synchronisation vieler benachbarter Teiltöne damit sich die Sinusfunktionen an der richtigen Stelle zu einem präzisen zeitlich begrenzten Wellenberg verstärken.
Anders als bei der Granularsynthese sind die unerwünschten Nebeneffekte, die so genannten Artefakte, hier deshalb als Verhallung und Auslöschungen zu hören - das bearbeitete Signal klingt indirekt, diffus und verwaschen. Attacks werden "weich", Sprache klingt weiter entfernt, indirekt. Obgleich der nutzbare Bereich mit 50%-200% entsprechend +/- einer Oktave Pitch Shifting relativ groß ist, sind die Artefakte unabhängig von der Bearbeitung vorhanden und können bereits bei sehr geringen Veränderungen der Dauer oder Tonhöhe hörbar zutage treten.
Populäre Produkte die Varianten dieses Verfahrens verwenden sind Serato's Pitch'n Time, das Apple TimePitch AudioUnit in MacOS X Tiger, Celemony Melodyne 3 (polyphoner Modus), RoniMusic Amazing Slowdowner und weitere mehr.
DIRAC und WaveLab 6
DIRAC ist eine neue Art des Time Stretchings und verwendet eine Zeit-Frequenz-Transformation zum Erzielen von Time Stretching und Pitch Shifting. Damit liegt es von den Eigenschaften genau zwischen den beiden genannten Verfahren - je nach Einstellungen eignet es sich also für periodisches oder auch für perkussives Material. Wie bei allen Verfahren gehört aber auch hier eine genaue Kenntnis der Technologie dazu, um ein optimales Ergebnis zu erzielen - im Folgenden beschreiben wir die Vorgehensweise für einige typische Studio-Situationen.
Zugriff auf DIRAC erhalten Sie in WaveLab 6 nach dem Öffnen einer Audio-Datei durch die Menü-Punkte "Zeitkorrektur" oder "Tonhöhenkorrektur" im Menü "Ausführen". Stellen Sie sicher dass die Option "DIRAC-Prozessor verwenden" eingeschaltet ist.
WaveLab 6 stellt im Wesentlichen zwei Parameter für DIRAC zur Verfügung: die Qualität und eine Vorauswahl um welches Material es sich bei der Bearbeitung handelt. Die Einstellung für Qualität ist einfach nachzuvollziehen - "besser" bedeutet längere Rechenzeiten, "schneller" bedingt Abstriche bei der Qualität der Resultate.
Nicht ganz so einfach ist dagegen die Auswahl im Klappmenü (s. Abb.) die eine Auswahl zwischen Zeit- und Frequenzpositionierung erlaubt. Was bedeutet das? DIRAC besitzt die Möglichkeit, das zu bearbeitende Signal im Zeitbereich (ähnlich der Granularsyn¬these) oder im Frequenzbereich (analog dem Modell des Phasen-Vocoders) besser aufzulösen.
Hier nun einige Tipps: Formanten beibehalten
Im Falle einer Tonhöhenkorrektur finden Sie im Fenster zusätzlich zu den Optionen noch die Checkbox "Formanten beibehalten". Diese Option verhindert, dass sich beim Verändern der Tonhöhe ebenfalls die Formanten verschieben. Formanten sind für die Klangfarbe wichtige Resonanzen im Klangkörper, die z.B. für den vertrauten Klang einer bekannten Stimme verantwortlich sind. Singt ein Sänger einen Ton auf einer anderen Tonhöhe so ändert sich dadurch zwar die Tonhöhe, jedoch nicht die Größe seines Resonanzkörpers - die Stimme klingt trotz der Tonhöhen-Änderung noch immer nach demselben Sänger. Technisch bedeutet dies, dass sich die Formanten nicht ändern. Umgekehrt kann man durch das Inhalieren von Helium, in welchem die Schallgeschwindigkeit fast dreimal höhere als in Luft ist, die Formanten ändern ohne wesentlichen Einfluss auf die eigentliche Tonhöhe zu nehmen - ein bisweilen recht unterhaltsames Experiment.
Bei reinem Pitch Shifting (wie auch bei einfacher Transposition durch schnelleres oder langsameres Abspielen) werden die Formanten aber immer mit verschoben, was zu dem normalerweise unerwünschten "Mickey Mouse Effekt" führt. Handelt es sich bei der zu bearbeitenden Aufnahme also um Sprache oder Gesang empfiehlt es sich also, die Option "Formanten beibehalten" einzuschalten um diesem Effekt entgegenzuwirken.
Handelt es sich bei der Aufnahme da¬gegen um Instrumente, die ihre Reso¬nanzen zusammen mit der Tonhöhe ändern (dies ist z.B. bei vielen Blasinst¬rumenten der Fall, bei welchen sich die Länge der Luftsäule mit der Tonhöhe ändert) so empfiehlt es sich, die Option auszuschalten, da ansonsten unnatür¬lich klingende Wechselwirkungen zwi¬schen dem statischen Resonanzkörper und der veränderten Tonhöhe auftreten können.
Gesangsaufnahmen und Sprache
Solange es sich um einzelne Stimmen oder monophone Instrumentenspuren handelt (also nur ein Instrument oder eine Stimme gleichzeitig) ist eine Auswahl der Einstellung "Zeitpositionierung ++ (Instrumente, Stimmen)" sinnvoll. Hierbei verwendet DIRAC die größtmögliche Lokalisierung im Zeitbereich und erlaubt ein Time Stretching und Pitch Shifting dieser Klangquellen mit minimalen Verlusten.
Duett, mehrere Stimmen, Stimme mit Hintergrundgeräuschen
Sollte man es mit Material zu tun haben in welchem Sprache oder Gesang unter ungünstigen Bedingungen aufgenommen wurde oder mehrere Sprecher oder Sänger gleichzeitig sprechen oder singen empfiehlt sich die Einstellung in Richtung einer Lokalisierung im Frequenzbereich zu verschieben. Hier bietet es sich also an, die Einstellung "Zeitpositionierung +" zu verwenden, da DIRAC dann zusätzlich zu der zeitlichen Lokalisierung noch Hintergrundgeräusche und eine Berücksichtigung mehrerer Grundtonhöhen erlaubt.
Unterhaltungsmusik, komplette Musiktitel, Drum Loops
Die Einstellung "Durchschnittliche Zeit-/Frequenzpositionierung" empfiehlt sich prinzipiell immer für komplette Mischungen, insbesondere wenn es sich um perkussive oder Beat-orientierte Musik handelt. Diese Einstellung ist aus diesem Grund auch die Voreinstellung für DIRAC - sie ist für ziemlich jedes Material gut zu gebrauchen.
Klassik, Streichorchester
Falls Sie es mit extrem kritischen Material zu tun haben sollten Sie unbedingt einmal die Einstellungen "Frequenzpositionierung +" und "Frequenzpositionierung ++ (Komplexe Abmischungen)" ausprobieren. Entgegen der Benennung dieser Option in WaveLab 6 ist diese Einstellung am Besten für alle Aufnahmen geeignet, die sehr empfindlich auf klangliche Verfälschungen reagieren. Dazu zählen insbesondere Orgel-Konzerte, Chor-Werke, Musik mit orchestralen Anteilen, vor allem Streicher und Klavierkonzerte. Für all diese Materialien eignet sich diese Einstellung sehr gut, da sie eine sehr präzise Lokalisierung im Frequenzbereich aufweist. Probieren Sie für andere Titel zunächst die durchschnittliche Einstellung aus.
Auto/Vorschau
Hiermit fährt man am Besten, wenn man lediglich eine Einstellung zum Herumprobieren sucht. Auch wenn die Bezeichnung "Vorschau" zunächst die Vermutung nahe legt, dass diese Einstellung nicht für die Produktion verwendet werden sollte kann man hiermit ausgezeichnete Resultate erzielen. Die negativen Seiteneffekte spielen sich bei dieser Einstellung hauptsächlich im Tiefbass-Bereich ab, dieser sollte daher genau kontrolliert werden.
Fazit
In Bezug auf WaveLab 6 kann man sagen dass die Einbindung der Funktionen zum Time Stretching und Pitch Shifting zwar sehr umfangreich ist, in der vorliegenden Version jedoch nicht alle Optionen des zugrunde liegenden DIRAC Algorithmus angeboten werden. Dadurch lassen sich leider nicht alle Qualitätsstufen die DIRAC bietet voll ausschöpfen. Ein weiterer Nachteil dürfte sein dass WaveLab ein reines Windows-Programm und für MacOS X nicht erhältlich ist.
In der Praxis wird man also um eine zusätzliche Time Stretching/Pitch Shifting Applikation kaum herumkommen, wenn man alle Qualitätsmerkmale von DIRAC nutzen oder auf dem Mac arbeiten möchte. Es ist also zu erwägen, ob möglicherweise die Anschaffung einer spezialisierten Software wie der Prosoniq TimeFactory sinnvoll ist. Diese gibt es als Windows und MacOS Applikation und sie ermöglicht neben erweiterten Qualitäts-Einstellungen auch das Erstellen von dynamischen Verläufen (Accelerando und Ritardando), die zur Bearbeitung von rhythmischen Phrasen und für klassische Musik interessant sein können.
Mit Blick auf die Zukunft der Time Stretching und Pitch Shifting Verfahren dürfte es sehr spannend werden, die nächsten Generationen der Applikationen in diesem Bereich zu verfolgen. Auch wenn die Qualität bereits heute für die gängigen Anwendungen gute Ergebnisse erlaubt ist die Skala nach wie vor nach oben offen. Anders als bei anderen Anwendungen, die teilweise in ihrer Qualitätsbeurteilung dem persönlichen Geschmack unterliegen, ist die Qualität von Time Stretching und Pitch Shifting leicht objektiv zu beurteilen. Gerade diese Eigenschaft und die enorme Bedeutung von Time Stretching und Pitch Shifting bei der Musikproduktion dürfte in den nächsten Jahren ein Garant für noch weitreichendere Verbesserungen sein.
Stephan Bernsee
Der Autor:
Beispiel BildStephan Bernsee ist freiberuflicher Software-Entwickler und Autor zahlreicher Applikationen im Marktsegment Musikelektronik. In den 90er Jahren gründete er die Softwareschmiede Prosoniq in Karlsruhe. Neben Produkten wie der Mastering-Software sonicWORX, dem Prosoniq OrangeVocoder und dem Synthese-Verfahren im Hartmann Neuron Synthesizer zeichnet er sich für die Time Stretching-Algorithmen in Cakewalk, Pyramix, VirtualDJ, Steinberg Nuendo, TimeFactory, WaveLab 6 und vielen weiteren verantwortlich. Seine Web Seite www.dspdimension.com ist eine weltweit führende Informationsquelle zum Thema Time Stretching und Pitch Shifting und Grundlage vieler Vorlesungen an Universitäten der ganzen Welt.
Es war einst der Alptraum eines jeden Studiobesitzers: der Drum Loop mit der groovigen Gitarre hatte einfach nicht das richtige Tempo, die Gesangslinie war bis auf den einen Ton "fast" gut, das Jingle für den Radiosender genau 2 Sekunden zu lang. In den 80er Jahren bedeutete dies eine ganze Menge grauer bzw. verlorener Haare, proportional zu den um die Ohren geschlagenen Nächten im Studio und zu der Anzahl der getrunkenen verflüssigten Java-Bohnen. Diese Zeiten sind zum Glück vorbei: heute hat man im Gegenteil das Problem, sich durch den Dschungel einer bisweilen recht unübersichtlichen Zahl an Applikationen und Kunstwörtern kämpfen zu müssen. Elastique, PHYSICS, DIRAC, MPEX - was soll das eigentlich alles und was hat man als Benutzer davon?
Wie alles begann
Zu der Zeit als sich Fachzeitschriften noch darüber freuten dass man jetzt Wellenformen mit der Maus zeichnen konnte, der PC noch als erweiterte Schreibmaschine der Sekretärin vorbehalten war und in der ernsthaftes Sound Design noch als das Privileg der stolzen (und zahlungskräftigen) Besitzer eines Fairlight-Systems galt, war alles eigentlich noch ganz übersichtlich. Wer einzelne Instrumentenspuren oder Stimme in Dauer oder Tonhöhe verändern wollte, hatte dabei noch Glück: durch geschicktes Einfügen und Weglassen von Schnipseln des Signals konnte man schon damals tatsächlich die zeitliche Dauer verändern. Aus dem englischen Wort für "Schnipsel" ("Grain") sollte sich dann auch bald der Name des verwendeten Prinzips herleiten: die Granularsynthese. Was zunächst als Durchbruch gefeiert wurde, sorgte bald für Ernüchterung: Echos, metallischer Klang und eine dramatische Veränderung des Grooves sorgten oft für unbrauchbare Ergebnisse. Doch nicht nur das - Pitch Shifting, also das Verändern der Tonhöhe ohne Veränderung des Tempos war nur innerhalb eines wenige Halbtöne umfassenden Bereichs erträglich, wollte man als Sänger nicht unversehens als Disney-Ente oder Godzilla Karriere machen. Noch schlimmer ging es zu, wenn man gar einen gesamten Mix verlangsamen oder transponieren wollte. Echos, schwammige Höhen, Verhallung oder Modulationen im Bassbereich machten die damals verwendeten Methoden für solche Zwecke völlig unbrauchbar.
Ende der 90er Jahre sollte sich dies dann endlich ändern. Nachdem 1994 Emagic's Logic Audio nur wenige Wochen vor dem Konkurrenzprodukt Digital Performer als weltweit erste Sequenzer-Software mit einer Formanten-Korrektur die Kunden begeistern konnte war es nun erstmals möglich, am Computer eine Tonhöhenänderung von Stimme ohne Mickey-Mouse und Godzilla-Effekt durchzuführen. Dies war ein ganz entscheidender Schritt in der computergestützen Musikproduktion, der uns bis heute unter anderem eine erhebliche Menge Remakes von Titeln der 80er Jahre beschert hat, von denen man sich bereits vor langer Zeit verabschiedet zu haben glaubte.
Ende der 90er Jahre war dann die Rechenleistung der Computer an einem Punkt angelangt an welchem man über Echtzeit-Bearbeitungen ernsthaft nachdenken konnte. Es begann die Ära der VST-PlugIns und damit auch eine neue Plattform für Time Stretching und Pitch Shifting-Produkte. In jeder Hinsicht unvergessen ist in diesem Zusammenhang der unüberhörbare und oft kopierte "Cher-Effekt". Diese Art des elektronischen Jodlers ging auf den kreativen Missbrauch des von Antares Systems entwickelten AutoTune PlugIns und dessen Möglichkeit der Tonhöhenkorrektur unsauberer Gesangspassagen zurück. Allen technokratischen Auswüchsen zum Trotz entstand zu dieser Zeit aber auch die erste Software die komplette Titel in Dauer und Tonhöhe verändern konnte ohne dass man gravierende klangliche Abstriche hinnehmen musste. Zunächst im Vertrieb von Steinberg avancierte die Prosoniq TimeFactory bald zu einem unersetzbaren Werkzeug in jedem Studio. Und wie immer wenn der Anfang gemacht ist, sollten alsbald viele weitere Applikationen anderer Hersteller folgen. Heute findet man Time Stretching und Pitch Shifting in fast jedem Programm zur Bearbeitung von Audio, meist sogar in überraschend guter Qualität.
Funktionsweise
Grundsätzlich kann man heute zwei populäre Technologien unterscheiden: Methoden die auf einer der Granularsynthese entlehnten Funktionsweise beruhen und Methoden auf Basis eines so genannten Phasen-Vocoders.
Die Granularsynthese
Das Prinzip der Granularsynthese ist einfach. Auch wenn sie im Zusammenhang mit Time Stretching und Pitch Shifting unter verschiedenen Namen gehandelt wird, bleibt die Funktionsweise stets dieselbe: Im Takt der Grundtonhöhe des Audiosignals werden Schnipsel des Klanges sozusagen "operativ" kopiert und eingefügt, oder aber entfernt. Dadurch erreicht man eine Verlängerung oder Verkürzung des Klanges ohne seine Tonhöhe zu beeinflussen. Es wird aber sofort klar, dass das Prinzip in dieser Form nicht sehr gut für polyphone Klangquellen funktionieren kann. Hier gibt es bedingt durch die Mehrstimmigkeit nicht nur eine einzelne Grundtonhöhe und des¬halb ist das Einfügen oder Auslassen von Klang-Schnipseln auch nicht ohne hörbare Konsequenz.
Man erreicht heute eine bessere Qualität in einem etwas größeren Bereich durch ein Auftrennen des Signals in mehrere Frequenzbänder, wie z.B. das Elastique Time Stretching-Verfahren der Berliner Firma Z-Plane eindrucksvoll zeigt. Durch diese Auftrennung erreicht man einen effektiven Bereich von 85% - 120% Time Stretch, entsprechend einem Pitch Shifting von +/- 3 Halbtönen. Bei diesem verbesserten Verfahren ergeben sich allerdings Probleme an den Übergängen der Frequenzbänder und Schwierigkeiten bei der zeitlichen Synchronisation. Die Ergebnisse klingen deshalb gerne etwas "holzig" und beim Verlangsamen von Sprache trennt sich das Signal nicht selten in hörbar unterschiedliche Frequenzbereiche auf. Aus diesem Grund verfügen solche Verfahren meistens zusätzlich noch über einen für Stimme optimierten "Voice Modus", der alternativ ausgewählt werden kann.
Trotz all dieser Probleme ist die Granularsynthese heute nach wie vor als Werkzeug für die Veränderung von Tonhöhe und Länge bei Einzelinstrumenten sehr gefragt. Zu den kommerziell erhältlichen Anwendungen gehören neben dem beliebten Celemony Melodyne auch das TC Helicon, Steinberg VoiceMachine, RBC VoiceTweaker, Antares AutoTune, Wavemechanics Pitch Doctor und viele mehr.
Der Phasen-Vocoder
Das zweite populäre Verfahren beruht auf der Verbesserung des Phasen-Vocoders, ein Ansatz der in den Jahren nach dem zweiten Weltkrieg in den USA durch James Flanagan und Roger Golden eigentlich für die Übertragung und Verschlüsselung von transatlantischen Telefongesprächen entwickelt wurde. In der Geburtsstunde der Digitalen Signalverarbeitung war der Phasen Vocoder ein sehr wichtiges Instrument zur Erforschung der menschlichen Sprache. Erst in den 90er Jahren wurde er dann aber entscheidend verbessert und konnte als Verfahren zum Time Stretching von Audio Verwendung finden.
Beim Phasen-Vocoder wird das Signal zunächst in einzelne Teiltöne, einfache Sinus-Funktionen unterschiedlicher Tonhöhe und Lautstärke, zerlegt. Dieser Ansatz leuchtet durchaus ein: ähnlich wie ein Prisma weißes Licht in einzelne Farben zerlegt kann man gemäß dem Theorem des französischen Mathematikers Jean-Baptiste Joseph Fourier auch einen Klang durch eine Summe einzelner Teiltöne darstellen. Verlangsamt man den zeitlichen Ablauf dieser Teiltöne so wird auch die Geschwindigkeit des Signals reduziert, in etwa so als würde man ein Orchester anweisen langsamer zu spielen.
Leider handelt es sich bei den Teiltönen aber nicht um ein Orchester sondern um rein mathematisch erzeugte Sinustöne und der größte Nachteil dieses Verfahrens liegt auch in der statischen Natur eben dieser Teiltöne begründet. Wie man mit einem Taschenrechner sehr gut selbst ausprobieren kann, liefert die Sinus-Funktion für jeden eingegebenen Wert einen Ausgangswert zwischen den Grenzen -1.0 und +1.0. Zudem wiederholen sich die Werte nach einem Wellendurchgang - der Periode - was bedeutet dass die Sinus-Funktion nach dieser Periode stets gleich aussieht. Man spricht deshalb von einer periodischen Funktion. Durch diese Gleichförmigkeit eignen sich Sinustöne zwar einerseits sehr gut für die Darstellung periodischer Klänge, wie beispielsweise ausklingende Instrumente und gehaltene Töne. Nicht jedes Signal lässt sich aber nach der Bearbeitung problemlos wieder originalgetreu als Summe von Sinustönen zusammensetzen. Klangelemente von kurzer zeitlicher Dauer - beispielsweise Klicks, Drums und Percussion - sind mit dieser Technik nur schwer zu bearbeiten, da sie einen impulshaften Charakter besitzen und nicht periodisch sind. Sie sind durch periodische Funktionen nicht effizient darstellbar und benötigen die exakte Synchronisation vieler benachbarter Teiltöne damit sich die Sinusfunktionen an der richtigen Stelle zu einem präzisen zeitlich begrenzten Wellenberg verstärken.
Anders als bei der Granularsynthese sind die unerwünschten Nebeneffekte, die so genannten Artefakte, hier deshalb als Verhallung und Auslöschungen zu hören - das bearbeitete Signal klingt indirekt, diffus und verwaschen. Attacks werden "weich", Sprache klingt weiter entfernt, indirekt. Obgleich der nutzbare Bereich mit 50%-200% entsprechend +/- einer Oktave Pitch Shifting relativ groß ist, sind die Artefakte unabhängig von der Bearbeitung vorhanden und können bereits bei sehr geringen Veränderungen der Dauer oder Tonhöhe hörbar zutage treten.
Populäre Produkte die Varianten dieses Verfahrens verwenden sind Serato's Pitch'n Time, das Apple TimePitch AudioUnit in MacOS X Tiger, Celemony Melodyne 3 (polyphoner Modus), RoniMusic Amazing Slowdowner und weitere mehr.
DIRAC und WaveLab 6
DIRAC ist eine neue Art des Time Stretchings und verwendet eine Zeit-Frequenz-Transformation zum Erzielen von Time Stretching und Pitch Shifting. Damit liegt es von den Eigenschaften genau zwischen den beiden genannten Verfahren - je nach Einstellungen eignet es sich also für periodisches oder auch für perkussives Material. Wie bei allen Verfahren gehört aber auch hier eine genaue Kenntnis der Technologie dazu, um ein optimales Ergebnis zu erzielen - im Folgenden beschreiben wir die Vorgehensweise für einige typische Studio-Situationen.
Zugriff auf DIRAC erhalten Sie in WaveLab 6 nach dem Öffnen einer Audio-Datei durch die Menü-Punkte "Zeitkorrektur" oder "Tonhöhenkorrektur" im Menü "Ausführen". Stellen Sie sicher dass die Option "DIRAC-Prozessor verwenden" eingeschaltet ist.
WaveLab 6 stellt im Wesentlichen zwei Parameter für DIRAC zur Verfügung: die Qualität und eine Vorauswahl um welches Material es sich bei der Bearbeitung handelt. Die Einstellung für Qualität ist einfach nachzuvollziehen - "besser" bedeutet längere Rechenzeiten, "schneller" bedingt Abstriche bei der Qualität der Resultate.
Nicht ganz so einfach ist dagegen die Auswahl im Klappmenü (s. Abb.) die eine Auswahl zwischen Zeit- und Frequenzpositionierung erlaubt. Was bedeutet das? DIRAC besitzt die Möglichkeit, das zu bearbeitende Signal im Zeitbereich (ähnlich der Granularsyn¬these) oder im Frequenzbereich (analog dem Modell des Phasen-Vocoders) besser aufzulösen.
Hier nun einige Tipps: Formanten beibehalten
Im Falle einer Tonhöhenkorrektur finden Sie im Fenster zusätzlich zu den Optionen noch die Checkbox "Formanten beibehalten". Diese Option verhindert, dass sich beim Verändern der Tonhöhe ebenfalls die Formanten verschieben. Formanten sind für die Klangfarbe wichtige Resonanzen im Klangkörper, die z.B. für den vertrauten Klang einer bekannten Stimme verantwortlich sind. Singt ein Sänger einen Ton auf einer anderen Tonhöhe so ändert sich dadurch zwar die Tonhöhe, jedoch nicht die Größe seines Resonanzkörpers - die Stimme klingt trotz der Tonhöhen-Änderung noch immer nach demselben Sänger. Technisch bedeutet dies, dass sich die Formanten nicht ändern. Umgekehrt kann man durch das Inhalieren von Helium, in welchem die Schallgeschwindigkeit fast dreimal höhere als in Luft ist, die Formanten ändern ohne wesentlichen Einfluss auf die eigentliche Tonhöhe zu nehmen - ein bisweilen recht unterhaltsames Experiment.
Bei reinem Pitch Shifting (wie auch bei einfacher Transposition durch schnelleres oder langsameres Abspielen) werden die Formanten aber immer mit verschoben, was zu dem normalerweise unerwünschten "Mickey Mouse Effekt" führt. Handelt es sich bei der zu bearbeitenden Aufnahme also um Sprache oder Gesang empfiehlt es sich also, die Option "Formanten beibehalten" einzuschalten um diesem Effekt entgegenzuwirken.
Handelt es sich bei der Aufnahme da¬gegen um Instrumente, die ihre Reso¬nanzen zusammen mit der Tonhöhe ändern (dies ist z.B. bei vielen Blasinst¬rumenten der Fall, bei welchen sich die Länge der Luftsäule mit der Tonhöhe ändert) so empfiehlt es sich, die Option auszuschalten, da ansonsten unnatür¬lich klingende Wechselwirkungen zwi¬schen dem statischen Resonanzkörper und der veränderten Tonhöhe auftreten können.
Gesangsaufnahmen und Sprache
Solange es sich um einzelne Stimmen oder monophone Instrumentenspuren handelt (also nur ein Instrument oder eine Stimme gleichzeitig) ist eine Auswahl der Einstellung "Zeitpositionierung ++ (Instrumente, Stimmen)" sinnvoll. Hierbei verwendet DIRAC die größtmögliche Lokalisierung im Zeitbereich und erlaubt ein Time Stretching und Pitch Shifting dieser Klangquellen mit minimalen Verlusten.
Duett, mehrere Stimmen, Stimme mit Hintergrundgeräuschen
Sollte man es mit Material zu tun haben in welchem Sprache oder Gesang unter ungünstigen Bedingungen aufgenommen wurde oder mehrere Sprecher oder Sänger gleichzeitig sprechen oder singen empfiehlt sich die Einstellung in Richtung einer Lokalisierung im Frequenzbereich zu verschieben. Hier bietet es sich also an, die Einstellung "Zeitpositionierung +" zu verwenden, da DIRAC dann zusätzlich zu der zeitlichen Lokalisierung noch Hintergrundgeräusche und eine Berücksichtigung mehrerer Grundtonhöhen erlaubt.
Unterhaltungsmusik, komplette Musiktitel, Drum Loops
Die Einstellung "Durchschnittliche Zeit-/Frequenzpositionierung" empfiehlt sich prinzipiell immer für komplette Mischungen, insbesondere wenn es sich um perkussive oder Beat-orientierte Musik handelt. Diese Einstellung ist aus diesem Grund auch die Voreinstellung für DIRAC - sie ist für ziemlich jedes Material gut zu gebrauchen.
Klassik, Streichorchester
Falls Sie es mit extrem kritischen Material zu tun haben sollten Sie unbedingt einmal die Einstellungen "Frequenzpositionierung +" und "Frequenzpositionierung ++ (Komplexe Abmischungen)" ausprobieren. Entgegen der Benennung dieser Option in WaveLab 6 ist diese Einstellung am Besten für alle Aufnahmen geeignet, die sehr empfindlich auf klangliche Verfälschungen reagieren. Dazu zählen insbesondere Orgel-Konzerte, Chor-Werke, Musik mit orchestralen Anteilen, vor allem Streicher und Klavierkonzerte. Für all diese Materialien eignet sich diese Einstellung sehr gut, da sie eine sehr präzise Lokalisierung im Frequenzbereich aufweist. Probieren Sie für andere Titel zunächst die durchschnittliche Einstellung aus.
Auto/Vorschau
Hiermit fährt man am Besten, wenn man lediglich eine Einstellung zum Herumprobieren sucht. Auch wenn die Bezeichnung "Vorschau" zunächst die Vermutung nahe legt, dass diese Einstellung nicht für die Produktion verwendet werden sollte kann man hiermit ausgezeichnete Resultate erzielen. Die negativen Seiteneffekte spielen sich bei dieser Einstellung hauptsächlich im Tiefbass-Bereich ab, dieser sollte daher genau kontrolliert werden.
Fazit
In Bezug auf WaveLab 6 kann man sagen dass die Einbindung der Funktionen zum Time Stretching und Pitch Shifting zwar sehr umfangreich ist, in der vorliegenden Version jedoch nicht alle Optionen des zugrunde liegenden DIRAC Algorithmus angeboten werden. Dadurch lassen sich leider nicht alle Qualitätsstufen die DIRAC bietet voll ausschöpfen. Ein weiterer Nachteil dürfte sein dass WaveLab ein reines Windows-Programm und für MacOS X nicht erhältlich ist.
In der Praxis wird man also um eine zusätzliche Time Stretching/Pitch Shifting Applikation kaum herumkommen, wenn man alle Qualitätsmerkmale von DIRAC nutzen oder auf dem Mac arbeiten möchte. Es ist also zu erwägen, ob möglicherweise die Anschaffung einer spezialisierten Software wie der Prosoniq TimeFactory sinnvoll ist. Diese gibt es als Windows und MacOS Applikation und sie ermöglicht neben erweiterten Qualitäts-Einstellungen auch das Erstellen von dynamischen Verläufen (Accelerando und Ritardando), die zur Bearbeitung von rhythmischen Phrasen und für klassische Musik interessant sein können.
Mit Blick auf die Zukunft der Time Stretching und Pitch Shifting Verfahren dürfte es sehr spannend werden, die nächsten Generationen der Applikationen in diesem Bereich zu verfolgen. Auch wenn die Qualität bereits heute für die gängigen Anwendungen gute Ergebnisse erlaubt ist die Skala nach wie vor nach oben offen. Anders als bei anderen Anwendungen, die teilweise in ihrer Qualitätsbeurteilung dem persönlichen Geschmack unterliegen, ist die Qualität von Time Stretching und Pitch Shifting leicht objektiv zu beurteilen. Gerade diese Eigenschaft und die enorme Bedeutung von Time Stretching und Pitch Shifting bei der Musikproduktion dürfte in den nächsten Jahren ein Garant für noch weitreichendere Verbesserungen sein.
Stephan Bernsee
Der Autor:
Beispiel BildStephan Bernsee ist freiberuflicher Software-Entwickler und Autor zahlreicher Applikationen im Marktsegment Musikelektronik. In den 90er Jahren gründete er die Softwareschmiede Prosoniq in Karlsruhe. Neben Produkten wie der Mastering-Software sonicWORX, dem Prosoniq OrangeVocoder und dem Synthese-Verfahren im Hartmann Neuron Synthesizer zeichnet er sich für die Time Stretching-Algorithmen in Cakewalk, Pyramix, VirtualDJ, Steinberg Nuendo, TimeFactory, WaveLab 6 und vielen weiteren verantwortlich. Seine Web Seite www.dspdimension.com ist eine weltweit führende Informationsquelle zum Thema Time Stretching und Pitch Shifting und Grundlage vieler Vorlesungen an Universitäten der ganzen Welt.
