KI-Training

[Sascha Franck]

suno basiert auf bark.
kann man sich auf dem eigenen rechner installieren
(am besten bark infinity)

GitHub - suno-ai/bark: 🔊 Text-Prompted Generative Audio Model

🔊 Text-Prompted Generative Audio Model. Contribute to suno-ai/bark development by creating an account on GitHub.

github.com

bark interface gibt es hier:

GitHub - JonathanFly/bark: 🚀 BARK INFINITY GUI CMD 🎶 Powered Up Bark Text-prompted Generative Audio Model

🚀 BARK INFINITY GUI CMD 🎶 Powered Up Bark Text-prompted Generative Audio Model - JonathanFly/bark

github.com

Gibt's da eine Schritt-für-Schritt Anleitung?

 

[Schludi]

BARK ist scheinbar die einzige Komponente die von SUNO (angeblich) bekannt ist. Ich zweifle daran ob sie wirklich zum Einsatz kommt, da der Spannungsbogen in der Musik nicht so wirklich übertragbar ist. Aber probiert es mal . Ich habe nur gesehen dass sie solche Situation wie "in Rage" gut nachbilden kann. Im besten Fall ist es ein spezielles Customizing für Suno, um die Performance an den richtigen Stellen rüberzubringen.

In der Doku finde ich nur folgendes:
"Bark can generate all types of audio, and, in principle, doesn't see a difference between speech and music. Sometimes Bark chooses to generate text as music, but you can help it out by adding music notes around your lyrics."

 

[Realist]

Sie zielgerecht zum Einsatz zu bringen aber schon.

Für Dich und mich sicherlich. Für Experten die sich seit Jahren damit beschäftigen wohl weniger.
Suno und Udio werden sicherlich kleinere Projekte vorangegangen sein.
Hatte ja Schludi mit Trial And Error verdeutlicht.

 

[Schludi]

Ich hab mir gerade die Python-Lib installiert und aus BARK das folgende rausgeholt:

1.) Hello my dog is cute

2.) In the jungle the mighty jungle the lion barks tonight

 

[jet2]

BARK ist scheinbar die einzige Komponente die von SUNO (angeblich) bekannt ist. Ich zweifle daran ob sie wirklich zum Einsatz kommt, da der Spannungsbogen in der Musik nicht so wirklich übertragbar ist. Aber probiert es mal . Ich habe nur gesehen dass sie solche Situation wie "in Rage" gut nachbilden kann. Im besten Fall ist es ein spezielles Customizing für Suno, um die Performance an den richtigen Stellen rüberzubringen.

In der Doku finde ich nur folgendes:
"Bark can generate all types of audio, and, in principle, doesn't see a difference between speech and music. Sometimes Bark chooses to generate text as music, but you can help it out by adding music notes around your lyrics."

wieso zweifelst du daran, dass bark in suno verwendet wird?
das ist das text2speech core modul.
es ist außerordentlich leistungsfähig.
du kannst englisch mit sprachakzenten zb. eines inders erzeugen,
du hast aber auch österreichsches deutsch oder schweizer akzent.
und zwar so, dass du auf anhieb nicht erkennst, ob das real oder ai ist...

 

[jet2]

Gibt's da eine Schritt-für-Schritt Anleitung?

es gibt wohl sogar einen auto-installer für windows.
sowas habe ich aber nicht ausprobiert.

habe mein ai system auf linux laufen und von grund auf neu aufgesetzt.
die anleitung dazu hatte ich von github.

 

[Schludi]

wieso zweifelst du daran, dass bark in suno verwendet wird?
das ist das text2speech modul.
schon bei bark war klar, dass es außerordentlich leistungsfähig ist.
du kannst englisch mit sprachakzenten zb. eines inders erzeugen,
du hast aber auch österreichsches deutsch oder schweizer akzent.
und zwar so, dass du auf anhieb nicht erkennst, ob das real oder ai ist...

Sag mir mal, wie es die Noten in der entsprechenden Stimmung singt.

Also ich habe folgendes in das KNN eingegeben:

from transformers import AutoProcessor, BarkModel
from IPython.display import Audio
import scipy

processor = AutoProcessor.from_pretrained("suno/bark")
model = BarkModel.from_pretrained("suno/bark")

voice_preset = "v2/de_speaker_6"

text_prompt = """
    ♪ Ich trinke gerne ein kühles Pils ♪
"""

inputs = processor(text_prompt, voice_preset=voice_preset)

audio_array = model.generate(**inputs)
audio_array = audio_array.cpu().numpy().squeeze()

sample_rate = model.generation_config.sample_rate
Audio(audio_array, rate=sample_rate)
scipy.io.wavfile.write("bark_out_german.wav", rate=sample_rate, data=audio_array)

 

[jet2]

Sag mir mal, wie es die Noten in der entsprechenden Stimmung singt.

dass da nicht pur bark verwendet wird, sollte klar sein.
da kommt sicher noch einiges dazu.
erstmal muss ja auch der text rhythmisch gesplitted werden
und dann tonal integriert sein.
aber die basis ist schon die text2speech generation.
je nachdem, wie modular das ganze programmiert wurde, ist bestimmt ne menge bark code dabei.

 

[jet2]

Sag mir mal, wie es die Noten in der entsprechenden Stimmung singt.

Also ich habe folgendes in das KNN eingegeben:

from transformers import AutoProcessor, BarkModel
from IPython.display import Audio
import scipy

processor = AutoProcessor.from_pretrained("suno/bark")
model = BarkModel.from_pretrained("suno/bark")

voice_preset = "v2/de_speaker_6"

text_prompt = """
    ♪ Ich trinke gerne ein kühles Pils ♪
"""

inputs = processor(text_prompt, voice_preset=voice_preset)

audio_array = model.generate(**inputs)
audio_array = audio_array.cpu().numpy().squeeze()

sample_rate = model.generation_config.sample_rate
Audio(audio_array, rate=sample_rate)
scipy.io.wavfile.write("bark_out_german.wav", rate=sample_rate, data=audio_array)

und was ist bei rausgekommen?

 

[jet2]

würde mal vermuten:

text2speech modul,
arrangement und akkord modul,
modul für rhythmische und tonale syncronisation von gesang und beat,
mixing modul,
mastering modul

 

[Schludi]

Der Parameter "voice_preset" ist scheinbar optional. Wenn man ihn weg lässt und folgendes macht:

from transformers import AutoProcessor, BarkModel
from IPython.display import Audio
import scipy
processor = AutoProcessor.from_pretrained("suno/bark")
model = BarkModel.from_pretrained("suno/bark")
text_prompt = """
    ♪ Ich trinke gerne ein kühles Pils ♪
"""
inputs = processor(text_prompt)
audio_array = model.generate(**inputs)
audio_array = audio_array.cpu().numpy().squeeze()
sample_rate = model.generation_config.sample_rate
Audio(audio_array, rate=sample_rate)
scipy.io.wavfile.write("bark_out_german2.wav", rate=sample_rate, data=audio_array)

Kommt das hier raus:

Aber woher weiß er ob männlein oder weiblein oder welche Note in welcher Stimmung gesungen werden?

 

[Turquoise]

Genauso bei Musik oder einem Gemälde.

Wenn ein Bild etwas zeigt, das aus einer rechteckigen Platte und vier schlanken Hölzern an den Ecken der Platte besteht, würden Du und ich es wahrscheinlich als "Tisch" interpretieren. Jemand von woanders, wo man keine Tische verwendet, würde es vielleicht als etwas anderes sehen - oder gar nicht wissen, was das sein soll.

Das heißt, um ein Bild deuten zu können braucht es die Vorbedingung der Erfahrung / Vorprägung.

Bei Musik ist das nicht so. Der Trauermarsch von Chopin kann auch mit aller Mühe von niemandem auf dieser Welt als fröhliche Tanzmusik aufgefasst werden. Also ist die Deutung der Musik bereits in der Musik enthalten, während sie bei einem Bild von außen hineinkommt.

Die KI vollbringt jetzt dieses Mirakel - sie erzeugt Wellenformen (bzw. ihre digitale Umwandlung), die diesen mitgelieferten Sinn enthalten. Sie liefert nicht nur Klangfarben, Obertöne, Amplituden usw. - sie liefert Sinn.

Bzw. etwas, das diesen Sinn täuschend echt nachahmt.

 

[jet2]

Der Parameter "voice_preset" ist scheinbar optional. Wenn man ihn weg lässt und folgendes macht:

from transformers import AutoProcessor, BarkModel
from IPython.display import Audio
import scipy
processor = AutoProcessor.from_pretrained("suno/bark")
model = BarkModel.from_pretrained("suno/bark")
text_prompt = """
    ♪ Ich trinke gerne ein kühles Pils ♪
"""
inputs = processor(text_prompt)
audio_array = model.generate(**inputs)
audio_array = audio_array.cpu().numpy().squeeze()
sample_rate = model.generation_config.sample_rate
Audio(audio_array, rate=sample_rate)
scipy.io.wavfile.write("bark_out_german2.wav", rate=sample_rate, data=audio_array)

Kommt das hier raus:
Anhang anzeigen 141008

Aber woher weiß er ob männlein oder weiblein oder welche Note in welcher Stimmung gesungen werden?

spannend, so genau hatte ich die anleitung gar nicht gelesen...
da hast du ja auf jeden fall schonmal ein paar suno-basics generiert.
musst nur noch die passenden code-stellen finden, die das ding so trainiert, dass das dabei rauskommt...

 

[Schludi]

Beim zweiten Generieren hat mir BARK mit "♪ Ich trinke gerne ein kühles Pils ♪" folgendes rausgehauhen:

Mir ist dabei nicht ganz klar, wie es die gesungenen Noten oder der Spannungsbogen in Bezug auf den Text beeinflusst wird. Da müssten doch irgendwelche Parameter kommen (alleine schon wegen dem Tempo des Songs).

 

[Schludi]

Beim dritten Generieren hat mir BARK das hier ausgespuckt:

 

[Schludi]

Habe den Text-Prompt erweitert:

text_prompt = """
 [music]
     ♪ Ich trinke gerne ein kühles Pils [laughter] ♪
 [/music]
 """

Dann kommt das hier raus:

 

[whitealbum]

@Schludi

Danke für Deine Beiträge. Da ist einiges an Wissen . . .

Da schließe ich mich an.
Toll und fundiert erklärt.

Das Beispiel mit den Bildern lernen, ist das Fahrzeug Militär oder zivil?, ist herrlich zutreffend.
Man kann dies auch vorher überhaupt nicht vorhersagen.

Wir hatten mal eine Aufgabe bei wissensbasierten Systemen, dass das System u.a. erkennen sollte, das man zu rotem Fleisch einen Rotwein trinkt, und zu weißem Fleisch Weißwein.

Alleine der poppelige Ansatz hat ewig gedauert, das stabil umzusetzen.
Uns wurde auch klar, dass das vor allem sehr viel mit Wahrscheinlichkeiten zu tun hat.
Auf die Bemerkung von uns, das hat doch nix mit KI zu tun, sondern mit Wahrscheinlichkeitsrechnung auf hohem Niveau, gab es nur ein mildes Lächeln des Profs.

Da muss ich mich an mein 1-stündiges Referat zu neuronalen Netzen erinnern.
Sauschwere Kost, ich wollte bei der Vorbereitung etwas vom Skript abweichen, um es lockerer zu präsentieren.
Das war schlichtweg nicht möglich, das ist reine Mathematik, nix mit Blümchen und lockeren Scherzen.
Wenn die beiden Professoren dann noch direkt vor Dir sitzen im Hörsaal und Dich kritisch beäugen, da klebt man am Skript.

 

[ollo123]

Wenn ein Bild etwas zeigt, das aus einer rechteckigen Platte und vier schlanken Hölzern an den Ecken der Platte besteht, würden Du und ich es wahrscheinlich als "Tisch" interpretieren. Jemand von woanders, wo man keine Tische verwendet, würde es vielleicht als etwas anderes sehen - oder gar nicht wissen, was das sein soll.

Das heißt, um ein Bild deuten zu können braucht es die Vorbedingung der Erfahrung / Vorprägung.

Bei Musik ist das nicht so. Der Trauermarsch von Chopin kann auch mit aller Mühe von niemandem auf dieser Welt als fröhliche Tanzmusik aufgefasst werden. Also ist die Deutung der Musik bereits in der Musik enthalten, während sie bei einem Bild von außen hineinkommt.

Die KI vollbringt jetzt dieses Mirakel - sie erzeugt Wellenformen (bzw. ihre digitale Umwandlung), die diesen mitgelieferten Sinn enthalten. Sie liefert nicht nur Klangfarben, Obertöne, Amplituden usw. - sie liefert Sinn.

Bzw. etwas, das diesen Sinn täuschend echt nachahmt.

Da wäre ich mir gar nicht so sicher. Ein Eingeborener der noch nie westliche Musik gehört hat, könnte das vielleicht überhaupt nicht einordnen, weil er zB nur Rhythmusinstrumente kennt. Oder für ein Baby was das Lied immer im Mutterleib gehört hat, ist das der Wohlfühleinschlafsong.

 

[Schludi]

Da schließe ich mich an.
Toll und fundiert erklärt.

Danke .

Das Beispiel mit den Bildern lernen, ist das Fahrzeug Militär oder zivil?, ist herrlich zutreffend.
Man kann dies auch vorher überhaupt nicht vorhersagen.

Ja das ist bei mir von damals hängengeblieben. Wir hatten im Projekt "Würfelaugen erkennen" anhand von Bildern trainiert und die Zahl ausgegeben. Dafür hatten wir etliche Bilder in allen möglichen gedrehten Positionen gefüttert und immer gesagt um welche Zahl es sich handelt. Das war mit einer proprietären MatLab-Lizenz und dem NN-Tool, heute macht man das an der Hochschule bestimmt mit Python und PyTorch weil das kostenlos verfügbar ist .

Das erste Training war ein Fehlschlag, er war vermutlich der Meinung dass eine 5 eigentlich eine 3 ist, weil bei der 5 die Augen wie 2x 3er Diagonal überkreuzt sind. Da hat er das Muster nicht so verstanden wie wir es uns gewünscht hatten.

Wir hatten mal eine Aufgabe bei wissensbasierten Systemen, dass das System u.a. erkennen sollte, das man zu rotem Fleisch einen Rotwein trinkt, und zu weißem Fleisch Weißwein.

Ja was hattet ihr denn da gefüttert? War das Text oder auch Bilder?

Alleine der poppelige Ansatz hat ewig gedauert, das stabil umzusetzen.
Uns wurde auch klar, dass das vor allem sehr viel mit Wahrscheinlichkeiten zu tun hat.
Auf die Bemerkung von uns, das hat doch nix mit KI zu tun, sondern mit Wahrscheinlichkeitsrechnung auf hohem Niveau, gab es nur ein mildes Lächeln des Profs.

Hast du vermutlich auch Informatik studiert .

Da muss ich mich an mein 1-stündiges Referat zu neuronalen Netzen erinnern.
Sauschwere Kost, ich wollte bei der Vorbereitung etwas vom Skript abweichen, um es lockerer zu präsentieren.
Das war schlichtweg nicht möglich, das ist reine Mathematik, nix mit Blümchen und lockeren Scherzen.
Wenn die beiden Professoren dann noch direkt vor Dir sitzen im Hörsaal und Dich kritisch beäugen, da klebt man am Skript.

Ja das kenne ich, hatte dann in der mündlichen Diplomprüfung unseren Algebra-Professor und den "Wissensbasierte Systeme"-Prof. (in seiner Rolle als "Angewandte Statistik"-Prof.) zugelost bekommen, da hab ich richtig viel gelernt und es hat nur für ne 3 am Ende gereicht. Hatte aber im anderen Fach Unix-Shellprogrammierung ne 1 und die Note hat sich bei 2 dann eingependelt. Das floss zu 30 Prozent in die Gesamtnote ein. Da ging mir aber echt der Stift. Ich dachte die lassen mich durchfallen. Jmd. anders bekam ne 1 in nem zugelosten Laberfach ("Kommunikation und Präsentation") und ist da ohne Vorbereitung rein. Das Leben ist halt selten fair ...

 

[Turquoise]

Ein Eingeborener der noch nie westliche Musik gehört hat, könnte das vielleicht überhaupt nicht einordnen, weil er zB nur Rhythmusinstrumente kennt. Oder für ein Baby was das Lied immer im Mutterleib gehört hat, ist das der Wohlfühleinschlafsong.

Diese Vermutung ist ja im Prinzip allein dadurch widerlegt, dass sogar Tiere und Pflanzen auf positive, harmonische Musik mit verbessertem Wohlbefinden reagieren - und umgekehrt.