NAS mit 10GbE LAN um große Sample Libraries auszulagern

[rocktale]

Ich fühle mich ja zugegeben bei "Blödsinn" nicht angesprochen, aber wenn wir schon Haare spalten wollen, dann machen wir es richtig.

Viele kleine Dateien sind immer eine Herausforderung, egal ob übers Netz oder lokal. Wie oben schon geschrieben, übers Netz kann man das Problem minimieren indem man auf UDP geht.

Ich würde anzweifeln, dass UDP hier so viel hilft, um ehrlich zu sein. UDP ist vor allem bei Echtzeit von Bedeutung, wenn man auf die Fehlerkorrektur durch wiederholtes Senden eines verlorenen Paketes verzichten kann, was sonst - bei einer schlechten Netzverbindung - ganz schnell einen Datenstrom zum Erliegen bringt. Die Vorteile kann es aber vor allem beim Streaming - also bei einem kontinuierlichen Datenstrom mit wenig bis keinem Kontrollfluss ausspielen. Deshalb wird es auch gern als Basis für Videostreaming eingesetzt, da man hier notfalls auf ein paar Informationen verzichten kann (kleine Artefakte im Bild)... ein stockendes Bild aber extrem lästig ist.

Aber: Wir reden hier von einem 10GbE-Ethernet, in dem in der Regel nicht so viele Pakete verloren gehen. Dazu kommt, dass TCP bei bestehenden Verbindungen nach dem Slow Start recht schnell das Fenster der zu sendenden Pakete bis es auf ein ACK wartet vergrößert. Genau aus dem Grund funktioniert ja auch die Übertragung großer Dateien in der Regel mit (konstant) hoher Datenrate - auch über TCP.

Ein weiterer Grund könnte natürlich der zusätzliche Aufbau einer Verbindung sein (3-Wege-Handshake von TCP). Auch wenn ich auf die Schnelle nichts gefunden habe, gehe ich aber mal stark davon aus, dass sowohl halbwegs aktuelle Versionen von SMB als auch NFS eine TCP-Verbindung offen halten. Der Handshake fällt dann also auch nur einmal an (beim Einbinden vom Laufwerk) und nicht bei jeder Datei neu. Scheinbar ist NFS da sogar so effizient, dass sie in der Version 4 ja meines Wissens sogar den Support von UDP gestrichen haben.

Das Problem liegt nach meiner Erfahrung darin, dass die ganzen Anwenderprogramme, von denen wir hier reden, auf Standard-Dateioperationen vom OS setzen. Sprich: Da wird eine Datei geöffnet, daraus gelesen, Datei geschlossen und dann die nächste. Sind das nur OS-Calls geht das rasend schnell. Wenn aber jede dieser Schleifen übers Netz muss, dann heißt das im absoluten Minimum: ein Paket mit Anfrage welche Datei gelesen werden soll hin + ein oder mehrere Pakete mit Daten vom Server zurück. Und das kann man auch nicht parallelisieren, weil die Programme dafür nicht ausgelegt sind. Da werden die Dateien einfach nacheinander geladen. Und bei jedem dieser Calls wartet man zusätzlich zu allem Overhead eben auf (mindestens) einen Roundtrip im Netz. Und selbst wenn das relativ zügig geht - ich hab hier Pings zwischen 0.3 und 0.5ms, aber da werden ja noch keine Infos verarbeitet - summiert sich das über die einzelnen Dateien auf. Also sagen wir mal mit Dateizugriff beim Server ganz grob 1ms pro Datei... dann sind das bei 20.000 Samples eben auch schon 2s.

Die einzige Lösung wäre hier prädiktives Laden von mehr Daten und/oder Caching beim Client. Oder eine effizientere Implementierung des Datenzugriffs seitens der Plugins/Audiosoftware. Letzteres halte ich aber bis auf weiteres für unwahrscheinlich.

 

[DaVogi]

Aber: Wir reden hier von einem 10GbE-Ethernet, in dem in der Regel nicht so viele Pakete verloren gehen.

gerade das würde aber dann wieder für UDP sprechen
linkspeed sollte aber eigentlich unerheblich sein für paketloss sondern eher die auslastung des netzwerks.

bzg der umstellung des default modes von UDP auf TCP bei NFS dürfte es auch eher um gesamtnetzwerkperformance & erhöhter traffik gehen wenn ich das hier deute:

Why did NFS switch from UDP to TCP as the standard protocol in version 4?

Why was UDP used as the standard protocol in NFS systems up to version 3 and TCP in version 4? Unfortunately, I have not yet found anything about the motives that led to this.

stackoverflow.com

@ r-kelly:
sehr gut dass du das selber bei dir direkt ausprobierst/nachstellst. lagen die samples am 5,1er mac auf einer SSD oder hast du von einer HDD gestreamed?

was hast du aktiv datenbestand den du online (in dem fall meint man direkt im netzwerk zugreifbar, nicht zwingend im internet) halten willst und wieviel daten kommen pro jahr ca. dazu?

ich hab früher auch mit diversen selbstbau-nas experimentiert und auch ein paar nas-distris verwendet wie FreeNAS, OMV usw... aber der wartungsaufwand war viel größer und das einrichten der diversen dienste hat viel länger gedauert als bei dem synology nas das ich jetzt seit 5 jahren verwende.

 

[rocktale]

gerade das würde aber dann wieder für UDP sprechen
linkspeed sollte aber eigentlich unerheblich sein für paketloss sondern eher die auslastung des netzwerks.

Da war ich wohl etwas unscharf. Meine Aussage bezog sich primär auf Ethernet (vor allem switched) und weniger auf den Linkspeed. Der spielt in der Tat kaum eine Rolle.

bzg der umstellung des default modes von UDP auf TCP bei NFS dürfte es auch eher um gesamtnetzwerkperformance & erhöhter traffik gehen wenn ich das hier deute:

Why did NFS switch from UDP to TCP as the standard protocol in version 4?

Why was UDP used as the standard protocol in NFS systems up to version 3 and TCP in version 4? Unfortunately, I have not yet found anything about the motives that led to this.

stackoverflow.com

Interessante Begründung. Danke.

ich hab früher auch mit diversen selbstbau-nas experimentiert und auch ein paar nas-distris verwendet wie FreeNAS, OMV usw... aber der wartungsaufwand war viel größer und das einrichten der diversen dienste hat viel länger gedauert als bei dem synology nas das ich jetzt seit 5 jahren verwende

Ich hab einen Server im Selbstbau und würde auch nichts anderes haben wollen. Ich würde mich aber auch durchaus als geübten Nutzer bezeichnen. Ich stimme aber voll zu, dass 98% aller User sich lieber was von Synology und Co hinstellen sollten. Alles andere ist Arbeit, Erfahrung und ein bisschen Selbstgeißelung.

 

[oove]

Ich bin überhaupt kein Experte, trotzdem ein kleiner Bericht.
Das QNAP Nas steht seit 12 Jahren hier, ist also uralt und ich könnte nicht darauf verzichten.
Alle Daten für die "Ewigkeit" und die von überall erreichbar sein sollen liegen hier.

Samples bleiben bei mir trotzdem lokal auf internen SSDs, aber einige wenige Audio Spuren kann man durchaus direkt aufs Nas aufnehmen und wiedergeben.

Bei Video ist es ähnlich. Es geht, hängt aber von vielen Faktoren ab.
Große Auflösungen machen auf diese Weise keinen Spaß.

Das Netzwerk ist auch nicht immer gleich schnell. Ein bockiger WLAN Switch im Haus kann z.b. eine erhebliche Bremse sein und es dauert bis man den Übeltäter gefunden hat.

Mag sein, dass man das alles besser einstellen kann, aber ich würde mich nicht zu sehr darauf verlassen.

 

[Popchor]

Ich bin auch kein Experte, sondern eher mittelmässig begabter Anwender, aber wenn es primär darum geht, die ganzen Libraries etc. auszulagern, warum dann nicht gleich ein DAS, also ein direct attached storage?

https://www.cyberport.de/?DEEP=3F24-00H&APID=639&campaign=20758428372&prodid=3F24-00H&adgroup=156061895512&gad_source=1&gbraid=0AAAAADtQIJyOddn24asMqsZIdPwCsrZ-h&gclid=EAIaIQobChMIvM3bntyHiAMVrIODBx2Nli1MEAQYASABEgLHU_D_BwE

 

[Feel Inc.]

Ich fühle mich ja zugegeben bei "Blödsinn" nicht angesprochen, aber wenn wir schon Haare spalten wollen, dann machen wir es richtig.


Ich würde anzweifeln, dass UDP hier so viel hilft, um ehrlich zu sein. UDP ist vor allem bei Echtzeit von Bedeutung, wenn man auf die Fehlerkorrektur durch wiederholtes Senden eines verlorenen Paketes verzichten kann, was sonst - bei einer schlechten Netzverbindung - ganz schnell einen Datenstrom zum Erliegen bringt. Die Vorteile kann es aber vor allem beim Streaming - also bei einem kontinuierlichen Datenstrom mit wenig bis keinem Kontrollfluss ausspielen. Deshalb wird es auch gern als Basis für Videostreaming eingesetzt, da man hier notfalls auf ein paar Informationen verzichten kann (kleine Artefakte im Bild)... ein stockendes Bild aber extrem lästig ist.

Aber: Wir reden hier von einem 10GbE-Ethernet, in dem in der Regel nicht so viele Pakete verloren gehen. Dazu kommt, dass TCP bei bestehenden Verbindungen nach dem Slow Start recht schnell das Fenster der zu sendenden Pakete bis es auf ein ACK wartet vergrößert. Genau aus dem Grund funktioniert ja auch die Übertragung großer Dateien in der Regel mit (konstant) hoher Datenrate - auch über TCP.

Ein weiterer Grund könnte natürlich der zusätzliche Aufbau einer Verbindung sein (3-Wege-Handshake von TCP). Auch wenn ich auf die Schnelle nichts gefunden habe, gehe ich aber mal stark davon aus, dass sowohl halbwegs aktuelle Versionen von SMB als auch NFS eine TCP-Verbindung offen halten. Der Handshake fällt dann also auch nur einmal an (beim Einbinden vom Laufwerk) und nicht bei jeder Datei neu. Scheinbar ist NFS da sogar so effizient, dass sie in der Version 4 ja meines Wissens sogar den Support von UDP gestrichen haben.

Das Problem liegt nach meiner Erfahrung darin, dass die ganzen Anwenderprogramme, von denen wir hier reden, auf Standard-Dateioperationen vom OS setzen. Sprich: Da wird eine Datei geöffnet, daraus gelesen, Datei geschlossen und dann die nächste. Sind das nur OS-Calls geht das rasend schnell. Wenn aber jede dieser Schleifen übers Netz muss, dann heißt das im absoluten Minimum: ein Paket mit Anfrage welche Datei gelesen werden soll hin + ein oder mehrere Pakete mit Daten vom Server zurück. Und das kann man auch nicht parallelisieren, weil die Programme dafür nicht ausgelegt sind. Da werden die Dateien einfach nacheinander geladen. Und bei jedem dieser Calls wartet man zusätzlich zu allem Overhead eben auf (mindestens) einen Roundtrip im Netz. Und selbst wenn das relativ zügig geht - ich hab hier Pings zwischen 0.3 und 0.5ms, aber da werden ja noch keine Infos verarbeitet - summiert sich das über die einzelnen Dateien auf. Also sagen wir mal mit Dateizugriff beim Server ganz grob 1ms pro Datei... dann sind das bei 20.000 Samples eben auch schon 2s.

Die einzige Lösung wäre hier prädiktives Laden von mehr Daten und/oder Caching beim Client. Oder eine effizientere Implementierung des Datenzugriffs seitens der Plugins/Audiosoftware. Letzteres halte ich aber bis auf weiteres für unwahrscheinlich.

Wie schon in meinem Eingangspost hier geschrieben, ich wollte niemanden angreifen, von daher braucht sich auch keiner von "Blödsinn" angesprochen zu fühlen
Du hast mit Deinen Ausführungen schon grundsätzlich recht, Netzwerk und seine Protokolle sind komplex, da passiert ziemlich viel im Hintergrund und es gibt viele Parameter, an denen man zum tunen drehen kann. Bei Storage generell auch nochmal das gleiche oben drauf. Das ist aber für den Heimgebrauch eher nicht relevant, da brauche ich nicht das letzte Fünkchen Performance, sondern etwas, was funktioniert und im besten Fall genau einmal aufgesetzt wird und dann nicht mehr beachtet werden muss. Für optimale Leistungswerte muss man richtig viel Geld in die Hand nehmen und das entsprechende KnowHow haben. Im Consumerbereich wird man grob in die Richtung kommen, mehr auch nicht... und das reicht auch in der Regel vollkommen aus.

Ich bin auch kein Experte, sondern eher mittelmässig begabter Anwender, aber wenn es primär darum geht, die ganzen Libraries etc. auszulagern, warum dann nicht gleich ein DAS, also ein direct attached storage?

Weil ein DAS nicht die Anforderung des Threadstarters erfüllt, der gerne Daten im Netz freigeben würde.

Viel Erfolg die Zeiten in der Realität über den gesamten Protokollstack zu erreichen. < 100 us mag auf HW-Ebene stimmen, aber wir reden hier ja nicht über reine HW-Lösungen. Die von Dir zitierten 1.3 us für 10 GB-Ethernet stimmen auch nur stark eingeschränkt, wie in dem Link auch grob umrissen wird. Aus meiner Erfahrung mit rein FPGA-basierten Ethernetanwendungen kann ich die von Dir zitierten Zeiten nicht bestätigen (selbst wenn keine PHYs in der Leitung waren, also die Verbindung von MAC zu MAC ging).

Mir ist schon sehr wohl klar, dass diese Zeiten nur mit entsprechender HW (DataCenter Fabric) und unter optimalen Verhältnissen zu erreichen sind. Im Consumer-Bereich ist das auch illusorisch. Der Unterschied GBit Ethernet zu 10 GBit Ethernet ist aber auch mit Consumer-Hardware sehr wohl spürbar. Wenn man sich dann noch die mittleren Zugriffszeiten von HDDs und SSDs anschaut (siehe z.B. https://www.bmd.com/de/detailansicht-technik/unterschied-sata-sas-einsatz-von-ssds.html ), dann sollte auch klar werden, dass 10 GBit Ethernet nicht wirklich der Flaschenhals ist, zumindest nicht in einer relevanten Größenordnung.

Also ich hab wie eingangs beschrieben einen M1 Max Macbook Pro mit 64GB RAM, TB3/4 und USB-C Ports. Das Teil ist mein Hauptrechner. Dann habe ich noch den alten Mac Pro 5.1. für den bräuchte ich wahrscheinlich eine zusätzliche PCIE Karte mit 10Gbit. und auch für das Macbook bräuchte ich ein Hub oder Dockingstation die 10Gbit unterstützt. Die restlichen Geräte sind eher Consumer Geräte wie iPads, iPhones, und Laptops.

Für die Macs gibt es 10GBit-Adapter mit Thunderbolt, als USB-Varianten sind die auch verfügbar, wobei ich Thuderbolt am Mac immer persönlich vorziehen würde. Vorteil einer Thunderbolt oder USB-Lösung ist, die kannst auch schnell mal woanders oder an Deinen nächsten Mac schnell und stressfrei anstöpseln. Was Du in Deinem Setup aber bräuchtest, wäre ein 10GBit-Switch, wo Du alle Kabelgebundenen Geräte anschliesst. Der Mischbetrieb mit GBit-Geräten geht zwar grundsätzlich, im Zweifel wird das aber auf die Gesamtperformance des Netzwerks gehen, da Du bestimmte Netzwerkeinstellungen für optimale 10GBit-Performance unter Einbussen für das GBit-Netzwerk einstellen müsstes (z.B. MTU-Size). Das muss aber kein Problem für Dich sein, wie schon oben geschrieben, Dein Ziel ist es ja nicht maximale Performance zu erreichen, sondern Deinen Anwendungsfall zu erfüllen.

Budget liegt irgendwo bei zwischen 1-2K. Je weniger ich ausgeben muss, umso besser. Meinetwegen dann auch second hand.

1-2k ist eng, wenn man da die 10GBit-Adapter für die Macs, einen 10GBit-Switch und das NAS + Platten/SSDs einrechnet. Gebraucht würde ich zumindest bei NAS und Platten von abraten.

Hmm NFS/SMB gute Frage... weiß ich auch nicht.. iSCSI Protokoll klingt interessant, obwohl ich überhaupt nicht weiß was das ist und wie das geht.. aber sowas ginge dann auch mit einer Synology NAS?

Ja, die Synology kann NFS, SMB und iSCSI. iSCSI würde für Dich von der Handhabung her wie eine USB-Platte funktionieren, nur dass die Daten eben auf dem NAS liegen. Das bedeutet, Du musst die "Platte" Formatieren und kannst sie auch immer nur an einem Rechner gleichzeitig benutzen.

Also bei Synology hätte ich jetzt mal so grob die
DS923+ (optional Erweiterbar auf 10GbE)
DS1522+ (optional Erweiterbar auf 10GbE)
DS1621+ (optional Erweiterbar auf 25GbE)
ins Auge gefasst.

Ich kann mir später mal die technischen Daten zu denen anschauen.

 

[Feel Inc.]

Hab jetzt mal flott die technischen Daten der 3 Synology Boxen verglichen... DS923+ und DS1522+ sind die gleiche Basis, sprich gleicher Prozessor mit gleicher Taktung, die 1522+ hat dabei einfach von allen etwas mehr: Mehr GBit-Ports, mehr Einschübe, mehr RAM von Anfang an verbaut (erweiterbar sind beide auf 32GB). Die 1621+ hat einen etwas älteren Prozessor. Der hat zwar 4 physikalische Kerne (die anderen haben 2), die Kerne sind aber langsamer. D.h. wenn es um paralleles verarbeiten geht (MultiCore-Performance), dann ist dieser ältere Prozessor flotter, bei SingleCore-Performance ist es genau umgekehrt. Für Deinen Anwendungsfall würde ich eher auf SingleCore Performance gehen, da Du vermutlich nicht zig Netzlaufwerke machen wirst auf die X User gleichzeitig zugreifen sollen. Damit bleibt die Wahl zwischen DS923+ und DS1522+. Die 1522+ kommt von Anfang an mit 5 Einschubfächern für HDD/SSD und kann auf 15 erweitert werden, bei der DS923+ fängst Du mit 4 an und bei 9 ist schluss.
Neben der Frage der zukünftigen Erweiterung ist die Frage, was für eine RAID-Konfiguration Du fahren möchtest. Falls Dir nicht ganz klar ist, was die unterschiedlichen RAID-Level bedeuten und wo Vor- und Nachteile liegen:
JBOD oder RAID0: Aneinanderreihung von X Platten, alle Schreib- und Lesevorgänge werden über alle Platten verteilt. Ausfall einer Platte führt zu Datenverlust, der auch nicht widerhergestellt werden kann. Empfehlenswert nur für temporäre Daten, bei denen Schreib-/Lese-Performance wichtig ist.
RAID1: einfacher Spiegel, 2 Festplatten werden gespiegelt, Performance entspricht üblicherweise der einer einzelnen Platte (Es gibt Systeme, wo beim lesen beide Platten genutzt werden und man ca. 50%. schnelleres lesen hat, ich weiss aber nicht, wie das Synology umsetzt). Es darf eine Platte ausfallen, ohne dass es zu einem Datenverlust kommt.
RAID5: einfaches Striping, es werden mindestens 3 Platten benötigt. Die Daten werden in "Stripes" aufgeteilt und auf alle Festplatten des RAIDs verteilt, wobei der letzte Stripe eine Quersumme der anderen Stripes ist (Parity). Sollte eine Platte ausfallen, können die Daten aus den übrigen Stripes errechnet und wieder hergestellt werden. Hohe Leseleistung, da immer von allen Platten "gleichzeitig" gelesen wird, Schreibleistung OK, aber es muss bei jeder Schreiboperation die Parity berechnet werden. Ein Rebuild bei Ausfall einer Platte kann lange dauern. Es darf eine beliebige Platte ausfallen, ohne dass es zu Datenverlust kommt.
RAID6: Wie RAID5, jedoch mit doppelter Parity, entsprechend werden mindestens 4 Platten benötigt. Hier können 2 beliebige Platten ausfallen, ohne das es zu Datenverlust kommt. Ein Rebuild dauert hier jedoch, je nach Situation, nochmals um einiges länger als bei RAID5. Rentiert sich aufgrund der 2 Parity-Platten i.d.R. nur bei größeren RAIDs, da ansonsten der Verlust an nutzbarem Platz zu hoch ist.
RAID10: Eine Mischung aus RAID1 und RAID0. Hier werden mehre einfache Spiegel (RAID1) aneinandergereiht (RAID0). Die Schreib-/Lese-Performance ist hier sehr hoch, da immer multiple Platten zum lesen und schreiben genutzt werden und auch keine Parity berechnet werden muss. Problemlos kann 1 beliebige Platte ausfallen, wenn es die "richtigen" sind, auch mehr. Solange nicht ein beteiligtes RAID1 komplett ausfällt, hat man keinen Datenverlust. Bei einem Rebuild wird lediglich das defekte RAID1 gespiegelt, was relativ schnell geht. Nachteil ist der hohe Verlust an nutzbarem Speicher (50% der Platten sind nur zum spiegeln da).

Des weiteren solltest Du immer noch eine Spare-Platte konfigurieren. Diese wird nur genutzt, wenn eine andere Platte ausfällt, damit die Synology sofort einen Rebuild starten kann. Das ist auch der Grund, warum Du bei der DS923+ (4 Einschübe) ohne Erweiterung kein RAID6 konfigurieren kannst. Warum Du eine Spare haben willst, die nur im Gehäuse rumgammelt: Erfahrungsgemäß fallen Platten einer Serie gerne in einem ähnlichen Zeitraum aus. Wenn es also zu einem Ausfall kommt, willst Du das RAID so schnell wie möglich wieder rebuilded haben. Ein Tag auf die Leiferung warten kann da schon zu spät sein. Ich habe bei Kunden Situationen erlebt, wo bei einem RAID6 kurz nacheinander zwei Platten ausgefallen waren, der Rebuild hat ewig gedauert und nachdem der fertig war ist tatsächlich noch eine weitere Platte ausgefallen. Ein anderer Kunde hatte sogar das Pech, dass während des Rebuilds eine weitere Platte ausgefallen war = kompletter Datenverlust. Eine Spare-Platte kann dich zwar nicht zu 100% vor sowas schützen, aber zumindest 98-99% abfangen. Ausfall von 3 Platten nacheinander ist schon wirklich selten.
Grundsätzlich solltest Du immer die gleichen Platten (Hersteller, Typ, Größe) nutzen, da Du ansonsten Performance oder Platz oder beides verschwendest. Bzgl. RAM und Cache: Mehr kann ggf. helfen die Performance nochmals etwas zu steigern. Ich würde Dir aber empfehlen erstmal die Basisversion zu testen und nur wenn Du wirklich mehr Performance brauchst an Erweiterung von RAM und/oder Cache zu denken.

 

[cauerpower]

Vienna Ensemble ist doch für die 2 PC-Lösung sehr beliebt, afaik. Das läuft über Netzwerkkabel. Scheint also prinzipiell zu funktionieren und Fremd-VSTI lassen sich auch reinladen.

 

[Popchor]

Ja vielleicht war ich zu ungenau in meinen Ausführungen, ich meinte das DAS eigentlich für die ganzen Libraries und die Synology dann für die Bilder und den anderen Kram. Ja sind dann 2 Geräte, aber immer noch im Rahmen des Budget.

 

[R-Kelly]

Für die Macs gibt es 10GBit-Adapter mit Thunderbolt, als USB-Varianten sind die auch verfügbar,

Die einzige USB-C Variante mit einem 10Gbit Lan ist diese kleine Dockingstation hier. Vom Preis her sogar unter 100€.
https://www.amazon.de/dp/B07Z14J6VC...YXIJ5NLS&psc=1&ref_=list_c_wl_lv_ov_lig_dp_it

Verstehe gar nicht warum ich da nicht mehr finden konnte. USB-C ist doch von der Geschwindigkeit völlig ausreichen für 10Gbit LAN oder?

Was Du in Deinem Setup aber bräuchtest, wäre ein 10GBit-Switch, wo Du alle Kabelgebundenen Geräte anschliesst.

Eigentlich hab ich ja gar nicht soviele Geräte. Ich dachte den 10Gbit Switch braucht man nur wenn man mehrere Geräte mit dem Speed befeuern will. Die wichtigste und schnellste Verbindung müsste nur sein vom Macbook Pro zum NAS. Den alten Mac Pro verwende ich nur noch gelegentlich bis selten und wenn dann ist der Speed dort gar nicht so sehr wichtig. Da reicht dann auch 1Gbe oder 2,5Gbe. Vielleicht kommen in Zukunft noch mehr Geräte hinzu aber solange könnte ich doch dann auf den Switch verzichten oder?

1-2k ist eng, wenn man da die 10GBit-Adapter für die Macs, einen 10GBit-Switch und das NAS + Platten/SSDs einrechnet. Gebraucht würde ich zumindest bei NAS und Platten von abraten.

Datenträger könnte ich ja nach und nach kaufen und die kaufe ich dann natürlich neu aber ein reines NAS ohne SSD/Platten könnte man doch auch gebraucht kaufen oder was müsste man dabei beachten?

Ja, die Synology kann NFS, SMB und iSCSI. iSCSI würde für Dich von der Handhabung her wie eine USB-Platte funktionieren, nur dass die Daten eben auf dem NAS liegen. Das bedeutet, Du musst die "Platte" Formatieren und kannst sie auch immer nur an einem Rechner gleichzeitig benutzen.

Wie ich gesehen habe gibt es ja auch ein NAS & ein DAS in einem. Wäre DAS nicht DIE Lösung?
Also z.B. gibt es von Qnap ein NAS mit TB3.

TVS-672XT | Durchschlagende Leistung und hervorragende Konnektivität mit 10GbE, Thunderbolt™ 3 und M.2 PCIe NVMe SSD-Steckplätzen<br>(Unterstützt das QTS oder QuTS hero Betriebssystem)

Das leistungsstarke TVS-672XT NAS wird von einem Intel® Core™ Prozessor der 8. Generation angetrieben und bietet sowohl 10GBASE-T als auch Thunderbolt™ 3 Konnektivität mit hoher Bandbreite, um hohe Arbeitslasten zu bewältigen und 4K-Videos in Echtzeit problemlos zu übertragen, anzuzeigen und zu...

www.qnap.com

Nur leider eben auch nicht günstig.. da müsste ich dann wohl noch tiefer in die nackte Hosentasche greifen...

 

[R-Kelly]

@ r-kelly:
sehr gut dass du das selber bei dir direkt ausprobierst/nachstellst. lagen die samples am 5,1er mac auf einer SSD oder hast du von einer HDD gestreamed?

die lagem am 5.1er Mac Pro auf einer SATA SSD. Der Mac Pro hat aber leider nur SATA II. Da halbiert sich die Performance der SSD auf ca. 260mb/s was aber trotzdem noch schneller ist als eine normale HDD. Über PCIE Karten könnte ich mit m2 SSD zwar deutlich mehr Speed rausholen aber das muss bei der alten Kiste gar nicht mehr zwingend sein weil das eh nur mein Legacy Rechner ist mit Legacy Projekten wo ich eigentlich nur selten noch ran muss.

was hast du aktiv datenbestand den du online (in dem fall meint man direkt im netzwerk zugreifbar, nicht zwingend im internet) halten willst und wieviel daten kommen pro jahr ca. dazu?

Auf der 18TB HDD sind jetzt 6TB belegt. Auf meinem Macbook Pro sind knapp 3TB belegt. Ich schätze so um die 100GB sind es vielleicht pro Jahr ca. Außer ich mache Videoschnitt. Mache ich aber auch eher selten.

wartungsaufwand war viel größer und das einrichten der diversen dienste hat viel länger gedauert als bei dem synology nas das ich jetzt seit 5 jahren verwende.

Ok dann scheinst du ja ganz zufrieden zu sein mit der Lösung. Hast du das mit dem Samples Streamen vielleicht auch mal ausprobiert?

 

[R-Kelly]

Vienna Ensemble ist doch für die 2 PC-Lösung sehr beliebt, afaik. Das läuft über Netzwerkkabel. Scheint also prinzipiell zu funktionieren und Fremd-VSTI lassen sich auch reinladen.

Ja stimmt, das hatte ich kürzlich auch überlegt. Bei der ganzen Diskussion über Performance, Speed und Latenzen müsste das doch eigentlich gehen ich meine VE Pro läuft ja genauso über Netzwerk und viele Filmkomponisten mit riesen Libraries, die Performance und RAM hungrig sind arbeiten ja u.a. genau mit dieser Lösung

Einen zentralen Datenserver für sonstigen Kram außer Musikproduktion mit Zugriff von überall bräuchte aber in dem Fall ja trotzdem

 

[R-Kelly]

Ja vielleicht war ich zu ungenau in meinen Ausführungen, ich meinte das DAS eigentlich für die ganzen Libraries und die Synology dann für die Bilder und den anderen Kram. Ja sind dann 2 Geräte, aber immer noch im Rahmen des Budget.

ja wenn es wirklich deutlich günstiger ist, wäre das vielleicht ein Kompromis aber zwei Geräte erzeugen ja auch wieder mehr Strom und Abwärme. Vielleicht noch Lüftergeräusche die sich addieren usw.. Schöner und eleganter wäre es für mich so wenig zusätzliche Geräte und Kabelsalat wie möglich zu haben. Als hätten wir davon schon nicht genug

 

[MichiK]

Ich empfehle dir eine Promise Pegasus R6 oder R8. Kannst du per Thunderbolt 3 anbinden und hast so keine Probleme Libraries auszulagern.
Falls du die Kiste nicht unbedingt ins Netzwerk hängen willst/musst ist das aus meiner Sicht und Erfahrung die beste Moglichkeit. Ich habe an meinem Studio IMac eine Pegasus für die ganzen Libraries und auch meine ProTools Projekte liegen dort und nicht lokal auf dem IMac. Hatte noch keine Performance Probleme bisher, weder beim Recording noch beim Mischen (auch sehr große Projekte).
Für Backups und Archiv hängt dann eine große Synology im Netzwerk, aber das ist von der Zugriffsperformance her eine ganz andere Hausnummer

 

[R-Kelly]

Hab jetzt mal flott die technischen Daten der 3 Synology Boxen verglichen... DS923+ und DS1522+ sind die gleiche Basis, sprich gleicher Prozessor mit gleicher Taktung, die 1522+ hat dabei einfach von allen etwas mehr: Mehr GBit-Ports, mehr Einschübe, mehr RAM von Anfang an verbaut (erweiterbar sind beide auf 32GB). Die 1621+ hat einen etwas älteren Prozessor. Der hat zwar 4 physikalische Kerne (die anderen haben 2), die Kerne sind aber langsamer. D.h. wenn es um paralleles verarbeiten geht (MultiCore-Performance), dann ist dieser ältere Prozessor flotter, bei SingleCore-Performance ist es genau umgekehrt. Für Deinen Anwendungsfall würde ich eher auf SingleCore Performance gehen, da Du vermutlich nicht zig Netzlaufwerke machen wirst auf die X User gleichzeitig zugreifen sollen. Damit bleibt die Wahl zwischen DS923+ und DS1522+. Die 1522+ kommt von Anfang an mit 5 Einschubfächern für HDD/SSD und kann auf 15 erweitert werden, bei der DS923+ fängst Du mit 4 an und bei 9 ist schluss.
Neben der Frage der zukünftigen Erweiterung ist die Frage, was für eine RAID-Konfiguration Du fahren möchtest. Falls Dir nicht ganz klar ist, was die unterschiedlichen RAID-Level bedeuten und wo Vor- und Nachteile liegen:
JBOD oder RAID0: Aneinanderreihung von X Platten, alle Schreib- und Lesevorgänge werden über alle Platten verteilt. Ausfall einer Platte führt zu Datenverlust, der auch nicht widerhergestellt werden kann. Empfehlenswert nur für temporäre Daten, bei denen Schreib-/Lese-Performance wichtig ist.
RAID1: einfacher Spiegel, 2 Festplatten werden gespiegelt, Performance entspricht üblicherweise der einer einzelnen Platte (Es gibt Systeme, wo beim lesen beide Platten genutzt werden und man ca. 50%. schnelleres lesen hat, ich weiss aber nicht, wie das Synology umsetzt). Es darf eine Platte ausfallen, ohne dass es zu einem Datenverlust kommt.
RAID5: einfaches Striping, es werden mindestens 3 Platten benötigt. Die Daten werden in "Stripes" aufgeteilt und auf alle Festplatten des RAIDs verteilt, wobei der letzte Stripe eine Quersumme der anderen Stripes ist (Parity). Sollte eine Platte ausfallen, können die Daten aus den übrigen Stripes errechnet und wieder hergestellt werden. Hohe Leseleistung, da immer von allen Platten "gleichzeitig" gelesen wird, Schreibleistung OK, aber es muss bei jeder Schreiboperation die Parity berechnet werden. Ein Rebuild bei Ausfall einer Platte kann lange dauern. Es darf eine beliebige Platte ausfallen, ohne dass es zu Datenverlust kommt.
RAID6: Wie RAID5, jedoch mit doppelter Parity, entsprechend werden mindestens 4 Platten benötigt. Hier können 2 beliebige Platten ausfallen, ohne das es zu Datenverlust kommt. Ein Rebuild dauert hier jedoch, je nach Situation, nochmals um einiges länger als bei RAID5. Rentiert sich aufgrund der 2 Parity-Platten i.d.R. nur bei größeren RAIDs, da ansonsten der Verlust an nutzbarem Platz zu hoch ist.
RAID10: Eine Mischung aus RAID1 und RAID0. Hier werden mehre einfache Spiegel (RAID1) aneinandergereiht (RAID0). Die Schreib-/Lese-Performance ist hier sehr hoch, da immer multiple Platten zum lesen und schreiben genutzt werden und auch keine Parity berechnet werden muss. Problemlos kann 1 beliebige Platte ausfallen, wenn es die "richtigen" sind, auch mehr. Solange nicht ein beteiligtes RAID1 komplett ausfällt, hat man keinen Datenverlust. Bei einem Rebuild wird lediglich das defekte RAID1 gespiegelt, was relativ schnell geht. Nachteil ist der hohe Verlust an nutzbarem Speicher (50% der Platten sind nur zum spiegeln da).

Des weiteren solltest Du immer noch eine Spare-Platte konfigurieren. Diese wird nur genutzt, wenn eine andere Platte ausfällt, damit die Synology sofort einen Rebuild starten kann. Das ist auch der Grund, warum Du bei der DS923+ (4 Einschübe) ohne Erweiterung kein RAID6 konfigurieren kannst. Warum Du eine Spare haben willst, die nur im Gehäuse rumgammelt: Erfahrungsgemäß fallen Platten einer Serie gerne in einem ähnlichen Zeitraum aus. Wenn es also zu einem Ausfall kommt, willst Du das RAID so schnell wie möglich wieder rebuilded haben. Ein Tag auf die Leiferung warten kann da schon zu spät sein. Ich habe bei Kunden Situationen erlebt, wo bei einem RAID6 kurz nacheinander zwei Platten ausgefallen waren, der Rebuild hat ewig gedauert und nachdem der fertig war ist tatsächlich noch eine weitere Platte ausgefallen. Ein anderer Kunde hatte sogar das Pech, dass während des Rebuilds eine weitere Platte ausgefallen war = kompletter Datenverlust. Eine Spare-Platte kann dich zwar nicht zu 100% vor sowas schützen, aber zumindest 98-99% abfangen. Ausfall von 3 Platten nacheinander ist schon wirklich selten.
Grundsätzlich solltest Du immer die gleichen Platten (Hersteller, Typ, Größe) nutzen, da Du ansonsten Performance oder Platz oder beides verschwendest. Bzgl. RAM und Cache: Mehr kann ggf. helfen die Performance nochmals etwas zu steigern. Ich würde Dir aber empfehlen erstmal die Basisversion zu testen und nur wenn Du wirklich mehr Performance brauchst an Erweiterung von RAM und/oder Cache zu denken.

Woww Das war ja mal ganz schön ausführlich! Danke für deine Zeit und deine Aufklärung! Also ich denke RAID 5 oder RAID 10 hört sich für mich ganz gut an. Ok bei RAID 10 ist halt wie du sagtest der Nachteil das ich 50 % weniger Kapazität habe.
Also für RAID 5 brauche ich mind. 3 Platten und für RAID 10 mind. 4 Platten richtig?

Wenn ich für den Anfang erstmal nur 2 Platten habe dann wäre ich vielleicht mit RAID 1 gut drann oder?
Könnte ich auch Festplatten und Sata SSD's mischen bei der DS1522+?
z.B. 2x 18TB HDDs = RAID1
3x 2TB SSDs = RAID5

macht das Sinn oder muss man sich da von Anfang an auf was festlegen?

 

[oove]

Ja, bei einer Migration von RAID 1 auf 5 werden die Platten formatiert. Alle Daten müssen evakuiert werden.

Deine Rechnung bedeutet:
RAID 1 sind 18 TB
RAID 5 nur 4 TB

Falls Du 3x 20 TB meintest
ergibt Dein RAID 5 Beispiel 40 TB

Alte Projekte könnten das neue Laufwerk zwar erkennen, aber man muss neu zuordnen und neu speichern. Ich habe noch nicht herausgefunden wie man das umgehen kann. (Logischer Laufwerksbuchstabe und so)

So ein Umbau oder einfach nur ein Plattentausch kann je nach Datenmenge mehrere Tage dauern.
In der Zeit schlechte Zugriffswerte...

 

[Feel Inc.]

Eigentlich hab ich ja gar nicht soviele Geräte. Ich dachte den 10Gbit Switch braucht man nur wenn man mehrere Geräte mit dem Speed befeuern will. Die wichtigste und schnellste Verbindung müsste nur sein vom Macbook Pro zum NAS. Den alten Mac Pro verwende ich nur noch gelegentlich bis selten und wenn dann ist der Speed dort gar nicht so sehr wichtig. Da reicht dann auch 1Gbe oder 2,5Gbe. Vielleicht kommen in Zukunft noch mehr Geräte hinzu aber solange könnte ich doch dann auf den Switch verzichten oder?

Wenn ich diesen Anwendungsfall lese, dann kannst Du ganz auf 10GBit und ein NAS verzichten. Besorg Dir eine externe Festplatte, die Du über Thunderbolt anschliessen kannst, besorg Dir ein Office365 Abo, damit Du OneDrive nutzen kannst, da so viel Speicher dazubuchen, wie Du brauchst. Du magst Microsoft nicht? Dann von mir aus auch Google Drive, sollte genauso gut gehen. Du hättest damit an Deinem Hauptrechner die bestmögliche Performance für Deine Libraries, OneDrive oder GoogleDrive synchronisieren die externe Festplatte in die Cloud, auf deinen anderen Geräten brauchst Du nur die entsprechenden Clients installieren (Win, Mac, Android, iOS) und hast Zugriff auf alle Daten von überall. Bei den Kisten, wo Du nur hin und wieder bestimmte Daten brauchst, zieht sich der OneDrive oder GoogleDrive client die Daten nach Bedarf lokal auf die entsprechende Kiste, sprich auch da hättest Du die lokale, maximale performance. Als Bonus brauchst Du Dir keine Gedanken um defekte Platten machen. Wenn Du Dich mit dem Cloudspeicher gar nicht anfreunden kannst, kannst Du an Deinem Hautprechner die externe Platte auch einfach direkt im Netzwerk freigeben, der Rechner muss dann allerdings laufen, damit andere darauf zugreifen können. Wenn Du weitere Geräte dazu bekommst, wo Du schnellen (= 10GBit) Zugriff brauchst, kannst Du dann immer noch nach den dann aktuellen NAS schauen, die bis dahin wieder performanter und ggf. auch günstiger sein werden, gleiches bei den 10GBit-Komponenten.
Verstehe mich nicht falsch, ich will Dir hier nichts ausreden, wenn Du unbedingt ein NAS haben willst, dann stell Dir sowas hin. Wie Du aber schon gemerkt hast, da kommt so einiges an Kosten auf Dich zu, dazu noch ein gutes Stück an aufschlauen und unterm Strich wirst Du an dem NAS immer mal wieder was machen müssen (Updates einspielen, plötzlich auftauchende Probleme beseitigen, ausgefallene Platte wechseln und beten, ...). Ich habe sowohl Synology-NAS als auch homeserver mit virtueller NAS (napp-it) hinter mir. Als es an den nächsten Hardware-Refresh ging habe ich das ganze mal durchdacht, ob ich wirklich ein lokales NAS brauche, ob ich wirklich lokal bei mir VMs betreiben muss (für eigenen Mailserver). Ich habe keine neue Hardware angeschafft, sondern alles an Daten in OneCloud und dazu bei einem günstigen Hoster eine VM für meinen Mailserver. Ja, das sind jetzt monatliche Kosten... für OneDrive (Office365 Family) liege ich bei 99EUR/Jahr, habe insg. 6TB Cloudspeicher, dazu das ganze Office-Paket für die ganze Familie. Für die VM latze ich 160EUR/Jahr. Die Gesamtkosten liegen also bei 260EUR pro Jahr, für die Hardware hätte ich wieder gute 2000EUR hinlegen müssen, dazu kommt natürlich Strom. D.h. nach ca. 8 Jahren ist die Cloudlösung insgesamt genauso teuer oder etwas teurer als eigene Hardware... und so lange würde die eigene Hardware nicht überleben, sprich in der Zwischenzeit würde ich wieder investieren müssen.

 

[Bccc1]

Definitiv eine Option. Eine Alternative zum Cloud Storage wäre synchronisieren zwischen eigenen Geräten mit SyncThing, ResilioSync oder ähnlichem. Schützt dich natürlich nicht vor Datenverlust wenn die Bude abfackelt und ersetzt auch kein Backup, weil der Schaden durch zB Ransomware fröhlich mitsynchronisiert wird. Aber ist besser als nichts, kostet nichts zusätzlich (wenn man genug Speicherplatz übrig hat) und man muss den Cloud Anbietern nicht vertrauen.

Ein NAS bietet sich mMn an, wenn man entweder
a) eigentlich nur was Dropbox artiges braucht, aber zu langsames Internet hat,
b) sehr große Datenmengen speichern will oder
c) sowieso Hardware für lokale Serverdienste braucht

Die Cloud Lösungen werden teuer sobald du "richtige" Mengen Speicher brauchst. Und bei der Synchronisierung zwischen PCs brauchst du natürlich erstmal genug Speicherplatz auf den PCs. Kann man mit externen Datenträgern lösen, kostet dann aber irgendwann auch nennenswert Geld und ist bei portablen Geräten auch ziemlich nervig.
Keine Ahnung wo aktuell der Break Even Point liegt, aber als ich mir vor 7 Jahren mein 145TiB NAS aufgesetzt habe, war Cloud Storage eindeutig die teurere Option.

Ich hab damals auch mit iSCSI über 10Gig für Kontakt Libraries auf einem 24HDD ZFS Pool und einem einfachen SSD Mirror rumgespielt und die Performance war in beiden Fällen gut genug fürs Playback, aber die Ladegeschwindigkeit der Instrumente war deutlich schlechter als mit einer einfachen lokalen SATA SSD. Habs seit dem nicht wieder versucht. Könnte sein, das es mit iSER, SMB Direct oder NVMe-OF inzwischen schnell gut wäre. Aber solange meine Libraries auf die SSDs in meinem PC passen, spar ich mir den Stress lieber.