Business Langsames Backup/Datensicherung zwischen Mac und NAS - Hilfe gesucht

Andrennie

Benutzer
Mitglied seit
17. Feb 2009
Beiträge
63
Punkte für Reaktionen
0
Punkte
6
Hallo zusammen,


Ich habe zur Zeit eine 4TB Platte am Mac, auf der alle meine Fotodaten liegen (gespiegelt). Hierbei handelt es sich sowohl um die Fotos (80.000) welche in einer Ordnerstruktur (Jahr/Monat/Event) abgelegt sind als auch in gesonderten Verzeichnissen die entsprechenden Kataloge der Foto Software welche ich einsetze (Lightroom/ Luminar /DXO/Topaz).

Bisher hatte ich noch eine zusätzliche USB Platte im Einsatz, die eine 1:1 Kopie der Daten enthielt, damit ich diese auch am Laptop nutzen kann. Die Laptop Nutzung ist für mich aber nicht mehr erforderlich, so dass ich mir ein automatisches Sicherungskonzept überlegt habe.

1.) Fotos und Kataloge auf Platte am Mac (Echtdaten die im Zugriff sind - gespiegeltePlatte)

2.) Sync (eine Richtung) / Backup / ? zwischen Rechner und Synology NAS (Sicherheitskopie)

3.) Verschlüsselter Sync der Daten (z.B. Hyper Backup) in die Cloud (Kopie im zweiten Sicherungsort)

Auf die Daten auf dem NAS möchte ich ohne Probleme zugreifen können, die Daten in der Cloud sind nur für eine absolute Notfall-Rücksicherung gedacht, sollen einfach nur an einem alternativen Ort abgelegt werden.



Soweit die Theorie 🙂



Bei Punkt 2 Verzweifle ich aber. Ich bin jetzt schon länger am erproben, was hier der beste Weg ist, stoße aber immer wieder auf Geschwindigkeitsprobleme.

Rechner und NAS sind im selben LAN und mit 10G (zwischen den Switchen an denen sie direkt hängen) verbunden. Das Netz ist performant und macht keinerlei Probleme.

Sichere ich aber die Platte auf das NAS, so dauert die "Erstsicherung" von 2 TB Tage! Sicherlich ist dies den "vielen kleinen" Dateien geschuldet, aber das ist eine Geschwindigkeit, die ich so nicht erwartet habe (nicht nutzen möchte). Dies tritt sowohl bei Synology Drive als auch bei Synology Active Backup auf!


Langer Vorspann - aber jetzt zu meinen Fragen:

Was könnte der Grund für die absolut langsame Übertragung zwischen Mac und NAS sein?
Welche Sicherung sollte ich für das oben genannte Szenario wählen (wenn es schneller übertragen würde :) ?

- Synology Drive Datensicherung = einfache Datensicherung von Ordnern (nicht Sync, würde aber auch in eine Richtung gehen)?

- Synology Active Backup als "richtige" Datensicherung von Laufwerken?

- Alternative Produkte nicht direkt von Synology?

Wo könnte ich den Fehler suchen?



- Die komplette Sicherung Mac- NAS - Cloud sollte automatisch laufen!
- Das NAS ist ein 5 Bay NAS, wobei es 4x Hdd und 1x SSD als Cache/Swap Platte enthält - neuste Software (habe 3 unterschiedliche DS getestet, immer dasselbe Problem).
- "Fremdsoftware" z.B. Chronosync für Mac läuft nach ersten Tests deutlich schneller

Mac: Mac Studio 22 mit M1 Max /OSX 14.4.1
Synology Unterschiedliche NAS Laufwerke (2Bay, 5 Bay).... aktuelle Software 7.2.1

Ich habe mir, da ich bei der Google-Suche auf viele Treffer gestoßen bin, schon die Synology Lösungen angeschaut, aber nichts brachte den gewünschten Erfolg.


Bin für jeden Tipp dankbar

Andreas
 

metalworker

Benutzer
Contributor
Sehr erfahren
Mitglied seit
25. Apr 2023
Beiträge
2.267
Punkte für Reaktionen
661
Punkte
154
Warum packst denn deine Daten nicht komplett aufs NAS , und sicherst das dann ?


Ich sichere z.b. nen Mailserver per ABB , da sind über 500k Datein drauf , da ging die Initialsicherung innerhalb von 4 stunden . Bei ca 400 GB
 

Andrennie

Benutzer
Mitglied seit
17. Feb 2009
Beiträge
63
Punkte für Reaktionen
0
Punkte
6
Weil das bei der Foto-/Videobearbeitung eher suboptimal ist :)
Ich benötige hierfür die Geschwindigkeit des Mac mit angeschlossener Festplatte - da ist eine NAS Verbindung nicht zielführend.

Wenn ich richtig kalkuliert habe, würden meine 2 TB an Foto Daten ca. 4-5 Tage für das Sync/Backup auf das NAS benötigen (sowohl mit Drive als auch mit Backup). Sind zwar nur Schätzwerte, da ich es abgebrochen habe, aber es ist schnarchend langsam.

Ich habe heute Morgen einmal einen Task in meinem Chronosync für MacOS v 11.0.2 mit dem gleichen Umfang eingestellt. Hier scheint die Datenübertragung deutlich besser zu sein. Es scheint mir als ob das Problem nur zwischen Mac und Synology Software auftritt.
 

metalworker

Benutzer
Contributor
Sehr erfahren
Mitglied seit
25. Apr 2023
Beiträge
2.267
Punkte für Reaktionen
661
Punkte
154
ja beim Mac kann ich nicht wirklich mitreden.

hab das nur mit Windows oder Linux System im einsatz, und da läuft das alles fix
 

MLG

Benutzer
Mitglied seit
04. Mrz 2024
Beiträge
37
Punkte für Reaktionen
6
Punkte
8
Was für Platten nutzt Du denn im NAS konkret?

Da oft Details den Unterschied machen, folgendes noch mal generell zur Überlegung:

1. Kopierst Du von der externen Platte am Mac zum NAS oder von der internen SSD des Mac? Erst von USB runterrutschen und dann per SMB über's Netz schieben
2. SMB Multichannel an (oder aus)?
3. Schreiben ist schlechter als Lesen.
4. Wie Du schon selbst sagst, viele kleine Dateien killen die Performance beachtlich. Daher die Frage: Reden wir von JPGs oder TIFFs oder RAWs?
5. Die SSD als Cache (NVMe oder SATA?) wird Dir beim Wegschreiben (sequentiell!) vermutlich wenig an Performance bringen.
6. Insofern Du konventionelle HDDs nutzt, ist da bei ca. 300 MB/s sowieso Sabbat. Abziehen musst immer noch gewissen Overhead durch die Protokolle.

Mach mal Testkopien mit einem großen Image o ä. und messe die Performance. Ruhig mal die Zeit stoppen. Kommt jetzt nicht auf eine sekundengenaue Messung an. Benenne die Dateien vor jedem Vorgang um, damit er die nicht evtl. irgendwo ungewollt cached. Messung #1: Kopiere von Mac auf USB-Platte, Messung #2: Kopiere die Datei von der SUB-Platte zurück zum Mac. Wie lange dauert es? Messung #3: Direkt vom Mac zum NAS, Messung #4: Vom NAS zurück zum Mac. Messung #5: Von der USB-Platte zum NAS, usw. ....

So erhälst Du ein besseres Bild wo evtl. die Ursache zu suchen ist.

Ach ja... das NAS richtig konfiguriert... also AFP usw. aus und nur SMB3 aktiviert?
 

Andrennie

Benutzer
Mitglied seit
17. Feb 2009
Beiträge
63
Punkte für Reaktionen
0
Punkte
6
@MLG:
Hatte jetzt etwas Zeit das Ganze mal aufzudröseln....

Das Problem war wohl das Lacie Big 2 mit Raid 1 - nicht unbedingt das Synology
Bei meinen Tests lagen die Daten immer auf diesem Raid 1 System - dies habe ich jetzt geändert, siehe weiter unten

Mac mit
1x Lacie Big 2(2x4TB HDD) Raid 1 über TB3 am Mac (eigentlich vorgesehen für die Foto/Filmdaten)
1x Lacie Big 6 (6x4 TB HDD) Raid 5 über TB3 am Mac (hier werden alle restlichen Daten und eine Sicherung abgelegt)
1x Samsung SSD 2 TB über USB-C (aktuelle Platte für die Fotodaten - bisher ohne Filmdaten, da ich es am MacBook und Mac nutzen wollte, dies entfällt aber))
1x Synology

Test = Kopieren einer 27 GB Datei immer anderer Name und mit Stoppuhr :)

Mac - SSD = 1m 10sec
Mac - Lacie Raid 1 = 2m 3sec
Mac - Lacie Raid 5 = 28 sec
Mac - Synology = 4 min

Das Kopieren der Datei an die Synology dauerte von allen Geräten aus gleich - ca. 4min (logisch - sollte so sein)

Problem 1 war das Schreiben auf das Lacie BIG 2 Raid 1 per TB3 - das vergleichsweise langsam war.
Ich habe testweise einmal das Raid neu aufgesetzt Mac OS extended und APFS kein Unterscheid.
Ausschlaggebend war das Raid. Hier verdoppelt sich tatsächlich die Kopierzeit.
Raid 0 = 1min
Raid 1 = 2 min

Es ist klar, dass die Daten ja 2x abgelegt werden Platte 1 und 2, ich dachte aber, dass durch den RAID Controller (Cache usw.) eine "Optimierung stattfindet".

Problem 2 war, dass zusätzlich das RAID 1 auch noch verschlüsselt war (warum und wann auch immer ich das gemacht habe - davon wird bei RAID Systemen auch abgeraten)

Problem 3 war das kopieren von Raid 5 zu Raid 1 (dauerte ewig, konnte ich aber nicht mehr reproduzieren, da ich danach schon das Raid 1 neu aufgesetzt hatte)

Fazit:
Ich werde jetzt wohl die Fotos und Filme direkt auf dem RAID 5 plazieren (erhöhe Datensicherheit und schnellste Zugriffszeiten laut meinen Tests)
Das RAID 1 habe ich auf RAID 0 umgestellt - und werde dies wohl als Zwischenspeicher nutzen und dann komplett mit der Synology Syncen lassen. Hierbei war übrigens Resilio Sync merklich schneller als Synology Drive. Das will ich abschließend noch einmal testen wenn der Rest fertig ist (Syncthing fand ich nicht so gut, startet teilweise auch nicht am MAC - (M Chip?) ich hatte keine Lust hier auch noch zu suchen, da sowohl Syn Drive als auch Resilio ohne Probleme liefen)



Danke für die Hilfe (den Hinweis sich einmal die Zeit zu nehmen)
Andreas
 


 

Kaffeautomat

Wenn du das Forum hilfreich findest oder uns unterstützen möchtest, dann gib uns doch einfach einen Kaffee aus.

Als Dankeschön schalten wir deinen Account werbefrei.

:coffee:

Hier gehts zum Kaffeeautomat