[Projekt] rsync -Alternative dateibasierte Datensicherung

Status
Für weitere Antworten geschlossen.

PsychoHH

Benutzer
Mitglied seit
03. Jul 2013
Beiträge
2.967
Punkte für Reaktionen
4
Punkte
78
Da bin ich aber neugierig auf deine Idee. :cool:

Sicher?

Ich habe Tommes eben mal einiges geschrieben mal schauen ob er vom Hocker fällt. Wir werden sehen was kommt und was nicht. Wenn aber ein bestimmter Wunsch existiert, kann dieser ja gerne geschrieben werden.

Aktuell sind wir aber fleißig am Code dabei und hoffen das bald alles klappt. Sieht aber schon ganz gut aus.
 

freddiek

Benutzer
Mitglied seit
12. Mrz 2013
Beiträge
30
Punkte für Reaktionen
0
Punkte
12
Hi PsychoHH

meine Sources und Destination sehen folgendermaßen aus:

Rich (BBCode):
SOURCES="/NAS_archiv"
DESTINATION="/rsync_backups"

Wie schon geschrieben, alles funktioniert einwandfrei :)

Schöne Grüße
freddiek
 

Tommes

Benutzer
Sehr erfahren
Maintainer
Mitglied seit
26. Okt 2009
Beiträge
9.145
Punkte für Reaktionen
1.113
Punkte
314
Nein, wir sind noch nicht in der Versenkung verschwunden. Wir haben dieses Projekt auch noch nicht aufgegeben... im Gegenteil. Wir stehen kurz vor dem großen Durchbruch. Wir werden euch die ultimative Backup-Engine zur Verfügung zu stellen.

Egal ob man "nur" eine lokale Datensicherung auf angeschlossene USB- oder SATA-Datenträger sowie internen Volumes anlegen möchte, oder man seine Daten über SSH auf einen, oder von einem entfernten Server transferieren möchte... kein Problem.

Ihr wollt eure unverschlüsselten Daten verschlüsselt im Ziel ablegen? Ich wollt eure bereits verschlüsselten gemeinsamen Ordner unverschlüsselt im Ziel speichern? Ihr wollt verschlüsselte Daten in der Quelle auch im Ziel verschlüsselt ablegen. Ihr wollt eure verschlüsselten Ordner nicht erst "manuell" einhängen um die Sicherung zu ermöglichen? Alles kein Problem...

Aber es kommt noch besser... denn wir machen uns neben dem Aufgabenplaner des DSM auch "autorun" zu nutze. Einfach nur einen USB-Stick mit dem vorher konfigurieren Script in die DS gesteckt und ab geht's.

Und? Neugierig geworden... sabbert ihr schon? Ein wenig Geduld müsst ihr aber noch haben... kann aber nicht mehr lange dauern. Wir sind bereits beim Feintuning.

Tommes & PsychoHH
 

whitbread

Benutzer
Mitglied seit
24. Jan 2012
Beiträge
1.294
Punkte für Reaktionen
54
Punkte
68
Ich schicke einfach mal grosse Bewunderung und noch bisserl zusätzliche Energie 'rüber zu Euch!
 

Tommes

Benutzer
Sehr erfahren
Maintainer
Mitglied seit
26. Okt 2009
Beiträge
9.145
Punkte für Reaktionen
1.113
Punkte
314
Federführend war bzw. ist hierbei PsychoHH, der förmlich über sich hinauswachsen ist. Er hat die Initialzündung gelegt, er hat den Code dazu geliefert... Mal eben 250 Zeilen zusätzlichen Code rausgehauen um diesen im gleichen Athemzug wieder in die Tonne zu treten. Kurzzeitig ist er ein wenig abgedriftet, war wohl im falschen Tunnel gelandet. Jetzt hat er sein Chi aber wiedergefunden und hat innerhalb von nur 2 Tagen alles zusammengescriptet. Der Typ ist echt der Knaller. Sein Kung-Fu ist wesentlich besser als meines. Also wenn hier einer noch zusätzliche Energie braucht, dann er.

Sorry PsychoHH, das ich dir das jetzt so vor den Latz knalle, aber du hast es verdammt nochmal verdient.

Tommes
 

reiki

Benutzer
Mitglied seit
16. Mai 2012
Beiträge
352
Punkte für Reaktionen
5
Punkte
18
Meine Neugierde für euer Mega-Script wächst auch bei mir ins Unermessliche... Kann schon gar nicht mehr abwarten...Auch von meiner Seite nochmals vielen Dank für die viele Zeit und tollen Ideen:cool:
 

PsychoHH

Benutzer
Mitglied seit
03. Jul 2013
Beiträge
2.967
Punkte für Reaktionen
4
Punkte
78
Ja es ist fast vollbracht.
Die ganzen Grundfunktionen laufen.


Wie oft habe ich überlegt, was man wie am besten umsetzen kann und welche Funktionen nützlich sind.


Wenn ich mich jetzt nicht Irre wird wie Tommes schon erwähnte folgendes möglich sein.

Neben dem Script liegt die Keyfile und es werden automatisch die verschlüsselten Ordner gemountet.
Nun können die Daten filebasiert in einen anderen unverschlüsselten oder verschlüsselten Ordner kopiert werden.
Quell und Zielordner werden automatisch eingehangen und nach dem Backup ausgehangen.

Dabei können auch nur einzelne Unterordner in einem verschlüsselten Ordner angegeben werden.
Es lassen sich somit auch mehrere verschlüsselte Ordner in einem gemeinsamen "verschlüsselten" Backup Ordner kopieren.
Dabei ist es egal ob man die Daten von der DS oder zur DS schickt.
Beides kann man durch einsetzen der IP regeln.

usw usw.. .


Aber die Tage kommt da mal was zu :)
 

Andy+

Benutzer
Sehr erfahren
Mitglied seit
25. Jan 2016
Beiträge
5.047
Punkte für Reaktionen
328
Punkte
189
Ich finde das auch absolut genial. Auf diese Weise entsteht nicht nur ein eigenständiges SPK, sondern auch eine Unabhängigkeit von fehlgeleiteten Philosophien. Synology kann ja Philosophien entwickeln, gleichzeitig aber bisheriges belassen und dem User die Wahl überlassen.
 

Tommes

Benutzer
Sehr erfahren
Maintainer
Mitglied seit
26. Okt 2009
Beiträge
9.145
Punkte für Reaktionen
1.113
Punkte
314
Wir hatten im nächsten Schritt eigentlich geplant, auf ein datenbankbasierte Datensicherung um zu switchen... (kleiner Scherz)

So ein SPK wäre schon eine ziemlich coole Kiste. Jedoch sehe ich mich aktuell nicht dazu in der Lage, dieses umzusetzen. Auch spannt mich dieses Projekt jetzt schon sehr ein und mir würde neben dem fehlenden Wissen vor allem Zeit fehlen. Ich hätte ja gerne Merthos dazu animiert unser Script in autorun einzuflechten, aber leider, leider...

Anderseits kann man das Script so jederzeit seinen eigenen Wünschen und Vorstellungen verändern, was auch seinen Reiz hat.

Tommes
 

PsychoHH

Benutzer
Mitglied seit
03. Jul 2013
Beiträge
2.967
Punkte für Reaktionen
4
Punkte
78



Es gab nochmal einiges anzupassen.

Vor allem sollten auch die Logfiles und DSMConfigs übertragen werden.
Ich habe eigentlich alles soweit durchgeprobt.
Natürlich kann es sein, dass es noch Fehler gibt, daher bitte "noch" nicht produktiv einsetzen.

Was mir aber aufgefallen ist:
Wenn ich Daten von meiner 212j (DSM 5) zu 716 (DSM 6) schicke, kann ich Daten nicht in der File Station öffnen.
Dann sagt die File Station einfach Datei nicht vorhanden ... Ich kann sie aber runterladen oder im Finder öffnen. Wahrscheinlich noch ein Bug ..
Beide DS laufen aber jeweils als Basis unter ext4.




Meinerseits bin ich erstmal durch, solange Tommes dann keine größeren Patzer entdecken kann.



 

Tommes

Benutzer
Sehr erfahren
Maintainer
Mitglied seit
26. Okt 2009
Beiträge
9.145
Punkte für Reaktionen
1.113
Punkte
314
Ankündigung: Wir suchen Beta-Tester

PsychoHH und ich haben uns dazu entschlossen euch -sofern ihr Lust habt, als Beta-Tester für unser Projekt zu involvieren, da wir es nur so schaffen können so gut wie alle Fehler und Eventualitäten ausmerzen zu können. Ihr seid also dazu aufgerufen uns tatkräftig zu unterstützen.

Wir stehen aktuell bei 577 Zeilen Code, haben heute noch weitere, intensive Tests duchgeführt, ein paar Fehler und Unstimmigkeiten behoben, Kommentare hinzugefügt und das Script gradegerückt um es lesbarer zu machen. Wir sind schon nahe dran, aber hier und da gibt es leider immer noch kleinere Problemchen. Im Großen und Ganzen läuft das Script aber schon ziemlich rund und PsychoHH ist aktuell noch dabei ein paar weitere Probleme aus der Welt zu schaffen. (Der Typ ist einfach nicht zu bremsen)

Wie dem auch sei... wir werden euch ab morgen Abend hier in diesem Thread die Möglchkeit bieten, das Script zu downloaden und es zu testen (natürlich mit unwichtigen Testdaten) Wir hoffen darauf, das ihr uns dabei helfen könnt, dieses Script weiter zu perfektionieren und sind für jeden Tipp, jede Anregung und jede Kritik offen und dankbar.

In diesem Sinne, bis morgen Abend.

Wir freuen uns auf euch und euer Feedback

Tommes & PsychoHH
 

Andy+

Benutzer
Sehr erfahren
Mitglied seit
25. Jan 2016
Beiträge
5.047
Punkte für Reaktionen
328
Punkte
189
Ich könnte mit zwei Servern dabeisein. Eine DS712+ mit DSM 6 und eine DS414 mit DSM 5.2.

Vielleicht wäre es möglich, mit 2, 3 Zeilen zu beschreiben, wohin das Script kommt und wie es gestartet wird.
 

dil88

Benutzer
Contributor
Sehr erfahren
Mitglied seit
03. Sep 2012
Beiträge
29.881
Punkte für Reaktionen
1.166
Punkte
754
Wahnsinn, Ihr machts echt spannend. Aber schlaft bitte zwischendurch auch nochmal die eine odere andere Stunde, ja? :)
 

PsychoHH

Benutzer
Mitglied seit
03. Jul 2013
Beiträge
2.967
Punkte für Reaktionen
4
Punkte
78
Ein wenig ja :)


Hust ...Log..

------------------------------------------------------------------------------------------------
Verschluesselter Zielordner Testver nicht eingehangen...
Testver.key gefunden
Verschluesselter Zielordner Testver wird eingehangen...
Unverschluesselter Quellordner homes wurde lokalisiert...
Verschluesselter Quellordner Geheimtest nicht eingehangen...
Geheimtest.key gefunden
Verschluesselter Quellordner Geheimtest wird eingehangen...


------------------------------------------------------------------------------------------------


Lokaler Quellordner /homes/admin wurde lokalisiert...
Starte Datensicherung: /homes/admin nach /volume2/Testver/DiskStation



;)
 

Tommes

Benutzer
Sehr erfahren
Maintainer
Mitglied seit
26. Okt 2009
Beiträge
9.145
Punkte für Reaktionen
1.113
Punkte
314
Info: Ich bin nur die Vorhut! PsychoHH reicht das Script- sobald er fertig ist, nach! Hier erstmal ein paar Infos für euch. Aber vorher noch etwas in eigener Sache:

Wenn ihr wüsstest was PsychoHH und ich heute bereits für einen Nervenkrieg durchlebt haben... der Veröffentlichungstermin stand lange Zeit auf der Kippe, da uns wohl böse Geister davon abhalten wollten. PsychoHH ist bereits am Ende seiner Kräfte, er hat alles gegeben das Ruder doch noch rumzureißen. Aktuell arbeitet er noch wie ein Tier an diesem verdammten Script, welches uns grade alles abverlangt. Aber wir wollen unser Versprechen euch gegenüber natürlich halten und alles versuchen, die Beta heute noch an den Start zu bekommen. Vielleicht haben wir uns mit der Ankündigung etwas weit aus dem Fenster gelehnt... anderseits ist es "nur" eine Beta. Von daher habt bitte Nachsicht mit uns, wenn sich der Termin verschieben sollte. Momentan arbeitet alles gegen uns...

Ich möchte an dieser Stelle jedoch nochmal betonen, das dieses Projekt ohne PsychoHH keinen Pfifferling wert wäre. Dieses Script ist zu seinem Baby geworden und er hat verdammt noch mal sehr viel Zeit dafür investiert es zu dem zu machen, was es aktuell ist. Vor dieser Leistung ziehe ich meinen Hut und er hat meinen vollsten Respekt verdient.

OK, jetzt aber zum Script.

Da es sich hier um einen Beta-Test handelt ist es wichtig, das ihr euch eine entsprechende Testumgebung schafft und ausschließlich mit unwichtigen Daten hantiert! Wir können einen möglichen Datenverlust nicht ausschließen und übernehmen somit auch keine Garantie. Ihr macht das also alles auf eure eigene Kappe. Und bitte handelt nicht überstürzt. Das Script benötigt eine gewisse Zeit, selbst wenn ihr nur eine Hand voll Daten sichern wollt. Es wurden an verschiedenen Stellen bewusst einige "Bremsen" eingebaut, um z.B. der Diskstation die nötige Zeit einzuräumen verschlüsselte Ordner ein und auszuhängen. Also lieber ein wenig länger warten und erst dann aktiv werden.

Rich (BBCode):
 Diskstation
    |   |
    |   '--> Aufgabenplaner ------------------------------
    |             |                                      |
    |             '--> Such-Script -----> USB/SATA-Share ---> Ausführungs-
    |                                                    |       Script
    '----------------> USB/SATA-Share --> autorun --------    (Key-Files)
                                                                   |
                                       .---------------------------'
                                       |
                                       V
            .---------- Quelle <--- definiere ---> Ziel----------.
            |            |                          |            |
            V            '- USB/SATA/Intern/Extern -'            V
lokalisiere Quelle(n)                                     lokalisiere Ziel
  |                                                                    |  
  |                             Protokoll                              |
  |-->  Verschlüsselte              |              Verschlüsseltes  <--|
  |  Quelle(n) anhand der   <--- aushängen --->    Ziel anhand der     |
  |  Key-Files einhängen            |            Key-Files einhängen   |
  |          |                      |                   |              |
  |          V                      |                   V              |
  '--------------------->> !! DATENSICHERUNG !! >>---------------------'
                       |                          |
                       '- USB/SATA/Intern/Extern -'

Noch ein paar Hinweise:

Das oben gezeigte Fließbild beschreibt die grundlegende Funktionsweise unseres Scriptes.

Das Script kann sowohl über den Aufgabenplaner direkt, über das Such-Script aus dem Wiki oder in Verbindung mit autorun gestartet werden. Bei Verwendung von autorun muss der Script-Dateiname in "autorun" umbenannt und in das Hauptverzeichnis eines externen USB-/SATA-Datenträger abgelegt werden. Auch muss das Script bei direktem Aufruf "ausführbar" sein. (siehe Wiki)

Bei Verwendung verschlüsselter Ordner können diese nur vom Script eingehangen werden, wenn das entsprechende Key-File (der Exportschlüssel) vorhanden ist. Alle Key-Files müssen sich dabei am selben Speicherort bzw. im selben Ordner wie das Script befinden, egal ob lokal, von oder auf eine DS gesichert wird. Es können durchaus mehrere Key-Files dort abgelegt werden, das Script erkennt automatisch, welches Key-File für welchen Ordner benötigt wird.

Bei der lokalen, sowie bei der Datensicherung VON einer entfernten Quelle (FROMSSH) bestimmt der Speicherort des Scriptes den Speicherort der Datensicherung. Dieser wird über die Variabel DESTINATION bestimmt. Liegt das Script also z.B. im gemeinsamen Ordner /NetBackup und man vergibt für die Variabel DESTINATION /Backup_DS, dann wird die Datensicherung unter /NetBackup/Backup_DS abgelegt. Bei USB-/SATA-Datenträgern würde der Speicherort unter /Backup_DS liegen. Bei einer Datensicherung AUF eine entfernte DS (TOSSH) muss zusätzlich noch der gemeinsame Ordner angegeben werden, wohin gesichert werden soll. Beim Füllen der Variabel DESTINATION müsste hier dann z.B. /NetBackup/Backup_DS eingetragen werden

Alles weitere sollte im Script selber beschrieben sein.

Viel Spaß beim Testen. Und Danke schon mal für eure Unterstützung, eure Bug-Reports, Anregungen und Kritik!

Tommes & PsychoHH


PS: Hoffen wir, das PsychoHH das Script heute noch an den Start bringen kann.
 

PsychoHH

Benutzer
Mitglied seit
03. Jul 2013
Beiträge
2.967
Punkte für Reaktionen
4
Punkte
78
Eigentlich sollte es noch besser kommen und es wurden so einige Probleme gefixt.
Es gab aber dann ein riesen Problem und es ging nichts mehr!

Stunden haben wir jetzt versucht diesen zu lösen. Leider ohne Erfolgt.
Wir setzen erstmal auf ein Beta Script von gestern was auch läuft.

Nochmal. BITTE UNBEDINGT auf einer Testversion benutzen.
Ohne Backup sollte man nichts testen.


Hier das Script:
http://cloud.directupload.net/4Imv
 

dil88

Benutzer
Contributor
Sehr erfahren
Mitglied seit
03. Sep 2012
Beiträge
29.881
Punkte für Reaktionen
1.166
Punkte
754
Macht Euch keinen Stress, lasst Euch Zeit, zieht Euch erstmal einen schönen Film 'rein. Das Skript läuft nicht weg.
 

Andy+

Benutzer
Sehr erfahren
Mitglied seit
25. Jan 2016
Beiträge
5.047
Punkte für Reaktionen
328
Punkte
189
Würde ich auch sagen .... erst mal Hut ab ...... aber lieber die notwendige Zeit mehr und ihr seid zufrieden und überzeugt. :cool:
 

PsychoHH

Benutzer
Mitglied seit
03. Jul 2013
Beiträge
2.967
Punkte für Reaktionen
4
Punkte
78
Mal eine Frage an die Script Profis.

Warum kann ich so prüfen ob ein Ordner existiert if ssh root@ip test -d $Ordner aber nicht so if ssh root@ip [ -d "$Ordner" ]?

Sollte das nicht trotzdem gehen?
 
Status
Für weitere Antworten geschlossen.
 

Kaffeautomat

Wenn du das Forum hilfreich findest oder uns unterstützen möchtest, dann gib uns doch einfach einen Kaffee aus.

Als Dankeschön schalten wir deinen Account werbefrei.

:coffee:

Hier gehts zum Kaffeeautomat