Mail-Archiver: Zentrale IMAP E-Mail-Archivierung & Migration

[Jo3?]

@s1t5 erst mal großes Lob an die Küche, super Programm. Funktioniert bis jetzt perfekt.
Danke für das veröffentlichen.
Meine Frage: gibt es eine Möglichkeit E-Mails aus dem Archiv zu löschen? z.B.: Werbung die in den Posteingang geschickt wird?
Über die Suche konnte ich Mails finden, die ich über den "Selection Mode" auswählen kann, aber nicht löschen.
Copy funktioniert perfekt, Export geht auch, aber einen "Delete" Button für Müll-Mails finde ich nicht.

Gruß & Danke.
Jo3

 

[FricklerAtHome]

Liebe Mitnutzer: Der Unterschied zwischen einem Archiv und einem Backup

Wenn man E-Mails in einem "Zweit-Speicher" löschen oder manipulieren kann werden die Kriterien eines Archiv nicht mehr erfüllt! Für den Einsatz in Unternehmen oder für jede sonstige rechtsgültige archivierende Nutzung wird das Tool damit sinnlos. Als reiner Privat-Anwender ist das ggf. nervig, rechtssicher ist es aber notwendig!
Wenn der Inhalt der Archivierung hier aufgeweicht wird, bin ich zum Beispiel raus. Dann bleibe ich bei meinem kommerziellen Produkt, das sogar in der Lage ist einem externem Auditor die Manipulationssicherheit zur Prüfung ermöglicht.
Wo ist den das Problem mit "unnützen Mails"? SPAM, Werbung und vieles was man individuell als Unnütz wahrnimmt, frisst kein Brot, wenig Speicher und im Archiv auch keine Nerven! Wer sucht schon nach Werbung im Archiv, und wie viel Speicher frisst das am Gesamtumfang?
In meiner Bewertung geht Löschen gar nicht und auch das Unterdrücken von "vollständigen E-Mail" Inhalten ist sicher in der Warnehmung wünschenswert, im Sinne auch einer rechtsfähigen Archivierung (und einige von uns brauchen das) jedoch kontraproduktiv und eigendlich verboten. Ich nutze seit Jahren ein kommerzielles Produkt für diese "Sicherheit" (mehr als 100 € pro Jahr), Mail-Archive ist unter diesen Archiv Kriterien für mich auf dem richtigen Weg!

Denkt mal alle darüber nach was ihr wirklich zwingend braucht und was ihr als eure "Grau-Zone" akzeptieren könnt.

F@H

 

[geimist]

Vielleicht wäre @Jo3? schon damit geholfen, wenn man Mails verstecken / ausblenden könnte.
Es wäre also lediglich ein Flag, den man in der Darstellung auswerten könnte. So werden keine Daten verändert und die Unveränderlichkeit bleibt gewahrt.

 

[FricklerAtHome]

@geimeist
Da bin ich leider deutlich brutaler! Eine Mail ist angekommen. Ob die für mich Sinn macht oder nicht ist allein meine Wahrnehmung (sie liegt womöglich bereits in meinem SPAM-ordner). Das ist aber möglicherweise eine falsch negative Zuordnung und befreit mich nicht von einer rechtsfähigen Zustellung! Ich halte deshalb auch das Verstecken / Ausblenden in einem Archiv für kontraproduktiv!

F@H

 

[s1t5]

Bei der Thematik „E-Mail löschen” bin ich sehr zwiegespalten. Mein Ursprungsgedanke ist eine lückenlose und vollständige Archivierung der gesamten Postfachkorrespondenz. Ich bin da ganz auf der Seite von @FricklerAtHome .

Ich hatte schon den Gedanken, eine Löschfunktion zu implementieren, die jedoch für den Container in der appsettings bzw. Docker Compose explizit freigeschaltet werden muss. Im besten Fall sogar irreversibel, d. h., einmal aktiviert, kann sie nicht mehr rückgängig gemacht werden. Dies entspricht jedoch nicht mehr dem ursprünglichen Sinn, aus dem ich die Anwendung entwickelt hatte.

Was mir hier noch vorschwebt ist ggf. eine Prune Frunktion, mit welcher man Mails ab einer erreichten Aufbewahrungsfrist von x Jahren durch händische Betätigung und Bestätigung abschneiden kann, wie z.B. alles aus dem Archiv des Kontos muster@mail.de älter als 10 Jahre löschen.

Angesichts des minimalen Speicherbedarfes den die Mails jedoch belegen habe ich das aktuell noch nicht weiter fokussiert.

 

[senderversteller]

Ich denke eine Funktion, die immer ein aktuelles Backup eines IMAP Konto schreibt und damit vom Server gelöschte Mails auch aus von der Diskstation aus dem Backup löscht wäre ein ganz anderer Ansatz.
Ich fände ihn interessant, weil es eigentlich das ist, was ich eigentlich brauche/sucht… aber ich bin mit dem Archiver so wie er ist sehr zufrieden. Frisst und säuft nicht viel Speicher; von daher passt .

 

[Wiesel6]

Aktuell habe ich den Synology Mail Server Plus am laufen (nur im Heimnetz). Dort habe ich ein neues mailkonto „Archiv“ angelegt und in meinem Mailprogramm eingebunden.
Sporadisch verschiebe ich meine mails von meinen Mail-Konten ins Archiv.

Wenn ich das hier richtig lese, geht dieses Vorgehen nicht?

 

[FricklerAtHome]

liebe Alle
der Gesetzgeber hat zumindest den geschäftlichen Umgang mit E-Mails in den letzten beiden Jahren weitgehend neu geregelt. Zum Beispiel kommen Pflichten zur E-Rechnung und weiteres.
Diese Veränderungen gelten zunächst nur im geschäftlichen Bereich, aber was bedeutet das? Ich bekomme als Privatmann Rechnungen von Handwerkern, bestelle Dinge online und bekomme die Rechnung auch nur per Mail und viele weitere Dinge bei der ich im Konfliktfall auch die Kommunikation per Mail nachweisen muss / können sollte.
Danach wird es komplexer:
Ich habe nur ein Mail-Konto beim Provider, zum Abrufen nutze ich dessen WEB-Interface oder einen E-Mail Client. Dort habe ich ein Abbild des Mail-Konto und wenn das nicht die bezahlte Größe überschreitet brauche ich mich eigendlich um nichts kümmern. Wer ausreichend Platz hat kann alle Mails die nerven in einen Unterordner schieben und fertig. --- bei uns beträgt dieser Platz 2GB pro Postfach. Und bei uns wird der Platz pro postfach leider öfter zu klein! (zb. durch häufige Mails mit großen Dateianhängen). Es stellt sich irgendwann die Frage was lösche ich. Die meisten Provider bieten (gegen Zusatzkosten) hier eine "Backup-Lösung".
Wir haben uns schon vor mittlerweile 2 Jahrzehnten für eine andere Lösung entschieden. Auch um selbst Herr unserer Daten zu sein / zu bleiben. Als große Familie (Großeltern, Geschwister und mittlerweile erwachsenen Kinder) haben wir ca. 20 Mail-Konten in diesem Konstrukt. Die Postfächer beim Provider holen wir vollständig alle 3 Minuten ab (dann sind die Konten beim Provider leer). Ab da sind wir aber auch in der Pflicht (wie ein Provider) die Kommunikationswege nachvollziehbar zu machen. Also eigener E-Mail Server und eigenes Mail-Archiv. Für das Problem Archiv gab es bisher nur kommerzielle (also mit Zusatzkosten verbundene) Angebote, die auch die jeweils angepassten rechtlichen Anforderungen berücksichtigen. ---- Auch wir sind Sparfüchse, ich liebe unabhängige Entwicklungen und deshalb freuen wir uns über "MAIL-ARCHIVE", aktuell super Weg. Die grundsätzlichen Anforderungen an Archive lassen wir aber da nicht aus dem Auge.
Wer also von Mail-Archive weitestgehend nur zur Eigenorganisation benötigt (mit vielfälltigen individuellen Eingriffsmöglichkeiten) findet wahrscheinlich bessere Lösungen. Wer so wie wir auf der Suche nach einer LOG-FILE Lösung für E-Mails und deren Inhalte ist, ist bisher nicht von anderen OpenSource Lösungen überzeugt worden.
Also lasst uns hier die Entwicklung einer Archiv-Software begleiten und fördern. Wer Hilfe zur individuellen Mail-Organisation braucht wird sicher hier weitere Hilfe bekommen.

F@H

 

[Jo3?]

Bei der Thematik „E-Mail löschen” bin ich sehr zwiegespalten. Mein Ursprungsgedanke ist eine lückenlose und vollständige Archivierung der gesamten Postfachkorrespondenz. Ich bin da ganz auf der Seite von @FricklerAtHome .

Ich hatte schon den Gedanken, eine Löschfunktion zu implementieren, die jedoch für den Container in der appsettings bzw. Docker Compose explizit freigeschaltet werden muss. Im besten Fall sogar irreversibel, d. h., einmal aktiviert, kann sie nicht mehr rückgängig gemacht werden. Dies entspricht jedoch nicht mehr dem ursprünglichen Sinn, aus dem ich die Anwendung entwickelt hatte.

Was mir hier noch vorschwebt ist ggf. eine Prune Frunktion, mit welcher man Mails ab einer erreichten Aufbewahrungsfrist von x Jahren durch händische Betätigung und Bestätigung abschneiden kann, wie z.B. alles aus dem Archiv des Kontos muster@mail.de älter als 10 Jahre löschen.

Angesichts des minimalen Speicherbedarfes den die Mails jedoch belegen habe ich das aktuell noch nicht weiter fokussiert.

@s1t5 Danke für die Antwort.
Hintergrund weshalb ich überhaupt auf die Software gestoßen bin: Ich habe das Problem, dass ich nicht genügend Ordner in meinem IMAP Konto anlegen kann/ darf, wird vom Hersteller eingeschränkt.
Hab aber den Sinn im ersten Moment falsch verstanden, wie F@H deutlich gemacht hat.

@FricklerAtHome
...Liebe Mitnutzer: Der Unterschied zwischen einem Archiv und einem Backup...
Wollte Deinen Puls nicht über 200 bringen, sorry.

Nochmals wieso ich nach der Löschen Funktion gefragt habe:
Wenn Du eine Mail hast, in der definitiv eine Virus steckt, warum sicherst Du diese? Vermutlich als Nachweis, passt.
Nun zur Wichtigen Frage: Wie verhinderst Du, das diese erneut aus dem Archiv ausgeführt wird?

Gruß Jo3

 

[patrickn]

Für "geschäftliche Zwecke" mit Archivierungspflichten und Co dürfte die Software, zumindest stand heute, dann sowieso nix sein, sie ermöglicht es nämlich bereits jetzt, Postfächer neu zu synchronisieren - was den Datenverlust bisheriger Sicherungen nach sich zieht und nur noch den aktuellen Stand auf dem Server sichert.

 

[s1t5]

Für "geschäftliche Zwecke" mit Archivierungspflichten und Co dürfte die Software, zumindest stand heute, dann sowieso nix sein, sie ermöglicht es nämlich bereits jetzt, Postfächer neu zu synchronisieren - was den Datenverlust bisheriger Sicherungen nach sich zieht und nur noch den aktuellen Stand auf dem Server sichert.

Moin! Der re-sync löscht keine Mails aus dem bestehenden Archiv sondern gleicht lediglich den kompletten Serverbestand neu mir dem Archiv ab. Sit dieser kleiner verbleiben die bestehenden Mails trotzdem in der Datenbank

 

[s1t5]

Ich habe soeben die neue Version veröffentlicht. Die neuen Features:

• Übersetzungen für die Weboberfläche wurden in den folgenden Sprachen hinzugefügt: Deutsch, Spanisch, Französisch, Italienisch, Niederländisch, Russisch und Slowakisch.
• Vorschau von Anhängen hinzugefügt.
• Option zum gleichzeitigen Herunterladen aller Anhänge hinzugefügt.
• Verbesserte Suchoptionen: Zitierte Ausdrücke werden nun unterstützt, ebenso wie Suchfeldspezifikationen wie „Betreff:Suchtext“.

 

[FricklerAtHome]

@patrickn
bei der erneuten Synchronisation bleiben die bisher gespeicherten Inhalte erhalten. Der von dir Beschriebene Datenverlust tritt bei uns nicht auf. Nur wenn der Account "deleted" wird erfolgt ein Neuaufbau. Das Disablen des Account stoppt die bisherige Synchronisation (also den Zuwachs mit neuen Inhalten) und friert den Archivstand quasi ein.

@Jo3?
Unser primäres Ziel ist es erst gar keine "verseuchte Mail" in das Postfach zu lassen. Wir (der Server) nehmen also alles zunächst an, filtern aber vor der Veröffentlichung im Anwender-Postfach mit vielfälltigen Methoden (SPF, Antiviren-Kennung, DKIM und was es da alles gibt). Mails die da auffällig sind werden gar nicht erst zugestellt, deren Auftreten und Abweisungsgrund werden aber durch den Server detailiert protokolliert und sind damit "nachvollziehbar". Nur Maills die diese Hürde nehmen kommen bei uns im Mail-Postfach an und werden dann auch archiviert. Ja -- das Risiko sich hier doch etwas einzufangen bleibt, das fällt dann aber in der Regel schon früh auf und kann mit dem üblichen Vorgehen bei Virenbefall angegangen werden. Das Schöne ist das die "abgelehnten Mails" ursächlich keine weiteren Rückfragen auslösen. Ob schädliche Mails in unserem 20 Jährigen Archiv stecken wissen wir nicht, wir suchen nicht danach und deshalb wird von da auch nichts wieder aktiviert.
Wir haben noch weitere Systeme zur Schaderkennung im Einsatz, wir haben keine E-Mail Clients auf Windows Basis.

F@H

 

[FricklerAtHome]

@s1t5

die neue Version von heute werden wir ab morgen (Container-update-Interval) testen können. Alle bisherigen Versionen laufen weiter geschmeidig und wie erwartet.
Wir haben bis gestern auch eine externe Erreichbarkeit mittels Reverse-Proxy ausprobiert. Hat tadellos funktioniert, wurde aber gar nicht genutzt! Unsere Online-Mail-Accounts sind wohl so groß das locker alles der letzten 365 Tage online zur Verfügung steht. Für ältere Inhalte in einer anderen Applikation zu suchen gab es keinen Bedarf. Wir haben dass wieder abgeschaltet.
Wir nutzen jetzt aber einen (zugegebenerweise doppelt gemoppelten) Weg. Wir leiten alle Mails mit Rechnungsanhängen (in der Regel PDF) an das Spezialpostfach von Paperless NGX weiter. Dort werden die Anhänge entsprechend aufgearbeitet. Meine Frau sucht solche Dokumente lieber in ihrem (unserem) digitalen Aktenordner (da sind ja auch eingescannte Papierdokumente drin). Ich schaue primär immer zuerst ins Mail-Archiv. Beide glücklich! Und unsere Kinder mit eigenem Haushalt verlassen sich weiter auf den Familien-Büro-Vorstand (Mutti)!!!

F@H

 

[patrickn]

bei der erneuten Synchronisation bleiben die bisher gespeicherten Inhalte erhalten.

@FricklerAtHome Stimmt, hatte es irgendwie in Erinnerung, da käme eine fette Meldung dass alles gelöscht wird.


Aber gut, solange man Konten löschen kann, isses halt trotzdem nix für geschäftliche, unveränderliche Archivierung. Und selbst wenns da ne Möglichkeit gäbe, dürfte das dem Gesetz immer noch nicht genügen - denn die Daten müssen ja unveränderlich sein. Schwierig, bei einem Container, der auch mal aktualisiert werden soll.
Meiner Ansicht nach ist das so also gar nicht realisierbar.

 

[FricklerAtHome]

@patrickn

Aktuell wird das Problem auch bei anderen Lösungen (zB. Grommunio mit MailPiler, bennoArchive oder Mail-Store) genau so umgesetzt wie es in Mail-Archive behandelt wird. Das dies allein ggf. nicht reicht ist klar. Ich / Wir haben deshalb noch eine ganze Kette von Backup-Verfahren inkl. multipler Verlaufsänderungs Nachweise angeschlossen. Unser Mail-Archive läuft unter Proxmox in einer eigenen VM. Diese wird täglich vollständig gesichert (multiple eingesetzte Hardware). Einmal die Woche wird eine schreibgespeerte Sicherung erstellt, alle 4 Wochen eine schreibgeschützte Monatssicherung usw. Hierdurch ist auch in einem Audit Verfahren die Originalität nachweisbar, und die Mail ist ja im Mail-Archiver zwar darstellbar, aber nicht editierbar. Editierbarkeit, das geht nur ausserhalb der App und erzeugt dann eine "neue" Mail, auch im Archiver, wenn sie dahin neu rückgesichert wird. ---- Dabei ist auch zu beachten wofür und wann das Archiv überhaupt greift. Bei uns sind Mails die jünger als ein Jahr sind für das Archiv sicher uninterressant. Sie sind in der Regel auch noch im Online-Client dargestellt. Alles was aktuell im Mail-Archiver landet ist in diesem aktuell "unveränderbar". Wird dort ein ganzer Account gelöscht, dann hat im Konfliktfall der Anwender ein Problem da er sich eines "Beweismittel" beraubt hat. Wer das beliebig akzeptiert braucht auch kein Archiv.
Alles ist eine Frage der eingesetzten Mittel. So weit wie ich muss das keiner treiben, das es grundsätzlich aber gegeben ist halte ich für ein unverzichtbares Qualitätsmerkmal.

Mein Tipp für alle die es leichter haben wollen:
Macht in eurem IMAP-Konto einen Ordner "ARCHIV" und lasst nur diesen Ordner durch die Account-Konfiguration in Mail-Archive sichern bzw. archivieren. Schiebt dann das was ihr wollt in diesen Ordner (manuell oder durch Regeln) aus dem Client. Fertig ist eure individuelle Archiv-Lösung (die sicher für den reinen Privat-Gebrauch reichen wird).
Ich beschäftige mich, auch beruflich, seit Jahren mit den Themen Dokumentation, Archivierung und vor Allem mit der BIAS Analoges und digitaler Wandel. Deshalb bin ich hier pingelig auch im privaten Umfeld.
Was ich unterstützen würde um es allen vielleicht leichter zu machen ist eine unabhängige zusätzliche Indizierung (also zB. Tags oder Notizen). ---- Sowas gibt es zB. ja in Paperless NGX. Wir haben aber auch hier seit Jahren keine eigene Nutzung dieses Feature. Andere nutzen das aber sicher intensiv.

Danke für die angeregte Diskussion!

F@H

 

[Wiesel6]

Wir leiten alle Mails mit Rechnungsanhängen (in der Regel PDF) an das Spezialpostfach von Paperless NGX weiter

Off topic. Ich glaube ich muss Paperless NGX nochmal ne Chance geben. Meine digitale Ordnerablage bin ich einfach gewohnt und finde schnell mal was. Aber das klingt interessant.

 

[FricklerAtHome]

@Wiesel6

Paperless NGX ist bei uns seit etwas mehr als 2 Jahren in einer gesonderten VM unter Proxmox im Einsatz. Auf der Syno hab ich das vorher nicht richtig ans Laufen gebracht. Die VM hat 6GB RAM und einen Datenspeicher von 60 GB. Mit ca. 1000 Dokumenten sind da jetzt ca. 23 GB belegt.
Dafür gibt es hier einen eigenen Diskussionsstrang. Wir haben die sinnhaften Add-Ons für die Volltext OCR Erkennung und die Nutzung von MS Office Dokumenten im kontinuierlichen Einsatz. --- Wer Spass mit PDF Dateien haben will dem empfehle ich sich auch mal Stirling-PDF anzusehen.

F@H

PS.: Seit Jahren habe ich die Aufgabe übernommen nicht nur meine private digitale Infrastruktur zu pflegen, sondern auch für weitere "Heim-Netze" in der betreuten Nachbarschaft verantwortlich zu sein. Mit der "Pflicht-Umstellung" auf Win11 sind nicht nur dort sondern auch im privaten Umfeld viele Fallstricke aufgepoppt die bisher nicht "brandten". --- Meine Frau und auch meine Kinder nutzen die Angebote eben auch nach individueller Meinung und Vorliebe. ---
ich rüste also aktuelle nur eine möglichst DAU-kompatiple Anwendung bei allen Umgebung auf. Zugegebener Weise waren manche der bisher eingesetzten Anwendungen eben nicht "Trivial-Useable". Oder sie bedurften einer kontinuierlichen Pflege durch mich! Ich stelle jetzt überall wo ich bisher als "General-Admin" tätig war die Dinge so um, das ich nur noch im Falle von Katastrophen des Alltags helfen muss. --- Mal sehen ob es wirkt!

 

[FricklerAtHome]

@s1t5

ich bin ja ein Frickler und deshalb möchte ich für meine Umgebung die Einbindung der Postgres-Datenbank verändern.
Damit Mail-Archiver läuft wird ja ein zusätzlicher Container nur für Postgres mitinstalliert und genutzt. In meinem Netzwerk laufen aber schon andere zentrale Datenbanken für zum Beispiel mySql, mariaDb und auch schon Postgres.
Spricht bereits jetzt aus deiner Erkenntnis etwas dagegen, das ich in der docker-compose.yml die Postgres Anbindung nicht an einen weiteren Container sondern an eine native "Postgres-Instanz" umleite?
ich verspreche mir ggf. eine noch bessere Performance, eine auch hardwareseitige Trennung zwischen Anwendungslogik und Datenspeicher und grundsätzlich eine Vereinfachung auch der erweiterten Backup-Strategien. So etwas hat sich bei mir beim Mail-Server Kopano oder beim Smart-home-Server FHEM seit Jahren bewährt. letztlich vereinfacht das für mich auch das Anwendungsübergreifende Monitoring mittels PRTG / GRAFANA.
Ich habe über das Wochenende ein wenig Frickel-Zeit und werde mal sehen wie weit ich komme.

Beste Grüße
F@H

 

[FricklerAtHome]

@s1t5

Als weitere Frickler-Timeline plane ich für meine private Umgebung.

Einbindung von Mail-Archiv (als Ersatz für das native Mailpiler) in das Grommunio-Web-User-Interface.

- Grommunio bietet als Ergänzung der Community-Core Installation auch zb. FILES als integrative nextCloud Instanz an. Hier nutzen wir aber in der WEB GUI bereits eine native solitäre echte nextCloud. Für die Einbindung einer Grommunio-Archiv-Alternative finde ich das sehr interessant.

Entwicklung einer "NERV-Erinnerung"

- einige unserer Anwender bekommen fast 90% ihrer E-Mails weil sie nicht den richtigen Haken gesetzt haben und somit auf etlichen Werbe-Mail-Listen stehen. Analog zu den bei dir direkt dargestellten "TOP-Absender" (ja bei mir jetzt auch schon in Deutsch) möchte ich die Anwender anregen ob sie wirklich noch auf der Mail-List bleiben wollen.

Also beide Dinge unabhängig von Mail-Archive.

weitere Ideen kommen sicher

F@H