Mail-Archiver: Zentrale IMAP E-Mail-Archivierung & Migration

[s1t5]

Hallo zusammen,

da meine Anwendung im Thread "herstellerunabhaengige-synology-app-alternativen" sehr positiv aufgenommen wurde habe ich mich entschlossen, einen eigenen Thread für diese zu erstellen

Mail-Archiver ist eine Open Source Anwendung zur automatischen Archivierung, Suche und dem Export von E-Mails aus beliebigen IMAP-Konten. Sie ermöglicht es, mehrere Postfächer zentral auf dem eigenen Server zu speichern, komfortabel zu durchsuchen, einzelne E-Mails oder ganze Mailboxen zu exportieren sowie Mails bei Bedarf wiederherzustellen. Die Verwaltung erfolgt über eine Weboberfläche und die Installation erfolgt in Form eines Docker Containers.

Ursprünglich hatte ich die Anwendung aus dem eigenen Bedarf heraus entwickelt, da ich ein selbst hostbares, web basierendes, Tool gesucht habe mit dem ich all meine IMAP Konten anbieterunabhängig auf meiner eigenen Infrastruktur sichern kann, dieses jedoch nicht gefunden habe.

Die Installationsanleitung ist in meiner GitHub Repo zu finden: https://github.com/s1t5/mail-archiver
Meine Entwicklungsroadmap verwalte ich ebenfalls im GitHub, in Form eines Projektes: https://github.com/users/s1t5/projects/2

 

[Benie]

Ich hab da mal eine Frage, ließe sich Mailarchiver auch mit pop3 gestalten oder wäre das zu viel Aufwand?

 

[FricklerAtHome]

Danke für diese Öffnung einer Extra-Applikation Diskussion!

Als Feature Request kommt aktuell von meiner Seite nachdem das Multiuser Feature funktioniert die Frage ob man den individuellen Benutzern auch die Editierung ihrer Accounts erlauben kann? --- Das ist komplex und geht in Richtung "Provider", hat aber bei mir einen einfachen Grund:
Tochter A hat in einem der ihr zugeortneten Accounts ihr Passwort geändert, also in Real und das führt dann zu einem Abbruch im Mail-Archiver (hier hat sie zur Zeit ja keine Modulationsmöglichkeit). Ich denke so an eine Möglichkeit zur Account-Manipulation durch den Admin und auch durch den Benutzer für seine individuellen Accounts.
Da kommen Anderen noch sicher weitere Ideen (sind schon auf GIT zur Passwortänderung durch den individuellen Benutzer gestellt).

___________ Aber wir wollen den Ball doch flachhalten ________________

Das oben beschriebene geht in Richtung "professioneller / möglicher kommerzieller Einsatz!"
Wie bereits gesagt ist der jetzige Status in meiner "freeware-Community" durch mich im produktiven Real Einsatz. Die Reaktionen: "Toll, Geil, super Transparent ........." --- Auch jetzt schon!

Danke!
F@H

 

[s1t5]

@FricklerAtHome die Selbstverwaltung der User nehme ich mal mit auf die ToDo

 

[FricklerAtHome]

Danke! Ansonsten bewährt sich die 2508.3 gut.

 

[s1t5]

Das freut mich zu hören

 

[FricklerAtHome]

Wo du gerade ONLINE bist:
Stimmt meine Vermutung das die Mails indiziert abgelegt werden (also nicht nur für die Suche) sondern auch um Duplikate zu erkennen und diese nicht erneut zu speichern? Zumindest sieht das so bei einigen meiner User so aus.
Mir gefällt das und es wäre nach meiner Meinung sogar einen Hinweis in einem "späteren" Handbuch wert. Es spart unnötigen Speicherplatz, muss aber auch beim Löschen von Accounts bedacht werden.

Grüße F@H

 

[Benie]

Ich hab da mal eine Frage, ließe sich Mailarchiver auch mit pop3 gestalten oder wäre das zu viel Aufwand?

@s1t5 - Hast Du die Frage übersehen?

 

[FricklerAtHome]

@Benie

wenn man nach pop3 fragt, ist man eigentlich inhaltlich bei einer direkten "Weiterleitung auf SMTP". Von daher verstehe ich die Nachfrage für ein "MAIL-ARCHIV" nicht? Archive haben keinen und dürfen keinen Einfuss auf die Primäre Quelle haben. POP löscht immer die angefragte / angefasste Mail, deshalb wurde ja IMAP erfunden. Oder besser ausgedrückt bei IMAP können mehr als eine Person (sogar zeitgleich) die Mail verläßlich einsehen und nutzen. So einfach geht das mit POP(1-x) normalerweise nicht.
Oder verstehe ich da etwas falsch?

F@H

PS.: IMAP-Archiv Zugriffe nutzen kein FetchMail!

 

[Benie]

POP löscht immer die angefragte / angefasste Mail,

Nicht wirklich, einstellungssache auf dem Client oder pop3 Account.

Ich kenne mich da eigntlich nicht so gut aus. IMAP hat mir nie so zugesagt.
Mir geht es eigentlich mehr darum, daß der Endpoint meiner abgerufenen Mails auf der DS liegt, und das ich diese durchaus auch auf mehreren Laptops / Handys zur verfügung habe E-Mails bleiben auf pop3 Server liegen. Bisher händle ich das so, alle Geräte können empfangen, lesen und auf dem Client löschen, aber es gibt nur ein Gerät mit dem sie auf dem pop3 Server gelöscht wird, sobald sie abgerufen wird. (ist auch auf dem Client so eingestellt).
Es war eben auch bisher egal, selbst wenn auf anderen Geräten gelöscht wurde, die Mail blieb auf dem pop3 Server liegen (einstellungssache auf dem Client) Ich hätte aber gern daß die die DS, und nicht Outlook, Thunderbird, K-9 Mail & Co., der Endpoint wird. Da ist mir Mailserver ins Auge gestochen. Ausprobiert habe ich das mit IMAP und läuft auch im Sinne des Erfinders, aber bestimmte Dinge bezügl. Löschen lassen sich da nicht so umsetzen wie ich das mit pop3 kann. Mit IMAP könnte so wie ich das sehe auf jedem Client gelöscht werden, und das sollte zb. nicht möglich sein. Deshalb mein Gedanke ob man da in die Richtung etwas machen kann.

 

[MattCB]

Ich nutze den Mailarchiver auch seit einigen Wochen. Kann man irgendwo einstellen, dass er nur bestimmte Ordner synchronisiert oder bestimmte Ordner nicht synchronisiert? Denn die Spam-Ordner möchte ich nicht unbedingt im Archiv haben.

 

[FricklerAtHome]

@Benie
Wenn dein Scenario funktioniert, von meiner Seite kein Widerspruch. Üblicherweise können ja Mail-SERVER beide Protokolle. Mail-ARCHIVER greift wie ein weiterer Client auf die Postfächer zu und läßt diese vollkommen unverändert, also z.B. ungelesene Nachrichten bleiben auch weiter ungelesen für alle Anderen Zugriffe usw.. Gib IMAP also zusätzlich einfach mal eine Chance. Dieser Clientzugriff ist ja nur aus der App realisierbar und unterliegt keinen individuellen Einfluss. In meinem Scenario mit 6 Benutzern und ca. 15 Clients (Handys, Tablets, Outlook und Webinterfaces des eigenen Mail-Servers) funktioniert die Mail-Archivierung (aktuell noch gekauftes Programm) via IMAP seit Jahren stabil. ----- Das ist aber eigendlich eine andere Geschichte. Das geht deutlich tiefer in Richtung von Resourcenverbrauch von ONLINE Verfügbarkeit vs. verläßliche OFFLINE Archivierung. Aktuell verwalte ich in meinem email-Archiv ca. 200.000 Mails seit 2004. Das Archiv ist nicht direkt über die MAIl-Clients erreichbar, steht aber mittels VPN jeden Benutzer jederzeit zur Verfügung. ich messe auch unsere Zugriffe auf das Archiv. Bei uns werden Mails die älter als 180 Tage sind auf den Clients automatisch gelöscht, sie sind aber weiter im Archiv. Lediglich für die Steuerklärung gibt es Zugriffe auf Mails im Archiv. Anfragen zu Mails die älter als ca. 500 Tage gibt es gar nicht.
Warum bei mir der Aufwand? Ich bin manchmal als Freiberufler tätig und muss dann die entsprechenden Rechtsverordnungen einhalten.

@MattCB
Ja, funktioniert seit der Version 2508.2 bzw. 2508.3. Anmelden als Admin-User, dann unter Account den Mail-Connect auswählen und "editieren". Bei uns erscheinen dann die entsprechenden Ordner. --- Wir archivieren bei uns auch den SPAM-Ordner. Ja das kann unnützen oder gefährlichen Inhalt enthalten, aber leider auch HAM, den man auf einmal doch braucht. Da die Mails in einer Datenbank abgelegt werden, können sich darin womöglich enthaltene schädliche Inhalte nicht selbst oder durch "andere" aktiviert werden. --- Auch das ist der Zweck eines ARCHIV!

An alle die sonst hier mitlesen. In einer meiner mitbetreuten Nachbarschaften läuft MAIL-ARCHIVE als Container unter Portainer. Der Dienst WATCHTOWER aktualisiert zuverläßig diesen Container. Ich bin also nach jeder Veröffentlichung von @s1t5 spätestens nach 24 Stunden auch auf dem neusten Stand. Bisher macht das keine Probleme, s1t5 macht da einen guten Job! Dieses Vorgehen können wir uns aber nur erlauben da wir noch gleichzeitig eine "generelle BCC Copy" betreiben. Damit können wir sogar einen "Vollständigkeits-Abgleich" beider Methoden durchführen. Beide Methoden sind auch allen betroffenen Benutzern klar und durch sie akzepiert (ansonsten kann es mal häßliche Probleme mit dem Datenschutz geben --auch im rein privaten Bereich).

Noch etwas wenn wir hier weiter Erfahrungen austauschen, besonders in einem NAS Forum: ARCHIVE sind kein BACKUP. Damit wir nicht aneinander vorbeireden schaue ich immer wieder pingelig auf die Unterschiede.

gerne weiter hier im Erfahrungsaustausch!
F@H

 

[FricklerAtHome]

@s1t5
Die aktuelle 202508.4 läuft ohne Störungen! Wenn ich die Hinweise richtig verstanden habe kann ich jetzt einstellen nach vie vielen Tagen nach der Archivierung die entsprechenden Mail auf dem PRIMÄR-Server (also Online Konto des Benutzer) gelöscht werden. Wir haben da jetzt einiges "Eingestellt". Bis die Kriterien erreicht werden wird es aber jetzt auch dauern. Bei konstantem durchschnittlichen Zufluss sollten also die Client-Accounts in der Zeitreihe nur noch moderat anwachsen (also bei uns nicht mehr die vom Provider vorgegebene Postfachgröße von 2 GB überschreiten), während das Archiv trotzdem wächst, den diese Mails bleiben ja dort erhalten!

Weiter besten Dank und Grüße
F@H

 

[s1t5]

@s1t5 - Hast Du die Frage übersehen?

oh tatsächlich, sorry! Eine POP3 Unterstützung habe ich bisher nicht auf der Roadmap, sehe den Bedarf hier allerdings auch noch nicht.
In der neuen Version habe ich die Funktion ergänzt, dass Mails nach einem definiertem Zeitraum auch automatisch vom Server gelöscht werden können.

 

[s1t5]

@s1t5
Die aktuelle 202508.4 läuft ohne Störungen! Wenn ich die Hinweise richtig verstanden habe kann ich jetzt einstellen nach vie vielen Tagen nach der Archivierung die entsprechenden Mail auf dem PRIMÄR-Server (also Online Konto des Benutzer) gelöscht werden. Wir haben da jetzt einiges "Eingestellt". Bis die Kriterien erreicht werden wird es aber jetzt auch dauern. Bei konstantem durchschnittlichen Zufluss sollten also die Client-Accounts in der Zeitreihe nur noch moderat anwachsen (also bei uns nicht mehr die vom Provider vorgegebene Postfachgröße von 2 GB überschreiten), während das Archiv trotzdem wächst, den diese Mails bleiben ja dort erhalten!

Weiter besten Dank und Grüße
F@H

Danke für das Feedback und deine Supportunterstützung

Zu deiner Frage oben bezüglich der Indexierung: Beim Sync werden die zu speichernden Mails mit dem aktuellen Archivbestand abgeglichen um hier Dubletten zu überspringen. In der nächsten Version (aktuell schon im dev Tag veröffentlicht) ist die Suche nun auch über Indizes realisiert, was eine erhebliche Performance Verbesserung gebracht hat. Meine testweise Suche mit gleichen Parametern ist von ca 8 Sekunden auf 18 Millisekunden beschleunigt worden.

 

[FricklerAtHome]

Die Version 202508.5 ist auch bei uns bereits installiert. --- Alles aus den Vor-Versionen läuft weiter problemlos. Die Verbesserung der Suchfunktion testen wir übers Wochenende.
Aktuell ist Mail-Archive bei uns der sich am schnellsten "Verbessernde Container" bzw. der mit der höchsten Update-Frequenz. --- Super!
Ebenso am Wochenende werden wir für unsere nicht mehr im eigenen Haushalt lebenden Kinder Mail-Archiv, mittels Sub-Domäne hinter einem Reverse-Proxy auf einem Nicht-Standard-Port und zusätzlicher Authenifizierung auf dem Proxy, testen. Sie können das zwar auch über ein VPN, das ist denen aber zu doof. --- Faktisch wollen Sie wohl nur ausprobieren ob es geht. Bei unserem kommerziellen Produkt mit dieser Funktion hat es noch keiner genutzt. Das spricht für ein passendes Intervall bei der Aufteilung von ONLINE Mails mit direktem Zugriff auf Handy, WebUi oder sonstwo und dem OFFLINE Archiv. Funktioniert das mit dem Reverse Proxy ist das schön, bei mangelndem Zugriff wird es aus Sicherheitsgründen aber wieder abgeschaltet.
Schon auf dem jetzigen Stand wird Mail-Archive in zwei der betreuten Nachbarschaften spätestens im Herbst das bisher genutzte MailStore Home ablösen. Bis dahin testen die noch die Zuverläßlichkeit der Container-installation mit Portainer unter Proxmox inkl. Backup der gesamten Container und VM's. Auch das sieht aktuell gut aus, da selbst der Schwenk auf Proxmox 9.0 problemlos funktionierte.

Grüße aus dem Ruhrgebiet
F@H

 

[patrickn]

@s1t5 Ich schreib das nun auch einfach mal hier, hoffe das ist okay.


Im Prinzip läuft bisher alles, aber ein kleines Problemchen, wenn man "eingeloggt bleiben" auswählt. Man bleibt zwar angemeldet, z.B. nach 2 Tagen, aber irgendwie nur so halb.
Direkt nach dem Login steht oben rechts mein korrekter Name vom Konto, in meinem Fall "patrick", nach zwei Tagen jedoch immer "Unknown"



Öffne ich dann eine Mail in der Ansicht auf der Startseite unten unter "Recent Emails", wird der Zugriff verweigert und die Schaltflächen zur Verwaltung wird gar nicht angezeigt. Bei "Passwort ändern" kommt die Meldung user nicht gefunden.


PS: Was mich aktuell noch etwas von der Nutzung abhält, ist das ungefragte Anzeigen/Nachladen von externen HTML Elementen bei Öffnen von Mails. Das möchte ich leider weder beim Öffnen von Mails, noch dass ggf. im hintergrund schon bei der Archivierung im Hintergrund externe Elemente lokal heruntergeladen und gespeichert werden. (meine, dazu hätte ich auch ein "Feature Request" gesehen)

 

[s1t5]

@s1t5 Ich schreib das nun auch einfach mal hier, hoffe das ist okay.


Im Prinzip läuft bisher alles, aber ein kleines Problemchen, wenn man "eingeloggt bleiben" auswählt. Man bleibt zwar angemeldet, z.B. nach 2 Tagen, aber irgendwie nur so halb.
Direkt nach dem Login steht oben rechts mein korrekter Name vom Konto, in meinem Fall "patrick", nach zwei Tagen jedoch immer "Unknown"

Anhang anzeigen 107918

Öffne ich dann eine Mail in der Ansicht auf der Startseite unten unter "Recent Emails", wird der Zugriff verweigert und die Schaltflächen zur Verwaltung wird gar nicht angezeigt. Bei "Passwort ändern" kommt die Meldung user nicht gefunden.
Anhang anzeigen 107919

PS: Was mich aktuell noch etwas von der Nutzung abhält, ist das ungefragte Anzeigen/Nachladen von externen HTML Elementen bei Öffnen von Mails. Das möchte ich leider weder beim Öffnen von Mails, noch dass ggf. im hintergrund schon bei der Archivierung im Hintergrund externe Elemente lokal heruntergeladen und gespeichert werden. (meine, dazu hätte ich auch ein "Feature Request" gesehen)

Moin,

an der ersten Thematik bin ich aktuell dran, dazu gab es auch ein Issue auf GitHub. Sobald das behoben ist gebe ich hier auch noch einmal eine kurze Rückmeldung

Deine Anregung zur Nachladung von externen Inhalten nehme ich mal mit für die Zukunft, ggf. schaffe ich hier eine Option um das Laden zu deaktivieren oder sogar diese externen Referenzen zum Archivierungszeitpunkt mit lokal abzulegen.

 

[s1t5]

Die Version 202508.5 ist auch bei uns bereits installiert. --- Alles aus den Vor-Versionen läuft weiter problemlos. Die Verbesserung der Suchfunktion testen wir übers Wochenende.
Aktuell ist Mail-Archive bei uns der sich am schnellsten "Verbessernde Container" bzw. der mit der höchsten Update-Frequenz. --- Super!
Ebenso am Wochenende werden wir für unsere nicht mehr im eigenen Haushalt lebenden Kinder Mail-Archiv, mittels Sub-Domäne hinter einem Reverse-Proxy auf einem Nicht-Standard-Port und zusätzlicher Authenifizierung auf dem Proxy, testen. Sie können das zwar auch über ein VPN, das ist denen aber zu doof. --- Faktisch wollen Sie wohl nur ausprobieren ob es geht. Bei unserem kommerziellen Produkt mit dieser Funktion hat es noch keiner genutzt. Das spricht für ein passendes Intervall bei der Aufteilung von ONLINE Mails mit direktem Zugriff auf Handy, WebUi oder sonstwo und dem OFFLINE Archiv. Funktioniert das mit dem Reverse Proxy ist das schön, bei mangelndem Zugriff wird es aus Sicherheitsgründen aber wieder abgeschaltet.
Schon auf dem jetzigen Stand wird Mail-Archive in zwei der betreuten Nachbarschaften spätestens im Herbst das bisher genutzte MailStore Home ablösen. Bis dahin testen die noch die Zuverläßlichkeit der Container-installation mit Portainer unter Proxmox inkl. Backup der gesamten Container und VM's. Auch das sieht aktuell gut aus, da selbst der Schwenk auf Proxmox 9.0 problemlos funktionierte.

Grüße aus dem Ruhrgebiet
F@H

Das klingt doch super! Ich habe das bei mir auch auf meinem Proxmox Host laufen, als Docker Container in einem LXC welchen ich täglich auf meinen PBS sichere. Das ganze auch schon seit vielen Monaten ohne Probleme bisher

 

[patrickn]

sogar diese externen Referenzen zum Archivierungszeitpunkt mit lokal abzulegen.

@s1t5 Danke für deine Antwort, das dann bitte aber auch optional

Genau das möchte jedenfalls ich nicht, dass dann z.B. die ganzen Bildchen, Javascripts und CSS von irgendwelchen (dubiosen) Servern abgerufen werden, und möglicherweise noch Tracking-Pixeln, um den Spammern die Echtheit und somit die Nutzung der E-Mail-Adresse auf dem Silbertablett zu servieren...