Automatisierter CSV Import in MariaDB

  • Ab sofort steht euch hier im Forum die neue Add-on Verwaltung zur Verfügung – eine zentrale Plattform für alles rund um Erweiterungen und Add-ons für den DSM.

    Damit haben wir einen Ort, an dem Lösungen von Nutzern mit der Community geteilt werden können. Über die Team Funktion können Projekte auch gemeinsam gepflegt werden.

    Was die Add-on Verwaltung kann und wie es funktioniert findet Ihr hier

    Hier geht es zu den Add-ons

Status
Für weitere Antworten geschlossen.

p-mob

Benutzer
Registriert
13. Jan. 2011
Beiträge
31
Reaktionspunkte
4
Punkte
14
Folgendes Problem:
Ich habe ein System das mir täglich einige CSV Dateien mit Datensätzen per FTP auf einen Share einer DS718+ schreibt.
Diese Files sollen nun einmal täglich in eine SQL DB importiert werden, um sie dauerhaft zu archivieren und auswerten zu können.
Der manuelle Import per PHPMyAdmin in MariaDB funktioniert. MariaDB läuft als Docker Container. Auf Kommandozeile des Docker Containers habe ich den Import ebenfalls schon am Laufen.
Mein Problem ist nun, diesen Import zu automatisieren. Hat hier jemand ein paar Ideen wie man das angehen kann?
 
Ich denke für andere User wäre es interessant zu wissen, wie du den Import angehst. Ansonsten wäre ein CRON-Job wohl das gängigste Mittel für zeitbasierte Automatisierungen.
 
Aktuell logge ich mich auf dem Docker Container in die MariaDB Konsole ein.
Der Befehl zum Import ist folgender:

LOAD DATA LOCAL INFILE '/config/hs/Heiz.csv' into table Heiz FIELDS TERMINATED BY ';' LINES TERMINATED BY '\n' IGNORE 1 ROWS

Wobei die "Heiz.csv" eine der Dateien ist, die per FTP in den Unterordner "hs" geschrieben wird.
 
Update zu der Sache:
Da ich es absolut nicht hinbekommen habe mit MariaDB als Docker Container das ganze zu automatisieren...
Läuft jetzt mit einer direkt als Paket (Synology) installierten MariaDB.
Notwendige Befehle laufen als Shell Skript / Cronjob.
Somit erledigt.
 
Mit docker exec hab ich es zuerst versucht, leider bin ich da immer wieder an einem Berechtigungsproblem gescheitert, bei dem ich einfach nicht gefunden habe, was die Ursache dafür war.
 
Status
Für weitere Antworten geschlossen.
 

Kaffeautomat

Wenn du das Forum hilfreich findest oder uns unterstützen möchtest, dann gib uns doch einfach einen Kaffee aus.

Als Dankeschön schalten wir deinen Account werbefrei.

:coffee:

Hier gehts zum Kaffeeautomat