Storj - Speicher vermieten

Frieseba

Benutzer
Mitglied seit
27. Nov 2011
Beiträge
463
Punkte für Reaktionen
20
Punkte
24
DAs neue Update ist draußen und da ja nicht jeder in deren Forum mitliest, es wurde Payout Information eingefügt. Mit Total Earnings und Total Held Amount. Finde ich ganz gut gemacht. Sehr gut ist, dass es die Daten für jedes Node einzeln anzeigt. Wer also mehrere Nodes betreibt :) Seh hier z.B, dass das raspberry pi 4 sich nur unwesentlich schlechter schlägt, als die Synology. Hätte ich nicht gedacht
 

maulsim

Benutzer
Mitglied seit
24. Mai 2016
Beiträge
552
Punkte für Reaktionen
45
Punkte
48

maalik

Benutzer
Mitglied seit
05. Feb 2016
Beiträge
705
Punkte für Reaktionen
11
Punkte
38
Hat watchtower das bei euch automatisch aktualisiert? irgendwie tut der bei mir nicht mehr hab ich das gefühl...
 

Frieseba

Benutzer
Mitglied seit
27. Nov 2011
Beiträge
463
Punkte für Reaktionen
20
Punkte
24
Ja, hat er. Die haben allerdings ein Zeitfenster von 72 Std eingefügt, in denen er anschlagen soll. Sinn ist, dass nicht alle gleichzeitig updaten und das Netz von Storj dann platt ist. Achte drauf, dass du bei Watchtower die latest Version hast. Die wurde vor einem Monat überarbeitet!
 

Peppi81

Benutzer
Mitglied seit
24. Aug 2012
Beiträge
40
Punkte für Reaktionen
2
Punkte
14
Storj-Node "überlebt" Zwangstrennung alle 24 Stunden nicht!

Hallo!

Habe meine 2te Storj-Node in betrieb genommen und stehe vor dem Problem, dass die Node ab der Zwangstrennung durch den Provider keinen Traffic mehr hat! Im Dashboard wird "Online" beim Status angezeigt aber bei "last contact" läuft die Zeit weiter hoch ....

Ein Neustart des Containers und die Node läuft wieder! Aber alle 24 Stunden manuell neu zu starten ist auch sehr unpraktisch!

Ich habe Storj als Dockercontainer installiert genau wie an meiner andern Node. DynDNS ist konfiguriert und läuft!

Weiss jemand eine Lösung für das Problem?



Danke im Voraus

Thomas
 
Zuletzt bearbeitet:

Peppi81

Benutzer
Mitglied seit
24. Aug 2012
Beiträge
40
Punkte für Reaktionen
2
Punkte
14
@ faxxe: Danke für den Tipp!

Hätte vieleicht schreiben sollen, dass meine 2te Node nicht auf ner Syno läuft sondern auf einem Raspberry Pi 4B! an einem DSL-Anschluß. Hab an dem Standort "nur" eine DS214play. Die kann leider kein Docker!
Meine 1te Node läuft auf einer DS918+ an einem Glasfaser-Anschluß ohne Zwangstrennung & fixer IP .... Damit gibs das Problem ja nicht.

Hab den "Neustart" an meiner 2ten Node jetzt per 'crontab' zur Zeit der Zwangstrennung realisiert!

Wer eine "elegantere Lösung" meines Problems bei der Zwangstrennung weiß, kann es mich ja hier wissen lassen!


Grüße & vielen Dank!

Thomas
 

Heidi

Benutzer
Mitglied seit
05. Aug 2019
Beiträge
283
Punkte für Reaktionen
42
Punkte
34
Hallo Luddi,

nachdem update auf v1.0.1 ging das bei mir wieder nicht mit den UDP Ports in der DSM-Firewall. Ich habe Sie jetzt komplett deaktivieren müssen, damsit der Knoten wieder korrekt läuft. Wie sieht das bei dir aus? Oder wie sieht das bei allen anderen aus? Wie sind eure Firewall Einstellungen?? Ich will die Welt draussen halten, nur Deutschland erlauben und eben den Storj-Dienst (TCP Port 28967, klar: offen) aber die UDP-Ports gebunden auf die IPs von den Satelliten offen so wie Luddi schreibt, klappt bei mir nicht ordentlich. Wie macht ihr da??
 

Heidi

Benutzer
Mitglied seit
05. Aug 2019
Beiträge
283
Punkte für Reaktionen
42
Punkte
34
Grafana und Telegraf und Co.

Grafana und Telegraf und Co.

Ich würde gerne meine Knoten-Stats schön einfach aufrufen und im Überblick behalten. Das Web-Dashboard ist zwar ganz nett. Aber einige Infos ziehe ich mir immer aus dem Dashboard aus der SSH. Das ist aber unübersichtlich und aufwendig hin zugelangen (habe 2 Knoten in Betrieb).

Im Internet bin ich fündig geworden. Es gibt Docker-Container für so grafische Telemetrie Anzeige. Grafane oder Telegraf sind 2 Stichworte. Vielleicht hat das schon jemand und kann mir da starthilfe geben. Wie richte ich das ein? Welche Berechtigungen und Verknüpfungen braucht Docker da.... usw..??
 

luddi

Benutzer
Sehr erfahren
Mitglied seit
05. Sep 2012
Beiträge
3.242
Punkte für Reaktionen
586
Punkte
174
Hallo Heidi,
[...]nachdem update auf v1.0.1 ging das bei mir wieder nicht mit den UDP Ports in der DSM-Firewall
aktuell sind wir doch bereits auf v1.1.1.
Also bei mir werden nach wie vor die Updates mit watchtower durchgeführt und das erneute Starten läuft auch einwandfrei mit den bekannten Einstellungen.

Mittlerweile hatte ich noch eine Änderung in der Firewall zum Bild im Post #306 vorgenommen da ich ständig folgeden Error bekam:
Rich (BBCode):
ERROR	contact:service	ping satellite failed 	{"Satellite ID": "118UWpMCHzs6CvSgWd9BfFVjw5K9pZbJjkfZJexMtSkmKxvvAW", "attempts": 5, "error": "ping satellite error: rpccompat: dial tcp:
lookup satellite.stefan-benten.de on 10.88.66.1:53: read udp 172.17.0.2:32907->10.88.66.1:53: i/o timeout", "errorVerbose": "ping satellite error: rpccompat: dial tcp:
lookup satellite.stefan-benten.de on 10.88.66.1:53: read udp 172.17.0.2:32907->10.88.66.1:53: i/o timeout\n\tstorj.io/common/rpc.Dialer.dialTransport:261\n\tstorj.io/common/rpc.Dialer.dial:238\n\tstorj.io/common/rpc.Dialer.DialAddressID:157\n\tstorj.io/storj/storagenode/contact.(*Service).pingSatelliteOnce:117\n\tstorj.io/storj/storagenode/contact.(*Service).pingSatellite:87\n\tstorj.io/storj/storagenode/contact.(*Chore).updateCycles.func1:87\n\tstorj.io/common/sync2.(*Cycle).Run:150\n\tstorj.io/common/sync2.(*Cycle).Start.func1:69\n\tgolang.org/x/sync/errgroup.(*Group).Go.func1:57"}

Somit habe ich tatsächlich die Firewall um die IP-Adresse 172.17.0.2 erweitert.

storj-firewall-settings.png

Die einzige Warnung die ich dennoch weiterhin ab und zu im Log sehe ist diese hier:
Rich (BBCode):
WARN	trust	Failed to fetch URLs from source; used cache
{"source": "https://tardigrade.io/trusted-satellites", "error": "HTTP source: Get https://tardigrade.io/trusted-satellites: dial tcp 104.198.14.52:443: i/o
timeout", "errorVerbose": "HTTP source: Get https://tardigrade.io/trusted-satellites: dial tcp 104.198.14.52:443: i/o
timeout\n\tstorj.io/storj/storagenode/trust.(*HTTPSource).FetchEntries:63\n\tstorj.io/storj/storagenode/trust.(*List).fetchEntries:90\n\tstorj.io/storj/storagenode/trust.(*List).FetchURLs:49\n\tstorj.io/storj/storagenode/trust.(*Pool).fetchURLs:240\n\tstorj.io/storj/storagenode/trust.(*Pool).Refresh:177\n\tstorj.io/storj/storagenode/trust.(*Pool).Run:114\n\tstorj.io/storj/private/lifecycle.(*Group).Run.func1:56\n\tgolang.org/x/sync/errgroup.(*Group).Go.func1:57"}
Hierfür habe ich aber noch keine Erklärung gefunden.

--luddi
 

luddi

Benutzer
Sehr erfahren
Mitglied seit
05. Sep 2012
Beiträge
3.242
Punkte für Reaktionen
586
Punkte
174
Grafana und Telegraf und Co.
Aber einige Infos ziehe ich mir immer aus dem Dashboard aus der SSH. Das ist aber unübersichtlich und aufwendig hin zugelangen (habe 2 Knoten in Betrieb).
Wie genau machst du das? Und was ist dabei aufwendig?

--luddi
 

faxxe

Benutzer
Mitglied seit
22. Nov 2007
Beiträge
228
Punkte für Reaktionen
55
Punkte
34
Grafana und Telegraf und Co.

Ich würde gerne meine Knoten-Stats schön einfach aufrufen und im Überblick behalten. Das Web-Dashboard ist zwar ganz nett. Aber einige Infos ziehe ich mir immer aus dem Dashboard aus der SSH. Das ist aber unübersichtlich und aufwendig hin zugelangen (habe 2 Knoten in Betrieb).

Im Internet bin ich fündig geworden. Es gibt Docker-Container für so grafische Telemetrie Anzeige. Grafane oder Telegraf sind 2 Stichworte. Vielleicht hat das schon jemand und kann mir da starthilfe geben. Wie richte ich das ein? Welche Berechtigungen und Verknüpfungen braucht Docker da.... usw..??

Hi Heidi,
ich habe das mal mit dem Storj Exporter Docker gemacht.
https://forum.storj.io/t/prometheus-storj-exporter/1939
In dem Link steht eigentlich alles was man braucht.

Von da kann man dann mit einem Prometheus Docker eine für Grafana lesbare Datenbank erstellen.
Man braucht also 3 zusätzliche Docker: exporter - prometheus - grafana

Und dann braucht man noch Grafana als das Tool das die Daten optisch darstellt.
Hat mich alles zusammen gut 2 Tage gekostet bis es lief. Ich musste mich in Prometheus und Grafana erst einlesen.
Lief dann bis das Storj Export-Tool ein Update benötigte. Das hat dann einfach nicht mehr geklappt. Habe dann alle 3 Docker gelöscht und hol mir die Info nur mehr SSH und dem Earning script
https://github.com/ReneSmeekes/storj_earnings

Hübsch ist die Grafana Sache ja schon.
Bildschirmfoto 2020-04-12 um 18.27.32.jpg

-faxxe
 

Frieseba

Benutzer
Mitglied seit
27. Nov 2011
Beiträge
463
Punkte für Reaktionen
20
Punkte
24
Nur mal eine Frage in die Runde. Meine 2 Nodes laufen nun seit dem 3 Januar. Bislang war es doch relativ überschaubar, was da an Traffic pro Tag einlief. Seit 12 Tagen werden aber beide Nodes unter Dauerfeuer genommen. Hab bei meiner 50.000er Leitung jeweils 2 TB an Bandwidth diesen Monat. Ist das bei euch gerade auch so?
 

kev.lin

Benutzer
Mitglied seit
17. Jul 2007
Beiträge
623
Punkte für Reaktionen
38
Punkte
48
Kann ich nicht bewusst bestätigen, dass ich vermehrte Nutzung habe.
Aber wie schaust Du denn über den vergangenen Monatswechsel zurück? Gestern konnte man doch im Dashboard nur die Auswertung vom 1.4. bis 12.4. sehen. Heute dementsprechend bis zum 13.04.
 

maulsim

Benutzer
Mitglied seit
24. Mai 2016
Beiträge
552
Punkte für Reaktionen
45
Punkte
48
Bislang war es doch relativ überschaubar, was da an Traffic pro Tag einlief. Seit 12 Tagen werden aber beide Nodes unter Dauerfeuer genommen. Hab bei meiner 50.000er Leitung jeweils 2 TB an Bandwidth diesen Monat. Ist das bei euch gerade auch so?
Die Frage wäre auch was für Traffic - Ingress oder Egress. Wenn der Node jung ist, dann ist auch erstmal nicht viel los. Irgendwann hat er dann eine gute Reputation und dann wird plötzlich viel drauf geladen, also der zur Verfügung gestellte Speicher befüllt. Infolgedessen hast du "Ingress" Traffic und der wird dir ja nicht bezahlt.
 

Heidi

Benutzer
Mitglied seit
05. Aug 2019
Beiträge
283
Punkte für Reaktionen
42
Punkte
34
@ Friseba: Ja ich kann das bestätigen. Ich betreibe einen Knoten seit Juni 2019 und eine seit Januar 2020. Mal mehr mal weniger egrees/ingress. Aber seit er Eröffnung (v1.0.1) wird draufgeladen dass es raucht. Stand die letzte Woche: Es wir täglich (!) 250GB draufgeladen. Mein availible Space schrumpt und schrumpt. Ich gebe z.Z. wöchentlich mehr Platz frei und werde sicher meine 2bay NAS in eine DS418play tauschen, damit dort wieder mehr Platten reinkönnen.

Mein 1. Knoten ist eine DS1819+ da kann ich noch Platten nachschieben (habe noch 4 Slots unbelegt). Die 4TB Plattengröße ist z.Z. das beste was Preis Leistung angeht.

Mein täglicher Egress ist 30GB auf dem einen Knoten und 15GB auf dem anderen. Beide stehen an unterschiedlichen IPs. Beide sind aktuell mehr oder weniger gleich stark befüllt (ca. 3,5TB). Paradoxerweise gehen die 15GB täglich von dem Knoten ab, der an einer Leitung mit 10-upload hängt, während mein "großer" Knoten aktuell noch an einer 5er Leitung am Anschlag läuft.

Der Egress ist zwar stochastisch verteilt, sodass man nicht sagen kann, ob auf den einen Knoten mehr oder weniger nur archiviert oder aktiv gearbeitet wird. Durch die Stückelung der Dateien und der homogenen Verteilung im Netz dachte ich zwar, dass sich das ausmittelt. Dass der Unterschied aber SO groß ist, ist mir ein Rätsel.
 

Heidi

Benutzer
Mitglied seit
05. Aug 2019
Beiträge
283
Punkte für Reaktionen
42
Punkte
34
Hallo Luddi,

na, in so einem Storj-Exporter sieht man eben alles auf einen Blick. Es gibt sogar configs dafür damit man mehrere Knoten auf einem Bildschirm darstellen kann. Da das alles wieder in einem Docker Container läuft, kann man einfach per URL und Port per Browser-Lesezeichen mit einem Klick drauf zugreifen (auch von unterwegs). Dort kann man das dann auch per Passwort schützen.

Geht man über das Web interface, dann muss man den entsprechenden Port (14002) in der Firewall daheim aufmachen. Ein Portsniffer und die dynDNS ermöglichem dann jedem, da reinzuschauen, inkl. der ETH-Payout Adresse. Soviel zum Thema annonyme Zahlung (ich lasse meine Storj Tokens immer annonoymisieren durch die tauschbörse bzw. einen "Blender"-Dienst).

Dann muss man eben jeden Knoten einzeln abfragen.

Per SSH setzt von unterwegs dann voraus, dass der SSH Port im Internet offen ist. Das ist eine gewisse Sicherheitsschwachstelle (ich bekomme mehrfach (abgeblockte) Angriffe auf mein SSH-Port (nicht der Standard 55er)).

Per SSH-Putty mus sich erst mein User und das Passwort und bei sudo-befehlen nochmal das passwort (oder zumindest beim sudo -i einmal)) eingeben. Dann muss ich die Shell-Befehle eintippen (ich kopier die mir immer aus einer TEXT-Datei raus). Den aktuellen Füllstand hole ich mir aus dem SSH-Dashboard
HTML:
sudo docker exec -it storagenode /app/dashboard.sh
Die succesrate aus dem python Script (früher schon mal beschrieben)
HTML:
sudo bash /volume1/Ordner/Storj-Knoten/successrate.sh
und den Verdienst aus der Earningstabelle
HTML:
sudo python /volume1/Ordner/Storj-Knoten/earnings.py /volume1/Storj/storage/

Ja, inzwischen kann man schon viel über das Web-Dashboard erfahren. Aber aus oben beschriebenen Gründen halte ich die Grafana-Lösung für den Königsweg.
 
  • Like
Reaktionen: elevator

luddi

Benutzer
Sehr erfahren
Mitglied seit
05. Sep 2012
Beiträge
3.242
Punkte für Reaktionen
586
Punkte
174
Hallo Heidi,
na, in so einem Storj-Exporter sieht man eben alles auf einen Blick. [...] Dort kann man das dann auch per Passwort schützen.
Das leuchtet mir ein und ist als Übersicht auf nur einem Dashboard bestimmt genial.

[...] dann muss man den entsprechenden Port (14002) in der Firewall daheim aufmachen. [...] ermöglichem dann jedem, da reinzuschauen, inkl. der ETH-Payout Adresse.
Da bin auch ich absolut dagegen. Ist nicht im Sinne von Anonymisierung.

Dann muss man eben jeden Knoten einzeln abfragen.
Und das könntest du doch alles per Script realisieren über den Aufgabenplaner der DS. Das Ergebnis bzw. stdout wird dir dann per Email zugeschickt.
Oder du legst das ganze als Protokoll als Datei auf dem Server ab und schickst dir dann den Inhalt der Datei... Also auch hier ist nicht unbedingt eine manuelle Abfrage nötig.

Per SSH setzt von unterwegs dann voraus, dass der SSH Port im Internet offen ist. Das ist eine gewisse Sicherheitsschwachstelle (ich bekomme mehrfach (abgeblockte) Angriffe auf mein SSH-Port (nicht der Standard 55er)).
Da stimme ich dir zu. Den SSH Port würde ich genau aus diesen Gründen auch nicht in der Firewall bzw. Router öffnen wollen.

Per SSH-Putty mus sich erst mein User und das Passwort und bei sudo-befehlen nochmal das passwort (oder zumindest beim sudo -i einmal)) eingeben.
Also ich erspare mir das und logge mich direkt als "root" in der shell ein. Wie das geht? Leider nicht per user credentials (user : password) sondern über einen RSA Key.
Somit erspare ich mir den ständigen Wechsel zu root mit sudo -i oder das ständige Präfix sudo vor jedem Kommando.

Dann muss ich die Shell-Befehle eintippen (ich kopier die mir immer aus einer TEXT-Datei raus). Den aktuellen Füllstand hole ich mir aus dem SSH-Dashboard
HTML:
sudo docker exec -it storagenode /app/dashboard.sh
Die succesrate aus dem python Script (früher schon mal beschrieben)
HTML:
sudo bash /volume1/Ordner/Storj-Knoten/successrate.sh
und den Verdienst aus der Earningstabelle
HTML:
sudo python /volume1/Ordner/Storj-Knoten/earnings.py /volume1/Storj/storage/
Auch hierzu kann ich dir nur den folgenden Tip geben um nicht immer alles eintippen zu müssen bzw. sich die Befehle aus einer Textdatei mit Copy & Paste in die Konsole zu holen. Ist eine Möglichkeit aber wie du schon selbst bemerkt hast irgendwie unbrauchbar.
Ich würde mir eine .bashrc und eine dazugehörige .bash_aliases im jeweiligen user home Verzeichnis anlegen und die Befehle über Aliases handhaben.

Nehmen wir deine Besipiele...
In der Datei .bash_aliases definierst du dir für jeden Befehl je einen Alias mit dem Namen deiner Wahl. Hier z.B. "dockerdash", "success" und "earning".
Rich (BBCode):
alias dockerdash='sudo docker exec -it storagenode /app/dashboard.sh'
alias success='sudo bash /volume1/Ordner/Storj-Knoten/successrate.sh'
alias earning='sudo python /volume1/Ordner/Storj-Knoten/earnings.py /volume1/Storj/storage/'
Und der Aufruf des Kommandos welches du vorher nun immer aus deiner Textdatei kopiert hast kannst du nun wie folgt ausführen.
Anstelle von den vorher einzelnen Befehlen die man sich nur schwer einprägen kann:
...allein diese Befehle bzw. Aliases.
Rich (BBCode):
dockerdash
success
earning
Somit werden nun die Aliases "dockerdash", "success" und earning" als Befehl aus der Alias Definition ersetzt und bei Eingabe (Return) jeweils ausgeführt.

Ja, inzwischen kann man schon viel über das Web-Dashboard erfahren. Aber aus oben beschriebenen Gründen halte ich die Grafana-Lösung für den Königsweg.
Ist aber definitiv noch ausbaufähig.

--luddi
 

Frieseba

Benutzer
Mitglied seit
27. Nov 2011
Beiträge
463
Punkte für Reaktionen
20
Punkte
24
@ kev.lin: Hab zumindest auf einem Knoten (raspberry pi 4) RPi-Monitor installiert und da noch das Netzwerk hinzugefügt. Damit kann ich den Netzwerkverkehr des pis (down-und upload) von einem Tag, zwei Tagen, 14 Tagen, einem Monat und einem Jahr grafisch anzeigen lassen. Könnte man sicherlich auch auf der Synology installieren, hab ich aber bislang nicht versucht.

@ Heidi: Dann beobachtest du das Gleiche wie ich. Handelt sich allerdings primär um Ingress. Dank deiner Hilfe konnte ich die Synology am 3.01 einbinden und heute sind 4 TB voll. Hab an einer anderen Leitung mit einer sehr gute 50.000er Leitung (Laut Fritzbox liegen 62.000 an) ein raspberry pi 4. Es ist beachtlich, dass das kleine Teil so gut mithalten kann. Ok, etwas bessere Leitung. Beobachte gerade nur, dass man ständig Festplattenplatz freigibt und dazu tendiert, neue Hardware zu kaufen, was ja eigentlich nicht der Sinn der Sache sein sollte :)
 
Zuletzt bearbeitet:

Heidi

Benutzer
Mitglied seit
05. Aug 2019
Beiträge
283
Punkte für Reaktionen
42
Punkte
34
@Luddi: Ach, das mit den Bash-Befehlen ist eine super Idee. Das werde ich umsetzen.
 


 

Kaffeautomat

Wenn du das Forum hilfreich findest oder uns unterstützen möchtest, dann gib uns doch einfach einen Kaffee aus.

Als Dankeschön schalten wir deinen Account werbefrei.

:coffee:

Hier gehts zum Kaffeeautomat