DSM 7.2 DS918+ plötzlich sehr langsam

[Oceanwaves]

Hallo,

meine DS918+ ist seit einigen Tagen sehr langsam, bin mir aber nicht sicher, ob es nun am Netz oder an den Plattenzugriffen liegt.

Das Problem äußert sich z.B. so:

• Im Dateimanager (Dolphin, Client SuSE Tumbleweed) dauert es, wenn ich einen per NFS verbundenen freigegebenen Ordner öffne, etwa 10-20 Sekunden, bis die Dateien/Ordner angezeigt werden. Anzeige der Dateien in einem Unterordner dauert dann wieder genau so lange.
• Meine Frau (Client Laptop mit Windows 10) lädt öfter Bilder aus Synology Photos herunter. Auch bei ihr dauert dies deutlich länger
• Wenn ich am Tablet in Plex z.B. ein Video löschen möchte, dann dauert es manchmal so lange, dass Plex eine Fehlermeldung bringt ("etwas ist schief gegangen")
• Mein Linux-PC startet nachts um 4:00 Uhr und führt ein Backup mittels rsync auf die Syno durch. Dabei werden üblicherweise 4-6 GB übertragen. Im Normalfall dauert es etwa 30-40 Minuten, momentan eher 2 Stunden.
• Um 5 Uhr startet mein Backup-NAS (DS214play) und es läuft dann ein HyperBackup von der DS918+ auf die DS214play. Dies dauert im Normalfall etwa 1,5 - 2 Stunden. Heute wurde das Backup um 5 Uhr gestartet, jetzt um knapp 11 Uhr sind 10% der Sicherung abgeschlossen, dabei wurden ganze 2,8 GB übertragen (1,65 Mio geprüfte Dateien).
• Um 6:45 soll ein HyperBackup-Job starten, der bestimmte Daten (z.B. Fotos) in die Synology C2-Cloud sichert. Dauert normalerweise 10-15 Minuten, aktuell 2 Stunden (gestern 5,5 Stunden ). Der Job wartet, bis der andere Backup-Job fertig ist, die laufen also nicht parallel. Internet-Anbindung ist ein GBit-Kabelanschluss mit 50 MBit Upstream.

Da das rsync-Backup nicht mehr bis 5:00 Uhr beendet ist, kann es natürlich das HyperBackup zu Beginn beeinflusst haben. Ich habe das Rsync-Backup daher heute um 1 Stunde vorverlegt, mal schauen, ob das morgen etwas bringt. Trotzdem sollte HyperBackup für ein inkrementelles Backup keinen Tag brauchen.

Alle genannten Geräte hängen über LAN-Kabel an einem 8-Port-Switch von D-Link. Ein "top" auf der Syno zeigt keine große CPU-Last:

top - 11:01:40 up 1 day, 13:18,  1 user,  load average: 9.64, 14.05, 13.33 [IO: 9.00, 13.43, 12.51 CPU: 0.64, 0.62, 0.80]

Auch im Ressourcen-Monitor sehe ich nur eine CPU-Last von 10-20%, RAM etwa 60%. Es sind auch keine Prozesse mit übermäßiger CPU-Last zu erkennen. Die DS918+ verfügt über 8 GB RAM.

Auf der 918+ laufen einige Docker-Container (u.a. ioBroker, PiHole, Portainer, Paperless-NGX, Piped, DokuWiki, sabnzbd), bis auf ioBroker und PiHole sollten die aber alle idle sein.

In der DS918+ befinden sich 4 Platten mit SHR (2 x WD120EFBX und 2x WD40EFRX), zusätzlich 2 NVMe M.2-SSDs mit je 512 GB (Seagate Ironwolf510) als Lese-Cache. Lt. SMART sind alle Laufwerke in Ordnung, Plattenbelegung ist bei 80% (ds214play bei 81%).

Andererseits ist das Netz eigentlich so schnell wie erwartet. Wenn ich eine etwa 8 GB große Videodatei vom PC auf den NFS-Share (freigegebener Ordner) kopiere, dann dauert das etwa 1 Minute und 20 Sekunden.

Ich bin etwas ratlos...

 

[ctrlaltdelete]

Poste bitte mal die SMART Werte, siehe Anleitung in meiner Signatur, KEINEN TEST machen!

 

[dil88]

Die CPU-Last scheint mir nicht das Problem zu sein, der IO-load ist aber ganz schön hoch mit 9-13. Könntest Du bitte einen Screenshot von der RAM-Auslastung posten? Ansonsten Platten checken, wie @ctrlaltdelete vorschlägt.

 

[Oceanwaves]

Poste bitte mal die SMART Werte, siehe Anleitung in meiner Signatur, KEINEN TEST machen!

/dev/sd[ab] sind die WD120, /dev/sd[cd] die WD40

root@DiskStation:~# smartctl -A -d sat /dev/sda
smartctl 6.5 (build date Sep 26 2022) [x86_64-linux-4.4.302+] (local build)
Copyright (C) 2002-16, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF READ SMART DATA SECTION ===
SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME                                                   FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate                                              0x000b   100   100   016    Pre-fail  Always       -       0
  2 Throughput_Performance                                           0x0004   127   127   054    Old_age   Offline      -       112
  3 Spin_Up_Time                                                     0x0007   166   166   024    Pre-fail  Always       -       397 (Average 397)
  4 Start_Stop_Count                                                 0x0012   100   100   000    Old_age   Always       -       22
  5 Reallocated_Sector_Ct                                            0x0033   100   100   005    Pre-fail  Always       -       0
  7 Seek_Error_Rate                                                  0x000a   100   100   067    Old_age   Always       -       0
  8 Seek_Time_Performance                                            0x0004   128   128   020    Old_age   Offline      -       18
  9 Power_On_Hours                                                   0x0012   099   099   000    Old_age   Always       -       11074
 10 Spin_Retry_Count                                                 0x0012   100   100   060    Old_age   Always       -       0
 12 Power_Cycle_Count                                                0x0032   100   100   000    Old_age   Always       -       22
 22 Helium_Level                                                     0x0023   100   100   025    Pre-fail  Always       -       100
192 Power-Off_Retract_Count                                          0x0032   100   100   000    Old_age   Always       -       450
193 Load_Cycle_Count                                                 0x0012   100   100   000    Old_age   Always       -       450
194 Temperature_Celsius                                              0x0002   191   191   000    Old_age   Always       -       34 (Min/Max 23/40)
196 Reallocated_Event_Count                                          0x0032   100   100   000    Old_age   Always       -       0
197 Current_Pending_Sector                                           0x0022   100   100   000    Old_age   Always       -       0
198 Offline_Uncorrectable                                            0x0008   100   100   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count                                             0x000a   200   200   000    Old_age   Always       -       0

root@DiskStation:~# smartctl -A -d sat /dev/sdb
smartctl 6.5 (build date Sep 26 2022) [x86_64-linux-4.4.302+] (local build)
Copyright (C) 2002-16, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF READ SMART DATA SECTION ===
SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME                                                   FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate                                              0x000b   100   100   016    Pre-fail  Always       -       0
  2 Throughput_Performance                                           0x0004   127   127   054    Old_age   Offline      -       112
  3 Spin_Up_Time                                                     0x0007   164   164   024    Pre-fail  Always       -       401 (Average 400)
  4 Start_Stop_Count                                                 0x0012   100   100   000    Old_age   Always       -       21
  5 Reallocated_Sector_Ct                                            0x0033   100   100   005    Pre-fail  Always       -       0
  7 Seek_Error_Rate                                                  0x000a   100   100   067    Old_age   Always       -       0
  8 Seek_Time_Performance                                            0x0004   128   128   020    Old_age   Offline      -       18
  9 Power_On_Hours                                                   0x0012   099   099   000    Old_age   Always       -       11060
 10 Spin_Retry_Count                                                 0x0012   100   100   060    Old_age   Always       -       0
 12 Power_Cycle_Count                                                0x0032   100   100   000    Old_age   Always       -       21
 22 Helium_Level                                                     0x0023   100   100   025    Pre-fail  Always       -       100
192 Power-Off_Retract_Count                                          0x0032   100   100   000    Old_age   Always       -       449
193 Load_Cycle_Count                                                 0x0012   100   100   000    Old_age   Always       -       449
194 Temperature_Celsius                                              0x0002   191   191   000    Old_age   Always       -       34 (Min/Max 22/40)
196 Reallocated_Event_Count                                          0x0032   100   100   000    Old_age   Always       -       0
197 Current_Pending_Sector                                           0x0022   100   100   000    Old_age   Always       -       0
198 Offline_Uncorrectable                                            0x0008   100   100   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count                                             0x000a   200   200   000    Old_age   Always       -       0

root@DiskStation:~# smartctl -A -d sat /dev/sdc
smartctl 6.5 (build date Sep 26 2022) [x86_64-linux-4.4.302+] (local build)
Copyright (C) 2002-16, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF READ SMART DATA SECTION ===
SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME                                                   FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate                                              0x002f   200   200   051    Pre-fail  Always       -       0
  3 Spin_Up_Time                                                     0x0027   164   164   021    Pre-fail  Always       -       6766
  4 Start_Stop_Count                                                 0x0032   100   100   000    Old_age   Always       -       107
  5 Reallocated_Sector_Ct                                            0x0033   200   200   140    Pre-fail  Always       -       0
  7 Seek_Error_Rate                                                  0x002e   200   200   000    Old_age   Always       -       0
  9 Power_On_Hours                                                   0x0032   023   023   000    Old_age   Always       -       56801
 10 Spin_Retry_Count                                                 0x0032   100   100   000    Old_age   Always       -       0
 11 Calibration_Retry_Count                                          0x0032   100   100   000    Old_age   Always       -       0
 12 Power_Cycle_Count                                                0x0032   100   100   000    Old_age   Always       -       103
192 Power-Off_Retract_Count                                          0x0032   200   200   000    Old_age   Always       -       8
193 Load_Cycle_Count                                                 0x0032   200   200   000    Old_age   Always       -       191
194 Temperature_Celsius                                              0x0022   118   110   000    Old_age   Always       -       32
196 Reallocated_Event_Count                                          0x0032   200   200   000    Old_age   Always       -       0
197 Current_Pending_Sector                                           0x0032   200   200   000    Old_age   Always       -       0
198 Offline_Uncorrectable                                            0x0030   100   253   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count                                             0x0032   200   200   000    Old_age   Always       -       0
200 Multi_Zone_Error_Rate                                            0x0008   200   200   000    Old_age   Offline      -       0


root@DiskStation:~# smartctl -A -d sat /dev/sdd
smartctl 6.5 (build date Sep 26 2022) [x86_64-linux-4.4.302+] (local build)
Copyright (C) 2002-16, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF READ SMART DATA SECTION ===
SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME                                                   FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate                                              0x002f   200   200   051    Pre-fail  Always       -       0
  3 Spin_Up_Time                                                     0x0027   159   158   021    Pre-fail  Always       -       7008
  4 Start_Stop_Count                                                 0x0032   100   100   000    Old_age   Always       -       105
  5 Reallocated_Sector_Ct                                            0x0033   200   200   140    Pre-fail  Always       -       0
  7 Seek_Error_Rate                                                  0x002e   200   200   000    Old_age   Always       -       0
  9 Power_On_Hours                                                   0x0032   023   023   000    Old_age   Always       -       56799
 10 Spin_Retry_Count                                                 0x0032   100   100   000    Old_age   Always       -       0
 11 Calibration_Retry_Count                                          0x0032   100   100   000    Old_age   Always       -       0
 12 Power_Cycle_Count                                                0x0032   100   100   000    Old_age   Always       -       101
192 Power-Off_Retract_Count                                          0x0032   200   200   000    Old_age   Always       -       8
193 Load_Cycle_Count                                                 0x0032   200   200   000    Old_age   Always       -       188
194 Temperature_Celsius                                              0x0022   119   110   000    Old_age   Always       -       31
196 Reallocated_Event_Count                                          0x0032   200   200   000    Old_age   Always       -       0
197 Current_Pending_Sector                                           0x0032   200   200   000    Old_age   Always       -       0
198 Offline_Uncorrectable                                            0x0030   100   253   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count                                             0x0032   200   200   000    Old_age   Always       -       0
200 Multi_Zone_Error_Rate                                            0x0008   200   200   000    Old_age   Offline      -       0

Und der Vollständigkeit halber die SDDs:

root@DiskStation:~# nvme --smart-log /dev/nvme0n1
Smart Log for NVME device:nvme0n1 namespace-id:ffffffff
critical_warning                    : 0
temperature                         : 35 C
available_spare                     : 100%
available_spare_threshold           : 5%
percentage_used                     : 26%
data_units_read                     : 176,619,818
data_units_written                  : 335,995,473
host_read_commands                  : 3,713,806,941
host_write_commands                 : 9,878,216,765
controller_busy_time                : 148,118
power_cycles                        : 15
power_on_hours                      : 25,521
unsafe_shutdowns                    : 4
media_errors                        : 0
num_err_log_entries                 : 1
Warning Temperature Time            : 0
Critical Composite Temperature Time : 0
Temperature Sensor 1                : 0 C
Temperature Sensor 2                : 0 C
Temperature Sensor 3                : 0 C
Temperature Sensor 4                : 0 C
Temperature Sensor 5                : 0 C
Temperature Sensor 6                : 0 C
Temperature Sensor 7                : 0 C
Temperature Sensor 8                : 0 C


root@DiskStation:~# nvme --smart-log /dev/nvme1n1
Smart Log for NVME device:nvme1n1 namespace-id:ffffffff
critical_warning                    : 0
temperature                         : 35 C
available_spare                     : 100%
available_spare_threshold           : 5%
percentage_used                     : 26%
data_units_read                     : 79,168,106
data_units_written                  : 336,933,848
host_read_commands                  : 2,043,813,792
host_write_commands                 : 9,879,970,257
controller_busy_time                : 135,945
power_cycles                        : 15
power_on_hours                      : 25,521
unsafe_shutdowns                    : 4
media_errors                        : 0
num_err_log_entries                 : 0
Warning Temperature Time            : 0
Critical Composite Temperature Time : 0
Temperature Sensor 1                : 0 C
Temperature Sensor 2                : 0 C
Temperature Sensor 3                : 0 C
Temperature Sensor 4                : 0 C
Temperature Sensor 5                : 0 C
Temperature Sensor 6                : 0 C
Temperature Sensor 7                : 0 C
Temperature Sensor 8                : 0 C

 

[Oceanwaves]

Die CPU-Last scheint mir nicht das Problem zu sein, der IO-load ist aber ganz schön hoch mit 9-13. Könntest Du bitte einen Screenshot von der RAM-Auslastung posten? Ansonsten Platten checken, wie @ctrlaltdelete vorschlägt.

Da lief noch das HyperBackup auf die DS214play. Habe ich inzwischen abgebrochen. Aktuell läuft das C2-Backup, die meisten Docker-Anwendungen habe ich mal gestoppt, Frau ist nicht am Laptop, Backup trotzdem immer noch sehr langsam. Ich lasse das C2-Backup jetzt aber erst mal laufen, 55% hat es schon geschafft. 2,4 MB übertragen und 450.000 Dateien gescannt...

Hier der Screenshot, RAM-Nutzung der letzten 2 Stunden:

 

[ctrlaltdelete]

Sieht alles gut aus, wie ist die RAM Auslastung im Ressourcen Monitor, wird geswapped?

 

[peterhoffmann]

top - 11:01:40 up 1 day, 13:18, 1 user, load average: 9.64, 14.05, 13.33 [IO: 9.00, 13.43, 12.51 CPU: 0.64, 0.62, 0.80]

Poste mal bitte auch die vier Zeilen darunter (Tasks, CPUs, Mem, Swap). Gerne auch mehr (einzelne Tasks, sortiert nach %CPU).

@All
Bei mir gibt es u.a. auch htop und iostat auf der Konsole. Ist das bei der DSM-Installation immer mit dabei?

 

[Oceanwaves]

Da ich den Resource Monitor zwischendurch wieder zugemacht hatte und somit keine Echtzeitwerte mehr hatte, wollte ich mal die Daten der letzten Woche abrufen. Hat ne Weile gedauert (mit "Wird geladen..." und dann kam das:


Im 2. Versuch hat es dann geklappt. RAM-Auslastung und Swap:

 

[Rotbart]

Bei mir gibt es u.a. auch htop und iostat auf der Konsole. Ist das bei der DSM-Installation immer mit dabei?

Glaub schon, bei mir ist es jedenfalls dabei (1621+).

 

[peterhoffmann]

Nachtrag:
Mehr Tools stehen auf der Konsole (root) mit "synogear install" zur Verfügung.

 

[Ronny1978]

Ich würde erst mal den Lese-Cache deaktivieren und dort Fehler auszuschließen.

 

[Oceanwaves]

Poste mal bitte auch die vier Zeilen darunter (Tasks, CPUs, Mem, Swap). Gerne auch mehr (einzelne Tasks, sortiert nach %CPU).

@All
Bei mir gibt es u.a. auch htop und iostat auf der Konsole. Ist das bei der DSM-Installation immer mit dabei?

htop und iostat habe ich auch, denke also ja.

Top mit mehr Infos (C2-Backup ist nach 1,5 Stunden durch, es wurden wohl 267 MB übertragen):



Die extrem lange Laufzeit beim Backup gestern kann auch daher kommen, dass dienstags um 8:30 der Virenscanner einmal alles scannt. Um 8:30 Uhr ist normalerweise kein Backup mehr aktiv. Scanner war heute Nacht um 1:06 Uhr fertig, hat also die Backups ab 4:00 Uhr nicht mehr beeinflusst.
Am Virenscanner (ClamAV) kann man auch die längeren Laufzeiten sehen. Läuft ja nur 1x pro Woche:
20.02. Fertig um 16:51
27.02. 17:20
05.03. (abgebrochen oder Neustart Syno)
12.03. 16:45
19.03. 17:25
26.03. 21:06
02.04. 21:30
09.04. 01:06 am 10.04.

 

[Benares]

Schalt mal dieses ActiveInsight ab und auch den Virenscanner. Das braucht doch wirklich kein Mensch

 

[peterhoffmann]

HDDs sehen ja lt. Smartwerten gut aus.

Wenn ich das Gesamtbild sehe, würde ich sagen, dass die HDDs oft den Aufträgen nicht hinterherkommen (Wert wa und IO), sowie generell die Kiste ordentlich arbeiten muss (z.B. Wert id). Es sieht auch so aus, als ob das System hier und da swappt (RAM ausgelastet), was die HDDs zusätzlich belastet (Ram auslagern).

Vorgehensweise:

• Virenscanner generell ausschalten
• Lesecache ausschalten
• unnötige Vorgänge testweise abschalten (z.B. ioBroker)
• Aufgabenplaner / Cronjobs analysieren => zeitlich besser verteilen
• eventuell RAM aufrüsten (wenn man weiterhin so viel laufen lassen will)

 

[ctrlaltdelete]

Dito

 

[Oceanwaves]

Habe jetzt mal ActiveInsight deaktiviert (das hatte ich auf der ds214play schon runter geworfen, als Synology jedem User 2 Lizenzen geschenkt hatte, weil ab dem Tag die ds214play nach dem Backup nicht mehr von allein runter fuhr. Ist eigentlich so konfiguriert, dass sie bei Inaktivität (Backup fertig) von selbst einen Shutdown macht).

Dann noch mal ein C2-Backup ausgeführt (gut, da hat sich jetzt nicht mehr so viel geändert), aber es war in 17 Minuten durch. Auch die Dateien und Verzeichnisse werden in Dolphin jetzt wieder sofort angezeigt. Plex reagiert auch wieder schneller.

ActiveInsight deinstalliert.

Jetzt fahre ich die ds214play mal wieder hoch und lasse mal den Backup-Job von der 918+ auf die 214play laufen.

ioBroker läuft übrigens seit einem halben Jahr ohne Probleme. Soll aber zusammen mit PiHole aber eh auf einen Raspi umziehen, der muss nur noch beschafft werden...

Auch im Ressource-Monitor kommen die Wochen-Ansichten jetzt wieder innerhalb einer Sekunde.

Ich denke, ActiveInsight was the culprit...

 

[ctrlaltdelete]

Und lass den AV weg, das bringt nichts.

 

[Oceanwaves]

Der läuft ja nur als Job 1x wöchentlich. Die Syno ist auch mein IMAP-Server und ab und zu kommt doch mal ne Spammail durch, die nicht ganz koscher ist. Aber stimmt schon, in einer reinen Linux-Umgebung ist das Risiko geringer. Wenn man nicht gerade xz-utils 5.6 installiert...

 

[ctrlaltdelete]

gerade xz-utils 5.6

Das ist aber eine Backdoor, kein Virus

 

[Oceanwaves]

Stimmt. Hatte ich aber kurz auf dem PC... Dann ein Downgrade auf 5.4 und danach komplette Neuinstallation aller Pakete. Aber seit mein PC nicht mehr über Port 22 erreichbar ist, hat Fail2Ban eh keinerlei Login-Versuche mehr gemeldet...

Vielleicht war ActiveInsight ja auch eine Backdoor...

Backup auf die ds214play läuft noch, aber jetzt "höre" ich das Backup auch . Die WD120 sind doch etwas lauter als die WD40...