BTRFS critical Filesystem Crash - Corrupt Leaf - Read Only Mode - DS218+

[LimaJuliet123]

Hallo geehrte Forums-Community,

dies ist mein erster Forenpost hier, bitte um Gnade.

Ausgangssituation: Wir besitzen ein DS218+ mit 10 GB RAM und zwei 8TB WD Red das mit einem SHR (gespiegelt RAID1) konfiguriert ist. SMART Werte der HDDs sagen, dass diese im Schnellcheck ok sind. DSM ist ein 7.1.x

Letzte Woche ist es beim kopieren von Backups auf das NAS per NFS Protokoll zum Crash des BTRFS Filesystems gekommen und nun ist dieses nur noch READ-ONLY verfügbar, was natürlich nicht wirklich hilfreich ist im täglichen Betrieb. (Die Daten habe ich soweit es geht via SSH auf eine ext. angeschlossene 8TB USB Festplatte gesichert, bevor ich Reparaturversuche gestartet habe.)

Mittlerweile habe ich im DSM das Filesystem wieder schreibend eingebunden und versucht einen Data Scrubbing Job laufen zu lassen, um das Problem zu beheben. Dieser Job bricht leider wieder mit dem BTRFS Critical fehler ab und versetzt das Filesystem wieder in den Read Only Mode.


Im Netz habe ich noch den Befehl btrfs check --repair gefunden, habe mich aber noch nicht dazu durchgerungen diesen auszuführen, da

The very last resort tool is btrfs check --repair. It's reported to fix some issues some of the time, but with a good chance it will make others worse! You have been warned! Please see the btrfs check --repair wiki page.

Ich habe auch schon ein Support Ticket bei Synology eröffnet und versucht dieses per Hotline zu eskalieren, leider habe ich nach über einer Woche immer noch kein Feedback erhalten, was sehr frustrierend ist.

Die Google-Suche war leider auch nicht sehr aufschlussreich für mich.

• Was kann ich machen um das Filesystem zu reparieren, oder wie finde ich heraus welche Dateien nun corrupt sind im File System Tree? Eventuell kann man diesen leaf in dem Filesystem löschen und mit dem Filesystem weiter arbeiten?
• Hat hierzu schon einmal jemand Erfahrungen gesammelt und möchte diese an mich weitergeben?
• Könnte jemand das DMESG interpretieren und mir versuchen zu erklären, was schief gegangen ist?
• Kennt jemand einen Synology Partner der uns mit der Behebung dieses Problems professionell und gegen Bezahlung helfen könnte?

Vielen Dank im Voraus für eure Hilfe!


Anbei folgt der Auszug des Errors aus der DMESG des Synology Betriebssystems:
_________________________________________________________________________________________________________

[Fri Oct 28 22:13:44 2022] BTRFS critical (device dm-0): corrupt leaf: block=3827529744384 slot=238 extent bytenr=2866198822912 len=16384 invalid tree level, have 1717969184 expect [0, 7]
[Fri Oct 28 22:13:44 2022] md2: [Self Heal] Retry sector [2682620672] round [1/2] start: choose disk [0:sda5]
[Fri Oct 28 22:13:44 2022] md2: [Self Heal] Retry sector [2682620680] round [1/2] start: choose disk [0:sda5]
[Fri Oct 28 22:13:44 2022] md2: [Self Heal] Retry sector [2682620688] round [1/2] start: choose disk [0:sda5]
[Fri Oct 28 22:13:44 2022] md2: [Self Heal] Retry sector [2682620672] round [1/2] finished: return result to upper layer
[Fri Oct 28 22:13:44 2022] md2: [Self Heal] Retry sector [2682620680] round [1/2] finished: return result to upper layer
[Fri Oct 28 22:13:44 2022] md2: [Self Heal] Retry sector [2682620696] round [1/2] start: choose disk [0:sda5]
[Fri Oct 28 22:13:44 2022] md2: [Self Heal] Retry sector [2682620688] round [1/2] finished: return result to upper layer
[Fri Oct 28 22:13:44 2022] md2: [Self Heal] Retry sector [2682620696] round [1/2] finished: return result to upper layer
[Fri Oct 28 22:13:44 2022] BTRFS critical (device dm-0): corrupt leaf: block=3827529744384 slot=238 extent bytenr=2866198822912 len=16384 invalid tree level, have 1717969184 expect [0, 7]
[Fri Oct 28 22:13:44 2022] md2: [Self Heal] Retry sector [2682620672] round [1/2] start: choose disk [0:sda5]
[Fri Oct 28 22:13:44 2022] md2: [Self Heal] Retry sector [2682620680] round [1/2] start: choose disk [0:sda5]
[Fri Oct 28 22:13:44 2022] md2: [Self Heal] Retry sector [2682620672] round [1/2] finished: get same result, retry next round
[Fri Oct 28 22:13:44 2022] md2: [Self Heal] Retry sector [2682620672] round [2/2] start: choose disk [1:sdb5]
[Fri Oct 28 22:13:44 2022] md2: [Self Heal] Retry sector [2682620672] round [2/2] finished: get same result, retry next round
[Fri Oct 28 22:13:44 2022] md2: [Self Heal] Retry sector [2682620672] round [5/2] error: cannot find a suitable device, bio sector length [8], request_cnt [2]
[Fri Oct 28 22:13:44 2022] md2: [Self Heal] Retry sector [2682620688] round [1/2] start: choose disk [0:sda5]
[Fri Oct 28 22:13:44 2022] md2: [Self Heal] Retry sector [2682620696] round [1/2] start: choose disk [0:sda5]
[Fri Oct 28 22:13:44 2022] md2: [Self Heal] Retry sector [2682620680] round [1/2] finished: get same result, retry next round
[Fri Oct 28 22:13:44 2022] md2: [Self Heal] Retry sector [2682620688] round [1/2] finished: get same result, retry next round
[Fri Oct 28 22:13:44 2022] md2: [Self Heal] Retry sector [2682620688] round [2/2] start: choose disk [1:sdb5]
[Fri Oct 28 22:13:44 2022] md2: [Self Heal] Retry sector [2682620680] round [2/2] start: choose disk [1:sdb5]
[Fri Oct 28 22:13:45 2022] md2: [Self Heal] Retry sector [2682620680] round [2/2] finished: get same result, retry next round
[Fri Oct 28 22:13:45 2022] md2: [Self Heal] Retry sector [2682620688] round [2/2] finished: get same result, retry next round
[Fri Oct 28 22:13:45 2022] md2: [Self Heal] Retry sector [2682620688] round [5/2] error: cannot find a suitable device, bio sector length [8], request_cnt [2]
[Fri Oct 28 22:13:45 2022] md2: [Self Heal] Retry sector [2682620680] round [5/2] error: cannot find a suitable device, bio sector length [8], request_cnt [2]
[Fri Oct 28 22:13:45 2022] md2: [Self Heal] Retry sector [2682620696] round [1/2] finished: get same result, retry next round
[Fri Oct 28 22:13:45 2022] md2: [Self Heal] Retry sector [2682620696] round [2/2] start: choose disk [1:sdb5]
[Fri Oct 28 22:13:45 2022] md2: [Self Heal] Retry sector [2682620696] round [2/2] finished: get same result, retry next round
[Fri Oct 28 22:13:45 2022] md2: [Self Heal] Retry sector [2682620696] round [5/2] error: cannot find a suitable device, bio sector length [8], request_cnt [2]
[Fri Oct 28 22:13:45 2022] BTRFS critical (device dm-0): corrupt leaf: block=3827529744384 slot=238 extent bytenr=2866198822912 len=16384 invalid tree level, have 1717969184 expect [0, 7]
[Fri Oct 28 22:13:45 2022] ------------[ cut here ]------------
[Fri Oct 28 22:13:45 2022] WARNING: CPU: 0 PID: 27132 at fs/btrfs/disk-io.c:916 btree_io_failed_hook+0x12d/0x220 [btrfs]()
[Fri Oct 28 22:13:45 2022] Modules linked in: xt_ipvs ip_vs_rr ip_vs xt_mark iptable_mangle br_netfilter bridge stp aufs macvlan veth xt_conntrack nf_conntrack_ipv6 ip6able_filter ip6_tables xt_REDIRECT xt_nat nf_nat_redirect xt_recent xt_iprange xt_limit xt_state xt_tcpudp xt_multiport xt_LOG xt_TCPMSS pci_stub vfio_pci vfio_virqfd vio_iommu_type1 vfio vhost_net(O) tun kvm_intel kvm irqbypass vfat fat nfnetlink xfrm_user xfrm_algo xt_addrtype ipt_MASQUERADE nf_nat_masquerade_ipv4 iptable_nat nf_natipv4 nf_nat nf_conntrack_ipv4 nf_defrag_ipv4 iptable_filter ip_tables fuse 8021q vhost_scsi(O) vhost(O) tcm_loop(O) iscsi_target_mod(O) target_core_user(O) target_core_p(O) target_core_multi_file(O) target_core_file(O) target_core_iblock(O) target_core_mod(O) syno_extent_pool(PO) rodsp_ep(O) udf isofs loop x_tables
[Fri Oct 28 22:13:45 2022]  nfsv4 nfs synoacl_vfs(PO) nfsd btrfs ecryptfs zstd_decompress zstd_compress xxhash xor raid6_pq lockd grace rpcsec_gss_krb5 auth_rpcgss sunrc openvswitch leds_lp3943 aesni_intel gre glue_helper lrw gf128mul ablk_helper nf_defrag_ipv6 syno_hddmon(P) nf_conntrack apollolake_synobios(PO) hid_generic usbhid hidusblp i915 drm_kms_helper syscopyarea sysfillrect sysimgblt fb_sys_fops cfbfillrect cfbcopyarea cfbimgblt drm drm_panel_orientation_quirks iosf_mbi fb fbdev video backlght button uhci_hcd ehci_pci ehci_hcd usb_storage r8168(O) i2c_algo_bit igb(O) e1000e(O) sg dm_snapshot dm_bufio crc_itu_t crc_ccitt psnap p8022 llc hfsplus md4 hmac si tunnel4 ipv6 flashcache_syno(O) flashcache(O) syno_flashcache_control(O) dm_mod arc4 crc32c_intel cryptd ecb aes_x86_64 authenc des_generic ansi_cprng
[Fri Oct 28 22:13:45 2022]  cts md5 cbc cpufreq_powersave cpufreq_performance acpi_cpufreq processor cpufreq_stats vxlan ip6_udp_tunnel udp_tunnel ip_tunnel zram sha256generic synorbd(O) synofsbd(O) etxhci_hcd xhci_pci xhci_hcd usbcore usb_common [last unloaded: xt_LOG]
[Fri Oct 28 22:13:45 2022] CPU: 0 PID: 27132 Comm: kworker/u8:3 Tainted: P           O    4.4.180+ #42661
[Fri Oct 28 22:13:45 2022] Hardware name: Synology DS218+/DS218+, BIOS M.135 11/11/2019
[Fri Oct 28 22:13:45 2022] Workqueue: btrfs-endio-meta btrfs_endio_meta_helper [btrfs]
[Fri Oct 28 22:13:45 2022]  0000000000000000 ffff8802d45d7c20 ffffffff812f293d 0000000000000009
[Fri Oct 28 22:13:45 2022]  0000000000000000 ffff8802d45d7c58 ffffffff81051683 ffff88017596d1a0
[Fri Oct 28 22:13:45 2022]  ffff880156cad000 ffff8802bdd80240 0000000000000000 0000037b2a8d3000
[Fri Oct 28 22:13:45 2022] Call Trace:
[Fri Oct 28 22:13:45 2022]  [<ffffffff812f293d>] dump_stack+0x4d/0x70
[Fri Oct 28 22:13:45 2022]  [<ffffffff81051683>] warn_slowpath_common+0x83/0xa0
[Fri Oct 28 22:13:45 2022]  [<ffffffff81051756>] warn_slowpath_null+0x16/0x20
[Fri Oct 28 22:13:45 2022]  [<ffffffffa078a55d>] btree_io_failed_hook+0x12d/0x220 [btrfs]
[Fri Oct 28 22:13:45 2022]  [<ffffffffa07be499>] end_bio_extent_readpage+0x189/0x980 [btrfs]
[Fri Oct 28 22:13:45 2022]  [<ffffffff811798db>] ? __slab_free+0x5b/0x220
[Fri Oct 28 22:13:45 2022]  [<ffffffff812c7dae>] bio_endio+0xae/0x120
[Fri Oct 28 22:13:45 2022]  [<ffffffffa0789057>] end_workqueue_fn+0x27/0x40 [btrfs]
[Fri Oct 28 22:13:45 2022]  [<ffffffffa07ceb01>] btrfs_worker_helper+0xd1/0x3a0 [btrfs]
[Fri Oct 28 22:13:45 2022]  [<ffffffff810836cc>] ? dequeue_task_fair+0x5bc/0x1160
[Fri Oct 28 22:13:45 2022]  [<ffffffffa07cee39>] btrfs_endio_meta_helper+0x9/0x10 [btrfs]
[Fri Oct 28 22:13:45 2022]  [<ffffffff810724bb>] worker_run_work+0x9b/0xe0
[Fri Oct 28 22:13:45 2022]  [<ffffffffa07cee30>] ? btrfs_endio_helper+0x10/0x10 [btrfs]
[Fri Oct 28 22:13:45 2022]  [<ffffffff8106a103>] process_one_work+0x1e3/0x4f0
[Fri Oct 28 22:13:45 2022]  [<ffffffff8106a43e>] worker_thread+0x2e/0x4b0
[Fri Oct 28 22:13:45 2022]  [<ffffffff8106a410>] ? process_one_work+0x4f0/0x4f0
[Fri Oct 28 22:13:45 2022]  [<ffffffff8106e9f5>] kthread+0xd5/0xf0
[Fri Oct 28 22:13:45 2022]  [<ffffffff8106e920>] ? kthread_worker_fn+0x160/0x160
[Fri Oct 28 22:13:45 2022]  [<ffffffff8157ba2f>] ret_from_fork+0x3f/0x80
[Fri Oct 28 22:13:45 2022]  [<ffffffff8106e920>] ? kthread_worker_fn+0x160/0x160
[Fri Oct 28 22:13:45 2022] ---[ end trace 13b2779679250345 ]---
[Fri Oct 28 22:13:45 2022] BTRFS critical (device dm-0): corrupt leaf: block=3827529744384 slot=238 extent bytenr=2866198822912 len=16384 invalid tree level, have 1717969184 expect [0, 7]
[Fri Oct 28 22:13:45 2022] md2: [Self Heal] Retry sector [2683669248] round [1/2] start: choose disk [0:sda5]
[Fri Oct 28 22:13:45 2022] md2: [Self Heal] Retry sector [2683669256] round [1/2] start: choose disk [0:sda5]
[Fri Oct 28 22:13:45 2022] md2: [Self Heal] Retry sector [2683669248] round [1/2] finished: return result to upper layer
[Fri Oct 28 22:13:45 2022] md2: [Self Heal] Retry sector [2683669264] round [1/2] start: choose disk [0:sda5]
[Fri Oct 28 22:13:45 2022] md2: [Self Heal] Retry sector [2683669272] round [1/2] start: choose disk [0:sda5]
[Fri Oct 28 22:13:45 2022] md2: [Self Heal] Retry sector [2683669256] round [1/2] finished: return result to upper layer
[Fri Oct 28 22:13:45 2022] md2: [Self Heal] Retry sector [2683669264] round [1/2] finished: return result to upper layer
[Fri Oct 28 22:13:45 2022] md2: [Self Heal] Retry sector [2683669272] round [1/2] finished: return result to upper layer
[Fri Oct 28 22:13:45 2022] BTRFS critical (device dm-0): corrupt leaf: block=3827529744384 slot=238 extent bytenr=2866198822912 len=16384 invalid tree level, have 1717969184 expect [0, 7]
[Fri Oct 28 22:13:45 2022] md2: [Self Heal] Retry sector [2683669248] round [1/2] start: choose disk [0:sda5]
[Fri Oct 28 22:13:45 2022] md2: [Self Heal] Retry sector [2683669256] round [1/2] start: choose disk [0:sda5]
[Fri Oct 28 22:13:45 2022] md2: [Self Heal] Retry sector [2683669248] round [1/2] finished: get same result, retry next round
[Fri Oct 28 22:13:45 2022] md2: [Self Heal] Retry sector [2683669248] round [2/2] start: choose disk [1:sdb5]
[Fri Oct 28 22:13:45 2022] md2: [Self Heal] Retry sector [2683669248] round [2/2] finished: get same result, retry next round
[Fri Oct 28 22:13:45 2022] md2: [Self Heal] Retry sector [2683669248] round [5/2] error: cannot find a suitable device, bio sector length [8], request_cnt [2]
[Fri Oct 28 22:13:45 2022] md2: [Self Heal] Retry sector [2683669264] round [1/2] start: choose disk [0:sda5]
[Fri Oct 28 22:13:45 2022] md2: [Self Heal] Retry sector [2683669256] round [1/2] finished: get same result, retry next round
[Fri Oct 28 22:13:45 2022] md2: [Self Heal] Retry sector [2683669256] round [2/2] start: choose disk [1:sdb5]
[Fri Oct 28 22:13:45 2022] md2: [Self Heal] Retry sector [2683669256] round [2/2] finished: get same result, retry next round
[Fri Oct 28 22:13:45 2022] md2: [Self Heal] Retry sector [2683669256] round [5/2] error: cannot find a suitable device, bio sector length [8], request_cnt [2]
[Fri Oct 28 22:13:45 2022] md2: [Self Heal] Retry sector [2683669272] round [1/2] start: choose disk [0:sda5]
[Fri Oct 28 22:13:45 2022] md2: [Self Heal] Retry sector [2683669264] round [1/2] finished: get same result, retry next round
[Fri Oct 28 22:13:45 2022] md2: [Self Heal] Retry sector [2683669264] round [2/2] start: choose disk [1:sdb5]
[Fri Oct 28 22:13:45 2022] md2: [Self Heal] Retry sector [2683669264] round [2/2] finished: get same result, retry next round
[Fri Oct 28 22:13:45 2022] md2: [Self Heal] Retry sector [2683669264] round [5/2] error: cannot find a suitable device, bio sector length [8], request_cnt [2]
[Fri Oct 28 22:13:45 2022] md2: [Self Heal] Retry sector [2683669272] round [1/2] finished: get same result, retry next round
[Fri Oct 28 22:13:45 2022] md2: [Self Heal] Retry sector [2683669272] round [2/2] start: choose disk [1:sdb5]
[Fri Oct 28 22:13:45 2022] md2: [Self Heal] Retry sector [2683669272] round [2/2] finished: get same result, retry next round
[Fri Oct 28 22:13:45 2022] md2: [Self Heal] Retry sector [2683669272] round [5/2] error: cannot find a suitable device, bio sector length [8], request_cnt [2]
[Fri Oct 28 22:13:45 2022] BTRFS critical (device dm-0): corrupt leaf: block=3827529744384 slot=238 extent bytenr=2866198822912 len=16384 invalid tree level, have 1717969184 expect [0, 7]
[Fri Oct 28 22:13:45 2022] BTRFS error (device dm-0): cannot fix 3827529744384, record in meta_err
[Fri Oct 28 22:13:45 2022] ------------[ cut here ]------------
[Fri Oct 28 22:13:45 2022] WARNING: CPU: 0 PID: 31579 at fs/btrfs/extent-tree.c:7854 __btrfs_free_extent+0x5f2/0xee0 [btrfs]()
[Fri Oct 28 22:13:45 2022] BTRFS: Transaction aborted (error -5)
[Fri Oct 28 22:13:45 2022] Modules linked in: xt_ipvs ip_vs_rr ip_vs xt_mark iptable_mangle br_netfilter bridge stp aufs macvlan veth xt_conntrack nf_conntrack_ipv6 ip6able_filter ip6_tables xt_REDIRECT xt_nat nf_nat_redirect xt_recent xt_iprange xt_limit xt_state xt_tcpudp xt_multiport xt_LOG xt_TCPMSS pci_stub vfio_pci vfio_virqfd vio_iommu_type1 vfio vhost_net(O) tun kvm_intel kvm irqbypass vfat fat nfnetlink xfrm_user xfrm_algo xt_addrtype ipt_MASQUERADE nf_nat_masquerade_ipv4 iptable_nat nf_natipv4 nf_nat nf_conntrack_ipv4 nf_defrag_ipv4 iptable_filter ip_tables fuse 8021q vhost_scsi(O) vhost(O) tcm_loop(O) iscsi_target_mod(O) target_core_user(O) target_core_p(O) target_core_multi_file(O) target_core_file(O) target_core_iblock(O) target_core_mod(O) syno_extent_pool(PO) rodsp_ep(O) udf isofs loop x_tables
[Fri Oct 28 22:13:46 2022]  nfsv4 nfs synoacl_vfs(PO) nfsd btrfs ecryptfs zstd_decompress zstd_compress xxhash xor raid6_pq lockd grace rpcsec_gss_krb5 auth_rpcgss sunrc openvswitch leds_lp3943 aesni_intel gre glue_helper lrw gf128mul ablk_helper nf_defrag_ipv6 syno_hddmon(P) nf_conntrack apollolake_synobios(PO) hid_generic usbhid hidusblp i915 drm_kms_helper syscopyarea sysfillrect sysimgblt fb_sys_fops cfbfillrect cfbcopyarea cfbimgblt drm drm_panel_orientation_quirks iosf_mbi fb fbdev video backlght button uhci_hcd ehci_pci ehci_hcd usb_storage r8168(O) i2c_algo_bit igb(O) e1000e(O) sg dm_snapshot dm_bufio crc_itu_t crc_ccitt psnap p8022 llc hfsplus md4 hmac si tunnel4 ipv6 flashcache_syno(O) flashcache(O) syno_flashcache_control(O) dm_mod arc4 crc32c_intel cryptd ecb aes_x86_64 authenc des_generic ansi_cprng
[Fri Oct 28 22:13:46 2022]  cts md5 cbc cpufreq_powersave cpufreq_performance acpi_cpufreq processor cpufreq_stats vxlan ip6_udp_tunnel udp_tunnel ip_tunnel zram sha256generic synorbd(O) synofsbd(O) etxhci_hcd xhci_pci xhci_hcd usbcore usb_common [last unloaded: xt_LOG]
[Fri Oct 28 22:13:46 2022] CPU: 0 PID: 31579 Comm: kworker/u8:4 Tainted: P        W  O    4.4.180+ #42661
[Fri Oct 28 22:13:46 2022] Hardware name: Synology DS218+/DS218+, BIOS M.135 11/11/2019
[Fri Oct 28 22:13:46 2022] Workqueue: btrfs-extent-refs btrfs_extent_refs_helper [btrfs]
[Fri Oct 28 22:13:46 2022]  0000000000000000 ffff8801001a3a30 ffffffff812f293d 0000000000000009
[Fri Oct 28 22:13:46 2022]  ffff8801001a3a78 ffff8801001a3a68 ffffffff81051683 0000029b56a40000
[Fri Oct 28 22:13:46 2022]  ffff8802b70dc540 ffff880076dfdaf0 00000000fffffffb 0000000000000000
[Fri Oct 28 22:13:46 2022] Call Trace:
[Fri Oct 28 22:13:46 2022]  [<ffffffff812f293d>] dump_stack+0x4d/0x70
[Fri Oct 28 22:13:46 2022]  [<ffffffff81051683>] warn_slowpath_common+0x83/0xa0
[Fri Oct 28 22:13:46 2022]  [<ffffffff810516e9>] warn_slowpath_fmt+0x49/0x50
[Fri Oct 28 22:13:46 2022]  [<ffffffffa0773a42>] __btrfs_free_extent+0x5f2/0xee0 [btrfs]
[Fri Oct 28 22:13:46 2022]  [<ffffffffa07f38c7>] ? btrfs_merge_delayed_refs+0x67/0x970 [btrfs]
[Fri Oct 28 22:13:46 2022]  [<ffffffffa0776d20>] __btrfs_run_delayed_refs+0xaf0/0x1940 [btrfs]
[Fri Oct 28 22:13:46 2022]  [<ffffffffa077b421>] btrfs_run_delayed_refs+0xc1/0x4c0 [btrfs]
[Fri Oct 28 22:13:46 2022]  [<ffffffffa0795c67>] ? start_transaction+0x97/0x470 [btrfs]
[Fri Oct 28 22:13:46 2022]  [<ffffffffa077b862>] delayed_ref_async_start+0x42/0x70 [btrfs]
[Fri Oct 28 22:13:46 2022]  [<ffffffffa07ceb01>] btrfs_worker_helper+0xd1/0x3a0 [btrfs]
[Fri Oct 28 22:13:46 2022]  [<ffffffff8107e747>] ? sched_clock_cpu+0xa7/0xc0
[Fri Oct 28 22:13:46 2022]  [<ffffffffa07cef19>] btrfs_extent_refs_helper+0x9/0x10 [btrfs]
[Fri Oct 28 22:13:46 2022]  [<ffffffff810724bb>] worker_run_work+0x9b/0xe0
[Fri Oct 28 22:13:46 2022]  [<ffffffffa07cef10>] ? btrfs_usrquota_rescan_helper+0x10/0x10 [btrfs]
[Fri Oct 28 22:13:46 2022]  [<ffffffff8106a103>] process_one_work+0x1e3/0x4f0
[Fri Oct 28 22:13:46 2022]  [<ffffffff8106a43e>] worker_thread+0x2e/0x4b0
[Fri Oct 28 22:13:46 2022]  [<ffffffff8106a410>] ? process_one_work+0x4f0/0x4f0
[Fri Oct 28 22:13:46 2022]  [<ffffffff8106e9f5>] kthread+0xd5/0xf0
[Fri Oct 28 22:13:46 2022]  [<ffffffff8106e920>] ? kthread_worker_fn+0x160/0x160
[Fri Oct 28 22:13:46 2022]  [<ffffffff8157ba2f>] ret_from_fork+0x3f/0x80
[Fri Oct 28 22:13:46 2022]  [<ffffffff8106e920>] ? kthread_worker_fn+0x160/0x160
[Fri Oct 28 22:13:46 2022] ---[ end trace 13b2779679250346 ]---
[Fri Oct 28 22:13:46 2022] BTRFS: error (device dm-0) in __btrfs_free_extent:7854: errno=-5 IO failure
[Fri Oct 28 22:13:46 2022] BTRFS info (device dm-0): forced readonly
[Fri Oct 28 22:13:46 2022] BTRFS: error (device dm-0) in btrfs_run_delayed_refs:3379: errno=-5 IO failure

 

[Rotbart]

Was spricht dagegen das Volume neu zu formatieren und das Backup(Hyperbackup oder ABB) wieder einzuspielen ? Ist doch sicherlich die schnellste und sauberste Lösung.

 

[ctrlaltdelete]

Poste bitte mal die Smart Werte Details der beiden HDDs aus dem Speichermanager, keinen Smart Test machen.

 

[LimaJuliet123]

@ctrlaltdelete : bitteschön.
Meines wissens nach wurden die Festplatten Mitte 2021 eingebaut, was auch zu den Power on Hours passt.

Disk#1



Disk#2

 

[ctrlaltdelete]

ok, die sind top. Mir ging es drum ob der Fehler durch die Hardware entstanden ist.
Mein Vorgehen wäre:
1. Datensicherung via Hyper Backup mit Paketen und Einstellungen auf externe Platte
2. Volume und Speicherpool löschen und neu erstellen
3. Backup einspielen

Oder wenn möglich dem Support noch ein wenig Zeit geben, wenn sie dir überhaupt helfen wegen der RAM Erweiterung auf 10 GB (max. zulässig 6 GB lt. Datenblatt), die könnte übrigens zu solchen Fehlern führen, was ich persönlich nicht glaube, außer der RAM ist defekt. Das könntest du mit einem Speichertest über den Synology Assistenten prüfen.

 

[Benie]

Eigentlich schaut da alles gut aus.
Nur die Temperatur bei beiden HDDs ist sehr hoch.
Die Temperatur beruht bestimmt darauf das der Lüfter zu niedrig eingestellt ist.
Bei mittler Einstellung werden diese um 3-4 ° reduziert sein und bei max. sogar um 6-8° niedriger sein.

Habe mal bei Synology gelesen, dass Temperaturen um die 45-46° auf ca. 1/5 der Laufzeit gegenüber ca. 38° reduzieren (pauschale Angabe)
Hier solltest Du besser Deine Einstellung des Lüfters verändern.


Aber das nur zu den SMART Werten. (habe selbst die gleiche Konstelation auf meiner DS218+)

Auf den Fehler mit Btrfs denke ich hst es eher keinen Einfluß.

 

[LimaJuliet123]

Vielen Dank schon einmal für die Antworten.
Das Temperaturproblem ist soweit bekannt, auch das es wahrscheinlich auf die Lebenszeit geht. Ist leider unserer Lokalität/Infrastruktur geschuldet.

Andere Frage:
Ich wollte einen Anlauf mit "btrfs check --repair" starten, leider bekomme ich auf dem DSM7 das Volume1 nicht unmountet da der befehl "syno_poweroff_task -d" nicht mehr im DSM7 vorhanden ist. Hat jemand einen Tipp ?

 

[Benares]

Meines Wissen macht "synospace --stop-all-spaces" bei DSM7 das gleiche wie "syno_poweroff_task -d" bei DSM6.
Hab's aber noch nie selbst ausprobiert.

 

[ctrlaltdelete]

Versuch mal das: synostgvolume --unmount -p /volume1

 

[LimaJuliet123]

Synology hat sich gemeldet. Reaktionszeit nur ca. 8 Tage.
Ich sag bescheid, falls das zu einer Lösung führt, könnte ja für andere auch hilfreich sein.

 

[ctrlaltdelete]

Unbedingt, Danke.

 

[LimaJuliet123]

Support wurde von Synology abgelehnt, da 10GB RAM. Sie sagen könnte ein Bitflip sein und ich soll alles neu aufbauen bzw. eine Data Rescue Company beauftragen...

synospace --stop-all-spaces <- dieser befehl hat für mich nicht funktioniert der kickt mich aus der root session /volume1 war aber noch gemountet

synostgvolume --unmount -p /volume1 <- Dieser befehlt schließt meine SSH verbindung unmounten mein filesystem und lässt mich später wieder einloggen.


Zum Thema btrfs check --repair

ash-4.4# btrfs check --repair /dev/mapper/vg1000-lv                                                                                        
enabling repair mode                                                                                                                       
couldn't open RDWR because of unsupported option features (3).                                                                             
Couldn't open file system

Werde dann wohl anfangen müssen einen Restore aus dem Backup zu machen.

 

[ctrlaltdelete]

Ja, da sind die eisern, sobald außerhalb der Spezifikation, kein Support.
Nächstes Mal vorher den RAM wieder rausnehmen.

 

[ctrlaltdelete]

Schau mal da rein:
https://gist.github.com/bruvv/d9edd4ad6d5548b724d44896abfd9f3f

If btrfs check --repair errors out with "couldn't open RDWR because of unsupported option features", you can try clearing the space cache with btrfs check --clear-space-cache v2 or btrfs check --clear-space-cache v1, and retrying the btrfs check --repair.

YMMV. If you break it, you own the pieces, and by the time you need --repair chances are that it broke beyond repair already

 

[LimaJuliet123]

Ja, da sind die eisern, sobald außerhalb der Spezifikation, kein Support.
Nächstes Mal vorher den RAM wieder rausnehmen.

Selbst das wird man wahrscheinlich in logfiles nachvollziehen können

Danke für den Link bin da auch schonmal beim google drübergestolpert in der initialen Recherche.

YMMV. If you break it, you own the pieces, and by the time you need --repair chances are that it broke beyond repair already

Was hab ich dann noch groß zu verlieren

 

[LimaJuliet123]

Am besten wäre wenn ich in BTRFS einfach nur das corrupt leaf im file system tree entfernen könnte und aus dem Backup ersetzen könnte ...

 

[ctrlaltdelete]

Was hab ich dann noch groß zu verlieren

nüscht

 

[LimaJuliet123]

Broken beyond repair.

Hyperbackup ist übrigens im READ ONLY Modus nicht verfügbar. Mein Plan wäre jetzt Backup aus "coldstorage" zurückspielen und danach dann mit rsync Dateien die neuer sind als "cold storage" dateien von der usb-festplatte ersetzen?

Backup der Daten ging somit nur via ssh und cp bzw. tar befehlen. Mal sehen ob mir das beim Synology Drive das Genick bricht



Reparaturversuch mit "btrfs check --repair" log:

ash-4.4# btrfs check --repair /dev/vg1000/lv
enabling repair mode
Syno caseless feature on.
Checking filesystem on /dev/vg1000/lv
UUID: - removed by author -
checking extents
Extent back ref already exists for 2704610967552 parent 0 root 257 owner 49504666 offset 1257472 num_refs 1
Extent back ref already exists for 2704620130304 parent 0 root 257 owner 58249636 offset 0 num_refs 1
Extent back ref already exists for 2704620392448 parent 0 root 257 owner 58249637 offset 0 num_refs 1
ref mismatch on [2701241597952 32768] extent item 2, found 3
attempting to repair backref discrepency for bytenr 2701241597952
ref mismatch on [2701241597952 32768] extent item 2, found 3
repair deleting extent record: key 2701241597952 168 32768
adding new data backref on 2701241597952 root 259 owner 14936219 offset 0 found 1
adding new data backref on 2701241597952 root 257 owner 35993442 offset 0 found 1
adding new data backref on 2701241597952 root 257 owner 58249929 offset 0 found 1
Backref 2701241597952 root 257 owner 58249929 offset 0 num_refs 0 not found in extent tree
Incorrect local backref count on 2701241597952 root 257 owner 58249929 offset 0 found 1 wanted 0 back 0x55a4319c8cf0
backpointer mismatch on [2701241597952 32768]
ref mismatch on [2701241630720 16384] extent item 1, found 2
attempting to repair backref discrepency for bytenr 2701241630720
repaired damaged extent references
ref mismatch on [2701241630720 16384] extent item 1, found 2
repair deleting extent record: key 2701241630720 168 16384
adding new data backref on 2701241630720 root 257 owner 35993444 offset 0 found 1
adding new data backref on 2701241630720 root 257 owner 58249944 offset 18446744073709543424 found 1
Backref 2701241630720 root 257 owner 58249944 offset 18446744073709543424 num_refs 0 not found in extent tree
Incorrect local backref count on 2701241630720 root 257 owner 58249944 offset 18446744073709543424 found 1 wanted 0 back 0x55a475771500
backpointer mismatch on [2701241630720 16384]
ref mismatch on [2701241647104 12288] extent item 2, found 4
attempting to repair backref discrepency for bytenr 2701241647104
Ref is past the entry end, please take a btrfs-image of this file system and send it to a btrfs developer, ref 2701241651200
failed to repair damaged filesystem, aborting

Morgen findet nochmal ein RAM check ohne den nicht zertifizierten Riegel im orginalen Ausbau mit 2 GB statt, da dieser heute nach ca 3-4 minuten abgebrochen ist.

 

[ctrlaltdelete]

RAM Test mit 10 GB abgebrochen?

 

[LimaJuliet123]

So mehrere male mit den 10GB getestet. Bricht immer zwischen 30-40% vom Memory Test ohne Fehlermeldung ab und geht in den Ready Status.
Wenn der RAM-Baustein entfernt wurde, läuft der Test bis 100% in ca. 1h ohne Probleme durch.

Ich habe das Gefühl der RAM Baustein ist der Übeltäter ...