Dotaz: BTRFS error state EAL - Debian 12 - 2x SSD

[Howard]

Jednou za 2-3 měsíce se stane, že se server zasekne a na obrazovce je hromada hlášek:

[2420966.279450] BTRFS error (device nvme0n1p2): bdev /dev/nvme0n1p2 errs: wr 1173, rd 2291, flush 0, corrupt 0, gen 0

Jedná se o Debian 12 se standardními repozitáři pravidelně aktualizovaný jednou týdně.
# uname -a
Linux 6.1.0-18-amd64 #1 SMP PREEMPT_DYNAMIC Debian 6.1.76-1 (2024-02-01) x86_64 GNU/Linux

Disky - 2x 1 TB Samsung SSD 990 PRO FS samozřejmě BTRFS, na jednom disku je boot, kořenový oddíl a swap. Druhý disk slouží jako rozříšení kořenového oddílu pomocí btrfs device add, tedy to funguje jako RAID 0.

Badblocks obou disků ani btrfs scrub neukázal žádné chyby. Journalctl -b -1 končí na opakující se takovéto hlášky:

bře 24 16:48:01 207 CRON[3484705]: pam_unix(cron:session): session opened for user root(uid=0) by (uid=0)
bře 24 16:48:01 207 CRON[3484706]: (root) CMD (/root/scripts/load_check)
bře 24 16:48:01 207 CRON[3484705]: pam_unix(cron:session): session closed for user root
bře 24 16:48:21 207 earlyoom[1226980]: mem avail: 45136 of 63436 MiB (71.15%), swap free: 12268 of 19066 MiB (64.34%)

Ani v žádném jiném logu jsem nenašel žádnou chybu, jako když prostě selže disk a systém chybu už nemůže zapsat na disk, pouze na obrazovku.

Zatím jsem neměl příležitost nechat běžet memtest ani btrfs check, server musí běžet. Doporučujete udělat memtest a btrfs check?

Může se jednat o bug v kernelu, i když se jedná o stabilní Debian? Mám zkusit nainstalovat jiné jádro?

Případně co dál řešit?

Odpovědi

[P.V.]

Mozna to chce rebalans.

Doporučujete udělat memtest a btrfs check?

A co bys tak očekával, že dostaneš za radu? Btrfs ti píše, že error... Tak pěkně na btrfs zkontroluj, co můžeš. Pak můžeš přemýšlet, jak postupovat dál.

[Aleš Kapica]

A jenom bych si přisadil. Prostuduj si také blogpost Všechno má svůj čas, speciálně pasáž „Proč nechci mít jen jeden disk”, kde máš odpověď i na otázku, co děláš blbě.

[Aleš Kapica]

Jo a taky nebude od věci když si přečteš blogposty, mého kamaráda: Případ zhrouceného notebooku a Nasysleno.

[Max]

Jakou verzi FW máš v těch NVMe?
Jaký chipset máš v tom serveru?
Zdar Max

[Want]

Jakou verzi FW máš v těch NVMe? Jaký chipset máš v tom serveru?

Vis podrobnosti o rozdilech ve verzich? kdyz ti rekne verzi co bude nasledovat za radu?

[Vantomas]

Prostá zkušenost se Samsung SSD. Mají v těch firmwarech bugy, že ta SSD na dlouho lagnou nebo se nějak zrestartují a zmizí/objeví se na sběrnici, když běží už příliš dlouho. A to samozřejmě filesystémy a jiný věci nemají rády. No a když pošle verzi, co je až moc příliš stará, tak se dá předpokládat, že problém bude tam.

[Max]

Můžu např. zjistit, že existuje novější verze fw. Nebo lze podle konkrétní verze dohledat, zda nemá nějaký problém.
Zdar Max

[Want]

Doufám Maxi, že ti je jasné že můj nick zneužívá nějaký šmudla. Nicméně - jsem nakloněn tomu dát pivko, takže jak budeš mít ideální okno, stačí echo.

[Want]

můj nick

ID? nebo staci byt ve strane?

Jen jestli se ty neskrýváš za nickem nějakého šmudly...

[Want]

Buď bez obav mantáku. Max ví na jaké číslo zavolat.

[X]

Nemuze byt problem s deskou? Nejaka diagnostika neni?

[lertimir]

Nějak vůbec nerozumím slovnímu spojení "server" a "RAID 0". Svým studentům už desítky let tluču do hlav, že jakýkoliv kus hardware může v kterýkoliv okamžik selhat, a tak že je naprosto neopravitelný. A když si přečtu toto, tak mám pocit s klasikem: Je to marné, je to marné, ne to marné.

[alkoholik]

Kde se sakra flaka Andrej?
Hadam, ze do NVMe error logu jsi se uz podival a jsou taky prazdne..

[pavele]

V případě chyby btrfs se Andrej nevyskytuje.

Samozřejmě všichni diskutující označí tazatele za absolutního amatéra, neschopného hlupáka, s vadným hardwarem - nevhodná základní deska, disky nevhodné pro btrfs, zastaralým softwarem, s nepoužitelnou distribucí a poradí mu, aby si raději najal firmu na opravu.

Tak jako už mnohokrát dříve.

[Max]

Pár lidí, co tu mělo rozpadlé btrfs, používalo zabugované Samsungy 960/970 řady, kde opravdu byla chyba v jejich fw a v kombinaci s určitými chipsety mohlo dojít ke ztrátě dat. V linux komunitě se to řešilo několik let a postupně se to vyřešilo tak, že u těch ssd vypínal kernel TRIM, NCQ a další věci.
V případě řady 990 Pro nevím o ničem, ale tazatel nekomunikuje, takže se asi příčiny nedopátráme. Je ale vidět, že ty máš hned jasno :D.
Zdar Max

[chinook]

Já mám asi ten stejný problém.

Model Number:                       Samsung SSD 990 PRO 4TB
Firmware Version:                   0B2QJXG7

Linux node 5.10.0-27-amd64 #1 SMP Debian 5.10.205-2 (2023-12-31) x86_64 GNU/Linux

Co jsem se díval firmware je na webu novější, ale nenašel jsem, že by opravil tyto chyby. Disk je celkem dost vytížen. A po týdnu nebo dvou. Začne hlásit stejné chyby jak tady kolegovi. Restart PC dále disk nenajde. Ale pokud PC vypnu a zapnu, tak to zase nějaký týden jede v pohodě. Měl jsem podezření, že se to přehřívá, koupil jsem chladič otevřel case snížil teplotu o 20stupnu a furt stejný. Přemýšlím, že koupím jiný disk. Ale ještě tomu chci dát šanci. Pomohl by upgrade kernelu na 6x?

[Max]

Díky za info. Hele, v changelogu firmware nemusí být uvedeno vše. Je to na benevolenci vendora. Jinak už jen to, že po restartu nevidíš disk, je velký špatný. To by se dít opravdu nemělo. Buď máš vadný disk, nebo nějaký bug v desce, nebo těžko říci. Začal bych full updatem fw, tj. i biosu desky.
Teploty NVMe můžeš sledovat, např. 80C je už podle mě přes čáru. Já mám běžnou teplotu kolem 47C.
Pasiv používám, bez něj to nejde, ale taktéž to nejde bez průvanu ve skříni. Obzvláště, když má člověk nvme pěkně u výkonné GPU, která topí vostošest.

Hele, poměrně nový kritický bug v 990 Pro: Avoid Loss of Data: Upgrade Your Samsung 980 & 990 Pro SSD to the Latest Firmware (0E error fix).
Ale těžko říci, zda se ho ten bug týká, bo jinde vyráběný s trochu jinými čipy: Samsung 990 PRO Firmware 0B2QJXG7 is it okay?
Pokud je dostupný nový fw, tak bych rozhodně udělal update.
Jinak Debian má aktuálně kernel 6.1 ve stable větvi, takže řekl bych, že to je signál, nebát se do toho jít. Pětkový kernel už je opravdu dědeček.
Zdar Max

[xxl]

Andrej tady už kolikrát psal, že chyby hlášené btrfs dost často upozorňují na vadný hardware, jako je třeba paměť. A i sám tazatel tušil, že problém nemusí být přímo v btrfs. Kromě toho tazatel také psal, že btrfs scrub skončil bez chyb. To znamená, že data byla patrně dosud v pořádku.

Takže bych netvrdil, že je to chyba btrfs.

[pavele]

Netvrdím, že je to chyba btrfs.

Tvrdím, že co se týče (nejen) btrfs, nikdy (poslední měsíce?) tu nebyla konstruktivní debata, která by vedla k vyřešení problému a pomohla tázajícímu.

Navíc si nejsem jist, jestli většina dotazů nejsou uměle vytvořené, aby to tu aspoň trochu žilo. Tazatel hodí otázku a pak se už neozve.

Před lety měli všichni snahu a ochotu problém vyřešit. Možná se mýlím.