Dotaz: Zkolabovaný RAID1?

[mcm]

Dobrý den,

stala se mi docela kuriózní věc, kdy při kompilaci nové verze SANE se mi možná odpojil RAID(1) a systém přestal regovat na jakýkoli příkaz, resp. tvrdil, že příkaz neexistuje. Bylo mi to divné, tak jsem zkusil restartovat, nicméně "prikaz shutdown neexistuje", Ctrl+Alt+Del taky nic, nakonec nezbylo nic jineho, než natvrdo vypnout a znovu zapnout.

Následující boot již proběhl s tím, že systém se snažil nabootovat z disku, který podle něj nelze připojit. Seznam podstatných chybových hlášení během bootu přikládám (je to opsané, tak se mohou vyskytnout chyby):

[  OK  ] Found device /dev/disk/by-uuid/d3002afd-0a15-4b7f-b16e-9bc37cb6d9ca.
[ INFO ] dev-virtio\x2dports-com.redhad.spice.0.device is not active.
[Depend] Dependency failed for Activation socket for spice guest agent daemon.
    Mounting POSIX Message Queue File System...
    Mounting Debug File System...
    Starting Remount Root and Kernel File Systems...
    Mounting Huge Pages File System...
    Activating swap /dev/disk/by-uid/d3002afd-0a15-4b7f-b16e-9bc37cb6d9ca..
[FAILED] Failed to mount POSIX Message Queue File System.
See 'systemctl status dev-mqueue.mount'for details.
[FAILED] Failed to start Remount Root and Kernel File Systems.
See 'systemctl status systemd-remount-fs.service' for details.
[FAILED] Failed to start Activation of DM RAID sets.
See 'systemctl status dmraid-activation.servicde'for details.
[FAILED] Failed to mount Huge Pages File System.
See 'systemctl status dev-hugepages.mount' for details.
[FAILED] Failed to mount Debug File System.
See 'systemctl status sys-kernel-debug.mount'for details.
[FAILED] Failed to activate swap /dev/disk/by-uid/d3002afd-0a15-4b7f-b16e-9bc37cb6d9ca.
See 'systemctl status "dev-disk-by\\x2duuid-d3002afd\\x2d0a15\\x2d4b7f\\x2db16e\\x2d9bc37cb6d9ca.swap"'
for details.
[DEPEND] Dependency failed for swap.
[FAILED] Failed to start Configure read-only root support.
See 'systemctl status rhel-readonly.service' for details.
[FAILED] Failed to start Activation of DM RAID sets.
See 'systemctl status dmraid-activation.service' for details.
    Mounting /boot...
[FAILED] Failed to mount /boot.
See 'systemctl status boot.mount' for details.
[DEPEND] Dependency failed for Local File Systems.
[DEPEND] Dependency failed for Relabel all filesystems, if necessary.
[DEPEND] Dependency failed for Migrate local SELinux policy changes from the old structure to the new structure.
Starting Preprocess NFS configuration...
[FAILED] Failed to start Preprocess NFS configuration.
See 'systemctl status var-lib-nfs-rpc_pipefs.mount' for details.
    Mounting RPC Pipe File System...
[FAILED] Failed to mount RPC Pipe File System.
See 'systemctl status var-lib-nfs-rpc_pipefs.mount' for details.
[FAILED] Failed to Create Volatile Files and Directories.
See 'systemctl status systemd-tmpfiles-setup.service' for details.
Starting Security Auditing service.
[FAILED] Failed to start Security Auditing service.
See 'systemctl status systemd status auditd.service' for details.
Starting Update UTMP about System Boot/Shutdown...
[FAILED] Failed to start Update UTMP about System Runlevel Changes.
See 'systemctl status systemd-update-utmp.service' for details.
[DEPEND] Dependency failed for Update UTMP about System Runlevel Changes.
[FAILED] Failed to start Crash recovery kernel arming
See 'systemctl status kdump.service' for details.
[TIME] Timed out waiting for device dev-disk-by\x2duuid-a320d1ef\x2d7b6e\x2d4b0f\x2d8391\x2d09aa9cbafb1e.device/
[DEPEND] Dependency failed for /home.

Některá z těchto hlášení se i několikrát během bootu opakují.

Start systému po té zamrzne a nelze s tím nic dělat. Zkoušel jsem nabootovat z instalačního DVD do rescue režimu, nicméně chrootnout se nelze, snaha končí chybou chroot: failed to run command '/bin/bash': No such file or directory (a skutečně tam není. Je tam jen pár [4] programů od SANE). Požadavek o mountnutí disku (z rescue DVD CentOSu), proběhne korektně, jednotlivé oddíly se připopjí a můžu po nich normálně lézt.

Zrovna tak nechápu, jak je možné, že v /bin/ jsou jen programy od SANE. Buďto se mi "něco" povedlo, ale netušim co a jak nebo...

Vidim to na problém se zkolabovaným polem (RAID1), nicméně netuším, jak k tomu mohlo dojít a díky tomu ani nevim, co s tim mám dělat. Nechce se mi znovu instalovat systém, který byl již vyladěný. Už jsem si udělal zálohu konfiguráků, které jsem v systému kdy měnil, nicméně je mi líto času a práce to dělat všechno znova.

Proto by mě zajímalo, jestli se někdo z vás již s takovýmhle problémem třeba již nesetkal a případně jak to vyřešil.

CentOS 7.6.1810; x86_64; RAID1

# cat /var/log/messages:
server systemd: getty@tty1.service has no holdoff time, scheduling restart.
server systemd: Stopped Getty on tty1
server systemd: Started Getty on tty1
server systemd-logind: Removed session 1.
server systemd: Failed at step EXEC spawning /sbin/agetty: No such file or
directory
server systemd: Unit getty@tty1.service entered failed state.
server systemd: getty@tty1.service failed.
server /usr/sbin/gpm: *** info [daemon/processrequest.c(42)]:
server /usr/sbin/gpm: Request on 6 (console 3) - tady na ty jsem delal, kdyz
to spadlo
server systemd: Stopping Availability of block devices...
server systemd: Failed at step EXEC spawning /usr/sbin/blkdeactivate: No such
file or directory

Tenhle výpis ale akorát upozorňuje na to, že getty a některé další služby nejsou dostupné..

# cat /var/log/maillog:
server postfix: fatal: /usr/libexec/postfix/postfix-script: No such file or directory

A to je vše, co jsem mohl vytáhnout relevantního z logů systému. Proto budu moc vděčný za jakoukoli radu, nástřel, cokoliv..

Díky moc.

Odpovědi

[NN]

Je mozne, ze ten raid byl rozbity uz delsi dobu a system se snazi najet ze spatneho disku. Muzes zacit tim, ze znovu nabootujes rescue, zkontrolujes disky a pokusis se sestavit to pole rucne.

[Andrej]

Přesně tak; proto je tak důležité používat opravdový RAID, nikoliv dm"raid", md"raid" a podobné parodie na RAID, které při poškození jednoho (!) RAID 1 disku začnou vracet náhodná data a při poškození jednoho (!!!) RAID 5/6 disku zničí celé pole. Tohle jsou prostě koncepty a technologie hodné 90. let a 10-gigabytových disků maximálně; do dnešní doby nepatří.

[alkoholik]

V pripade, ze bys mel delsi dobu rozbity HW RAID, tak si muzes nechat o nejakem rucnim sestaveni nechat leda zdat.
HW RAID mi nekolikrat rozmrdal data neskutecnym zpusobem a cesta zpet nebyla. Proti MD je to ciste zlo!

[dustin]

On přece nemluví o HW raidu

[/dev/null]

HW raid - raz a navzdy - NEEXISTUJE!!!

[Max]

To ale neznamená, že neexistuje i termín "HW RAID", který něco reálně označuje a všichni vědí co. Jinými slovy, strojový překlad na tuto frázi nelze použít. To ale lidi, které baví slovíčkaření, nezajímá. Bohužel...
Zdar Max

[PetebLazar]

SW/HW RAID1/5/6 má z dnešního pohledu řadu nevýhod, ale právě svou relativní jednoduchostí implementace a desetiletími úspěšné služby ve stovkách miliónů serverů si podle mého názoru nezasluhuje míru opovržení jímž ho tu někteří častují. "RAID7" ani nezmiňuji, s tím se asi potkala jen menšina z nás.

[Max]

Jako bys BTRFS Andreje neznal... :)
Zdar Max

[PetebLazar]

BTRFS, ja ho tipoval minimálně na ZFS ver. 45!

[Jendа]

Děkujeme za názor, který je opět naprosto irelevantní k řešenému problému, a tady máte klíčenku.

[dustin]

Jak již řekl NN, nabootovat z live média, sestavit raid, zkontrolovat filesystém. Jestli jsem to pochopil, jde o fake DM raid (ne mdraid), s tím nemám žádné zkušenosti a nikdo ti jej nedoporučí (pokud na tom nejsou na jiném oddílu windowsy).

Po sestavení raidu a kontrole filesystému je dobré rozběhnout původní systém v chrootu a podívat se, v jakém je to stavu. Pro centos bude na chroot systému na netu spoustu návodů.

[mcm]

Super, díkes moc, tolik reakcí jsem nečekal

Vidím to skutečně na tuhle cestu. I když jestli nebude lepší to kompletně celý předělat a použít alespoň mdraid.

Je tady stejně ještě jedna potíž a to absence /bin/bash/, což vůbec nechápu, ja se mi to mohlo přihodit (nemůžu se tam kvůli tomu chrootnout). Když si totiž udělám výpis zmíněného adresáře, vylistujou se mi akorát 4 soubory, které pochází z nedokončené instalace SANE.

Takže zvažuju možnost zazálohovat všechny konfiguráky a další věci, co jsem na tom už udělal a kompletně to celý překopat.. Byť se mi do toho nechce.

Zkusím to udělat podle toho, co je v tomhle vláknu napsáno a napíšu, jak jsem to nakonec vyřešil.

Zatim díky...

[dustin]

Proč by sane kopíroval nějaké soubory do /bin? Nebyl ten oddíl původně namontovaný jako /usr?

[Jendа]

nicméně "prikaz shutdown neexistuje", Ctrl+Alt+Del taky nic, nakonec nezbylo nic jineho, než natvrdo vypnout a znovu zapnout

Pro příště (hlavně pokud se to stane na vzdáleném počítači kam nemáš přístup) echo b > /proc/sysrq-trigger.

Vidim to na problém se zkolabovaným polem (RAID1)

To se mi nezdá, to by spíš než chybějící soubory vůbec nešlo mountnout, případně by to do dmesg házelo hromadu chyb o poškozeném FS (vida, je v dmesg něco zajímavého po sestavení a mountnutí pole?).

Zkoušel jsem nabootovat z instalačního DVD do rescue režimu, nicméně chrootnout se nelze, snaha končí chybou chroot: failed to run command '/bin/bash': No such file or directory (a skutečně tam není. Je tam jen pár [4] programů od SANE).

Osobně si myslím, že se ti povedlo normálně smazat /. Například jsi při kompilaci a instalaci nastavil nějakou cestu na /, nebo je v buildsystému chyba.

[mcm]

jo, tak to bude nejspis ono. tedy smazani /. pri konfiguraci jsem prenastavoval cestu a nejspis sem neco nekde blbe odmazal.. to by vysvetlovalo zmrseny /bin.

takova skolacka chyba. fuj, stydim se.. tak to vidim na reinstalaci. chjo..

diky moc tobe a diky moc vsem za snahu pomoct.

jdu reinstalovat..

p.s. v dmesg neni naprosto nic vztahujiciho se k problemu. jen bezne zaznamy. to by taky mohlo nasvedcovat pro smazany /.... grrr..

dik..

[dustin]

Možná příště nedělat vše pod rootem