Domácí server s rootfs na flešce - konec experimentu

20.1.2014 13:53 | Přečteno: 2484× | Debian | poslední úprava: 20.1.2014 14:21

Po té, co jsem vyměnil server (a upgradnul ho na Jessie) jsem ho zhruba dva měsíce provozoval jen s fleškou. Úžasné bylo, že byl 100% tichý (opravdu 0 dB, žádný ventilátor, vše v pasivu, žádné otáčející se součástky). Nicméně z ničeho nic mi nešel nainstalovat ethtool, protože poškozený soubor /var/lib/dpkg/available. Co se z toho vyklubalo se dozvíte níže.

Něco špatného se asi děje s filesystémem. Takže přerušit nadějný uptime, flešku do počítače, dd a jde se na to. Jaké ale bylo moje překvapení, když fsck.ext4 zahlásil, že je vše v pořádku. Nu dobrá. Tak to zkusíme, start serveru z flešky, smazání /var/lib/dpkg/available a jeho znovuvytvoření pomocí sudo dpkg --clear-avail. Apt-get upgrade ale zase spadnul, navíc se souborový systém re-mountul jako read-only. A jsme doma. Fleška umírá pomalou smrtí (i když měl fs noatime a logování bylo celkem mírné). Naštěstí se mi doma válí mezi různým bincem i pár disků, takže jsem našel jeden mírně jetý 40GB:

Western Digital Caviar WDC WD400BB-00DEA0

ID# ATTRIBUTE_NAME          FLAGS    VALUE WORST THRESH FAIL RAW_VALUE
  1 Raw_Read_Error_Rate     PO-R--   200   200   051    -    0
  3 Spin_Up_Time            POS---   100   095   021    -    2375
  4 Start_Stop_Count        -O--CK   100   100   040    -    870
  5 Reallocated_Sector_Ct   PO--CK   199   199   140    -    3
  7 Seek_Error_Rate         PO-R--   100   253   051    -    0
  9 Power_On_Hours          -O--CK   100   100   000    -    647
 10 Spin_Retry_Count        PO--C-   100   100   051    -    0
 11 Calibration_Retry_Count PO--C-   100   100   051    -    0
 12 Power_Cycle_Count       -O--CK   100   100   000    -    865
196 Reallocated_Event_Count -O--CK   199   199   000    -    1
197 Current_Pending_Sector  -O--C-   200   200   000    -    0
198 Offline_Uncorrectable   -O--C-   200   200   000    -    0
199 UDMA_CRC_Error_Count    -O-R--   200   253   000    -    1500
200 Multi_Zone_Error_Rate   P--R--   200   200   051    -    0
                            ||||||_ K auto-keep
                            |||||__ C event count
                            ||||___ R error rate
                            |||____ S speed/performance
                            ||_____ O updated online
                            |______ P prefailure warning

650 hodin je opravdu málo, ten disk byl jako externí párkrát použit, takže vzhledem k jeho stáří a na dnešní dobu směšné kapacitě může důstojně dosloužit v domácím serveru (nejojetější disk, který zatím v pohodě jede má za sebou úctyhodných 53705 hodin a je to taky WD , byť SATA RaidEdition.

Takže dd na nový disk. instalace PATA disku do servříku a start do single-usera. Fsck i nadále zarytě tvrdí, že je vše v nejlepším pořádku. Nicméně instalace furt padá s podivnou chybou podproces nový pre-installation skript byl zabit signálem (Nedovolená instrukce (SIGILL)). Po zjištění, že to dělá pre-instalation skript libovolného balíku jsem zjistil, že podobný bug už v Debianu znají a souvisí s libc. hmm. Trasování mne z postinst skriptů dovedlo do /usr/share/debconf/confmodule. Ten padá při volání /usr/share/debconf/frontend. A ten spadne hnedka na začátku. Protože stejně spadne /usr/bin/perl. A mám ho, syčáka. Takže výlet do /var/cache/apt a pokus o dpkg -i perl_base . Další chybová hláška, že něco není aktuální blablabla. Takže ruční dpkg -i dpkg - ten prošel a pak druhý pokus o instalaci perlu. V okamžiku, kdy perl začal fungovat, zase se root přemountoval RO. Tak jsem nahodil fsck, který opravil mraky chyb (úplně nechápu, kde se vzaly, ale budiž), výzva k restartu. Systém bez problémů naběhl a další apt-get update;apt-get upgrade;apt-get -f install proběhly už bez problémů.

Elektřtina

Server teďka sice trošku šumí (alespoň je kontrola, že je zapnutej ), ale nejbližších pár let nebudu muset řešit odcházející SDHC/flešky/SSD_disk a můžu zapisovat kolik chci. S točícími disky přichází nutnost smartmontools, do /etc/smartd.conf píšu /dev/hda -H -C 0 -U 0 -m mujmejl@example.net -s L/../../7/9 (nějaké tipy na parametry smarmontoolss na serveru ?). Vzhledem k tomu, že je to mimo jiné mailserver (byť s poměrně malým provozem několika mailů denně), váhám, jestli si hrát s hdparm - t.j. jestli s vypínáním disku nenadělám víc škody než užitku ?

Co se týče úspory energií, tak jsem zakotvil na cpufreq-set -d 800MHz -u 1800MHz -g powersave -c 1 resp -c 0 (nějak mi nechce fungovat -r, které by mělo nastavit všechna jádra), obě CPU se většinu času flákají mezi 900 a 1000 MHz, akorát powertop mne stále neuspokojuje, 100% ukazují zařízení:

1. Display backlight
2. Intel Corporation 7 Series Chipset Family 6-port SATA Controller [AHCI mode]
3. PCI Zařízení: Intel Corporation 82801 PCI Bridge
4. a samozřejmě síťovky

Nicméně v okamžiku, kdy je Idle 98% času, tráví ho v C7, což je ok - takže se tím asi nemusím zaobírat. A příště zase nějaká anti-google akce ...        

Komentáře

[gsnak]

Ako dlho tam vydrzala ta flaska?

[R]

Dva mesiace (prva veta).

[jack]

Uz pred par mesici jsem maly server prestehoval na cinskej cudl s rk3188, jede jak vino,flashka drzi (vzal jsem nejakou drazsi),jede tam ubuntu,ale na jinem cudlu zkousim i fedoru,jede vsecko krome 3d akcelerace (a i to doufam doresim). Jeste par tech cudlu doma mam, premyslim, ze bych je vozil ve vetsim, fakt se to hodi i na desktop. Kdybyste meli nekdo zajem, dejte vedet.

[anon]

tip..Domaci server provozuji na nejakem cinskem klonu MK802 s SoC A10s, bootloader a kernel je na microSDHC a rootfs na flashce. Uplne to staci. Jinak dik za zkusenost, asi to premigruju taky na HDD nez bude pozde.

[Georgius]

Fakt je, že s novým serverem jsem pustil více služeb, takže asi trochu srovnávám nesrovnatelné, ale SDHC (ne mikro) začala prasit zhruba po roce, takže je to lepší než fleška ...

[Josef Kufner]

Já mám v notebooku SSD od Kingstonu (SH103S3), má "natočeno" 200 dní čistého času (dle smart) a zatím v pohodě. A to na něj v klidu swapuju.

[Bystroushaak]

Taky jsem takhle kdysi odpálil pár flashdisků. Jeden odešel velmi rychle, asi za týden, i když byl jako noatime.

[kralyk z abclinuxu]

Proč ty flashky tak rychle odchází? Měl jsi vypnutý žurnál?

[Bystroushaak]

Jo, bylo tam ext2.

Jinak to byl už starší flashdisk, bůh ví co s ním kdo dělal před tím. Zničil jsem jich tam teda víc, ale tenhle odešel nejrychleji.

Jinak nedej bože, kdybych tam zapnul swap do souboru.

[kralyk z abclinuxu]

A co takhle zkusit F2FS?

[Bystroushaak]

Pozdě. Teď mám N40L a tyhle problémy už mě netrápí.

[Bedňa]

Dosť veľká spotreba čo pozerám, nemeral si ju?

[Bystroushaak]

Měřil jsem jí spolu s uspaným PC. Měřák byl před UPS a šlo přes něj v tu chvíli 47w. Nevím co z toho si vzala ta UPS a uspaný počítač, beru to tedy jako "něco okolo 40W".

[Bedňa]

To prevádzkuješ komerčne? Na domáce používanie mi to príde fakt moc.

[Bystroushaak]

Mám elektřinu započítanou fixně v nájmu, takže je mi to jedno.

[gtz]

A pronímatel přece nebude doplácet na nějaké tvoje experimenty? Jistě můžeš mít fix, ale po roce dojde vyúčtování, které jistě pronajímatel nebude hradit a pak co? (pokud tedy nebydlíš u rodičů a platíš jim nějaký fix )

[Bystroushaak]

WTF? Ve smlouvě je dáno, že platím fixní částku včetně všech energií. Pokud to majitel bytu nebude platit, asi se stane to, že vypnou elektřinu a jemu začnou naskakovat penále. Já se odstěhuji a tím to pro mě asi bude končit. Elektroměr je napsaný na něj, ne na mě.

Jinak tu bydlím už dva roky a nic takového se nestalo, hádám že mu ta fixní částka pokrývá náklady, tak jak by měla.

[Bedňa]

Máš šťastie na blbca, väčšinou to chodí ako píše qtz. Nájom plus zálohy na energie a potom ročné zúčtovanie. Pretože ty teraz môžeš cez predlžovák napájať ďalší byt zdarma a to sa oplatí.

[gtz]

Buď má štěstí na blbce nebo ten fix je předražený. No nesetkal jsem se s moc s tím, že by někdo platil nějaký souhrn energií.

[gtz]

copak ve smlouvě nejsou stanoveny nějaké limity?

[Bystroushaak]

Ne.

[xm]

Ty jo, nemůžu si u tebe zřídit farmu na mining Litecoinu?

[D-Evil]

Řešení je trapně jednoduchý - naládovat server pamětí (2 GB a víc), použít nějakej overlay fs (třeba aufs) a flashku nechat read-only. Pokud je potřeba něco zapsat trvale, stačí jednorázovej remount RW. A aktualizace systému se daj pohodlně dělat v chrootu.

Na fórech Ubuntu se válí skript do initrd, takže zprovoznění je trivialita.

Provozuju takhle tři servery s CF kartama několik let a žádná nikdy neumřela.

[Georgius]

no jo, ale co logy ?

[D-Evil]

O toho je tam ten overlay fs. Systém běží normálně v RW prostředí, jen místo na kartu zapisuje do paměti. A pokud je potřeba logy uchovávat, buď se prostě pošlou po síti někam jinam, nebo se můžou jednou za čas kopírovat na kartu, fantazii se meze nekladou.

[Kvakor]

Na ty logy by šel použít například JFFS2, to je systém přímo dělaný na FLASH paměti bez řadiče (MTD) a má dobře vyřešený wear leveling. Nevýhoda je, že se při mountování musí přečíst spousta údajů a celkem dlouho to trvá (na jednom starém Mikrotiku s OpenWRT trvalo namountování pouhých 64MB skoro minutu). Případně by se mohl použít LogFS, který by se měl rychleji mountovat, ale i v současné verzi jádra je označovaný za silně experimentální.

Alternativa je vykašlat se na souborový systém a použít rešení a lá černá skříňka - prostě zapisovat do syrového zařízení bloky s timestampem na začátku (nebo nějakým čítačem, důležité je jen, aby to bylo monotóní) a když se dojde na konec, tak začít zas od začátku zařízení. Na nalezení nejstaršího bloku (tj. místa, kam se bude zapisovat příště) se pak použije modifkované binární vyhledávání, takže se nemusí číst všechno.

[Aleš Kapica]

Tak nějak.

[gtz]

No flešky jsou někdy auvajs, já provozoval nějakou dobu Jornadu na CF kartě s Linuxem a po pár měsících byla CF vhodná na reklamaci. No CF i USB-Doom jsem měl na jednom serveru jen jako boot a tehdy to tam vydrželo skoro 2 roky než bylo po obou. No kdybych na tyto média měl swapovat tak to odpálím celkem hodně brzo (No měl jsem na testy 4GB SDHC SD kartu v RPi a po asi půl roce karta se nedala ani přečíst a i čistý formát měl problémy takže šup s ní do reklamace).

[Radek Hladik]

Co já mám s flashkama na serverech zkušenosti je, že každá flashka je úplně jiná. I když člověk koupí dvě stejné, liší se někdy i dost podstatně. Typicky jde o firmware té flashky. U různých flashek se dají najít návody, jak jim nahrávat nový/jiný firmware, atd... Mám servery, kde flashka vydržela víc jak 2 roky včetně logování...

Další podezření mám na to, že se ve flashkách snadno přehřívají nejspíš řadiče té flashky. Protože dost často se mi stávalo, že se flashka asi přehřála a musela se na chvíli vyndat.

Ale největší problém těch flashek jsem měl s tím, že poměrně často (a nezávisle na výrobci) mi dělaly chyby, ale tvářily se, že je všecko v pořádku. Což vedlo k tomu, že ani RAID nebyl schopen správně fungovat

Shrnuto, podtrženo: když má člověk kliku, tak to funguje dobře, ale nevím, jak to dopředu poznat...

[gtz]

Ano to mohu potvrdit, kdysi jsem měl od Intelu pár flešek (v rámci promo akce dával Intel nějaké 2G/4G) a nějak jsem zjistil, že když je fleška od jednoho výrobce se stejnou kapacitou tak to nemusí být úplně vždy to samé.

[Václav "Darm" Novák]

V práci jsme na tohle používali CF karty a PATA adaptéry. (1U VIA stroje používané na sestavení VPN a routing) Po tom co nám CF karty poodcházely (životnost cca 2 roky), proběhla výměna za malé levné SSD. Zatím spokojenost

[gtz]

CF karty ty starší byly držáky, měl jsem to na pár serverech a na dalších jsem měl nějaký USB doom a to bylo v pohodě, problém přišel někdy kolem roku 2008 kdy CF karty už nebyly tím co byly (kdosi o tom psal, že to výrobci začali nějak odbrávat) a dokonce mi po měsíci odešel jeden Pretec tak jsem tam místo CF dal taky SSD 64GB a prozatím snad klid.

[anonymDotaz]

ahoj, chtel bych se zeptat, desku kterou si pouzil GA-C1037UN-EU (s 4G ram) si chci dat do domaciho NAS serveru, utahne Fedoru20 s gnome? a co treba Win7? jak je to s teplotou procesoru a chipsetu?

diky za info! :)

[Georgius]

Odpověď pozdě ale přeci - oficiálně výrobce v Biosu počítá s Win7, vzhledem k tomu, že ta mrcha má víc bogomipsů než můj desktop, tak gnome (s)hell s přehledem musí dát