Dotaz: Compact Flash a linux -Faq?

[tripsi]

Dobry,

Potrebujem nainstalovat (debian) na Cf kartu pripojenu na ide v notebooku. Mohol by mi niekto napisat nejake tipy ako nato. Nemyslim instalaciu ale ako napr. hodit system do ramky zeby mi to zbytocne necitalo a nezapisovalo na kartu kvoli jej zivotnosti.Nejaka Faq

vdaka

Odpovědi

[Vodny]

Zdravím.

Předně se chci omluvit za oživování dost starého příspěvku ale mám úplně stejnou otázku. Chtěl bych nějaké tipy na instalaci CentOS 6.3 na CF přes SATA redukci.

Mám tuto základní desku se 4G operační paměti + již zmíněnou redukci s podporou UDMA a 16G CF. Narazil jsem na příspěvky typu, že karta mi odejde kvůli častým zápisům v určítých částech systému (třebas /var/log). Řešení spočívalo v tom, že se tyto části přesouvali do tmpfs. Což je moc pěkné řešení ale pro mě dost nevyhovující z důvodu ztráty dat při restartu nebo výpadku proudu. Chtělo by to nějaké řešení, které by během vypínání odložilo obsah tmpfs někam stranou a při startu opět natáhlo do operační paměti. Nemá náhodou někdo toto řešení někde nasazené.

Účel tohoto zařízení je sdílení dat po domácí síti. Fotky, filmy, muzika tudíž samba, pak tam mám poštu, webovky s MySQL a Deluge s Teamspeakem. Vše už funguje na jiném PC ale spotřeba je příšerná a už se pomalu přestávám vejít.

Vím, že to sem nepatří (časem položím jiný dotaz) ale když už to píšu zajímá mě jestli náhodou nevíte, jak se chová SW raid. Hodlám desku rozšířit o tento řadič a vybudovat raid 1 časem možná 5. Chtěl bych vědět jak je to s tím R5 v případě, že odejde třebas ta CF tudíž celý systém a já budu mít bokem 3x2TB (v R5) dat. Otázka zní jsou data v... nebo prostě vezmu disky a přenesu je na jiný systém kde znova sestavím R5. Asi bych nevyužil toho zázraku co nabízí výše uvedená karta ale raid bych sestavil v MD.

[NN]

Centos na cf kartu, kde pobezi mysql, apache, samba a dalsi. To dost nedava smysl, kdyz samotna deska ma dva sata porty..

[JanM]

Zdravím.

Řešení spočívalo v tom, že se tyto části přesouvali do tmpfs. Což je moc pěkné řešení ale pro mě dost nevyhovující z důvodu ztráty dat při restartu nebo výpadku proudu.

stačí, když vytvoříte /var-sync a do init a shutdown scriptů dáte rsync těsně po připojení a před odpojením souborového systému. To pochopitelně nevyřeší situaci při výpadku proudu, pak pomůže jen UPS a vynucené vypnutí ovládacím sw.

Účel tohoto zařízení je sdílení dat po domácí síti. Fotky, filmy, muzika tudíž samba, pak tam mám poštu, webovky s MySQL a Deluge s Teamspeakem. Vše už funguje na jiném PC ale spotřeba je příšerná a už se pomalu přestávám vejít.

A to se vám všechna ta data vejdou na CF? Nebo tam bude plotnový disk na data? Pak ale stejně tak dobře můžete mít systém na něm, ne? (Točící se disk spotřebuje určitě méně proudu než UPS.)

[ondro]

Zakladne odporucanie je pouzit priemyselnu verziu CFf karty s SLC NAND Flash alebo aj niektore vyssie rady CF kariet obsahuju SLC NAND Flash. Je potrebne hladat v datasheetoch vyrobcov, bohuzial je to niekedy velky problem.

Tieto karty maju ovela dlhsiu zivotnost (pocet zapisov). Taketo CF karty pouzivame uz niekolko rokov bez ziadnych uprav a rieseni ala tmpfs RAM disk. Je tam sqlite3 databaza a custom apliakcia s celkom slusnym poctom zapisov. Problem so zivotnostou skoro ziadny.

Pri pouziti beznej CF s MLC NAND Flash je nevyhnutnost niektore veci presunut do RAM. Tam tym CF kartam nedavam dlhu zivotnost.

K tym datam z RAID5 sa pri pokazeni CF bez problemov dostanes tebou spominanym sposobom.

[Vodny]

Centos na cf kartu, kde pobezi mysql, apache, samba a dalsi. To dost nedava smysl, kdyz samotna deska ma dva sata porty..

No jde mi o co nejtišší komplet a nízkou spotřebou. Služby, které tam poběží budou využívány minimálně. V MySQL mam třebas jen Roundcube, uživatele poštovních schránek, SpamAssasina a jednu DBS pro svojí jednu webovku. V podstatě žádná zátěž.

stačí, když vytvoříte /var-sync a do init a shutdown scriptů dáte rsync těsně po připojení a před odpojením souborového systému. To pochopitelně nevyřeší situaci při výpadku proudu, pak pomůže jen UPS a vynucené vypnutí ovládacím sw.

Na tohle se rozhodně podívám. Menší UPS mi doma běží (drží router,AP a napajení WiFi od providera). Myslím si, že připojit tam budoucí komplet nebude problém. S APCUPSD mám drobet zkušenost takže snad to půjde.

A to se vám všechna ta data vejdou na CF? Nebo tam bude plotnový disk na data? Pak ale stejně tak dobře můžete mít systém na něm, ne? (Točící se disk spotřebuje určitě méně proudu než UPS.)

Určitě nevejdou. Chtěl bych mít bokem připojené 1TB v šuplíku aby bylo možné ho vytáhnout a případně přenést (to se ale moc často dít nebude). Celé toto řešení je spíš takový rozmar abych poskládal věci co kolem mě propluly za nízkou cenu. Deska mě přišla na 400,- redukce 90,- tuhle CF kartu tu mám starší z nějakého foťáku a zůstala mit tu skříň chieftec se šuplíkem na 3HDD a asi 400W zdrojem.

Zakladne odporucanie je pouzit priemyselnu verziu CFf karty s SLC NAND Flash alebo aj niektore vyssie rady CF kariet obsahuju SLC NAND Flash. Je potrebne hladat v datasheetoch vyrobcov, bohuzial je to niekedy velky problem.

To teda je. Výrobci vůbec neuvádí, co je pod plastíkem ukryto. Nevadí teď použiji tu co tam mám a když to bude fungovat, tak OK jinak bych pak pořídil jinou.

K tym datam z RAID5 sa pri pokazeni CF bez problemov dostanes tebou spominanym sposobom.

V tom případě se mi zdá, že SW raid je lepší jak HW raid když se podělá řadič od adapteku za 8tis kde je R5 tak pokud se nesežene stejný tak je asi hotovo. A když se podělá cokoliv na SW raidu na LINUXU vezmu disky jinam a znovu ho složím. Pro domácí použíti je to pecka ne? Počítám, že je tam nižší výkon ale zase dobrá bezpečnost a nízká cena.

[JanM]

Celé toto řešení je spíš takový rozmar abych poskládal věci co kolem mě propluly za nízkou cenu. Deska mě přišla na 400,- redukce 90,- tuhle CF kartu tu mám starší z nějakého foťáku a zůstala mit tu skříň chieftec se šuplíkem na 3HDD a asi 400W zdrojem.

Tak to chápu. Provozoval jsem cca rok archlinux na CF kartě z foťáku přes SATA s využitím tmpfs, občasnou kompilaci jsem pouštěl jen na plotnovém disku. Vydrželo to.

Teď tam mám notebookový hdd, neb se ke mně dostal zadarmo z rozbitého notebooku...

Mohlo by vás zajímat: http://jrfom.com/2012/05/09/prolonging-an-ssds-life-by-mitigating-writes/ na konci je odkaz na daemona, který se o to stará automaticky (což není úplně od věci, neb jinak je třeba dávat pozor při updatech, aby se nepřepsaly upravené init skripty).

[Vodny]

Asi mi taky zbude jeden disk z notebooku mám 1,8" ve svém HP 2730p a přemýšlel jsem, že bych ho vyměnil za nějaký SSD. Ale to až někdy později.

Na článek určitě mrknu. Děkuju.

Jinak nevím, jak si poradím s tím scriptem. rSync znám, používám takže to by asi šlo. Ale zatím nemám tušení, jak ho přidat do toho seznamu spuštění a hlavně na správné místo. Když chci něco spustit po startu systému "chkconfig aplikace on" a je to. Tohle bude chtít asi něco detajlnějšího.

[Vodny]

Takže veškerý HW je po hromadě a vše se zdá dle Biosu v pořádku. (vypadá to dost vtipně ta mikro deska BigCase)

Ještě než začnu s instalací, tak bych rád shrnul nějaký ty tipy co jsem sehnal.

1) nedělat žádné partišny stačí jedna pro "/"
2) nezakládat SWAP
3) přesunout do tmpfs
   a) /var/log
   b) /tmp
   c) v případě DBS by bylo vhodné tam hodit i jí s tím, že se ošetří to, aby se při vypnutí odložila někam bokem a při startu znovu načetla. Dobrý mít u stojre UPS ale i tak je to o hubu. Bavíme se o domácím použití.
4) nepoužívat žádný žurnalovací FS?? -- tam si nejsem jist nevidím v tom žádný problém.    

Nějaké další tipy nebo připomínky k výše zmíněným?

[Vodny]

Tak jsem do toho teď trochu rýpnul a mám tak 50% úspěšnost. Potřeboval bych, jestli by se nenašel někdo, kdo by zkusil postrčit.

Situace je taková:

1) Ramdisk je vytvořený a připojený do /mnt/ramdisk/

2) Script na synchronizaci tpmfs <=> pevný disk je vytvořený v následující podobě a je uložen do init.d (Používám CentOS 6.3)

#! /bin/sh
# /etc/init.d/ramdisk
#chkconfig: 03456 00 95

case "$1" in
  start)
    echo "Kopíruju do paměti"
    rsync -av /home/backup_ramdisk/ /mnt/ramdisk/
    echo [`date +"%Y-%m-%d %H:%M"`] Zkopírováno do Ramdisku >> /var/log/ramdisk.log
    ;;
  sync)
    echo "Dosynchronizování"
    echo [`date +"%Y-%m-%d %H:%M"`] Synchronizováno >> /var/log/ramdisk.log
    rsync -av --delete --recursive --force /mnt/ramdisk/ /home/backup_ramdisk/
    ;;
  stop)
    echo "Kopíruju na HDD"
    echo [`date +"%Y-%m-%d %H:%M"`] Zkopírovaná na HDD >> /var/log/ramdisk.log
    rsync -av --delete --recursive --force /mnt/ramdisk/ /home/backup_ramdisk/
    ;;
  *)
    echo "Usage: /etc/init.d/ramdisk {start|stop|sync}"
    exit 1
    ;;
esac

exit 0

3) Manuálním způsobem /etc/init.d/ramdisk Start/stop/sync vše funguje perfektně.

 

4) Dále byl přidán chkconfig -- level {03456} ramdisk on čímž se v rc.x vytvořily symlinky

5) Výsledek je takový, že do paměti se to natáhne ale při restartu nebo při haltu se to už ale na disk neuloží Neměl by někdo nějaký tip? možná je zakopaný pes v tom @Sxx @Kxx. Jaký je rozdíl mezi S a K? XX - je nějaká ta priorita spuštení ale S a K?

Děkuji za cokoliv.

[JanM]

Skoro bych řekl, že Sxx označuje "Start" a Kxx označuje "Kill" a xx je pořadí. Ale nevím, používám Arch, ten funguje trochu jinak.

Až to budete chtít použít pro /var, tak by se měl startovat jako první a ukončovat jako poslední.

[Vodny]

Ano máte pravdu je to start a kill.

tak změna preference je to nejmenší. Pořád nemůžu přijít na to, proč při ukončení ten script neprovede pasáž stop

[Vodny]

Hm... tak "vyřešíno" prostě pro každou operaci vlastní script a funguje to. Ale v podstatě vlk se nažral ale koza zůstala celá

[Ondrej 'SanTiago' Zajicek]

Neni to presne odpoved na dotaz, ale:

Na takovou synchronizaci bych se vykaslal. Nejakou dobu jsem provozoval system na CF kartach kde bylo minimum zapisu, ale i presto fs na nich odchazel (pak jsem presel na read-only). Hadam, ze kriticke bylo asi hlavne vypinani/restartu - pru umountu dochazi k nejakemu zapisu a vzapeti je napeti odpojeno ci restartovani, takze muze byt prerusena nejaka interni zapisova sekvence uvnitr flashky.

Pokud chces spolehlive reseni, tak mit hlavni system namountovan read-only a pripadna persistentni data ukladat na separatni medium (a mit osetreno, ze vse bude aspon nejak fungovat, i kdyz se separatni medium nepovede namountovat).

[Vodny]

Děkuju za info. Každopádně už to mám zapojené a když tu ty věci jsou, tak alespoň zkusím, co to vydrží a za nějaký čas budu lidi upozorňovat na to, že mě to taky selhalo.

Zrovna přemýšlím, co všechno do té tmpfs odložím. Určitě /tmp pak minimálně /var/log (možná by bylo dobrý tam hodit celý /var. Ještě nějaký tip na místa v systému, kde dochází k častým zápisům?

[Ondrej 'SanTiago' Zajicek]

No, zavisi v kolika instancich to budete pouzivat. Pokud jen v jedne, tak se to mozna ani neprojevi (koneckoncu i harddisk vydrzi casto leta bez poruchy), pokud takovych systemu budete mit treba stovku, tak uz to bude hrat roli.

Ja mam toto:

none on /var/lock type tmpfs (rw)
none on /var/run type tmpfs (rw)
none on /var/log type tmpfs (rw)
none on /var/ram type tmpfs (rw)

Kde do /var/ram jsou nasymlinkovane dalsi adresare (/tmp, /var/spool, /var/lib/dhcp3, ...), ale jeho obsah se staticky inicializuje.

[Vodny]

Nevím přesně jak to myslíte, v kolika instancích. Ale asi pravděpodobně v jedné. Ještě se zeptám, jaký FS na CF ? asi ext2 co jsem tak četl.

[Vodny]

Příloha:

• IMG_20120922_200112.jpg (849548 bytů)

Tak instalace se povedla ale systém není schopen nabootovat

Failed command: Read DMA EXT

Více příloha. Někdo nějakou zkušenost?