Od Debianu k Gentoo

5.11.2011 22:29 | Přečteno: 2601× | Linux | | poslední úprava: 5.11.2011 22:28

V takto hnusném dni jsem plánoval zajít na FIT a podívat se na pár zajímavých přednášek z LinuxAltu, ale místo toho se jenom válím doma, popíjím čaj a marně se snažím zbavit nachlazení. Těším se až budou přednášky dostupné online, nebo aspoň na DVD.

Midori mlčky protestuje připojit se na jakýkoliv server, Iceweasel nestartuje, v systému skoro 2 roky staré balíčky, které už dávno nepoužívám a netuším k čemu jsou, proto jsem se rozhodl pročistit /home a přeinstalovat systém na netbooku.

Výběr systému

Váhal jsem, zda znovu nainstalovat Debian (převážně z unstable zdrojů). Byl a jsem v podstatě spokojen, ale netbook není žádný výkonný zdroj. Jedná se o Lenovo Ideapad S10-2. Podpora Debianu výborná, jen wi-fi občas zlobila, jak s b43, tak s broadcomm-sta-common (nebo jak se ten modul přesně jmenuje), ale to byl asi pokaždé spíš problém modulů nebo konstelace hvězd (a zastínění fakultních AP). Přesto osazený Atom je pořádná brzda, a ačkoliv jsem z KDE3 přešel na XFCE, tak výkon stále mizerný. Proto jsem si říkal, zda nezkusit trochu optimalizace a vkročit do nových vod.

Proč Gentoo

Důvody jsou asi jasné, dobrá přizpůsobitelnost, uvidíme v praxi.

Navíc bych rád začal používat ve větší míře terminálové aplikace. Clementine je sice super, ale jeho závislost na QT4 knihovnách dělá z netbooku ještě většího šneka, po stisknutí zkratky na přehrávaní se asi 5-8 vteřin nic neděje...

Netbook tahám akorát do školy, na cesty vlakem přes republiku, a koukám na seriály v posteli. Z toho vyplynuly jasné požadavky, co od něj očekávat:

• Open/LibreOffice + něco na PDF
• Bezproblémové přehravání videa (720p jsem už vzdal, ačkoliv pár titulů běželo bez problémů)
• Dlouhá výdrž na baterii a minimální vytížení systémových prostředků

Debian toto všechno sice zvládal, ale ten výkon tam občas chyběl.

Příprava

Nejprve jsem potřeboval kompletně zazálohovat /home a /etc, což činilo nějakých 100 GB, místo jsem musel uvolnit z externího WD disku přesunem na 1TB disk na stolním PC.

Následovalo studování oficiální příručky. Klobouk dolů, dokumentace opravdu výborná, aspoň to odehnalo můj strach z dvoufázové distribuce. Nato jsem se se pustil do stažení ISO obrazu, a po půl hodinovém hledání prázdného CD(-RW) jsem nainstaloval unetbootin a nainstaloval jej na flashku.

Instalace

Boot bez problémů, překvapila mě podpora wi-fi, ale raději jsem natáhnul kabel, než v tuto chvíli nastavovat wpa_supplicant. DHCP serveru se chvíli nechtělo přidělit adresu, ale když už jsem se rozhodl ji nastavit ručně, server se vzpamatoval a přidělil IP. Následovalo přerozdělení disku, a následné první seznámení s Portage. Čas ukáže, jestli si zvyknu na systém odlišný od APT/aptitude.

Konfiguraci jádra jsem nyní vzal trochu zkrátka, pouze zvolil architekturu Atom, zkontroloval důležité moduly (ext4), a pustil kompilaci. Ta trvala nějakou chvíli, možná že i hodinku, nějak jsem to nesledoval. Nakonec odmountování filesystému, magický příkaz reboot, a chvilka napětí.

Systém nastartoval, ale nějak jsem si zapomněl nastavit heslo pro roota, takže opět restart z flashky, chroot, passwd, restart, a přihlášení do nového systému.

A teď hurá prozkoumat možnosti portage, a nainstalovat Xka

 

P.S.: aktuální konfigurace formátování je jaksi nedostupná...        

Komentáře

[Václav Vanc]

Systém nastartoval, ale nějak jsem si zapomněl nastavit heslo pro roota, takže opět restart z flashky, chroot, passwd, restart, a přihlášení do nového systému.

Na to taky vždycky zapomenu... :)

[Marián Kyral]

Co děláte chlapi, vždyť to v té brožuře přece je ne?

[Ragzid]

Což o to, ono to tam je, akorát jsem to asi provedl v nechrootůtnutém protředí

[Pavel Půlpán]

V té brožuře jo... ale v hlavě ne-e.

[rADOn]

Na brozuru sere pes, to je pro lidi co instalujou (poprve) z cd.

BTW chrootovat z cd neni nutny, staci nabootovat s init=/bin/bash

[mirec]

Čo tak QT_GRAPHICSSYSTEM="raster" clementine, prípadne cez qtconfig zmeniť štýl na windows?

[tsLnox]

Na Portage si zvykneš rychle

Jen pár rychlých postřehů, na co jsem přišel v průběhu používání:

Když přeinstalováváš (hlavně knihovny, ale už to dělám všude, kde se v příkazu vyskytuje jakýkoliv už nainstalovaný program/knihovna apod.), přihoď tam option -1, jinak se ti zabordelí world

Pokud ten tvůj stolní stroj je dost rychlý, doporučuju nahodit distcc (distribuovaná kompilace - PC za tvýho Atoma udělá celkem dost práce ) a pokud máš dost místa na notebooku, tak taky ccache (dost urychlí kompilaci věcí, který už jsi kompiloval... houby do toho vidím ale u mě to zrychlilo )

Pokud používáš Reisera, někde jsem se dočetl (už nevím kde), že se hodí pro portage udělat partition/soubor na ext2 kvůli spoustě malých souborů.

Už mě nic nenapadá... tak ať se ti Gentoo libí Pokud jsem napsal nějakou blbost, tak mě moc nekamenujte a radši mě opravte (a ne popravte )

[kotyz]

Jo, ccache funguje dobře, používam i na Archu na balíčky kompilovaný z AUR.

[kolcon]

na ccache opatrne, mel jsem s tim dost problemu - typicky, pokud je ten balik "spatny", tak si to ccache zapamatuje a pak to muze vest k divnym vysledkum (napr. balik se nezkompiluje, ale pri vypnuti ccache ano).

[kotyz]

Neni problém zakázet v pkgbuildu. Problém sem s tim zatim snad ani žádnej neměl. Za to zrychlení u věcí co se kompilujou často se to hodí (zvlášť fatrat-git).

[Jirka Keresteš]

Pokud používáš Reisera, někde jsem se dočetl (už nevím kde), že se hodí pro portage udělat partition/soubor na ext2 kvůli spoustě malých souborů.

Je to presne obracene

https://forums.gentoo.org/viewtopic-t-535008-start-0.html

[tsLnox]

Aha... Tak to byl jiný důvod to udělat. Ale jaký, to už si nevzpomenu

[Kvakor]

No, tipoval bych na tyto:

• Ext2/3 má stejně jako "klasické" unixové souborové systémy počet inod daný natvrdo při vytváření, tj. existuje statická tabulka inod pro každý fragment, která za chodu už nejde měnit. ReiserFS nic takového nemá, tabulku "inod" si alokuje dynamicky spolu s ostatnímy metadaty v B* stromu, takže dokut je na disku místo, jdou vytvářet stále nové a nové soubory (ale pozor, pokud míst dojde, dějí se Zlé Věci).
  
  
• Tail packaging - pokud se zapne, ReiserFS umí sdílet ne zcela zaplněný poslední blok souboru s jinýmy ne zcela zaplněnými bloky jiných souborů, čímž se ušetří mnoho místa, obzvlášť pokud je velikost souboru v řádu velikosti alokačního bloku.
  
  
• ReiserFS rychleji vyhledává soubor při vysokém množství souborů v jednom adreáři v důsledku použití hashování jmen a B* stromu. Osobně jsem v praxi měl řádově milion souborů v adresáři a stále to bylo použitelné, zatímco Ext2/3 začíná být nepoužitelný už u desitek tisíc. Mimo toho Ext2/3 neumí "zdrcnout" zpět adresář, ve kterém bývalo mnoho položek, musí se to udělat ručně přes fsck, zatímco ReiserFS "zdrcává" automaticky.
  
  

Jinak to, co platí pro ReiserFS, by mělo platit víceméně i pro BtrFS a obecně jakékoliv "moderní" souborové systémy používající na ukládání metadat dynamické struktury typu strom.

[kotyz]

Tail packaging u Reiseru = Extenty u Ext4. A sou tam i další inovace. Už u Ext3 bylo možný mít v adresáři hodně velký množství souborů se zapnutym dir indexem a nějaký stromy (Htree) tam taky byly. Navíc Reiser je v podstatě mrtvej, BtrFS se nasazuje pomalu a neni ještě pořádně dodělaný kdežto Ext4 je default snad ve všech distribucích.

[Heron]

Tail packaging u Reiseru = Extenty u Ext4.

Ee, to jsou zcela jiné věci. Dříve (ext2,3) se pro soubor alokoval každý blok, existoval seznam bloků každého souboru (což je moc metadat a operací s nimi). Přičemž samozřejmně tyto bloky byly na disku za sebou, takže by prakticky stačila adresa prvního a posledního bloku souboru. No a to jsou právě rozsahy. V ext4 (a xfs, jfs, btrfs) se již nemusí alokovat po blocích, ale po rozsazích bloků (rozsah má tuším 128MB, tedy nějakých 32tisíc 4kB bloků). Ušetří se metadata a hlavně se zrychlí jisté operace (zkuste si smazat 500GB soubor na ext3 a na ext4).

[kotyz]

A v čem to je u Reiseru jiný?

[Heron]

Aha, takže u tail packing bylo to nedorozumnění. Tail packing je vlastnost, kdy do jednoho bloku jsou uloženy buďto různé soubory menší velikosti (například 4x1kB do 4kB bloku), nebo jsou tam uloženy konce (tail) souborů, které by nevyplnily celý blok.

Ono totiž obecně platí (u ostatních FS to tak je), že blok je nejmenší alokovatelná jednotka FS a například při uložení 1kB do typicky 4kB bloku zůstává 3kB nevyužitelných (slack space). Reiser umožnil toto místo nějak alokovat a pospojovat ty neuplné bloky na koncích souborů (odtud tail packing) do jednoho.

[kotyz]

Já myslel že to samý dělaj i ty extenty u Ext4, že uměj nacpat do jednoho bloku víc menších souborů. Dokonce sem snad i někde čet že to tak funguje, každopádně sem si ale jistej že tam psali že extenty efektivnějš využívají místo na disku, hlavně při víc malejch souborech. Z toho by mělo vyplynout že to funguje přesně tak jak píšu.

[Bedňa]

Sprav si partíciu s ReiserFS, daj tam maso súborov a to isté na nejaký Ext potom si to skús otvoriť. Ja som s Extami skončil pred rokmi, dnes to už nieje tak cítiť, ale na takom Pentiu 266Mhz bol rozdiel niekoľkonásobný ja neviem nikdy som to nemeral, ale hádam tak desať násobný. ReiserFS žije, nieje mŕtvy je dokonalý a nepotrebuje vývoj Inak sem tam nejaký patch pribudne.

[kotyz]

Trojka se už nevyvíjí a čtyřka neni a nikdy nebude v jádře. Tady má Ext4 výhodu že to je default fs a vývojáři jádra ho dost podporujou. A výhledově by ho měl na tý pozici vystřídat BtrFS, ale to musí mít nejdřív funkční fsck.

[LukynZ]

Doufam ze se hned tak nestane. Uz jsem si docela zvykl na luxus nefragmentovaneho disku a nenutnost defragmentovat. Btrfs bylo znatelne pomale uz po 2 tydnech pouzivani a takove portage tree, to byl sync i na 5 minut (nekecam). Tam pomohlo jen smazat cely portage a syncnout ciste znovu a po kratkem case zas a zas a zas....

[mirec]

Sync 30s. Aufs3 + squashfs.

[LukynZ]

mi na ext4 trva cca 20s

[Bedňa]

Zopakujem to, ale pre ReiserFS je každé zlepšenie krokom späť, patche občas sú, ale návrh sám o sebe je tak dobrý, že z neho čerpajú aj po rokoch ostatné FS, viď Btrfs. Ťažko povedať kedy dosiahne Btrfs kvality Reiseru, ale bohužiaľ tento najlepší FS sa stal len politicky nepohodlný a o Ext je škoda hovoriť, je v hlavnom strome, ale daj jediný dôvod prečo, ja som ten dôvod ešte nevidel. Keby radšej venovali sily ozajstnému FS, alebo radšej jadru.

[kotyz]

Je tak dokonalej že jakýkoliv zlepšení by bylo vlastně zhoršení? Tak něco takovýho sem ještě nikdy nikde neslyšel ani neviděl Zní to dost namyšleně, hotovej hulánismus To s tou politickou nepohodlností je ale (bohužel) pravda, třeba na wikipedii v článku filesystem comparsion je kolonka "kill your wife" a u reiseru je tam yes a všech ostatních no. V debianu (jestli se dobře pamatuju) byl u balíčku reiserfs komentář "filesystem from guy who murder his wife". A s tim že se čtyrka nikdy do jádra nezačlení to bylo rozhodnutý ještě před tim všim, prej se jim (jadernejm vývojářum) nelíbilo jak to bylo udělaný a tak si to tam nechtěli zatáhnout. Ale vono se jim nelíbí spousta věcí - binární drivery a firmwary, ovladač k virtualboxu, o cfs sheduler se taky dlouho hádali ale nakonec ho tam dali.

[Bedňa]

Je tak dokonalej že jakýkoliv zlepšení by bylo vlastně zhoršení?

Keď si na vrchole, tak sa môžeš vybrať hociktorým smerom a ideš dole

S tou politickou nekorektnosťou ma štvú, ale ono za tým je toho viac. Keď som videl ako Linus rozprával o vývoji jadra, tak hovoril, že sa mu lepšie spolupracuje "kamarátskym" prístupom, čo napr. zo strany Reisera, asi moc nebolo. Odhliadnuc od toho byť machrom ako sú vývojári Btrfs, Zoberiem zdrojáky Reisera a makám na tom a byť Linusom vyhádžem zo stromu všetko a nechám tam len jadro, pretože takto sa protežujú kriplíci, hoci okolo behajú Mercedesy.

[belisarivs]

třeba na wikipedii v článku filesystem comparsion je kolonka "kill your wife" a u reiseru je tam yes a všech ostatních no

Kde?

[kotyz]

This page was last modified on 7 November 2011 at 13:00.

Asi už to někdo smazal ...

[kotyz]

Příloha:

• comparison_of_file_systems.png (366842 bytů)

Takhle to vypadalo ještě šestýho ...

[Aleš Kapica]

Co chceš furt vyvíjet na něčem co další vývoj nepotřebuje?! Toho osla co u debianího instalátoru odstranil možnost naformátovat dist na reiserfs by měli vykrákat za kotlety!

[Bedňa]

+1

[Tomáš Bžatek]

Problem je selinux, ten jsem se pokousel u reiserfs rozchodit, ale moc se nedarilo. Ani s opatchovanym jadrem.

[CET]

Jo, malej LVM oddil s reiserem mam taky, ale mozna by bylo jeste lepsi pouzit tmpfs:) Pouziva se tam 300MB, pokazdy se to da sesynchronizovat ze site (kdyz chce clovek instalovat, stejne potrebuje sit a ten rsync uz tolik casu nezabere), mozna na to taky prejdu ... a jdu to zkusit hned:)

[clayman]

Tak hodně štěstí... Já používal Gentoo asi 3 roky, nicméně nakonec jsem ho zbavil, jelikož mikromanagement USE flagů mě nějak omrzel.

[ehm ehm]

heh, globálně co nejvíc zakázat a povolit USE flag jen pro jednotlivé balíky v /etc/portage/package.use

[gogloid]

Má ten Atom víc jader? Mám starší C2D 1.6GHZ a věci v 720p přehrávám v pohodě díky multivláknovému dekódování pomocí mplayer-mt (dokonce i FullHD, co jsem zatím testoval, funguje).

[Ragzid]

Ma jedno, ale bezi tam hyperthreading, viz oficialni info

[mimi.vx]

atom a c2d je jina liga ...

[R]

XFCE som kedysi pouzival - kym som nezistil, ze KDE 3.5 nie je velmi pomalsie (niektore veci su dokonca rychlejsie, lebo nepouziva pomale GTK) a rozdiel vo funkcionalite je obrovsky.

[Ragzid]

KDE3.5 uz stalo mnoho energie udrzet oldstable/unstable debian v rovnovaze, proto jsem presel na XFCE, ale mozna zkusim trinity

[R]

Tak to uznavam, ze je problem. Trinity (3.5.12) mam tiez na netbooku a som spokojny (GNOME sa mi ani nevoslo na obrazovku...), na rychlost sa vobec nemozem stazovat. Sice vyslo Trinity 3.5.13, lenze repozitare su rozbite, pri pokuse o upgrade to vypise len par balikov, tak som to radsej zrusil...

[Bedňa]

Nejak mi uniká jediná výhoda Gentoo oproti Debianu.

[vencour]

Čekal bych novější a přitom pořád stabilní sw? Plus flagy.

[Bedňa]

Ono mi to pripadá tak, ako keby sa v žiadnej inej distribúcií než Gentoo nedalo kompilovať a pritom práve Debian má na to elegantné nástroje. Osobne používam vanilku už dlhý čas a Debian z nej vie spraviť balíček a nainštalovať bez problémov, rovnako výborne funguje checkinstall, preto mi stále uniká pointa. Nemám flagy ale pozriem sa do dokumentácie ako skompilovať ffmpeg so všetkými kodekmi a nastavým to pri kompilácií. Odísť kvoli spomínaním výhodám ku Gentoo mi pripadá ako neviem v Debiane, ani netuším ako v Gentoo ale mám Gentoo. Pritom nechcem autora zápisku ani uraziť, len poukázať, že je sa ešte čo učiť aj v Debiane.

[sdfsdf]

V Gentoo si parametry kompilace, tj. USE flags nastavíš 1x a pokaždé se ti balík zkompiluje stejně. V debilianu musíš nastavovat pokaždé. Gentoo za posledních pár let ušlo velký kus cest. Kdo ho zkoušel před několika lety se bude divit, co nového luxusního Portage umí.

[Bedňa]

Debian si určte nezaslúži tvoje označenie, flags sú určite fajn a v Debiane je aj "fork" Portage, Bitbake. Rovnako si môžem stiahnuť config, alebo aj celé jadro Gentoo a skompilovať, všetko je predsa open source. Môžem využívať pohodlnosť debianích balíčkov a rýchlosť Gentoo jadra, bez toho že by som sa učil spravovať nový systém.

[mirec]

Čo také špeciálne vie? Ja som bol používateľ portage od roku 2004 do 2010 (nech mu je zem ľahká). Potom som používal paludis a teraz frontend k paludisu cave, ale nevidím v tom prakticky žiadne výraznejšie rozdiely. Je tam niečo zaujímavé kvôli čomu by sa oplatilo prechádzať k portage?

[rADOn]

Nechci se opakovat takže stručně: USE flagy řeší i závislosti. "elegantní" nástroje debianu jsou dobré na úpravu jednoho nebo dvou balíčků, ale kdyby měl člověk kompilovat celý systém jako v gentoo tak se z toho zblázní, a výsledek bude stejně horší. A o té "eleganci" mám svoje pochyby – třeba to co provádí dh_shlibdeps je v kentusím světě prasárna nejvyššího řádu.

[Ragzid]

Vyhody oproti Debianu neznam, jedina mozna vyhoda, je moje snaha o zvyseni vykonu, to v Debianu dost dobre nejde tak jako u Gentoo.

S Debianem jsem spokojen a nemam duvod menit, ale proc obcas nevyzkouset neco noveho, a nerozsirit si obzory...

[Bedňa]

Sme písal skoro naraz (viď vyššie), skompiluj si svoje jadro a pôjde ako to v Gentoo.

[sdfsdf]

ne, 100x ne. Evidentně o Gentoo hodně nevíš.

[Aleš Kapica]

Zato ty víš o debianu se mi zdá naprosto vše.

[R]

Snaha o zvysenie vykonu pomocou Gentoo je marna. Zmenou nastavenia kompilatora sa rychlost systemu zmeni len minimalne, kedze najviac casu zbytocne spostrebuju zle napisane programy, pripadne uplne zle navrhnute riesenia (napr. pouzitie skriptov namiesto programov). Zato sa strati kopec casu neustalym kompilovanim.

[sdfsdf]

Prehistorický Debian se nemůže rovnat svěžímu modernímu Gentoo.

[Jakub Lucký]

a unstable známe?

[LukynZ]

On asi nemyslel aktualnost software...nicmene ohanet se necim, co ma v nazvu unstable....nevim no :D

[pavlix]

Lepší než se ohánět něčím, co mít unstable v názvu ani nemusí :).

[kyytaM]

A debian backports pozname? ;)

[Jakub Lucký]

Já tu věc, kterou se oháním, už 4 roky používám na desktopu a o něco déle na některých méně důležitých serverech (třeba homeserver)...

Btw: v Debianu se preferuje spíš název Sid (Still in development)

[ET]

kdyz uz chces optimalizovat, mozna se ti bude hodit: http://en.gentoo-wiki.com/wiki/Safe_Cflags/Intel#Atom_230.2C_Atom_330.2C_Atom_N-Series

kompilaci urychli taky "MAKEOPTS=-jX" v /etc/make.conf (man make.conf)

popr. volat `emerge -jX ..pkg..`

[ET]

* porp. jeste na zacatku zvolit profil, aby se ti do systemu nedostali blbosti "eselect profile list|set"

* dobra utilitka je taky revdep-rebuild pro check rev.dep. - balik gentooklit

* prohledavani v portage urychli eix

good luck

[mimi.vx]

a good je puzit devel verzi .... portage .. umi zajimave veci jako resit blokujici problemy mezi balicky , hlidat zavislosti knihoven  , sety a automaticky tvori @preserved-rebuild ..

[Halis]

I já přidám svou radu. Doporučuji se naučit používat utilitu eix a equery (ta je v balíku gentoolkit).

eix umožňuje mnohem pohodlnější vyhledávání mezi dostupným softem, i synchronizace přes eix-sync mi příjde mnohem lepší. No a equery je taky takový švýcarský nůž gentooistů.

[vencour]

Sám ještě používam qlist, třeba "qlist -I -C x11-drivers/" když upgraduju nvidia-drivers a musim něco překompilovat, "qlist -U mysql" pro výpis flagů/parametrů zkompilovaných s balíčkem a třeba "qlist iproute2" pro výpis, co bylo nainstalováno, kde jsou binárky a co mam/můžu vlastně pouštět..