Traffic shaping (patchování a instalace)

18. 8. 2006 | Max Devaine | Sítě | 31381×

Traffic shaping slouží ke kontrole rychlosti přenosu dat. Lze pomocí něj určovat i prioritu pro různé přenosy, čímž můžeme např. docílit lepší odezvy u her, které hrajeme přes internet, i přesto, že náš soukmenovec stahuje ve vedlejším pokoji z p2p sítí. Celkově je toho mnohem více a my si o tom něco povíme.

Co je dnes na programu?

• Pár plků o použitých programech, modulech a patchích
  • iptables
  • iproute2
  • patch-o-matic-ng (POM)
  • layer7 filtr
  • esfq
  • imq
• Co a kde stáhnout
• Patchování
• Nastavení kernelu
• Kompilace a instalace
  • iproute2
  • iptables
  • kernel
• Závěr

Pár plků o použitých programech, modulech a patchích

Naším cílem je získat sadu funkčních programů opatchovaných vším možným pro co nejširší možnosti (i když třeba pro některé zbytečnými). Některými patchi se dostanu do části, která patří spíše firewallu, ale snad mi bude odpuštěno.

iptables

Základní stavební kámen ke kontrole síťových spojení apod. Nemá cenu to nějak rozvádět, kdo nezná, nemusí číst dál. Distribuční verze nebude bohužel stačit a budeme muset patchovat, co to dá.

iproute2

Sada programů mezi nimiž je mj. program tc, který je nezbytný pro shaping. Opět se nespokojíme s distribučním balíčkem a budeme muset patchovat a kompilovat.

patch-o-matic-ng (POM)

Sada patchů pro iptables, která se neobejde bez kernelu. Na verzích těchto patchů velice záleží. V jedné verzi najdeme to a v jiné zase ne. Čím novější verze, tím méně patchů. Patche postoupí a jsou zařazeny do jádra a iptables. Několik patchů jsem nenašel nikde, a proto je nutné použít starší verze POM.

Nyní několik patchů z POM, které nás budou zajímat:

connlimit:

Umožňuje nastavit počet spojení, jak třeba na IP, tak i na jednotlivých portech. To je dobré třeba v kombinaci se stahováním ze sítě BitTorrent a starších AP, které nemohly překousnout ohromné množství spojení produkovaných sítí BitTorrent. Uplatnění lze samozřejmě najít i u jiných věcí.

geoip:

I když jsem zastáncem absolutní volnosti, tak tento patch zahrnu. Modul umožňuje pomocí externí databáze blokovat spojení přicházející z určitého státu (asi i města). Nechcete, aby se na váš server nějak pokoušeli připojit tučňáci ze severního pólu? Tohle je pro vás to správné řešení.

ipp2p:

Tento modul je schopen identifikovat pakety z p2p sítí. Tím pádem je můžeme filtrovat.

IPMARK:

Pomocí tohoto modulu můžeme označovat různé pakety, a díky tomu je pak můžeme jednoduše filtrovat. K jejich rozeznání nám poslouží buď zdrojové IP adresy, porty nebo jiná rozšíření typu ipp2p apod.

TARPIT:

Na TCP úrovni umožňuje zvýšit dobu odezvy na určitých portech díky nestandardnímu nastavení v TCP/IP protokolech, které jsou vyvolány útočníkovými akcemi typu scanování, automatizovaných útoků atd. V dnešní době už je ale tarpit rozeznatelný a nevím, na kolik procent je účinný.

nth:

Jednoduše řečeno umí sloučit internetové kapacity (Load Balancing). Řekněme, že máme třeba 3 přístupy na internet po 50 kB/s. Pomocí tohoto modulu je můžeme jakoby spojit a mít přístup s rychlostí stahování 150 kB/s.

time:

Umožňuje nám zacházet s pakety pomocí času/data. Pokud třeba chceme shapovat jinak v noci a jinak přes den atd.

u32:

Slouží k filtrování paketů. Myslím, že si je i umí poznačovat jako iptables pomocí IPMARK, ale není to moc šťastné řešení, jelikož jsou potom problémy se stabilitou (nebo bývaly?).

ROUTE:

Umožňuje měnit paketům výchozí bránu.

layer7 filtr

Tento filtr umožňuje rozeznávat pakety na aplikační úrovni. Ve finále je to něco podobného jako ipp2p. Patch aplikujeme na kernel a iptables.

esfq

Dokáže rovnoměrně rozdělovat traffic mezi uživatele (programy, třídy ...). Když chcete třeba 1Mb linku rovnoměrně rozdělit po 200 kb, tak esfq je to pravé. Není obsažen v iproute2 a musí se patchovat spolu s kernelem. Naproti tomu stávající sfq dokáže rovnoměrně rozdělovat traffic pouze mezi TCP spojeními.

imq

Je virtuální zařízení imq0/1, kam se přesměruje veškerý provoz (nebo provoz, který chceme shapovat) a tím pádem dostaneme zařízení se vstupem či výstupem a můžeme na něm cokoliv ovlivňovat (třeba download a upload). Patchujeme s ním kernel a iptables.

Co a kde stáhnout

Pro nenechavce. Důvodem, proč u wget hned ze začátku používám parametr --continue, je to, že když stahování přeruším, tak pokračuji bez jakéhokoliv dopisování, což se mi zdá mnohem rychlejší. Nejjednodušší je stahovat přímo do /usr/src. Jedním z důvodů je POM, ale případné symlinky můžete linkovat jinam, to je na vás.

cd /usr/src
wget -c ftp://ftp.cz.kernel.org/pub/linux/kernel/v2.6/linux-2.6.16.27.tar.bz2

Kernel řady 2.6.17 ještě nepoužívám. Donedávna byly problémy i s některými patchi pro řadu 2.6.16. Na patchování používat zásadně vanilla kernel. Distribuční kernel by se vám nemuselo podařit buď opatchovat nebo zkompilovat..

wget -c http://www.netfilter.org/projects/iptables/files/iptables-1.3.5.tar.bz2
wget -c http://ftp.netfilter.org/pub/patch-o-matic-ng/snapshot/patch-o-matic-ng-20060626.tar.bz2
wget -c http://ftp.netfilter.org/pub/patch-o-matic-ng/snapshot/patch-o-matic-ng-20060511.tar.bz2

Verze 20060511 je poslední, která obsahuje patch geoip, takžeme budeme muset patchovat 2x. Myslím, že od verze 20060707 už není zahrnut v POM patch pro ipp2p, takže bych se vyhnul novějším verzím POM. Osobně mám vyzkoušenou verzi 20060626. Mohli bychom také patchovat ipp2p ručně, ale proč si zbytečně přidělávat práci.

wget -c http://www.linuximq.net/patchs/linux-2.6.16-imq2.diff
wget -c http://www.linuximq.net/patchs/iptables-1.3.0-imq1.diff
wget -c http://fatooh.org/esfq-2.6/esfq-2.6.15.1.tar.gz
wget -c http://umn.dl.sourceforge.net/sourceforge/l7-filter/netfilter-layer7-v2.2.tar.gz

Když jsem dělal experimenty, tak byl odkaz z domovské stránky projektu pouze na verzi 2.1, někde jsem našel odkaz na 2.2, ve které už jde opatchovat kernel 2.6.16 a teď koukám, že už je k dispozici i verze 2.3 pro kernel 2.6.17. Rozhodnutí ponechávám na vás, ale vzhledem k označení si myslím, že asi nebude fungovat na starších jádrech.

wget -c http://developer.osdl.org/dev/iproute2/download/iproute2-2.6.16-060323.tar.gz

Doplňující balíčky, které nejsou předmětem dnešní debaty, ale patří k výše zmiňovaným filtrům:

wget -c http://puzzle.dl.sourceforge.net/sourceforge/l7-filter/l7-protocols-2006-05-21.tar.gz
wget -c http://people.netfilter.org/peejix/geoip/tools/csv2bin-20041103.tar.gz

Nakonec by bylo ještě dobré, kdybychom si všechno rozbalili:

tar xvfj linux-2.6.16.27.tar.bz2
tar xvfj iptables-1.3.5.tar.bz2
tar xvfz iproute2-2.6.16-060323.tar.gz
tar xvfj patch-o-matic-ng-20060626.tar.bz2
tar xvfj patch-o-matic-ng-20060511.tar.bz2
tar xvfz esfq-2.6.15.1.tar.gz
tar xvfz netfilter-layer7-v2.2.tar.gz


Na závěr ještě vytvořit symlinky:

ln -s /usr/src/linux-2.6.16.27 /usr/src/linux
ln -s /usr/src/iptables-1.3.5 /usr/src/iptables

Patchování

Nejdříve opatchujeme iptables a kernel pomocí imq:

cd iptables
patch -p1 < ../iptables-1.3.0-imq1.diff

cd /usr/src/linux
patch -p1 < ../linux-2.6.16-imq2.diff

Opatchujeme iptables a kernel pomocí filtru layer7:

patch -p1 < ../netfilter-layer7-v2.2/kernel-2.6.13-2.6.16-layer7-2.2.patch

cd /usr/src/iptables
patch -p1 < ../netfilter-layer7-v2.2/iptables-layer7-2.2.patch

Musíme ještě nastavit příslušná práva pro nová rozšíření v iptables:

chmod +x extensions/.layer7-test
chmod +x extensions/.IMQ-test
chmod +x extensions/.IMQ-test6


Dále opatchujeme iproute2 a kernel pomocí esfq:

cd /usr/src/iproute2-2.6.16-060323
patch -p1 < ../esfq-2.6.15.1/esfq-iproute2.patch

cd /usr/src/linux
patch -p1 < ../esfq-2.6.15.1/esfq-kernel.patch

A nakonec jsme si nechali POM. Jsou dva způsoby, jak použít patche z obou verzí POM. Buď chybějící patche dodáme do novějších POM, nebo budeme 2x patchovat, čemuž osobně dávám přednost. Nejdříve ovšem budeme muset (pokud nechcete ručně upravovat Makefile v kernelu) opatchovat samotné POM.

První patch je pro geoip. Naleznete ho zde: patch-geoip.patch a na internetu se nachází v konferenci na lists.netfilter.org.

Tento soubor si uložte do /usr/src/ a můžeme se hned pustit do opatchování geoip:

cd /usr/src/patch-o-matic-ng-20060511
patch -p1 < ../patch-geoip.patch


Dále si opatchujeme connlimit a IPMARK v novější verzi POM. Zde je patch: patch-connlimit.patch a na internetu se nachází na patchwork.netfilter.org.

Tento patch si uložíme do /usr/src/ a hned můžeme opatchovat POM:

cd /usr/src/patch-o-matic-ng-20060626
patch -p1 < ../patch-connlimit.patch


Tak a nyní můžeme s klidným svědomím opatchovat kernel a iptables:

/usr/src/patch-o-matic-ng-20060511
./runme geoip nth


Jelikož jsme si vytvořili symlinky, tak nemusíme pracně zadávat cestu ke kernelu a iptables a můžeme jen potvrdit nabízené cesty. Kdyby se objevila nějaká otázka, tak "y" a enter je správná odpověď.

Nyní přejdeme k ostatním patchům v novějším POM:

cd /usr/src/patch-o-matic-ng-20060626
./runme time u32 connlimit ipp2p IPMARK ROUTE TARPIT


Postup je stejný jako v předchozím případě.

Pokud byste se rozhodli zkusit i jiné patche, třeba pomocí ručního výběru příkazem

./runme extra

tak vás musím upozornit, že se můžete dočkat chybových hlášeních typu (toto je např. z neopatchovaného geoip):

Do you want to apply this patch [N/y/t/f/a/r/b/w/q/?] y
unable to find ladd slot in src /tmp/pom-8915/net/ipv4/netfilter/Makefile (./patchlets/geoip/linux-2.6/./net/ipv4/netfilter/Makefile.ladd)


A otázka na akci vyskočí znovu. Řešením je zadat "f" jako force. Patch se aplikuje, jediný problém je, že se neaplikuje zápis do příslušného Makefile v kernelu, a tudíž ani po výběru položky se daný modul nezkompiluje. To lze vyřešit. Jak jinak, než ručním dopsáním Makefile. Najdete si Makefile patche, který se jmenuje Makefile.ladd. V našem případě je to v podadresářích /patchlests/geoip/linux-2.6/net/ipv4/netfilter/Makefile.ladd. Obsah tohoto souboru přepište do Makefile v kernelu v příslušných podsekcích. Takže nějak takto:

cat /usr/src/patch-o-matic-ng-20060511/patchlets/geoip/linux-2.6/net/ipv4/netfilter/Makefile.ladd >> /usr/src/linux/net/ipv4/netfilter/Makefile

Některé patche nemusíte zkoušet vůbec, buď jsou zbytečné, nebo s nimi jádro nezkompilujete. Např. tyto:

rpc
rtsp-conntrack
sip-conntrack-nat
quake3-conntrack-nat

Nastavení kernelu

Osobně se okolo iptables a shapování držím pravidla: Co jde, tak zkompilovat do modulu. Konečné rozhodnutí je na vás. Hlavní položky v kernelu pro shaping jsou tyto:

Networking --->
[*] Networking support
Networking options --->
[*] Network packet filtering (replaces ipchains) --->


V těchto podsekcích zaškrtáme, co se dá:

Core Netfilter Configuration --->
IP: Netfilter Configuration --->
IPv6: Netfilter Configuration (EXPERIMENTAL) --->


V této sekci se nacházejí shapovací filtry:

Networking --->
[*] Networking support
Networking options --->
QoS and/or fair queueing --->


Pozor na imq. Položka, která vytváří virtuální imq, se nachází zde:

Device Drivers --->
Network device support --->
<M> IMQ (intermediate queueing device) support


Tady ještě přikládám můj přeplácaný config.

Kompilace a instalace

Nejtriviálnější věc nakonec, to už tu snad nemusím ani uvádět, ale pro úplnost. Hlavně nezapomeňte odinstalovat distribuční verze programů iproute2 a iptables!

iproute2

Tady pozor. Když se vyskytne při kompilaci nějaká chyba, tak ji to jen vypíše a pokračuje dál. Pokud tedy nebudete sledovat, zda tam nemáte nějaký error, tak se nakonci dozvíte, že je všechno ok, ale pak vám půlka věcí nepůjde. Podle mých zkušeností byste v Debianu měli mít nainstalované mj. tyto balíčky: libdb2-dev, bison, flex. U jiných distribucí to bude asi obdobné.

cd /usr/src/iproute2-2.6.16-060323
make
make install


iptables

cd /usr/src/iptables
make
make install


kernel

...
make
make install
make modules_install
...

Závěr

Tak, teď byste měli být vybaveni pro trochu lepší shaping. Pokračování bude na téma shapovacích skriptů - celé výsledné řešení. Určitě jsem se v některých věcech seknul, tak budu jen a jen rád, když mě v komentářích opravíte, či doplníte apod.

       

Komentáře

[Dan Ohnesorg]

Nakopnul jsi me k upgrade Shaper ma dneska 100 dni uptime, to je cas ho trochu rozbit.

Mam dve pripominky, jednou je tam preklep, misto prikazu patch je tam pacth (layer7 filter).

Druha je, ze test na adresar v patch-o-matic je prilis prisny a nezkousne symlink

./runme time u32 connlimit ipp2p IPMARK ROUTE TARPIT

Hey! KERNEL_DIR is not set.

takze to chce

export KERNEL_DIR=/usr/src/linux-2.6.16.27

./runme time u32 connlimit ipp2p IPMARK ROUTE TARPIT

a uz to svisti. Kupodivu pri hledani iptables symlink chodi

[Robert Krátký]

je tam preklep, misto prikazu patch je tam pacth

Dík, opraveno.

[Max]

Mno, myslím, že mi symlink na kernel taky chodí. Celý proces jsem zkoušel na dvou PC. Teď si vzpomínám, že na jednom jsem asi export použil, nevím to jistě. Ale na tom druhém rozhodně ne. Tam jsem zadal cestu na symlink v mým home adr. a vzalo ho to bez exportu. Proto jsem na něj opoměl a v článku ho nezmínil. Díky za upozornění ... :)
Zdar Max

[Martin]

Patchovaný kernel nějakými zbastlenými konstrukcemi? Ne díky.

Problém Linuxu je v tom, že místo funkčního řešení existují jen tisíce návodů, díky kterým si jednu hotovou věc nestačí jen tak stáhnout, ale je třeba ji znovu ručně nastavovat. Každá stanice je pak originál a zkuste si takových bastlů udržovat víc. Dále to znamená nutnost osobně sledovat bezpečnostní problémy v kernelu (a patchích!) a po každé objevené chybě absolvovat znovu bastlící kolečko.

Jasně - můžete si to možná nějak zautomatizovat. Jenže tuhle potřebu mají stovky lidí a každý píše nějaké to své originální řešení, které se snaží řešit tutéž věc.

Ano - open source a linux - masivní duplicita práce v novém měřítku!

[......]

docela jsem se u tvého komentáře pobavil.

Víš problém bude v tom, že pokud nemáš čas sledovat bezpečnostní problémy a nechce se ti nic nastavovat ručně, tak nemáš vůbec co administrovat jakýkoli router/server.

Víš výhoda toho co ty haníš, stovky řešení od stovky lidí, je v tom, že každý si píše to řešení přímo sobě na míru podle toho jaké má potřeby. Teprve potom je to efektivní a neplýtvá zbytečně systémové prostředky. Takový člověk se nazývá administrátor a je placený aby administroval a ne aby 1x za čas něco stáhnul a tím to pro něj končilo. To to pak může dělat cvičená opice za kilo banánů na den.

Přeber si to jak chceš, jestli ti to vůbec dojde. HAWK

[Martin]

Tohle je jenom dojmologie. Stovky řešení od stovky lidí - stovky různých druhů chyb. Neexistuje potřeba mít řešení přímo na míru. Je několik desítek různých hlavních cílových typů použití a ty se po celém světě opakují po tisícovkách.

Tím že si to každý píše sám se ničemu nepomůže. Stejně nakonec skončí u řešení, které je podobné řešením, ke kterým došly tisíce lidí jinde. Má to samé nevýhody - tisíce lidí plýtvají svůj drahocenný čas, jejich řešení může obsahovat neodhalené chyby, s novými verzemi produktů musí každý zvlášť svůj jedinečný systém přepatlat.

Řeči o tom, že kdo nemá čas na sledování chyb, nemá být administrátor jsou pitomé. Jsi administrátor, anebo údržbář? Údržbář sleduje chyby a opakovaně patchuje a kompiluje. Nahradit ho může cvičená opice, nebo program, vzdělání netřeba. Administrátor je vysoce vzdělaný, navrhuje nové cíle a řeší jak jich dosáhnout. Je to takový technický architekt pro danou síť. Nahradit jej nelze.

Chápu že asi tíhneš k tomu údržbáři. Jediné, na co poukazuji, je to, proč nejsou tvoje úkony nějak automatizované, aby zbytečnou práci, dělanou lidmi jako jsi ty, bylo možné kompletně eliminovat.

[Jirka]

Vy jste urcite ten "Administrator". Vite Administrator ~ Údržbář. Vy jako administrator nemate co navrhovat. Mate pouze zprovoznit a udržovat to, co navrhne IT manager tvoji firmy. Pokud jses IT manager a zaroven administrator (udrzbar) tak je to tvuj problem.

Bohuzel udrzbar nemuze byt bez vzdelani. Je to clovek, ktery je potrebny, protoze by se bez neho ten osel co vytycuje nove cile nepohnul z mista.

A zda se mi ze tady pouze papouskujete poznatky ziskane na skoleni MS Windows Server 2003 a doma si prohlizite svuj "urcite pracne" ziskany certifikat Administrátora systémů Microsoft Windows 2003 Server Edition, nebo jak se to jmenuje.

Navic! O co vam jde? Autor clanku navrhnul (jako architekt) reseni, ketre je na stejne urovni, na jake ho navrhnou "specialisti" v Microsoftu, jejichz postupy beztak jen tupe kopirujete.

[nemo]

Ale vzdyt ve Windows jsou vsichni Administratori, ne?

[......]

Moje úkony jsou automatizované až až. Co ty o tom víš. Jen nebudu automatizovat ty úkony, které si radši udělám sám.

Příklad: Automatický systém mi ze serveru dělá aktualizace mého systému a programů co mám v systému.

Otázka: Chci aby o všem rozhodoval ten, kdo tyto aktualizace tvoří? Ne nechci. V jádře třeba nechci to a ono ... naopak on to považuje za absolutně nezbytné. Mě to naopak na nic není. Nepovažuji to třeba za bezpečné. Sto lidí sto názorů. Proč bych měl slepě věřit někomu koho ani neznám?

<rejp>Dále se přikláním k názoru, že údržbář je většinou značně chytrý a zručný člověk, který rozumí svému oboru. Spíš bych administrátora k tomu údržbáři přirovnal, protože vlastně dělají v podstatě to samé, jen každý v jiném oboru. Oba ale opravují a ladí věci k dokonalosti. Možná se cítíš jako někdo lepší a chytřejší, ale jak řekl kolega IT magager je bez toho člověka, co samotné řešení provádí, absolutně v háji.</rejp>

No a další v řadě je tu taky otázka peněz. Mnozí lidé, společnosti, zájmová sdružení apod. nemají na to zaplatit si univerzální bezchybné řešení, jak by se to tobě líbilo. Za vše se dnes platí. A proto většinou někdo, kdo tomu rozumí vytvoří vlastní řešení, které je pro tu danou věc naprosto dostačující a fungující. Nebýt takových lidí, tak ve většině míst na světě je ještě středověk. A tím teď nemyslím jen oblast počítačovou.

Myslím, ale že tobě je zbytečné to vysvětlovat, protože máš svůj vlastní názor a neustoupíš z něj ani o píď.

Hezký víkend

[kralyk z abclinuxu]

ignorujte ho. sleduju ho po internetu uz nakou dobu a mam pocit ze je placen microsoftem aby rozvracel linuxova/opensource fora...

[imro]

Asi ste nepochopili Martinovu kritiku. Je uplne spravna a suhlasim s nim. Osobne pracujem vo firme, kde mam na starosti asi 20 vysoko vykonnych linuxovych servrov(vacsinou Debian). V tomto clanku sa napr. spomina imq. Skuste sa niektoreho naozaj skuseneho administratora opytat, kolko patchov obsahuje jeho jadro a ak je odpoved vacisa ako 0, tak sa ho opytajte, ci pouziva aj imq. Hore uvedeny sposob mozete pouzit tak maximalne na svoj vlastny server, kde vam niekolkodnovy vypadok nesposoby skody. Ale ak mate spravovat servre, kde za kazdu minutu vypadku nesie vasa firma financnu zodpovednost nejakych 10000 Czk, tak pozadujete predovsetkym stability. A to s opatchovanym jadrom a uz vonkoncom s imq nikdy nedosiahnete. Ono sa vam stane, ze taky router potom musite raz za cas restartovat, ze sa vam to z nevysvetlitelnych pricin zamrzne, alebo ze imq prestane uplne pracovat. Okrem toho, viete si predstavit, ze by nieco podobne potrebovala firma na 20 strojoch a najme si na to odbornika plateneho od casu?

[......]

Ale ano pochopili, ale on se naváží komplet do všech. Nedělí to jako ty. On háže všechny do jednoho pytle. Pokud potřebuju, jak ty píšeš, stabilitu a záruku funkčnosti a MÁM NA TO PENÍZE, tak si můžu dovolit nasadi X strojů. Každý pak plní jinou funkci. Pokud ty peníze nemám, tak patchuju a snažím se s minimálními náklady vyždímat z HW maximum. Proto píše 100 lidí něco podobného, aby ušetřili. Kupodivu to funguje. Dokonce pamatuju IMQ, kdy vcelku zlobilo. Nyní je to úplně někde jinde a funguje velice slušně. Všechno to chce ale čas. Lidi co na tom pracují to dělají pro ostatní vesměs ve svém volném čase!

Autor článku totiž nikde nepsal, že je to profi super hyper řešení. Chtěl seznámit okolí s dalšími možnostmi.

[imro]

Ano, je to pravda. Takychto clankov je potreba ako sol. Nikde v nom ale nie je zmienka aj o nevyhodach takychto rieseni, co by mozno tiez stalo za par riadkov. Ale inac je to dobry clanok a pre ludi, ktory su zaciatocnici predstavuje aspon maly prehlad o tom, co sa da vlastne robit s tym "linuxom". Ako riesenie pre vsetkych to ale urcite nie je. Tam kde je potreba maximalnej stability sa totiz pocet patchov do jadra pohybuje v pocte nula. Taktiez, ak nechcete prist o podporu distributora(v pripade mojho debianu by to samozrejme neplatilo), nemozete len tak patchovat jadro ako sa vam zapaci. Sam riesim problemy, ze potrebujem nieco funkcne, ale koli stabilite to nemozem implementovat. Alebo castokrat aj koli strachu, ze nikdy neviem,ako sa to bude spravat na konkretnom stroji, ktory musi bezat fakt 24 hodin denne a samotny restart koli zavedeniu noveho jadra je uz velky problem(trva asi 3 minuty a to je 30000 Czk strata). Na druhej strane, podobnu funkcnost ako linux kernel poskytuju iba BSD systemy, ktore clovek musi taktiez patchovat. Ostatne systemy vam taku moznost a funkcionalitu ako linux kernel neposkytuju-snad s vynimkou solarisu.

[Dan Ohnesorg]

Hm to ale smrdi spatnym navrhem aplikace, pokud me 3 minuty restartu stoji 30.000, tak to snad zclusteruju a rebootuju nod po nodu ne? Potom mam celkovy cas vypadku nula a ztratu take nula.

[imro]

To neni spatnym navrhom aplikacie ale nemoznostou urobit sietovy cluster s eurotelom. Na nasej strane su uz viac ako pol roka pripravene zariadenia, navrh na redundaciu pomocou cisco HSRP protokolu, ale zo strany Eurotelu este nie je ziadna odozva. Ale mna to netrapi, to je problem ekonomickeho oddelenia a nasich sefov, co s nimi komunikuju

[Dan Ohnesorg]

Tak tento system jsem uz myslim videl, akorat v te dobe byla minutova ztrata 50k a ne 30k. Zrejme zamestnavatele cim dal mene toleruji zneuzivani sluzebnich mobilu na placene sluzby.

Ale uz v te dobe me prekvapovalo jak uboze je po HW strance vybavena firma co ma udajne 2 miliardy mesicniho obratu. Spise bych rekl, ze ta ztrata byla umele nafounknuta, aby se napakovali na dodavateli, ktery s takovym HW zcela jiste nesplni sestidevitkovou dostupnost.

[Michal Kubeček]

To je bohužel celkem běžné. Setkal jsem se se zákazníkem (naštěstí ne přímo mým), který na jednu stranu tvrdil, že jeden ztracený mail pro něj znamená ztrátu 10000 Kč, ale na druhou jednak svůj business postavil na SMTP, které ze své podstaty není schopno garantovat absolutně nic, jednak mu bylo líto investovat do řešení byť jen třeba dvojnásobek deklarované ceny mailu…

[Dan Ohnesorg]

Jedna ceska agregacni spolecnost na zprostredkovani prodeje letenek mi ukazala vypocet skody delany stylem, prumecna cena letenky je 50.000, za hodinu jich prodame 10, utrpeli jsme skodu pul milionu. Fakt ze z jedne maji ctvrt procenta provize a ty lidi to stejne nakoupili tak jako tak o hodinu pozdeji jim unikl. Mam ale pocit, ze to stava hlavne internetovym podnikavcum, kdyz prijdu do fabriky, kde zastaveni pocitace znamena, ze cela smena jde zametat pracoviste, tak jsou na to tak nejak zvykli, jednou za rok proste musi odstavit vyrobu kvuli energeticke krizi, jednou kvuli pozaru trafostanice a jednou kvuli pocitacum, A bud s tim programove pocitaji a nebo maji vsechno udelane tak, aby to slo i bez techniky. Za to online obchodnik na burze s ADSL Internet Express za 399 korun mesicne se muze zblaznit, kdyz mu ADSL na pet minut nejde.

[Dan Ohnesorg]

Jenze pokud jsme firma s 20 servery tak samozrejme nepotrebuju imq. To je zrovna blbej priklad. Na druhou stranu my tedy mame o dost vic nez 20 routeru a imq potrebujeme, ale nam to zase prinasi vyssi spolehlivost a usporu penez pri nakupu HW. Nicmene typicky uzivatel imq je jednorouterovy sdilec linky.

Nekdo ty patche otestovat musi, aby se mohly dostat do jadra a potom do te super stabilni distribuce. To zrejme mnoho diskutujicich nechape. Linux se vyviji a vyviji se i tim, ze nekdo pouziva takovato jadra. To je take prispevek vyvoji, nekdo to holt umi naprogramovat a nekdo otestovat. A musi to otestovat hodne lidi, na hodne konfiguracich, s ruznymi verzemi okolnich knihoven, aby bylo jasne, jak se dany patch chova. Tady zadne centralne poskytovane jadro se shaperem nepomuze, naopak muze zakryt problemy, ktere by se casem mohly vyskytnout. A ze to obsas vytuhne, nekde to proste nevadi. Watchdog to otoci, posle se report, kdyz se to nahodou opakuje vicekrat za den, vrati se jadro o jeden krok zpet. A zrovna pokud se tyce toho co je v clanku popsane, tak tam zadne vyrazne problemy se stabilitou nejsou. To spise u madwifi, jenze ten jeden restart mesicne za propustnost spoje vyssi o 20% proste stoji.

S produkcnimi servery nemam zadny problem, instaluji takovym zakaznikum SLES i RHAS a jsou spokojeni. Ale v komunitni siti, kde valcujeme providery cenou a sluzbami zase musime pouzivat to absolutne nejmodernejsi a nejlepsi. Kdyz dokazete na stejne upstrem konektivite zajistit spolehlive telefonovani pri 100 lidech jako dokaze provider s superstabilnim klasickym shaperem na ciscu, ale s 50 propojenymi, tak jste proste vyhral pulku penez za linku a muzete pri stejnem rustu odlozit prechod z 10Ghz technologie na 26Ghz o rok nebo dva a to jsou sakra velke usetrene castky.

Navic az za tri roky bude imq v RHAS, tak ten kdo ho pouziva dneska bude presne vedet na co je dobre, na co je spatne, jak ho nakonfigurovat a bude daleko pred temi, kdo sedi u stroje a klikaji na ikonu od up2date a tesi se na dalsi verzi RHAS a co jim noveho prinese. Clovek se uci prave tim, ze veci pouziva, zkouma a dela sam. Samozrejme to nemuze delat na serveru, ktery ridi CNC soustruh, ale ne vsechny servery na svete ridi CNC soustruh.

[......]

Velice výstiženě a dobře popsané. Pod to se klidně podepíšu. Díky za vysvětlení těm nechápavým tam nahoře

[Pavel Janousek]

Zajimava debata z nadseneckeho a komercniho stretu...

Ted k veci... pisete Dane, ze pouzivate RHAS u zakazniku... docela by mne zajimalo, kolik casu Vam zabere a kolik Vam takovi zakaznici zaplati za "rucni" udrzbu jejich systemu, pokud jim oznamite, ze tu drahou licenci RHAS maji k nicemu, protoze potrebujete vanilkovy kernel a k nemu sadu patchu... Pokud se nemylim, tak i RHEL 4 zustal u zaklani vanilky 2.6.9 a k nemu asi tak dve tuny patchu... - docela verim, ze ho P-O-Mem opatchovat vubec nebude snadny (mam jen jedny nervy, takze jsem se o to ani nepokousel) a hlavne vubec nebude zrejmy, kterouzeto vlastne verzi mame prohnat a jak to bude s vysledkem... zda-li vubec nabootujeme apod.

Situace je pomerne zapeklita, protoze samozrejme, muzete stahnout aktualni vanilku, aplikovat rozumnou sadu z RHEL patchu (obcas se nam je nepodari aplikovat, obcas dostaneme nefunkcni kernel, obcas dostaneme kernel, ktery nelze zkompilovat apod.) a pak co? P-O-M nelze aplikovat, protoze je vytvoren vuci vanilce, kterou uz davno mame uspinenou nebo to budeme aplikovat vuci vanilce, ale tim padem muzeme zapomenout na vesmes vsechny RHEL patche pridavajici jakoukoli funkcionalitu (nerknu-li opravuji chyby nebo provadi tunning) okolo sitoveho subsystemu.

Ackoli drive byly vyvojove modely Linux kernelu jakekoli, soucasny model je mozna opticky lepsi, ale i ja se domnivam, ze se VYRAZNE REDUKUJE zakladna testeru a hracicek, kteri pouziji vanilla kernel, pridaji nabizene patche, at uz z -mm stromu nebo odkudkoli jinud a s vysledkem si hraji... - jsou totiz svazani s distribucnim (odladenym a vesmes chodivym) kernelem a k nemu nemohou pripojovat diffy vuci vanilla kernelu... - takze si setsakramentsky rozmysli, zda-li se jim ta namaha opravdu vyplati a nebo nekoupi za 20 tycek nejaky black-box a kopat do zadnice mohou nekoho dalsiho...

Sam cerpam z vlastni spravcovcych, administratorskych i managerskych zkusenosti s distribucemi okolo a na Red Hatu zalozenych, mam vsak pomerne jasnou predstavu, jak jsou na tom i jine "pribuzne" main-stream distribuce pouzivane v techto zemepisnych koncinach (= s komercne uplatnitelnou (a prijatelnou) SLA) a nemyslim si, ze by to bylo radikalne odlisne... = nemluvim o kumunitnich projektech, ktere obcas dokazi udelat slusnou zatez a stress test ohnem takovemu reseni, jsou to vsak svetle vyjimky.

[Dan Ohnesorg]

Ani nenapadne davat do RHAS vlastni kernel. Tim bych samozrejme prisel o podporu redhatu i oraclu. Jenze ho ani nepotrebuju. K RHAS koupite HW na miru, kde chodi vsechno samo a co nechodi (typicky management FB pole) proste resite odjinud. Proste kdyz zakaznikovi s RHAS reknete, ze potrebujete jeste 4GB RAM a nebo by to slo resit jinym kernelem, tak samozrejme koupite dalsi 4G RAM. Navic u redhatu potom at prijde kdokoliv, zacne tam kde predchozi admin skoncil. To by se mu u masiny s extra jadrem asi moc nedarilo.

Jenze samozrejme prodate 20 instalaci debianu na jeden RHAS, ne kazdy ma na to, aby kupoval HW certifikovany pro RHAS a SLES nehlede na to, ze se mu to treba nevyplati, protoze mu proste rozdil ve spolehlivosti garazoveho PC a spickoveho serveru neprinese zadny dodatecny zisk. A samozrejme by bylo skoda delat jen sem tam nejaky velky server a vsechny ostatni poptavky odbyvat s tim -- jdete jinam, tohle neni na nas dost profi. Zcela pomijim to, ze firem co se orientuji na velke zakazniky a instaluji vyhradne certifikovane distribuce na certifikovany HW je v Cechach hromada.

Vlastni jadra se pouzivaji u projektu typicky s velkou navstevnosti, ale malou vyteznosti. Potom u serveru, kde je temer jiste, ze se nekdo proboura skrz apache a php, ale potrebujete ho usmernit aby zustal zamceny v neprivilegovanem uzivateli. I kdyz tady uz by se dalo uvazovat i o SE linuxu, ktery v 4AS je. Nebo virtualizace, pred rokem neexistovala distribuce, ktera by umoznovala virtualizace a pritom webhosteri uz zkoumali jejich nasazeni a prodej.

Dalsi oblast pro vlastni jadra jsou stavene servery s velkymi diskovymi kapacitami, kde je potreba pouzit hodne moderni SATA radice a vyzdimat z nich slusny vykon. Typicky zalohovaci servery. Tam muze byt jeden dobry spolehlivy pro operativni zalohy z kterych hrozi nutnost rychleho obnoveni hlavniho systemu a jeden obycejny, ale narvany disky, kam se odkladaji starsi zalohy, ktere stejne nikdo nikdy nepouzije. Jenze to jsou opet stroje, kde je licence AS zbytecne vyplacana a vyplati se jen u firmy, ktera potrebuje udrzet homogenni prostredi.

Kazde jadro se hodi na neco jineho, jinak se dela jadro pro webhosting a jinak pro wifi sit. AS je skvele optimalizovane pod oracle, dobre na nem bezi i apache. Ale pro wifi router je uplne k nicemu. Nebo jadro pod asteriska, aby umelo prekladat hovory mezi SIP a ISDN, takove zase na strome neroste.

Ono tech jader potom nakonec zas tak moc neni. Jedno pro AMD64, jedno pro P4 s HT a vsemi moznymi sata radici a jedno pro pIII s par bezpecnostnimi patchi. A vlastne jedno wifi/shapovaci jadro. A ta se pouzivaji furt dokola, jsou balickovana. Nakonec takove jadro je mnohem mensi zlo nez kdyz mate v instalaci nebalickovanou aplikaci. To je skutecny bezpecnostni problem, protoze o dire v jadre se dozvim nejpozdeji kdyz mi prijdou bulletiny o nutnosti update tech "enterprice" distribuci, ale o nejake obskurni derave aplikaci, kterou nikdo nikdy nevidel nebo v horsim pripade psal sam zakaznik, se clovek tezko dozvi vcas.

Proste kazdy ma jine potreby a uzivejme si to, ze linux je dokaze naplnit. Je to o svobode. Az budu starej, tak budu taky jen morousit a delat jen to nezbytne minimum. Zatim snad nastesti nejsem, i kdyz jsem dvakrat starsi nez muj nejmladsi brigadnik. Takze take klidne delam ty blackboxy, ktere potom nekdo kupuje za 20 tycek

[J]

Jeste jsem nevidel firmu, ktera by za uvedenyh podminek resila nejaky shaping. Pokud ma nekdo naroky na stabilitu takove ze za kazdou hodinu je ochoten dat 10kKc, tak si muze za 100kKc koupit 100Mbit a nemusi vubec zadny shaping resit. A taky se to tak dela, casto vyjde totiz daleko levneji resit problem hrubou silou nez resit nejakou optimalizaci.

[Libor Chocholaty]

Myslim si, ze IMQ je docale funkcni kus softwaru. Pouzivam ho na routeru od 7.12.2005 a ani jednou mi "nezamrzl", jak tvrdis. Takze jen uvadim tvrzeni na pravou miru.
$ uname -a
Linux heaven 2.6.13.4-imq-K8-2 #7 Wed Dec 7 03:57:09 CET 2005 i686 GNU/Linux

[peter]

Martin má pravdu. Podobné návody, či presnejšie dôvody pre ktoré vznikajú podobné návody, Linuxu len škodia. Normálny používateľ, správca servera... by sa nemal zaobarať patchovaním ani iným podobným znásilnovačkám. Distribútor by sa mal postarať, aby to išlo aj bez toho (pripravený balíček na jednoduchú inštaláciu). Takisto sa distribútor má starať o bezpečnostné aktualizácie a normálny admin by mal sledovať bezpečnostné aktualizácie svojej distribúcie.

Linux mám rád, sám ho používam už dlhší čas, ale keď vidím podobné návody (ako rozbehať ipsec na "iba" 5 strán), tak len krútim hlavou. Prečo robíme jednoduché veci zložito.

[......]

Distribútor by sa mal postarať, aby to išlo aj bez toho (pripravený balíček na jednoduchú inštaláciu). Takisto sa distribútor má starať o bezpečnostné aktualizácie a normálny admin by mal sledovať bezpečnostné aktualizácie svojej distribúcie.

Kdyby to takhle fungovalo, tak bys za to musel platit. Ona je ta komerční a free komunita tak zvláštně provázána. Free těží z toho co vytvoří komerce (balíčky, updaty ...) a komerce zas těží z toho co vymyslí free komunita (testování, některé projekdy se dostanou až do jádra, spousta programů atd..). Funguje to zkrátka v takové symbióze.

To co jsi popsal je spíš styl Microsoftu. Tam admini mnohdy aktualizují něco, co je vlastně vůbec netrápí a mnohdy si tím akorát způsobí problémy. Admin by zkrátka měl vědět co dělá a ne jen klikat na up2data jak cvičená opice.

[Jiří (BoodOk) Kadeřávek]

Proboha, co to tady resis? Kde jinde by se tohle melo objevit nez na abclinuxu. Tohle je hobby server pro priznivce linuxu (mrkni na URL), ne marketingovy site pro cvicene opice z Redmondu. Jestli te ten clanek nebavi, tak ho ignoruj a pouzivej distribucni jadro a distribucni tc. Kde je problem? V tom, ze si nekdo dovolil publikovat postup jak se dostat na bleeding edge?

[peter]

Ja hovorím, že keď chcem robiť shaping, tak by to malo byť tak, že nainštalujem na to balík a jednoduchým spôsobom (gui alebo prehladny txt súbor) ho nastavím. To by sa dalo urobiť za minútu.

Mojím koníčkom nie je patchovanie, kompilovanie... Preto chcem svoj čas venovať svojím koníčkom a nie zbytočne ho zabíjať podobným "onananovaním". Ak tvojím koníčkom je kompilácia, tak si to kompiluj, ale prečo neexistuje jednoduchšia cesta (napr. grafika kompilácia vôbec nemusí nadchýňať).

Keď mám firmu, tak tiež by som chcel, aby to moji pracovníci urobili za tu jednu minútu ako "zbytočne" zabíjali čas. Je rozdiel, či mi na chod firmy postačí 10 ľudí alebo 50 ľudí (pri rovnakom objeme vykonanej práce).

[Dan Ohnesorg]

To je porad dokola to same. Proste tohle bude v distrubuci za rok nebo za dva a potom to bude jen klik-klik-klik hotovo.

Zatim je v distribuci wondershaper, ktery je docela fajn, ale proste takovy obycejny, prumerny a hloupy. V podstate umi to co bezne dostupne komercni nastroje pro windows. Zato tohle jsou vychytavky, ktere ani pro windows ani pro cisco vubec nikde nekoupite.

Nechapu proc by se mel grafik zabyvat rizenim toku dat v sitich. Ja se taky nezabyvam obchodni grafikou. Clanek neni o shaperu, ktery si doma nainstalujete na router k ADSL modemu.

[Tomáš Tichý]

Ke kririce popisovaných postupů bych se připojil, ale rozhodně bych to nezobecňoval. Bastlení není problém Linuxu a open source už vůbec ne. Jen jste nepochopil určení tohoto článku. Tohle byl článek pro hračičky. S Linuxem a OSS se to má stejně jako s elektronikou. Dá se dělat na koleně v garáži nebo profesionálně.

[Dan Ohnesorg]

chach

A to jeste produkcni kernely na wifi sitich obsahuji dalsi patche pro hostap, madwifi-ng, watchdog a schopnost rebootu na zarizenich bez radice klavesnice.

A udrzba nijak slozita neni, proste si udelate vlastni repozitory, kam date balickovane jadro, quaggu, mroute a ridite to jako jakoukoliv jinou sit. Bezpecnostni problem jadra, ktery by ohrozil bezny router bez moznosti prihlasovani uzivatelu a v podstate bez demonu nebyl uz cele roky. To je mnohem drive potreba upgradovat, protoze pribyl nejaky novy shapovaci algoritmus, madwifi zvedlo vykon o 20% a podobne zalezitosti.

Samozrejme existuji hotova jadra, ale ta nejsou ani ze tretiny tak dobra jako jadra vlastni.

[camlost]

váš názor pochopitelně respektuji, ale měl bych pár otázek / námětů.

začnu otázkou: co hledáte na tomto serveru? (nevyháním vás, jen mě zajímá, co vás sem přivedlo, když máte k linuxu tak zásadní odpor)

náměty k zamyšlení: duplicita kódu. máte jistotu, že situace např. ve windows je výrazně jiná? (asi nemáte, protože pravděpodobně nemáte přístup ke zdrojovým kódům)

někde jsem četl (a přiznávám se, že to teď na ms nemohu najít, ale bylo to v popisu nějakého hotfixu - klidně to berte jako informaci "jedna paní povídala"), že problém s vypínáním windows vyřešil ms tak, že uvolnil hotfix, který nainstaloval service, jenž při vypínání zjišťoval, jestli to netrvá příliš dlouho. pokud ano, tak prostě sestřelil procesy a provedl power off.

[camlost]

a ještě perlička z komunikace s vývojáři z ms - při požadavku na změnu / opravu funkce jednoho produktu vývojář odpověděl, že požadovaná změna by mohla mít nedozírné následky na stabilitu produktu ("unforseen consequences"). docela zajímavý přístup k vlastnímu kódu .

[Martin]

Klasická odpověď fundamentalisty. "Co pohledáváš zde, mezi námi, ty nevěřící pse? Bratři, odveďte ho!". Jeden nevyhovující názor, a najednou má člověk k Linuxu "zásadní odpor". Musím tě vyvést z omylu - Linux používám na desktopu a administruji i několik serverů. Jen nejsem fanaticky věřící a nebojím se vidět i nevýhody.

Nemluvím o duplicitě kódu, ale o duplicitě práce. Jasně - lze si udělat pro svých pár serverů vlastní repository a nepatchovat každý stroj ručně. Jenže po světě jsou tisíce lidí, kteří udělají úplně to samé. Všechny dohromady to stojí takové množství práce, až to není hezké.

Srovnávání s Windows nechápu. Řekl jsem snad jediné slovo o Windows? To stálé srovnávání považuji za úchylku malého nesebevědomého linuxáčka, který si podvědomě uvědomuje, že ten jeho systém není tak úplně dokonalý a místo potřeby ho zlepšovat cítí potřebu se vůči něčemu vymezovat.

Proč by i v Linuxu nemohly existovat řešení, které fungují "na jeden klik"? Jaký je rozdíl mezi tupým copy-paste sledováním postupu (a mnozí "administrátoři" tak pracují) a kliknutím na ikonku? Je snad výsledek práce podle návodu něčím lepší? Vždy by přece existovala možnost (při problému, specifickém požadavku) si postup projet ručně.

Co se může udělat automaticky, ať se udělá automaticky. Proto jsme si ty počítače přece pořídili!

[Jirka]

V Linuxu nemůže existovat one-click řešení protože to zcela odporuje filozofii unixových systémů "mechanism, not policy". Kliknuti na ikonku navic nereflektuje mozne pozadavky na odlisnost postupu pro vasi situaci. Navic, ne vsude jsou ikonky. A pak kliknuti ikonku degraduje toho vaseho administratora na tupou kreaturu, protze i kdyz jen opisujete postup, tak se z toho alespon neco naucite. Casem pak dospejete to stadia, kdy budete schopen sám vytvářet obdobné postupy, kdežto vaši kamarádi "Administrátoři/Architekti" budo pořád jen tupě klikat na ikonky, bez jediného náznaku toho, že by vůbec věděli co to udělá. Zatímco údržbář si už určitě brousí zuby na vaši pozici ve firmě, protože bude mít mnohem větší "fištrón".

btw. Byl jste odhalen, protože používáte opovrženíhodné slovo "Administrator". Zde chodí jen "rooti" A ne nevěřící psi. Můžete být rád, že na vás moji bratři neseslali BSOD kletbu.

[Jiří Daněk]

A pak kliknuti ikonku degraduje toho vaseho administratora na tupou kreaturu, protze i kdyz jen opisujete postup, tak se z toho alespon neco naucite. Casem pak dospejete to stadia, kdy budete schopen sám vytvářet obdobné postupy, kdežto vaši kamarádi "Administrátoři/Architekti" budo pořád jen tupě klikat na ikonky, bez jediného náznaku toho, že by vůbec věděli co to udělá. Zatímco údržbář si už určitě brousí zuby na vaši pozici ve firmě, protože bude mít mnohem větší "fištrón".

Tohle třeba u mě neplatí. Při práci podle HOWTO mám většinou migrénu, následovanou zapomněním.

Mám nepřijemný pocit, že mě LINUX degradoval na tupou kreaturu a vůbec nechápu, že se moji kamarádi "Administrátoři/Architekti", dovedou problémem zabývat několik hodin jen proto, aby byli schopni vytvářet obdobné postupy vpodstatě bez přesné představy, co to vlastně dělá.

Někteří z nich jsou studiu ochotni objetovat téměř celý život a jediným výsledkem toho usilí je, že jsou (na rozdíl od ikonkářů a HOWTOářů) schopni reflektovat mozne pozadavky na odlisnost postupu pro svoji situaci a při tom všem si dovedou představit, jak každý řádek jejich konfiguráku, každý jejich shellový příkaz nebo konstrukce programu ladně přesýpá bity v jejich svěřencích.

Berte to jako nadsázku.

[......]

Další JXP .... bože ochraňuj nás

[camlost]

no, tak mohu reagovat v podobně agresivním duchu, ale myslím, že to není přínosné ani pro jednu stranu.

ve své původní reakci jsem se v závorce snažil naznačit, že mě zajímá ten důvod (odpověď jsem dostal) a zároveň že vás nevyháním. v tomto kontextu nedává vaše "bratři, odveďte ho" žádný smysl.

co se týče srovnávání s windows, tak je to velmi jednoduché. srovnávám s tím, co znám (no jasně, to lze napadnout, mcse nemám, ačkoli pár microsoft oficial courses jsem již absolvoval (ale pouze serverové produkty)). srovnávat linux s mac os x si netroufám, neboť jsem s ním nepřišel do styku.

co se týče nesebevědomého linuxáčka , tak ... no koneckonců, je to váš názor. já bych to tak zle neviděl.

se zbytkem souhlasím. (btw. z fundamentalismu mě ještě nikdo neobvinil, zatím jsem spíš vystupoval coby "arogantní kretén", ale vezmu si to k srdci a napříště budu používat něco ve stylu "arogantní fundamentalistický kretén". nebo "arogantní stupidní fundamentalista". )

[......]

Mimochodem proč nespravuje všechny počítače na světě jeden člověk? Dyť to děláme všichni zbytečně.

Nebo proč nepeče jedna pekárna v republice pečivo pro všechny? Bože toho vynaloženého úsilí.

A proč není ve většině měst jedna nemocnice? Dyť ti doktoři dělají furt to samé.

SAKRA LIDI VYKAŠLETE SE NA TO!! DĚLÁME VŠICHNI TO SAMÉ

[Jiří Daněk]

O tomhle jseem jednou vedl dlouhý monolog na chatu. Začalo to smyslem života a doplicitou, pokračovalo nemožnosti udělat něco 'opravdu užitečného' a skončilo asi takto

(12.08.2006 20:02:05) XXX: BĚŽ DOPRDELEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEE

a nepublikovatelnou záplavou vykřičníků. Proto všem spolužijícím radím "Vyhněte se metafyzičnu"

[......]

Bravo :) dojal jsi mě k slzám.

[trekker.dk]

duplicita kódu. máte jistotu, že situace např. ve windows je výrazně jiná?

Při pohledu do Windows SDK (nebo tak nějak se ta nápověda k Windows jmenovala) snadno zjistíš, že některé funkce jsou z důvodu zpětné kompatibility implementovány několikrát - od verze, kterou obsahovaly už 3.11

[kralyk z abclinuxu]

No a v tom je podstata produktu microsoftu. Veme starou vec a nabali na ni novy ficury. Tak treba vznik windows. Windows 1.0 ~ 3.11 vznikly tak, ze microsoft vzal DOS a nabalil na nej GUI. Windows95 vznikl podobne. MS vzal win 3.1, zvetsil rozliseni a pocet barev, a nabalil pseudo-multitasking (a naky dalsi veci). Je pravda ze u jadra NT byla situace trochu lepsi, NT jadro, aspon co muzu soudit, neni takova slatanina a NT4 chodili imho este celkom slusne na svou dobu. Ale dal je to zase stejna strategie Na NTcka se nabalily novy technologie, voila, mame win2k, na win2k se nabalily ficury pro multimedia a mame XP. Na XP se nabali 3d akcelerovane GUI, active directory a par dalsich p**covin a bude tu Vista...

[brozkeff]

M-hm, podstata u linuxu je zjevně zcela jiná, že? Každá minor verze jádra se dělá přece from scratch a tak, aby se vůbec nepodobala předchozí verzi a byla s ní zcela nekompatibilní; totéž u všech GNU programů... přece bychom se vydáním nové verze nesnižovali jen k nabalování nového kódu na ten obsolete z minulé verze...

Hmm :) Udržení historické kompatibility bylo, je, a i nadále samozřejmě bude cílem nejen MS, ale i kohokoliv jiného! Unixové řešení je samozřejmě ty zastaralé metody označovat obsolete a následně deprecated... a časem je vypouštět... pochopitělně z důvodu čistoty kódu atd... Microsoftu jde o to, aby co nejvíc věcí nadále fungovalo bez nutnosti dělat změny. I když to nebude úplně čisté a spousta volání, fcí, metod se bude muset duplikovat, resp. dávat jim spousty aliasů/linků ap.

[J]

Nj, jenze vyvojari kernelu se nijak netaji tim, ze vyvoj je kontinualni proces a ze novy kernel je samozrejme vzdy zalozen na tom starem. Jen cas od casu se do kernelu prida zcela nova funkcnost, ktera nahrazuje nejakou starsi cast, ovsem velmi dlouho je mozne pouzivat obe varianty spolecne.

Proti tomu M$ s kazdou novou verzi tvrdi ze predelal cely system, ze bude uplne novy, ze bezpecnost je uplne nekde jinde ....

A o kompatibilite bych v pripade parodie na system od M$ radsi nemluvil vubec. Kdyz se podivam trebas na ovladace, tak to mame w3x, w9x, w2k, wXP, ... pro kazde je treba jine => starsi HW na novejsim systemu proste chodit nebude. U tuxe lze pouzivat stejne pro celou radu jader (2.4, 2.6, ...) a pokud nahodou pouzivam HW, pro ktery nejsou ovladace 2.6, mohu vzdy jeste pouzit radu 2.4(nemluve o tom, ze znam stroje na kterych bezi vpohode radu let 2.2 a neni duvod to menit, ac jsou aplikace v aktualnich verzich).

[lefti]

Jestli se ti to nelibi, tak nepouzivej linux from scratch, ale sahni po hotovem reseni.

[Petr]

Tenhle článek byl o tom, jak to zvládnout vlastními silami. Někdy jindy možná vyjde inzerát nějaké firmy, jak to zvládnout rychleji a jednodušeji s jejich programem, distribucí, hw routerem, ... .

Ve windows tato funkcionalita zabudována přímo není a musíte dokoupit jistý produkt od MS nebo jiné firmy (nebo možná je to součástí některých edicích windows serveru pro malé firmy). Stejnou možnost máte na Linuxu - koupit si komerční produkt s nějakým klikacím rozhraním. A je možné, že vám to ušetří tolik času, že se ten nákup zaplatí. Myslím, že jediný rozdíl je ten, že na windows stejného cíle nedosáhnete jinak než nákupem vhodného programu. Na linuxu si můžete vybrat, zda-li je levnější vrazit do toho svůj čas nebo koupit cizí čas (=koupit hotový klikací produkt).

[Jiří (BoodOk) Kadeřávek]

A jeste bych dodal, ze chudak Martin asi netusi, ze nektere z nas to dokonce muze i bavit.

[LFCIB]

Supr. Díky Ti Maxi

LFCIB

[Tyfus]

> Naproti tomu stávající sfq dokáže rovnoměrně rozdělovat

> traffic pouze mezi TCP spojeními.

To neni tak uplne pravda. sfq resi jak delit jednotlive proudy dat do hashe. A pouziva k tomu (logicky) cislo ip protokolu, cilovou adresu, zdrojovou adresu a neco co je celemu proudu stejne (porty u tcp, udp, sctp, dccp, esp). Pokud bych chtel megabity pres nejaky jiny ip protokol, tak bych nemel dokazat sfq oblbnout.

Prvni tri deleni maji smysl vzdycky, posledni jenom obcas. Ale podle me to deleni na jednotlive proudy nebrani. esfq slouzi k hashovani podle ip adresy uzivatelu, takze stahovacum nepomuze proste otevrit vic spojeni, coz je hlavni nedostatek sfq.

Kdo mi neveri, at poda lepsi vyklad sfq_hash() z net/sched/sch_sfq.c

[Michal Kubeček]

takze stahovacum nepomuze proste otevrit vic spojeni, coz je hlavni nedostatek sfq

Těžko to označit za nedostatek SFQ, protože SFQ byl navrženo k úplně jinému účelu. Právě proto vzniklo ESFQ - jako důsledek pozorování, že se po malé úpravě se dá princip SFQ použít i takto.

[Tyfus]

Mas pravdu.

Jsem si dal. Cilem sfq je zajistit, aby zadne spojeni nebylo vyhladovene silnejsimi kolegy. A je v tom dobre.

Nedostatek by byl kdyby ho pouzil spravce pri naplni pristiho clanku. sfq je nastroj, taky se nezlobim na kladivo, kdyz dostanu pres pazoury.

[HS]

Nedokaze taketo rovnomerne rozdelenie aj HTB? To je tiez priamo v jadre.

Mimochodom, v buducej casti by som uvital aj nejake porovnanie/poznamky co sa da dosiahnut aj s neopatchovanymi programami. Cize co mi bude a co nebude fungovat ked neaplikujem uvedene patche.

Taktiez by bolo prinosne strucne spomenut alternativne nastroje s ktorymi by sa ta ci ona vec dala tiez dosiahnut.

[Max]

Nedokaze taketo rovnomerne rozdelenie aj HTB?

Koukni se na pár článků, co třeba vyšly na rootu a pak se chytneš za hlavu
V příštím článku rozepíšu, co a jak k čemu slouží apod.
Zdar Max

[HS]

No pozeram napriklad sem http://luxik.cdi.cz/~devik/qos/htb/manual/userg.htm#hsharing a vidim, ze zakaznik A ma pridelene 40kbps a B ma 60kbps. Samozrejme rozdelit to 50:50 nie je problem a to, co si zaradim do class A a class B tiez mozem ovplyvnit (cize mozu tam byt pakety od konkretnej IP).

[Michal Kubeček]

To nic nemění na tom, že nedokážete pomocí HTB realizovat vše, co se dá udělat pomocí ESFQ.

[Max]

Díky za upřesnění :)
Zdar Max

[nardew]

a su k dostaniu aj nejake "hotove" riesenia?

[Max]

A tím je myšleno co? Hotové opatchované zdrojáky připravené ke kompilaci a instalaci, nebo hotové řešení v podobě nějaké distribuce?
Když mi dáš nějaký ftp, tak to první je splnitelné a opatchované zdrojáky bych tam klidně uploadnul, ale myslím, že je to zbytečné. Toto je základ, zdá se to složité, ale v celku se akce jen opakují.
Zdar Max

[PSIkappa]

Preco pouzivat IMQ, ked priamo v jadre je uz IFB ?

http://linux-net.osdl.org/index.php/IFB

[Robo]

prave sa snazim rozchodit IFB ale nejako sa mi nedary znackovanie...skusal to uz niekto v praxi/nejaky priklad... dik

[PSIkappa]

Ak ti nestaci info na: http://linux-net.osdl.org/index.php/IFB

Tak kukni do archivu mailinglistu lartc a hladaj thready s IFB: http://mailman.ds9a.nl/pipermail/lartc/2006q3/thread.html

Ak ti ani toto nepomoze, tak najlepsie sa je prihlasit do lartc mailing listu a spytat sa priamo tam konkretne veci, kedze ten mailing list citaju aj ludia, ktori su za IFB zodpovedny.

[svaca]

Cau, to jste zase rozjili diskuzi ....
Nicmene k problemu. Kdyz jsem videl nadpis, rikal jsem si hura, konecne poradny navod na shaping na mem oblibenem serveru ...

Ale taky ho musis zkritizovat, nebot:

1. bastlit takovou silenost do vannila + iptables ROZHODNE delat a podporovat nebudu a nechci ....
2. Linux je vyborny na sitova reseni, ale stale mi pripada, ze takovy shaping je stale jeho slaba stranka - myslim hlavne konfiguraci. Aspon, ze mame CBQinit.
3. jestli to patchovani bude nutnost v dalsim pokracovani clanku - ztraci pro me uplne vyznam.

Nevim zda jsem admin, nebo udrzbar, ale vetsinou se musim postarat o vsechno, co je potreba ... .-)

[Pavel Janousek]

TC je naopak jedna z velmi silnych vlastnosti Linuxu, at co se tyce moznosti, tak jemnosti konfigurace... prehlednost je otazka kultivovanosti administratora...

[Michal Kubeček]

Ad 2: jste si jistý, že se bavíte o současném stavu a ne o stavu před začleněním HTB do vanilla jádra?

[svaca]

bavim se o stavu, kdy se snazim sehnat jakykoliv navod na shaping v linuxu, co je pohodlnejsi na konfiguraci, at uz pres jadro, nebo pres web rozhrani, nez skripty CBQ init, nebo HTB init ....

At delam co delam, nikde zadny clanek nenachazim a myslim, ze nejsem jedinny.

Treba tento clanek nabidne zajimavejsi postupy, nez to cele psat v ruce, jako je to na rootu ... Nicmene ja jsem si jisty, ze tenhle balast na jadro lepit nebudu ... A asi evidentne neni tak vyspele, kdyz se to tam lepit musi.

[Max]

Musí? Nic se nemusí. Lepit si na jádro můžeš to, co chceš. Pokud nechceš esfq na rovnoměrné rozdělení apod., tak ho nepatchuj. Pokud si nechceš hrát s ovlivňováním rychlostí p2p sítí, tak layer7 ani ipp2p patchovat nemusíš. Pokud nechceš omezovat počet spojení apod. věci tak connlimit také nemusíš. GeoIP apod. jsem zařadil pro spestření možností, aby si ten, kdo chce, mohl hrát. Když chceš jednoduchý shaping, tak si s vanilla jádrem vystačíš . Nechápu, proč tu tolik lidí nadává, že je to nesmyslný postup, který je spíš pro údržbáře apod. Sice to je bastl, ale kdyby si řekli, co skutečně potřebujou, tak zjistí, že si s vanilla jádrem většinou vystačí. Patche tam jsou podle mě dostatečně popsané, tak snad asi každý ví, čeho chce dosáhnout. K čemu bude, že sem budu opisovat to, co je na rootu a někde jinde? Vzal jsem to z trošku širšího okruhu, abych ukázal, co je všechno možné a jak toho lze dosáhnout.
Zdar Max

[Pavel Janousek]

S vanilla jadrem jsem si skutecne vystacil v rade 2.2., v rade 2.4. to uz nebyla zcela pravda a v rade 2.6., ktera je porad vyvojova a stabilizace je hozena na bedra distributoru je to uz uplna utopie...

[svaca]

OK. Jestli to nebude podminka pro Tvoje pokracovani, tak uvidime, co bude dal ...

[J]

ehm, jasne, nejlepe dat na router urceny k shapovani jeste MySQL a Apache + trebas Gnome abych si to mohl naklikat.

Fakt nevim co je na pouziti tc neprehledny.

A co se patchovani tyce, IMQ ma smysl v pripade, ze chces shapovat dohromady prichozi i odchozi traffic, alternativne, pokud mas na routeru vic nez 2 rozhrani a chces globalne stanovit maximalni traffic, ma to ovsem jednu nevyhodu, je to min presny.

Pokud mas 1 rozhrani ve a 1 dovnitr, nepotrebujes to.

ESFQ lze nahradit jinak - pouzijes CBQ/HTB a pro kazdou IP/Subnet urcis rychlosti. Narozdil od pouziti esfq to ma vyhodu v tom, ze muzes kazdymu urcit jiny parametry, nevyhoda je ta, ze pokud je jich vic, je to dost prace (ovsem v pripade stejnych parametru vicemene cpy&paste). Nemluve o tom, ze mam takovy zvlastni pocit, neni nahodou esfq soucasti 2.6 ?

Omezovat pocet konexi ma smysl pokud to routeru dela problem. IMO lepsi reseni je stahnout timeout konexe, a obcas nejakyho usera nakopat, pokud pouziva zprasenej SW, kterej je po sobe nezavira.

geoip je pro hracicky

Shapovat odlisne p2p site je taky v domaci siti blbost, tam je nejlepsi pristup dat kazdymu nejake pasmo a at si snim dela co chce. Jakykoli shapovani na tyhle vrstve uz docela solidne zatizi ten router => je to pouzitelny pro par lidi.

u32 je pokud vim beznou soucasti jadra 2.4 i 2.6.

... Zkratka vyjmenovany patche jsou vetsinou nahraditelny za cenu slozitejsi konfigurace nebo je jejich pouzivani spis sporny.

A az mi tu nekdo zacne brecet, ze si kvuli "stahovacum" nemuze zahrat hru, tak je to ciste otazka spravneho nastaveni, neni treba omezovat zvlast p2p, neni treba limitovat uzivatelum data, staci spravne nastavit shaping. Bez problemu si zahraju s odezvou 20 - 30ms presto, ze bracha/soused ma pusteny DC/Torrent a neni nikterak natvrdo omezen.

[......]

Vážený anonyme,

prakticky jsi shrnul vše co už tu bylo řečeno. Jediný rozdíl je v tom, že jsi nic nového neřekl. To umí každý. Co hodit do placu to, jak shapovat tak elegantně jak říkáš? Docela rád bych se poučil, protože se touto problematikou již delší dobou zabývám.

[M]

pekne :))

[h7]

Ahoj, nevite o nejakem distru ,co ma vyresene vyse jmenovane patche? Nechci se pripravit o vyhodu updatu od dodavatele distra.. Klidne muze byt i placene. h7

[Max]

Vím, že gentoo má v portage ipp2p a geoip. Jinak existují nějaké distribuce zaměřené jen na routování a shaping, ale nevím o žádné funkční, která by se zajímala o to, co je popsáno výše :-/. Pravdou je, že jsem se ani jejím hledáním moc nezabýval, ale ...
Zdar Max

[Jiří Lisický]

Vzpomínám si, že kdysi dávno v konferenci linux@linux.cz vždy někdo vznesl nějaký dotaz a Peter Šurda (snad si to jméno pamatuju dobře) odpovídal: "jo to mám už vyřešené ve své distribuci". Asi by nebylo špatné se na tu jeho distribuci pořádně podívat. Sám to mám v plánu, ale není čas... Takže pokud někdo chcete, roste to na www.shurdix.org (dříve routerhat)

[vlady]

Kdy bude pokracovani?

[Max]

Do konce weekendu posílám Robertovi, v poslední době nevím, co dřív :(
Zdar Max

[Gyro]

Mozno sa spytam uplnu blbost, ale nie jemozne esfq skompilovat ako modul? Mam s tym na CentOS problemy.

[Muf]

Kdyby to nejaky dobrak aktualizoval, tak by to bylo vynikajici, bohuzel nektere puvodni moduly uz nelze ani stahnout a s novymi, jsou take nove chyby :(

[Max]

Tak jsem se k tomu dokopal a trochu aktualizoval : Traffic shaping (inovace howta : patchování a instalace)
Zdar Max