Dotaz: Překlad linux jádra a modulů

[MilanC]

Ahoj,

nejsem v tomto úplně zkušený, protože jsem vyrostl na BSD, tak mi to vrtá hlavou. Mám zdrojáky jádra 3.10, je to embedded linux postavený na Realtek SDK. Tak nějak jsem si myslel, že není rozdíl, pokud je něco součástí jádra nebo kompilováno jako modul, který se v případě potřeby nahraje.

Pro určitou úlohu potřebuji ušetřit RAM. Stávající stav je takový, že vše je součástí jádra = žádné moduly. Tak idea byla co půjde, přeházet do modulů a pro uvolnění RAM pak tyto moduly unloadnout.

Problém je, že u většiny modulů, kde by to dávalo největší smysl, jsem narazil. Úplně nevím jak to funguje, ale pokud třeba podporu IPv6 přehodím z jádra do modulu, firmware už nesestavím. Prostě mi to při překladu začne řvát, že celá řada věcí je "undeclared". V podstatě, jak kdyby vypadly nějaké hlavičkové soubory nebo něco podobného, najednou nezná celou řadu konstant a proměnných...

Potřeboval bych se v tom nějak zorientovat a zjistit, jestli je vůbec reálné některé věci přesunout do modulů a v čem může být problém. Také nějaké doporučení, co by bylo vhodné do modulu přehodit, resp. kde bych mohl pak ušetřit nejvíce RAM odehráním.

Díky za nápady.

Odpovědi

[Max]

To je slušný old school. O jaké úrovni uvolnění paměti se bavíme (aktuální stav + potřebný)? Nebo spíše třeba řešením zoptimalizovat nastavení paměti v rámci kernel parametrů?
Zdar Max

[Max]

Jinak toto je celkem zajímavé: Embedded Linux size reduction techniques.pdf.
Zdar Max

[MilanC]

Mimochodem, možná mám problém spíš s něčím jiným. Všiml jsem si toho nyní.

Vypadá to, že ne vše, co zabiju killem, vrátí tu alokovanou paměť. Narážím na to, že used + free mi rozhodně nedává celkových 64MB RAM, někde mi tam teče >22MB.

Možná, že některé procesy na zabití nereagují úplně korektně a jádro pak tu paměť stále drží a pro mě je nedostupná... (?). Co s tím lze dělat?

[trekker.dk]

Možná, že některé procesy na zabití nereagují úplně korektně a jádro pak tu paměť stále drží a pro mě je nedostupná...

Mohlo by být v případě, že ty procesy mají nějakou POSIX sdílenou paměť nebo něco takového.

Nebo máte free, které vám neukazuje diskové cache, takže těch 22MB, co vám teče, je tam. (A nemusíte to řešit, protože jádro tu paměť uvolní, když bude potřeba.)

Kdyžtak můžete kouknout do /proc/meminfo, tam je to rozebráno dost detailně. (A snad bylo i na tomhle prastarém kernelu.)

[MilanC]

Je no. Mám 64MB RAM a 8MB Flash. Běžně je stav cca

Mem: 36864K used, 4960K free, 0K shrd, 2608K buff, 8624K cached

Když vše zabiju (a echo 3 > /proc/sys/vm/drop_caches), tak se dostávám někam na 32 MB, tedy volného relativně dost. Ale třeba flash firmware mi schrastne na ram. Tam jde o to, že ho musím nejprve stáhnout do ramfs (/tmp, nějakých 7-8MB). Pak se nahrává do shared mem. a pak se flashuje do paměti. Teď mě napadá, že by možná stačilo po nahrání do shmem v tom flash démonu ho z toho ramfs tmp smáznout, takto to asi zabírá 2x.

Kernel mi pak začne zabíjet hlava nehlava, co mu přijde po ruku. Orientačně to vypadá takto: https://pastebin.com/mLSz4Ymx (ale tady jsem ještě neměl zabití všeho, tak je tam toho víc). Nicméně vypadá to stejně.

Když zabiju vše, co můžu...

# for pid in $(ps | grep -Ev 'fwd|watchdog' | awk '{if(NR>1) print $1}'); do kill -9 $pid; done

/ # pstree
-+= 00001 root init
 |--- 05026 root fwd
 |--- 05039 root watchdog 1000
 \-+= 05082 root -/bin/sh
   \--= 05083 root pstree

echo 3 > /proc/sys/vm/drop_caches

Mem: 23664K used, 18160K free, 0K shrd, 208K buff, 1872K cached

Tak se mi občas flash zdaří, někdy ne. Nějaká úmrtnost stále je a padá to právě na paměť.

[Max]

Existuje projekt tiny. Bohužel je podporován od kernelu 3.17 (make tinyconfig). Zkusil bych tedy pokračovat opačným směrem. Tj. zkusit vybuildit co nejmenší kernel bez ničeho a pak si tam přidat potřebné věci.
Zdar Max

[X]

O cem to mluvis? ipv6 JE modul jadra a vypnes ho parametrem ipv6.disable=1. Podivel jse se do /lib/modules/..

[MilanC]

Zde ne. Zde v menuconfig nemám "M", ale "X". Jakmile přehodím na modul, už to nepřeložím.

[X]

Co to je za SoC?

[MilanC]

RTL8197F_VG RTL8812F RTL8367R

[X]

Co je ta "urcita uloha" pro kterou chces usetrit RAM? Je to firmware routeru? Mam pocit, ze resis/vymyslis nejakou blbost.. Dohledal jsem:

https://forum.openwrt.org/t/adding-openwrt-support-for-netis-n2-rtl8197f-v5-8812fr-rtl8367b/99650 https://forum.openwrt.org/t/can-rtl8196c-be-incorporated-into-the-lede/1381/7

[czjaromir]

Nooo realtek, mám doma airlive s nějakým chipem ne realtek a docala jsem se vrhnul na kompilaci openwrt abych si udělal něco pod 2MB, a toto byl přesně i můj problém. No dá se editovat soubor přímo, ne přes menuconfig. Ale já jsem se ještě nedopracoval pod 2MB, cílem bylo získat nějaké zkušenosti a dovednosti. Na realtek funguje wive-ng projekt. Stačí mi editace přes SSH nebo telnet. Nemá smysl zvětšovat eprom jako že jsem i o tom uvažoval když je tam také relativně málo RAM. Takže jaký je SoC? Zajímá mě ne čem pracujete?

[MilanC]

Jestli se edituje .config nebo použije menuconfig není přeci žádný rozdíl. Menuconfig jen modifikuje daný .config. Jasně, mohou tam být nastavené různé dependencies, ale to má zpravidla svůj jasný důvod.

[czjaromir]

Pravda jsem v tom trochu lama ale co mi nedovolí menuconfig to mi .config dovolí. Jasně nevidím důvod proč bych třeba nemohl ze své kompilace vyhodit podporu IPv6. A to mi třeba menuconfig nechtěl dovolit. Důvod může být třeba jistá umanutost nebo setrvačnost programátorů. Zkoušel jsem pár věcí editovat a počet možností konfigurace v menuconfig mi připadl dost omezený. Ano jsou tam nejspíš závislosti ale na to přijdu nejspíš až to nepojede. V souvislosti s konfigurací je už IPv6 plnohodnotný protokol a dá se použít jen v této verzi? Myslím že ne.

[Josef Kufner]

manuconfig hlídá závislosti mezi volbama. Pokud ti menuconfig nechce dovolit něco vyhodit, tak je to kvůli tomu, že na tom něco jiného závisí.

Jak už psal Max výše, použij minimální config a doplň jen co opravdu potřebuješ.

[k3dAR]

pripadne v detailu toho co chce vyhodit vidi co je na tom zavysle a muze zkusit nejdriv vyhodit to

[czjaromir]

Nedostal jsem se zatím pod 2,8MB. IPv6 je jedna z věcí co nepotřebuji a zkoušeli jste už někdo odendat IPv6 z jádra? Co na tom ještě může záviset?