abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
včera 15:55 | Komunita

V Soluni probíhá GUADEC 2019, tj. konference uživatelů a vývojářů desktopové prostředí GNOME (GNOME Users and Developers European Conference). Na programu je řada zajímavých přednášek. Sledovat je lze online. Dění na konferenci lze sledovat na Twitteru.

Ladislav Hagara | Komentářů: 0
včera 14:22 | Komunita

Bylo oznámeno, že webová služba Bitbucket podporující vývoj softwaru končí s podporou verzovacího nástroje Mercurial. Vývojáři požadující Mercurial mohou přejít například na Sourcehut.

Ladislav Hagara | Komentářů: 1
včera 11:11 | IT novinky

Google oznámil, že následující verze operačního systému Android už nebude pojmenována po některé sladkosti začínající na písmeno Q, ale bude to pouze Android 10. Současně byla oznámena změna loga (YouTube).

Ladislav Hagara | Komentářů: 6
22.8. 22:22 | Zajímavý článek

Příspěvek na blogu Kali Linuxu popisuje změny v metabalíčcích, jež přijdou s vydáním Kali Linuxu 2019.3. Cílem změn je optimalizace Kali Linuxu, zmenšení velikosti instalačního ISO a lepší organizace metabalíčků. Vývojáři vytvořili nové metabalíčky a celou řadu stávajících metabalíčků přejmenovali. Například metabalíček kali-linux-full byl přejmenován na kali-linux-large a vytvořen byl nový metabalíček s názvem kali-linux-default.

Ladislav Hagara | Komentářů: 0
22.8. 10:44 | Nová verze

UBports, nadace a komunita kolem Ubuntu pro telefony a tablety Ubuntu Touch (seznam podporovaných zařízení), vydala Ubuntu Touch OTA-10. Z novinek lze zmínit například lepší podporu telefonů Nexus 5, Fairphone 2 a Oneplus One.

Ladislav Hagara | Komentářů: 0
22.8. 05:55 | Zajímavý článek

Martin Kleppe ukázal, jak lze obfuskovat JavaScript pouze pomocí dvou různých znaků. Podrobný rozbor a online obfuskace do hranatých závorek na jeho stránce.

Ladislav Hagara | Komentářů: 24
22.8. 04:44 | Bezpečnostní upozornění

Byly zveřejněny informace o backdooru ve webovém rozhraní pro administraci linuxových systému Webmin. V dubnu 2018 vývojářům Webminu někdo naboural build server a backdoor vložil do zdrojových kódů. V červenci 2018 se útok opakoval. Minulý týden byli vývojáři informováni o 0-day exploitu. Vývojáři backdoor odstranili a vydali opravnou verzi Webminu 1.930.

Ladislav Hagara | Komentářů: 2
22.8. 03:33 | IT novinky

Mozilla a Google společně oznámili, že jejich prohlížeče Firefox a Chrome nedůvěřují certifikátu vydanému kazašskou vládou. Nelze tedy pomocí něj provádět vládní MITM útok.

Ladislav Hagara | Komentářů: 5
21.8. 22:44 | Komunita

Neziskové technologické konsorcium Linux Foundation představilo svou další aktivitu. Jedná se o Confidential Computing Consortium, jehož cílem je spolupráce na vývoji "důvěryhodného výpočetního prostředí". Zakládajícími členy jsou společnosti Alibaba, Arm, Baidu, Google Cloud, IBM, Intel, Microsoft, Red Hat, Swisscom a Tencent.

Ladislav Hagara | Komentářů: 0
21.8. 12:55 | Komunita

Přesně před rokem Valve představilo nový Steam Play s integrovaným forkem Wine s názvem Proton umožňující v Linuxu přímo ze Steamu hrát hry do té doby běžící pouze ve Windows. Aktuální přehled her pro Windows běžících na Linuxu díky Protonu na stránkách ProtonDB.

Ladislav Hagara | Komentářů: 0
Používáte ještě 32bitový software na PC?
 (21%)
 (16%)
 (17%)
 (42%)
 (6%)
 (29%)
Celkem 465 hlasů
 Komentářů: 36, poslední 18.8. 21:46
Rozcestník

Omezení velikosti paměti počítače, OS a procesu

25.4.2008 19:42 | Přečteno: 4136×

Kolem omezení velikosti paměti, kterou je schopen adresovat procesor a čipová sada, kolik z toho je k dispozici v operačním systému a kolik paměti může používat proces panuje značný chaos. Nejlépe to je vidět na, periodicky opakujících se, otázkách typu "mám v počítači 4 GiB paměti a systém vidí jen 3,5 GiB" a bohužel i v odpovědích na tyto otázky.

Fyzický a virtuální adresní prostor a adresy

Fyzická adresa by se dala přirovnat k poštovní adrese- určuje konkrétní buňku fyzické paměti. Za běhu systému bude táž fyzická adresa ukazovat vždy na stejnou buňku*. Fyzický adresní prostor je pak rozsahem fyzických adres, které lze použít. Je důležité vědět, že ve fyzickém adresním prostoru můžou být díry a/nebo místa vyhrazená pro mapování paměti hardware. Pokud je instalováno méně fyzické paměti než je fyzický adresní prostor pak logicky některé fyzické adresy ukazují do prázdna.

Virtuální adresní prostor si lze představit jako pestrobarevnou koláž. Na některých místech jsou díry, jinde jsou různě rozesety přilepené stránky fyzického adresního prostoru. Některé obsahují kód jiná data. Jinde jsou nalepené poznámky "Kdyby se tuto stránku někdo snažil přečíst tak na toto místo načti tento úsek tohoto souboru."{1} nebo "Kdyby se na tuto stránku někdo snažil zapsat tak najdi volnou stránku fyzické paměti a přilep ji sem"{2}. Každá stránka má navíc "semafor" určující, zda se na dané místo smí zapisovat, číst či provádět kód. Teď si představte, že virtuálních prostorů je ve stejné chvíli spoustu (zjednodušeně řečeno- kolik procesů tolik virtuálních prostorů) a že jednotlivé stránky fyzické paměti můžou být přilepeny v žádné nebo také v mnoha nebo dokonce všech virtuálních prostorech. Hodnota semaforu stejné fyzické stránky může být v různých virtuálních prostorech různá.

Odbočka stranou- jak funguje správa paměti

Když už jsem si to tak hezky zadefinoval s tou koláží, tak nemůžu odolat abych do celého obrazu nepřidal ještě lapidární popis fungování správy paměti :-) VP nového procesu vznikne jako kopie VP rodičovského procesu přičemž na všechny stránky, kde je namapována paměť se přilepí nálepka "Kdyby se sem někdo pokusil zapsat tak tuto fyzickou stránku zkopíruj, kopii přilep na toto místo a zápis proveď do této kopie."{3}. Toto je velice užitečný mechanizmus přezdívaný COW neboli Copy on Write. Umožní procesům sdílet stránky fyzické paměť až do doby, dokud se nezmění. Co proces tedy konkrétně ve svém prostoru má? Je to závislé na operačním systému ale základ je podobný. Chtě nechtě tam je jádro včetně jeho datových struktur. Dále knihovny, které program využívá (semafor povolí provádění ale ne zápis protože stejnou knihovnu může sdílet více procesů), soubory mapované do paměti, kód samotného procesu a konečně paměť, kterou si proces naalokoval. Když si proces vyžádá od operačního systému paměť, tak správce paměti najde volný rozsah VIRTUÁLNÍCH stránek a dá na ně nálepky {2}. Takové paměti se říká comitted. Při samotné alokaci tedy vůbec nedochází k využití fyzické paměti. K tomu dojde až když si proces na přidělenou paměť "šáhne". Lze tedy napsat aplikaci, která vyčerpá veškerý VIRTUÁLNÍ adresní prostor procesu i když bude spousta volné fyzické paměti k dispozici. Mnohem častěji ale vzniká opačný problém- všechny procesy dohromady využijí celou volnou zásobu FYZICKÉ paměti. Správce paměti v takové situaci vybere fyzické stránky, které nebyly dlouho použity, začne je odtrhávat z VP procesů, zapisovat na disk a lepit místo nich nálepky {1}. <joke>Počítač se zpomalí a uživatel restartuje Firefox a vše se vrátí do normálu</joke>. Izolace procesů a jádra a sdílených knihoven je realizována pomocí semaforů. Izolace procesů mezi sebou je realizována jednoduše tím, že ve virtuálním prostoru jednoho procesu nejsou namapovány fyzické stránky jiného procesu tudíž k žádné interakci nemůže dojít. Pokud aplikace šáhne na místo virtuální paměti, kde je díra nebo kde to nedovolí semafor tak program havaruje se známou hláškou Segmentation fault v Linuxu nebo s hláškou, která vzbuzuje mezi běžnými uživateli Windows neskutečné asociace (paměť na adrese XYZ nelze přečíst/zapsat, nebo něco v tomto smyslu).

Omezení fyzického adresního prostoru procesoru

Už zde je schovaný první (řádně zakořeněný) mýtus: n-bitový procesor dokáže (prý z definice tohoto pojmu) přímo adresovat 2^n bajtů paměti. To je prosím nesmysl. Neplatilo to v době 8bit procesorů (které vesměs adresovaly 2^16 bajtů) a neplatí to ani dnes. Na x86 platformě procesory adresují 2^36 bajtů a na x86_64 mají současné procesory strop 2^48 (AMD) nebo 2^40 (Intel).

Omezení fyzického adresního prostoru řadiče paměti

Řadiče paměti (Intel- součást severního můstku chipsetu, AMD- součást procesoru) většinou dále omezují fyzický adresní prostor někdy z technologických, někdy z marketingových důvodů. U Intelu to je v případě aktuálních desktopových chipsetů 8 GiB neboli 33 bity. Serverové chipsety umožní osadit až 64 GiB.

Omezení fyzického adresního prostoru operačního systému

Tady se začínají komplikace. A také jeden mýtus, který se šíří jako mor: 32bit operační systém může využít maximálně 4 GiB (nebo 3,něco GiB podle varianty mýtu) paměti. Tento mýtus má tak tuhý kořínek jelikož přesně tak se chovají desktopové varianty Windows. Je zajímavé sledovat, jak politické rozhodnutí nějaké firmy má vliv na všeobecné povědomí. V principu má 32bit OS na x86 platformě přístup díky PAE (v linuxu se často vídá pojem HIGHMEM) přístup k celé šířce fyz. adresního prostoru procesoru tedy 36  itů. Přináší to ale různá úskalí a komplikace. Například klasická 32bit PCI umí adresovat jen spodních 32 bitů a odtud plyne nutnost použití tzv. bounce bufferů - jedno dodatečné kopírování dat v paměti navíc. Všechny ovladače s tím musí samozřejmě počítat. Občas se říká, že samotné PAE přináší navíc i výkonnostní réžii, ta je ale v praxi na moderních procesorech minimální. Je třeba si uvědomit, že paměťový model x86_64 je v podstatě nástavbou PAE. Windows XP a Vista používají PAE na počítačích s NX bitem implicitně nezávisle na množství paměti. O 64bit operačních systémech nemá cenu se moc bavit- tam kde rozhoduje marketing umělá omezení jsou (Vista Home Basic - 8 GiB, Premium 16 GiB), tam kde nerozhoduje tam se omezení kryji s možnostmi řadiče paměti.

BIOS má rád ementál

Bios rezervuje určitou část fyzického adresního prostoru pro zařízení, a kvůli tomu udělá díru ve fyzické paměti. Množství ukousnuté paměti paradoxně nezávisí ani tak na připojeném hardware ale opravdu čistě na BIOSu základní desky. Pohádky o tom, že rozhoduje velikost paměti grafické karty... jsou prostě jen pohádkami. Slušný BIOS pak fyzickou paměť přemapuje výše. Pokud máte 4 GiB paměti a BIOS z ní kus sebere a přemapuje nad 4 GiB. Zde se uplatní omezení operačního systému. Běžné 32bit varianty Windows a Linux bez HIGHMEM>4 GiB paměť nad 4 GiB nejsou schopny adresovat tudíž hlásí velikost paměti 4 GiB - velikost_díry. V tom spočívá celá záhada "ztracené paměti".

Omezení virtuálního adresního prostoru procesoru

Tady není moc nad čím dumat. Na x86 je adresa veliká 32bitů a to je omezení velikosti virtuální paměti. Jaký smysl má větší fyzický prostor než virtuální? Smysl je v tom, že několik procesu se svými virtuálními adresními prostory může pokrýt celý fyzický prostor. Na x86_64 platformě je z technických důvodů v současných implementacích horní hranicí 48 bitů přestože adresy jsou 64bitové.

Omezení virtuálního adresního prostoru procesu

Řadič paměti ani BIOS nemají do virtuálního prostoru co kecat, takže jdeme rovnou k OS potažmo k procesům. Je zde schovaný poslední mýtus, o kterém dnes napíšu: já žádné aplikace, které potřebují více než 4 GiB paměti nepotřebuju takže mi stačí 32bit OS. Už dříve jsme si ukázali, že do virtuálního prostoru procesu se mapuje daleko více věcí než jen samotná data procesu. V praxi nejčastěji je situace taková, že na x86 má proces k dispozici 2 GiB - sdílené knihovny - soubory mapované do paměti - kód aplikace. A to už tak dobře nevypadá. Proč je na začátku 2 GiB a ne 4? Protože celý virtuální prostor se děli na část vyhrazenou pro jádro a číst pro proces. Implicitní poměr ve Windows je 2GiB:2GiB což má své výhody- podle nejvyššího bitu se pozná kam adresa šahá ale dá se změnit na 3GiB pro aplikaci a 1 GiB pro proces. V Linuxu jsou možnosti nastavení poměru širší (pomocí patchů jádra) dokonce je možné i 4GiB/4GiB ale stále platí, že 2GiB:2GiB je přirozeným a nejméně problémovým poměrem.

*) V případě poštovní adresy nemusí ležet podobná čísla popisná blízko sebe. Stejně tomu je i u fyzické adresy v počítači. O tom, kde (na kterém paměťovém modulu nebo dokonce čipu) konkrétně leží daná fyzická adresa rozhoduje řadič paměti (translace není mnohdy tak triviální jak by se mohlo na první pohled zdát třeba v případe použití interleavingu nebo při dual channel složenyým z modulů různé velikosti nebo při promíchání single sided a double sided modulů).

       

Hodnocení: 100 %

        špatnédobré        

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

Komentáře

Vložit další komentář

progdan avatar 25.4.2008 21:52 progdan | skóre: 34 | blog: Archař | Teplice/Brno
Rozbalit Rozbalit vše Re: Omezení velikosti paměti počítače, OS a procesu
Skvely zapisek, moc diky. Vzdycky me zajimalo jak to asi tak +- s tou pameti je, ale moje prirozena lenost mi znemoznovala si to vyhledat.
Collecting data is only the first step toward wisdom, but sharing data is the first step toward the community.
25.4.2008 23:43 Mr.Gentleman
Rozbalit Rozbalit vše Re: Omezení velikosti paměti počítače, OS a procesu
Díky za povedený článek. Už jsem myslel, že ani nebloguješ, protože pěkně dlouho se mi v RSS od tebe nic neukázalo, ale dnešek mě vyvedl z omylu. Jen tak dál.
michich avatar 26.4.2008 00:13 michich | skóre: 51 | blog: ohrivane_parky
Rozbalit Rozbalit vše Re: Omezení velikosti paměti počítače, OS a procesu
V Linuxu na i386 je přirozené rozdělení paměťového prostoru 3GB/1GB. Cokoli jiného je porušení ABI (ale to často nemusí vadit). 4GB/4GB patch dělal myslím Ingo Molnar, ale dneska už to asi nikdo neudržuje. Znamenalo to příliš velké zpomalení syscallů a hlavně už to dneska nikdo nepotřebuje, když máme x86_64.
Rezza avatar 26.4.2008 00:41 Rezza | skóre: 25 | blog: rezza | Brno
Rozbalit Rozbalit vše Re: Omezení velikosti paměti počítače, OS a procesu
A nemelo by 640 KB stacit? ;)
26.4.2008 10:55 Dizie
Rozbalit Rozbalit vše Re: Omezení velikosti paměti počítače, OS a procesu
:D n1 vtipek
27.4.2008 18:32 miho | skóre: 22 | blog: Mihovy_sochory | Orlová
Rozbalit Rozbalit vše Re: Omezení velikosti paměti počítače, OS a procesu
Na jednom fileserveru jsem viděl v praxi nasazený dokonce 1GiB/3GiB.
stativ avatar 26.4.2008 11:26 stativ | skóre: 54 | blog: SlaNé roury
Rozbalit Rozbalit vše Re: Omezení velikosti paměti počítače, OS a procesu
Tleskám, nejlepší věc na ábíčku od doby tvých zápisků porovnávajících Linux a Vistu. Pokud bys to někdy někde chtěl vydat jako článek, byl bych nadšen.
Ať sežeru elfa i s chlupama!!! ljirkovsky.wordpress.com stativ.tk
Rezza avatar 26.4.2008 12:59 Rezza | skóre: 25 | blog: rezza | Brno
Rozbalit Rozbalit vše Re: Omezení velikosti paměti počítače, OS a procesu
Ne fakt moc pekne blogove zapisky oproti nekterym vykrikum. Osobne na hodnotne blogy chodim na Root, ale tady se zase rad pobavim. A byvaji tu moc pekne cestovatelske blogy, kdyz ajtaci vyrazi do sveta za lepsim :)
26.4.2008 11:31 Ondrej 'SanTiago' Zajicek
Rozbalit Rozbalit vše Re: Omezení velikosti paměti počítače, OS a procesu
Slušný BIOS pak fyzickou paměť přemapuje výše. Pokud máte 4 GiB paměti a BIOS z ní kus sebere a přemapuje nad 4 GiB
A pokud to neudela, tak to nemusi byt nutne problem BIOSu, ale treba limitace chipsetu (radice pameti). Alespon u nekterych Intelich chipsetu se tento problem uvadi.
26.4.2008 13:23 Kvakor
Rozbalit Rozbalit vše Re: Omezení velikosti paměti počítače, OS a procesu
U AMD tohle nastesit dela radic pameti v procesoru pres IOMMU. Ta take umoznuje pridat jeste jedno mapovani pameti, a to pamet z pohledu zarizeni. Diky ni nemusi byt napr. DMA buffery spojite, i kdyz zarizeni neumi scatter/gather, navic pamet muze byt fyzicky nad hranici 4GB i pro zariceni, co zvladaji jen 32bit adresy. Je pravda, ze tohle sice umelo uz GART u AGP, ale jen pro grafiky a jen do 4GB.
26.4.2008 13:45 maertien | skóre: 29 | blog: martinek
Rozbalit Rozbalit vše Re: Omezení velikosti paměti počítače, OS a procesu
Mozna, ze by nebylo spatne tento zapisek vydat jako clanek. Je opravdu prinosny. Diky za nej.. :)
tsLnox avatar 26.4.2008 14:47 tsLnox | skóre: 31 | blog: Blog jednoho ukecaného Gentoolemana | Žďár nad Sázavou
Rozbalit Rozbalit vše Re: Omezení velikosti paměti počítače, OS a procesu
+1, díky za perfektní vysvětlení :)
27.4.2008 17:25 Pihhan | skóre: 11
Rozbalit Rozbalit vše Re: Omezení velikosti paměti počítače, OS a procesu
Děkuji za výborný článek. Sice nikde nenarážím na jakékoliv limity, protože 4G paměti si nemůžu dovolit, ani pro ně nemám využití, ale až to budu potřebovat, budu to vědět :)

Ale chci se zeptat, zda víte, čím je v linuxu omezená paměť do 1GB. Přidali jsme nové moduly do serveru (malý server, je tam přesně 1GB), ale systém je jaksi neumí obsluhovat celé a na komplet 1GB nedosáhne. Přitom při adresování po bajtech jsem na hony vzálený od limitu adresové sběrnice a i když je tam docela dost zařízení, pochybuju že by pro ně bios naalokoval přes 3GB. Nemůžu se podívat do logu, server už běží dlouho a log z bootu se odroloval pryč. Ale psalo to tam něco ve smyslu nutnosti podpory vysoké paměti. Tu jsem do svého 2.6.15.6 kernelu záměrně nedával, protože 4G ta deska snad ani neumí dát do slotů a určitě nebylo v plánu takovou hromadu paměti koupit.

Zajímalo by mě tedy, jestli víte, co je za limit na 1GB a proč se na to něco muselo zapnout, když virtuální i fyzická paměť musí stačit i bez speciálního algoritmu.
27.4.2008 18:26 miho | skóre: 22 | blog: Mihovy_sochory | Orlová
Rozbalit Rozbalit vše Re: Omezení velikosti paměti počítače, OS a procesu
Předpokládám, že jádro vidí 896 MiB. To zase souvisí se zónami paměti v Linuxu. Doporučeným řešením je... oželet těch 128MiB :) Pokud se vám to nelíbí tak zapnout nejnižší variantu HIGHMEMu. Nemám se teď možnost podívat protože mi uname -a momentálně vrací Darwin xxxs-macbook.local 9.2.2 Darwin Kernel Version 9.2.2: Tue Mar 4 21:17:34 PST 2008; root:xnu-1228.4.31~1/RELEASE_I386 i386 ;-) ale myslím že je označena v configu jako HIGHMEM 2GB.

Tohle jsem do zápisku nedával protože mi to přišlo, že tohle se řešilo tak před pěti léty... ;-)

Založit nové vláknoNahoru

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.