Jak ušetřit 100TB RAM na 130 serverech (diskuse)

[Ivan]

To nie je o ruste, ale o optimalizácii algoritmov a spôsobu prace s pamäťou.

[/]

vsechny tyhle rostouci relativne novy projekty, co neprosly jeste zadnou poradnou krizi, maji obrovskej prostor pro orezani vseho placani resourcama napravo-nalevo... neresilo se to nikde, kde nikoho netlacily cisla... takze cca skoro nikde vsude je to turbo zpraseny, sranda ze se jim to chce prodavat verejnosti jako uspech, mne je z toho treba hned jasny, co za bordel za tim je, kdyz najednou jde takhle zazracne "usetrit"

[Q]

Tu paměť doma nemáš, protože asi nemáš tolik zákazníků. Ale jinak souhlas, boomeři jsou borci a praví muži. Další generace už nestojí za nic a ani neví co je disketa nebo logaritmické pravítko.

[_]

+1 za logaritmické pravítko - to je úžasná věc díky které pradědové dotáhli do finále třeba projet manhatan a apollo

[Q]

Jj, je to přesně tak. Co dokázali vymyslet dnešní padesátníci? Akorát javu a reklamu na internetu. Ty po nich potom postupně jenom sociální sítě, krypto, tans rust a teď AI. Kam to půjde dál? Příští generace nejspíš vymyslí unisex tanga!

[_]

50+- myslíš něco jako je genX? co třeba linux, LHC, SpaceX, použitelnou AI, google, pokročilý výzkum marsu a hlubokého vesmíru, pay pal (a podobné)?

[vencour]

Co to? Já už přece o Hyde Parku Civilizace ČTv psal. Tak schválně kdo tam ještě nebyl, měl být či možná bude? I téma Věda v USA / Evropě bylo hodně povedené.

[Valgrind]

Vzdy mne rozesmeje, jak ruzni socialiste a levicaci mektaji nad selhanim trhu, jelikoz se jim z nejakeho duvodu nelibi cena nejakeho statku. To, ze se mi nelibi cena, neznamena, ze trh selhal. Znamena to, ze ta cena je z nejakeho duvodu - treba mensi nabidka, velka poptavka... Takze ne vencour, zadne melo by byt levnejsi neexistuje! Nech si sve vlhke sny o tom, co by melo byt levnejsi. Nelibi se ti cena? Nekupuj. Lehke jako facka, jak se rika

[Matlák]

Nelibi se ti cena? Nekupuj.

Možná ještě líp - prodávej, vyráběj Pokud na to máš. Protože pokud se někomu jako konzumentovi cena nelíbí, mohla by se mu možná líbit jako producentovi

[Valgrind]

Možná ještě líp - prodávej, vyráběj

Jiste, to je dalsi cast pribehu, kterou jsem z duvodu zamereni portalu zanedbal. Samozrejme by vysoka cena, vysoka poptavka a mala nabidka mely vezt k tomu, ze se nabidka navysi - stoupne produkce. Problem je, ze navysovani produkce, stavba novych linek, novych hal, atd. podleha statni legislative, ktera zde navysuje naklady a navic definuje vysokou vstupni barieru na trh.

[vencour]

Zakladem pravidel trhu je to, ze se meni a vyviji. Pokud nekdo neni optimalni, tak se najde nekdo, kdo bude lepsi. Coz tady na technickem webu se nedeje, nikdo to tak nekomentuje.
A v jine diskusi se narika na to, ze AI zdrazuje komponenty a snizuje jejich dostupnost. Tedy nejen to.
Shodou okolnosti jsme byli vcera na prohlidce v Prazdroji. V roce 1838 byla tak mizerna kvalita produktu mestanu, kteri meli pravo varit, ze vse se vylilo, od vsech 200 subjektu. Tak misto nejake evoluce se spojili (zrejme udelali revoluci), chteli kvalitu a postavili spolecny pivovar. A vznikl Prazdroj, v principu zazrak.
A proto vidim nejakou zbytecnou spotrebu 100TB pameti jako memento. A bavim se nejen u psani, ale i cteni.
Aha, ze by klesala schopnost nebo ochota prumerneho navstevnika AbcL k mysleni?
(Vidim expirovany ssl certifikat, docela ... Nic moc... ssllabs.com/AbcL)

[Valgrind]

Zakladem pravidel trhu je to, ze se meni a vyviji. Pokud nekdo neni optimalni, tak se najde nekdo, kdo bude lepsi.

Jiste. Jak jsem napsal vyse, stat svou legislativou bohuzel omezuje konkurenci a navysovani vyroby.

Coz tady na technickem webu se nedeje, nikdo to tak nekomentuje.

??? Vzdyt to zde tak komentuje pomerne konzistentne celou dobu.

Aha, ze by klesala schopnost nebo ochota prumerneho navstevnika AbcL k mysleni?

Mozna to chce mene navstev prazdroje a bude lepe vencour

Proste drzkujes na vysokou cenu, obvinujes z toho ai, a nedochazi ti, ze za to muze zejmena stat(y) a jeho regulace.

[vencour]

Ty spíš mlžíš celou dobu. Nic konkrétního.

[tom11111]

Na zdrojáku to trochu rozepsali: https://zdrojak.cz/clanky/jak-cloudflare-usetril-100-terabajtu-pameti-optimalizaci-dns-cache-pro-1-1-1-1/

[vencour]

Dík za odkaz. To je zřejmě jen první část, k prvnímu textu o CLoudflare.

[plostenka]

Jeste ze to napsali a zpropagovali v Rustu, ten algoritmus by totiz v zadnem jinem jazyce nefungoval.

[vencour]

Může být dnešek bez flejmu?

[Valgrind]

Pouzivas vim nebo emacs?

[❗Červivý Hřib krade❗]

někdo by měl konečně v emacs přepsat vim do rustu :D ;D

[Wokena]

Tak vicko v rustu samozrejme mame. Ale nikdo to nbude psat v emacsu. To je takove pravidlo ze pouzivas IDE napsane v stejnem jazyce jako kodis - v nasem pripade Zed.

[RR]

Tak nepiš blbosti? Když tomu vůbec nerozumíš.

[vencour]

Proč nerozumim, čemu nerozumim?
Ty dva citované odkazy to uvádějí, co se stalo.
Mně vadí, že proti zdražování a nižší dostupnosti vlivem AI se prská.
Na přístup "nějak to pojede, dáme tam víc paměti" a optimalizace nebo scénáře prd.
Pořád je ještě hardware levnější než programátor? Nebo už ne?

[Radovan]

Jsou lepší mezery nebo tabulátory?

[Valgrind]

Rust je pro buzny. Slusni lide pisou v C/C++. A take nepouzivaji ide, pouzivaji VIM!

[pavele]

Rust je pro buzny. Slusni lide pisou v C/C++. A take nepouzivaji ide, pouzivaji VIM!

chatgpt:

Podle Stack Overflow Developer Survey 2025 používá Vim přibližně 24,3 % dotázaných programátorů.

Samostatně Neovim používá asi 14 %. Pokud se počítají Vim i Neovim dohromady, vychází to přibližně na 38,3 %, ale někteří lidé mohou používat oba editory.

Kruci, to abych se raději k IT a programátorům raději neotáčel zády...

[Valgrind]

[❗Červivý Hřib krade❗]

koukám že si to napsal jako zpravičku a visí to tam furt nezveřejněný, mě tam ze zahadnyho duvodu taky furt visej dvě zpravičky zatimco jiný už davno prošly zkrs, vo tom šokujicím vodhalení co udělal cloude vokolo virů a vo tom spisovateloj co vlastně žádnej spisovatel nakonec nebyl :O :O snad to neni ňák ucpaný tady :O :O

[vencour]

Tohle mi přišlo tak výrazné, že jsem právě po "tichu kolem zpráviček" o tom aspoň napsal, tady ani na rootu nic nebylo.
Každý se může přičinit za lepší stav světa.
Mimochodem k následujícímu jsem se dobral v pokecu s ai (snad jsem to sem ještě nedával) ...

Největší chyba je představit si „lepší svět“ jako něco, co vzniká hlavně velkými gesty. Ve skutečnosti se dost často skládá z toho, že lidé omezují množství zbytečné škody ve svém dosahu a zároveň zvyšují množství poctivosti, kompetence a důvěry.

• Buďte spolehliví tam, kde ostatní spoléhají na vás. Dodržet slovo, přiznat chybu, opravit ji, neházet odpovědnost jinam. To zní banálně, ale společnost stojí přesně na tomhle.
• Nenechávejte bez reakce malé nespravedlnosti, pokud je můžete rozumně ovlivnit. Ne každou bitvu je třeba vyhrát, ale někdy stačí něco pojmenovat, položit nepříjemnou otázku nebo vytvořit záznam, aby se z problému nestal „normální stav“.
• Sdílejte znalosti. Když něco umíte, vysvětlete to člověku, který to neumí. Technické know-how, bezpečnost, práce se systémy, kritické myšlení — to všechno má kumulativní efekt.
• Podporujte instituce, které fungují, a tlačte na ty, které nefungují. Ne cynismem, ale důsledností. Lepší svět nevzniká tím, že lidé přestanou institucím věřit; vzniká tím, že po nich chtějí, aby byly lepší.
• Nenechte se snadno manipulovat k nenávisti. Kritika je potřebná, ale je dobré odlišovat jednotlivce, systém, chybu, zlý úmysl a prostou neschopnost.
• Pomáhejte konkrétně. Jednomu člověku s prací, dítěti s učením, sousedovi s technikou, začátečníkovi s Linuxem. Dopad je menší na pohled, ale velmi skutečný.
• Pečujte o pravdu i tehdy, když se vám nehodí. Tohle je možná jedna z nejtěžších věcí. Přiznat „tady jsem se mýlil“ je společensky cennější než vyhrát hádku.
• Dělejte věci, které zůstanou po vás použitelné. Dokumentace, návod, článek, kód, překlad, opravený proces, naučený člověk. To je způsob, jak mít dopad i mimo okamžik.
• Chraňte slabší bez toho, abyste z nich dělali bezmocné. Pomoc má ideálně zvyšovat schopnost člověka stát na vlastních nohách.
• Nezanedbávejte radost. Lepší svět není jen svět s méně křivdami. Je to také svět s hudbou, humorem, zvědavostí, přátelstvím, dobrými knihami a lidmi, kteří něco tvoří.

Kdybych to měl zkrátit do jedné zásady: snažte se, aby po kontaktu s vámi byly věci o trochu pravdivější, srozumitelnější, spravedlivější nebo jednodušší než předtím.

[kutr]

Proč ti přijde korporátní blog tak výrazný, že si to zaslouží zprávičku, i když to není ani o OSS ani o linuxu? Tohle není o technické výzvě, ale o tom vrazit peníze do optimalizace, když už provoz systému přesáhne míru, která vedení vadí. Není to nic extra složitého, prostě poctivá inženýrská rutina (i když v AI době může být překvapivé, že někdo ví co dělá a jen se nediví co AI vyplodí). Tohle zažívá snad každý programátor skoro denně. Chtěl by implementovat super vylepšení, jen na to není čas, protože priority jsou jinde.

[vencour]

Já v tom vidim to, že a) kovářova kobyla chodí bosa, b) ani ajťáci si nedovolí něco kritizovat, c) vlastně je to podobné jednomu citátu - "kdysi římské matky říkaly svým dětem vrať se se svým štítem nebo na něm, později tento zvyk upadl, Řím taky". Takže tohle je i o pokoře a ne o tom, že "tohle přece všichni ví a proto se s tim nic nedělá".
A připomínám, že těch 100TB se "našlo" dvakrát ...

[Radovan]

To byly spartské matky!

[vencour]

Ok, já to našel na internetu a mam to tak i u sebe zaznamenané ...

Kdysi říkaly římské matky chlapcům "vrať se se štítem bo na něm." Později tento zvyk upadl. Řím taky.

[Radovan]

To je stejné jako ten starý vtip, že LSD i BSD pocházejí z Berkeley. Hezky to zní, ale neplatí.

Jenže protože Řím okopíroval a ukradl co kde mohl, nemohu vyloučit že některé římské matky to říkaly také...

[kutr]

Nebo třeba prostě preferovali rychlost vývoje před optimalizací. Je to klasický dilema, jestli zlepšovat kvalitu vs. expandovat produkt. K čemu ti je dokonalý výsledek, když tě mezitím převálcuje míň kvalitní konkurence? Naopak se v době AI divím, že korporátní manažeři souhlasí s optimalizací kódu a nenechají místo toho prasit agenty s ještě o řád horším výsledkem než co měli do teď.

Kromě toho 100TB není vůbec moc. valí přes ně velká část internetu. Já dělám na mnohem menší službě, ale v tom systému budeme mít určitě pár TB paměti vyplýtvaných. Ta cena je celkem nízká, tak zatím není důvod dedikovat čas na zlepšení.

A pokud tě sere ten rust, tak tam už vůbec nechápu co bys vybral (teoreticky by možná šlo go, zbytek se na to moc nehodí nebo je to prehistorická sračka).

[vencour]

Drby tvrdí, že státní školství v Prusku přišlo proto, aby se lidi zařadili.
Pořád vidim, že jsou sorty lidí, kteří se pohybují v šablonách. Vlastně jako by nechtěli myslet. Nechtěli něco poznat a vědět.

[Radovan]

Mysleni na individualni urovni je zbytecne az skodlive. Mne uplne staci se ridit myslenkami meho operacniho dustojnika.

[kutr]

To jako myslíš, že za tím jsou rusáci? Asi jo, ale fakt by mě to samotného nenapadlo.

[vencour]

Já psal v Prusku. A pak to následně převzala Marie Terezie.
Netvrdim, že to tak jednoznačně bylo, ale že to tim zavání, vzhledem k tomu, co kolem sebe vidim.