Dotaz: Stavba 100TB NAS

[Tomtom]

Ahoj. Potrebuju postavit fileserver/NAS s kapacitou 100TB (vychazi to na 8x18TB v RAID6/RAIDZ2), rychlost alespon 10Gbit a spolehlivy backup casti dat do cloudu (S3 nebo neco takoveho, ZFS send/receive na pronajatem serveru nekde v OVH treba). Potrebuju snapshoty. sifrovani, wireguard/tailscale. Pokud by to umelo kontejnery nebo jeste lepe vistualizaci abych tam mohl provozovat pi hole atd. tak by to byl bonus.

Zvazuju tyto moznosti:

1) synology s 8 supliky (-draha 10Gbit karta -flexibilita +spotreba +snadne nastaveni ?zvladne ten low power procik v S1821+ zasaturovat 10Gbit s kryptovaneho poolu?)

2) postavit PC (-malo desek s 8 SATA porty = pridavny radic, -spotreba, +mozno pouzit levny 10Gbit z ebay)

   a) TrueNAS (-flexibilita +snadne nastaveni)

   b) proxmox a uvnitr TrueNas (+flexibilita ?vykon sitoveho subsystemu ?vykon pri passthrough disku ?passthrough radice integrovaneho na desce AFAIK obvykle nefunguje)

   c) nejake linuxi distro (+flexibilita -rucni drbacka s konfiguraci -rucni drbacka s konfiguraci -rucni drbacka s konfiguraci)

Mate nejake rady, zkusenosti abych se vyhnul slepym ulickam?

Odpovědi

[X]

Mam radu. Prober se do reality. Cele je to uplna zhovadilost.

[Tomtom]

Coze?

[Tomtom]

Jeste doplnim jeden minus k synology, na ktery jsem zapomnel:

Pouziva btrfs nad md RAID5/6, a mi pripadne jako desna zhovadilost - ztraci se spousta vyhod. Uz jsem zazil nekolikadenni opravu RAID6 na kterem bylo zapsan sotva par GB. ZFS by to mel za par minut protoze vi, kde ma zapsana data a co resilverovat nemusi.

[J]

Mel jsem x let zpatky Freenas s 300TB storage, provozoval jsem na tom i par virtualu. To co chces to splnovalo se stouranim se v nose (delalo to naprostou vetsinu casu uplny hovno).

[Radek]

Si myslíš, že z 8x18TB disků v raid6/raidz2 dostaneš 10gbit?

[QWERTZ]

Já bych řekl, že s prstem v ******...

Jeden 18TB rotační disk, dává od 150 do 300MB/s sekvenčního čtení. V RAIDu to bude o něco víc. Tedy, 10Gbit/s linka už se vyplatí jen z podstaty toho, že to jde nad 1Gbit/s a 2,5Gbit/5Gbit/s modely síťovek/switchů jsou stále spíše raritou.

[Radek]

Ano, teoreticky to dá 10gbit, ale praxe je jinde. RAID6 odhadem tak 500MB/s a zraid2 ještě méně (skrz komprese a šifrování). Do toho máš omezení toho procesoru, SATA řadiče,... A to nemluvím o tom, že člověk může koupit SMR disky apod, což po čase mnohem více degraduje zápisy.

Prostě jestli chce dát 10gbit, tak to bude pekelně drahé. Když mu stačí, že využije jednotky gbitu, tak v tom případě ok.

[Radek]

respektive v ZFS se dá udělat slog a l2arc například z NVME, ale je potřeba koupit výkonné kusy, které vydrží a hodit to do raidz.

[PetebLazar]

Osobně si myslím (bez jakéhokoli důkazu), že to horší škálování sekvenčních operací nad RAID5/6(HDD), jde na vrub asynchronnímu otáčení(pootočení) memberů (čekání na posledního?), pokud I/O komunikace probíhá ideálně a na vzájemné pozici nezáleží (např. při paralelním běhu hdparm -t) je souhrnný sekvenční bandwidth prakticky ideálním součtem dílčích rychlostí HDD. Při opakovaných identických testech na RAID5/6 se dá docílit značně odlišných výsledků (v x0% .. momentálně odlišná vzájemná pozice memberů?).

Nad RAID6(SSD) snad tento problém nenastává, možná je to tím že "hlavy memberů jsou u nich vždy na místě".

Dnešní HDD bývají vybaveny Flash cache, nakolik se z její životnosti může odvíjet TBW životnost HDD netuším. V non-flash dobách nebylo snad zvykem udávat u HDD max. objem zápisů za rok.

[Tomtom]

Zacinam prichazet na prvni mouchy toho reseni, takove ty "drobnosti", ktere clovek zjisti az kdyz to zacne realne pouzivat. Treba takova vec, ze sikrovany share muze mit nazvy souboru max 143 znaku (limitace ecryptfs) a find . -maxdepth 15 | grep -P '\/[^\/]{143,}[^\/]' mi vratil pet tisic vysledku. Nastesti jsou soubory takoveho charakteru, ze zkraceni nebude vadit a ChatGPT vypotil tohle:

#!/bin/bash

# Funkce pro rekurzivní procházení adresářů
process_directory() {
    local dir="$1"

    # Projdeme všechny soubory a adresáře v daném adresáři
    for file in "$dir"/*; do
        if [ -f "$file" ]; then
            # Zkontrolujeme délku názvu souboru
            if [ ${#file} -gt 140 ]; then
                # Extrahujeme příponu souboru
                extension="${file##*.}"

                # Zkrátíme název souboru na 100 znaků a zachováme příponu
                new_name="${file:0:100}.$extension"

                # Pokud soubor s novým jménem již existuje, připojíme k názvu číslo
                counter=1
                while [ -e "$new_name" ]; do
                    new_name="${file:0:100}_$counter.$extension"
                    counter=$((counter + 1))
                done

                # Přejmenujeme soubor
                mv "$file" "$new_name"

                echo "Soubor $file byl přejmenován na $new_name"
            fi
        elif [ -d "$file" ]; then
            # Rekurzivně zpracujeme podadresář
            process_directory "$file"
        fi
    done
}

# Spustíme zpracování aktuálního adresáře
process_directory "."

Ale stejne... opruz i do budoucna si budou muset lidi hlidat, aby neukladali docy s polovinou textu v nazvu

[Buldr]

Proč to prostě nepostavíš? Mně osobně nesmí Synology přes práh, poslední RS816 odešly 2. měsíce po záruce.

Skříň s hot-swap pozicemi pro disky, redundantní zdroje budeš platit tak jako tak a výběr je na tobě, jestli zvolit platformu Delta, nebo Seasonic. Když se k tomu přihodí deska Supermicro s Epyc (M11SDV-4CT-LN4F), ECC paměti, diskový řadič a chlazení, máš na roky dopředu vystaráno.

Celé to mám postavené na FreeBSD. Správu Microsoft Server (ADDS, Exchange, Sharepoint, …) si platím správce (šikovnou, ochotnou a časově flexibilní firmu).

Levným komponentům se vyhni obloukem, ale ani ve vyšší cenové kategorii nemáš jistotu, že ti neprodají šmejd s poddimenzovaným odpadem narvaným uvnitř. Ono je někdy lepší to neotvírat, neproměřovat a raději nestrkat pod RTG, protože v mnoha případech je to fakt síla a když musím dávat do řídících rozvaděčů záložní online zdroje Schneider (APC), tak ho rovnou rozebírám a měním kondenzátory, měniče, baterii a chlazení. Kdybych to neudělal, za 3-5 let s tím budu mít jen a jen problémy. Což je mimochodem i případ RS816, tak mizerné pájení a oddělení primáru jsem dlouho neviděl.

[Tomtom]

Jake hotswap ramecky, jake redundantni zdroje? To je small bussiness reseni a ne "mission critical kdyz to chcipne tak exploduje jaderny reaktor" vec

Ta deska vypada dobre akorat ma jen jeden PCIe slot takze budto nebudu mit kam dat radic nebo sitovku

Me tady funguje 5bay synology uz 12 let v kuse a dalsi 9 let. Budto se vyrazne zhorsili, coz je mozne, nebo smula/stesti.

[Buldr]

Také jsme malá firma, nebo řekněme spíše malá rodina a je nás dohromady i se mnou 26. Začínal jsem v garáži a postupně jsme se rozrostli na 26 členů a pro šikovného se práce najde vždy, i když rozrůstat se nechci, rozhodně ne za každou cenu. Ty lidé jsou z okolí a jsme spokojeni s tím, co máme. Tedy žádný Temelín, ale prostá firma, která jde svou dinosauří cestou „říká mi to pane a vše máme pod svou kontrolou a střechou“.

Konkrétní model desky byl samozřejmě příklad, co si vybere je věcí každého. Smyslem bylo upozornit, že taková ta navoněná předražená firemní … je často jen předražená bída. Pro někoho, kdo se zabývá elektrikou a elektronikou (z velké části i projektuji) a s vybavením, jde jen těžko pochopit, jak si může někdo říci o takové peníze, když prodává podřadný krám. To bych si u svého zákazníka nikdy nedovolil, ale tak já nemám jinou reklamu, než reference vlastní práce.

Možná mám prostě smůlu a ty štěstí, nebo do toho jednou začas neproměřuješ :)

[trekker.dk]

rozebírám a měním kondenzátory, měniče, baterii a chlazení

Ono tam ještě kromě té bedny s nápisem APC je něco dalšího?

[Buldr]

APC … tam je toho spoustu, třeba kuličky a pozůstatky opravy špatně provedeného pájení. Nejčastěji mi známí tahají k opravě řadu Smart UPS, jen letos už jich bylo 12 kousků a vždy je to stejné. Jedním z hlavních "dodavatelů" je firma, která mi spravuje IT a protože jsou schopní přijet i 1. ledna ve 2 ráno, tak jim to oplácím tím, že jim sem tam něco opravím. Známe se 18 let.

Přepájím 4 kondenzátory, poopravím pájení/vyměním měnič a je jako nová. Pro sebe i zákazníky pořizuji USV, nebo přímo průmyslové. Nervy mám jen jedny a stojí to zbytečné peníze a čas elektrikáře, který to v nabitém plánu musí jet vyřešit. Jsou zákazníci (říká se jim v hantýrce hogo fogo pražáci), kteří nakoupí ten nejlevnější šmejd a pak se strašně diví (polovina pražských novostaveb). Ať už jde o levné zásuvky, nebo frnkání nosem o 10% dražším led světlem s velkým chladičem. Od takových ruce pryč a práce mám na 3 roky dopředu.

[Radek]

na 3 roky dopředu? kdo je ochoten čekat 3 roky?

[Buldr]

V našem průmyslovém a stavebním světě se plánuje dopředu a slouží ještě déle, proto obrovská setrvačnost a předem známé plány. Věčnost potom zabere získat patřičná povolení (razítka).

Dnes začali kopat, a tak se řeší hlavní přípojnice, podzemní trasy … a na takové požární senzory a světelné okruhy přijde řada tak za 30 měsíců. Reálně mi to bude minimálně další 3 měsíce překážet, než to budou na stavbě chtít. A mezitím probíhají jiné realizace, zakázky a průšvihy, jako sloupy postavené v místě, kde má podle 100+1 upřesněného plánu stát 14 skříní (1200 x 800 x 2000 mm), navzájem propojených pásovinou.

Zkus trošku používat hlavu, než vypustíš rádoby vtipnou odpověď.

[Radek]

Jo takhle jsi to myslel. Já to pochopil naopak, že na té hokně začneš makat za 3 roky, ne že děláš zakázku 3 roky

[dustin]

Na 8x disk bych doporučil SAS3xxx kartu z ebaye v PCI-e x8 verze 3. Jsou na to kabely miniSAS -> 4xSATA, nebo použít rovnou backplane 8x hotplug se dvěma miniSAS konektory.

Ale nemyslím si, že 8x HDD SATA ZFS raidzz dá stabilně 10Gbps v nesekvenčním čtení. ZFS send při poli nezatíženém zápisem asi jo, ale jakmile se to zatíží, nebo se bude přenášet nesekvenční čtení, rychlost u HDD padá drasticky.

[cbrpnk]

Práve na to slúžia NVME SSD ako SLOG a L2ARC cache. Videl som pole s 4 x NVME 1TB (2 x 1TB RAID1 SLOG a 2 x 1TB L2ARC) nad cca 40TB RAIDZ poľom a rýchlosť zápisu a čítania saturovala na 80 - 90 percent 10Gbps pripojenie (TrueNAS).

[Michal]

To ti tak trochu neverim Protoze SLOG nefunguje tak, jak si myslis. Neni to (bohuzel?) zadny velky mech, do ktereho by sly zapisy, ktere by se pak propisovaly na disky v poolu nekdy az je k tomu prilezitost. Pojme jen velmi malo dat (ne vic nez 16GB, obvykle jeste mnohem mene, a proto se pouzivaji vetsinou male ale odolne SLC SSD nebo jeste lepe optane). A take se nepouziva pro asynchronni zapisy. Proto sena fileserveru malokdy uplatni. Pouziva se pokud nad tim jsou nejake databaze nebo disky virtualnich serveru ktere generuji mnoho synchronnich zapisu. Pripominam, ze ZFS je COW a tak zapisy v podstate nejsou nikdy "random access".

Pro L2ARC se zase obvykle nepouzivaji 2 disky pac neni duvod pro redundanci.

[Tomtom]

Tak nakonec jsem zhodnotil vsechna pro a proti a zvolil srabackou variantu a koupil jsem Synology DS1821+. Protoze kdyz se posere neco v Synology, tak za to bude moct Synology. Kdyby se neco posralo v mem NASu, tak bych za to mohl ja Rozsiril jsem tomu akorat ram na 64GB a mozna tam pridam NVME read-write cache.

Uz to fici:

md2 : active raid6 sata8p5[7] sata7p5[6] sata6p5[5] sata5p5[4] sata4p5[3] sata3p5[2] sata2p5[1] sata1p5[0]
      105405591168 blocks super 1.2 level 6, 64k chunk, algorithm 2 [8/8] [UUUUUUUU]
      [>....................]  resync =  4.9% (865164112/17567598528) finish=2165.3min speed=128559K/sec

Vytvoreni takoveho RAIDZ2 by trvalo ~4 vteriny a tady toto 40 hodin. Jest tudiz vedecky dokazano, ze ZFS je 36000x rychlejsi nez BTRFS nad md RAID6

Az dorazi z ebaye dvouportovy mellanox3, tak dam vedet jak to vypada s tou rychlosti ale podle toho co pisou lide na redditu, tak to bude na nesifrovanych castech naprosto bez problemu.

[dustin]

MDRaid pole s pár obrovskými disky mi opravdu nepřijde jako správně vybrané řešení. Narozdíl od ZFS, třeba i v linuxu...

[Tomtom]

Zacinam prichazet na prvni mouchy toho reseni, takove ty "drobnosti", ktere clovek zjisti az kdyz to zacne realne pouzivat. Treba takova vec, ze sikrovany share muze mit nazvy souboru max 143 znaku (limitace ecryptfs) a find . -maxdepth 15 | grep -P '\/[^\/]{143,}[^\/]' mi vratil pet tisic vysledku. Nastesti jsou soubory takoveho charakteru, ze zkraceni nebude vadit a ChatGPT vypotil tohle:

#!/bin/bash

# Funkce pro rekurzivní procházení adresářů
process_directory() {
    local dir="$1"

    # Projdeme všechny soubory a adresáře v daném adresáři
    for file in "$dir"/*; do
        if [ -f "$file" ]; then
            # Zkontrolujeme délku názvu souboru
            if [ ${#file} -gt 140 ]; then
                # Extrahujeme příponu souboru
                extension="${file##*.}"

                # Zkrátíme název souboru na 100 znaků a zachováme příponu
                new_name="${file:0:100}.$extension"

                # Pokud soubor s novým jménem již existuje, připojíme k názvu číslo
                counter=1
                while [ -e "$new_name" ]; do
                    new_name="${file:0:100}_$counter.$extension"
                    counter=$((counter + 1))
                done

                # Přejmenujeme soubor
                mv "$file" "$new_name"

                echo "Soubor $file byl přejmenován na $new_name"
            fi
        elif [ -d "$file" ]; then
            # Rekurzivně zpracujeme podadresář
            process_directory "$file"
        fi
    done
}

# Spustíme zpracování aktuálního adresáře
process_directory "."

Ale stejne... opruz i do budoucna si budou muset lidi hlidat, aby neukladali docy s polovinou textu v nazvu

[AraxoN]

Asi tak... debatu sledujem, ale nezúčastňoval som sa, pretože mi OP pripadal na celkom dobrej ceste (ZFS).

Mám skúsenosť s rádovo menším MD RAID5 a hlavným problémom bola rozšíriteľnosť (resp. jej úplná absencia). Príde chvíľa, keď OP bude potrebovať do svojho 100 TB poľa uložiť 101 TB a v tej chvíli ho čaká nákup celého nového poľa a niekoľko dní trvajúca migrácia.

My sme nakoniec z MD RAID prešli na Ceph, ale ten vyžaduje viac nodov (serverov). ZFS by pre OPa asi fungoval okej.

[dustin]

Další problém je zálohování tak velkého pole bez zfs send.

[Tomtom]

btrfs to umi take. Synology k tomu dokonce ma klikaci nastroj.

[dustin]

Jistě, diskuse byla o mdraid. ZFS vs. btrfs je jiné téma. Já osobně bych do tak velkého btrfs nešel, navíc bych asi koukal po raid6, ale to už je věc každého, co mu vyhovuje.

[dustin]

Jo, tam šlo o btrfs nad mdraid. Hm, držím palce.

[cbrpnk]

Ja by som to riesil takto: https://ibb.co/2Y4yRWj

[Tomtom]

Zacina se mi to libit hele. S tim Synology neni normalni prace, ale je to takova dobrodruzna hra jak ten system prelstit/oblbnout aby udelal to, co clovek potrebuje.

Tak treba sdilene slozky musi byt v rootu volume. Jinak se to naklikat neda. Tim padem se jich neda dat vic do jednoho adresare a ten pak nasdilet (aby se ve windows dal namapovat jako jedno pismeno). To se da obejit pres on-boot skript, ktery udela mount -bind nekolika datovych sharu do podadresare nejakeho jineho sharu a ten se pak ve windows namapuje. Jenze to ma zadrhel. Kdyz se pres tento share nahraje soubor do bindnuteho sharu/slozky, ktera se ma nastavene synchronizovani s cloudem (treba onedrive), tak si toho ta potvora nevsimne a okazale ho ignoruje. Takze prijde na radu cronem spousteny skriptik, ktery takovy soubor najde a udela na nem touch soubor.

No proste desna bzunda.

[Max]

Tvl., tohle nikdy nepochopím. Proč mají lidi milion sdílených složek a milion mapování? Proč řeší nějaké submapování apod.? Co je sakra tak těžkého na tom vytvořit jedno sdílení a v něm adresáře a přístupy řešit na úrovni oprávnění skupin. Nechápu...
Zdar Max

[Tomtom]

Protoze synology takový modus operandi nepodporuje. Prava se resi na urovni sharu, frekvence a retence snapshotu se resi na urovni sharu a milion dslsich veci se resi na urovni sharu.

[Max]

To je prosím pěkná hloupost. Mám to tak na Synology nastaveno, žádný problém. Práva se tam nastavují podobně jako ve Windows, tj. na úrovni sdílení a pak na úrovní práv fs. Není v tom žádný rozdíl. Taktéž tam jde nastavit ABE (Access based enumeration), tj. uživatel nevidí složky, ke kterým nemá práva.
Zdar Max

[Tomtom]

Tak prava by se tak dala obejit ale ty snapshoty ne. Gui synology neumi norene subvolumy tvorit. Kdyz je udelam v konzoli, tak s nimi pak neuni dalsi gui nastroje pracovat, treba snapshot replicator. A kdybych chtel vse tukat v konzoli, tak si nekoupim synology

[Max]

Ano, reagoval jsem jen na ty práva u sdílených složek pro uživatele. Tam bych i předpokládal, že politika snapshotů bude shodná, případně není překážkou ji mít shodnou.
Zdar Max

[divbyzero]

https://www.45drives.com/products/network-attached-storage/ a https://www.youtube.com/@45Drives/playlists

[Max]

Já si to postavil takto: ZFS : Stavba a zkušenosti se ZFS storage (2).
Jsem spokojen. Storage je výkonný, super škálovatelný do aleluja, online komprese, šifrování atd.
Nevím, 8x velký disk nad RAID6, to mi přijde jako něco, co je potencionální problém (dlouhý resync pole, dost pomalé pole i bez běžícího resyncu apod.).
Zdar Max

[Tomtom]

Tak uz to mam zmerene: DS 1821+, 8x 18TB Exos, btrfs nad RAID6. Bez NVME cache. Mereno pomoci 80 GB souboru. Mereno proti windows s nvme.

SMB:
Zapis na sifrovany volume: 310 MB/s
Cteni z sifrovaneho volume: 705 MB/s

Zapis na nesifrovany: 960 MB/s
Cteni z nesifrovaneho: 1150 MB/s

iSCSI, thin provisioned LUN naformatovany na NTFS:
zapis: 1015 MB/s
cteni: 1180 MB/s

[PetebLazar]

Pokud je kazdy z HDD vybaven 16GB flash bufferem, 80GB testfile jej krasne otestoval (6x14=84).

Sustain sekvencni operace pri 8 memberech by chtelo testovat na radove vetsim souboru. Kazdopadne hezky vysledek.

[Tomtom]

Exosy nemaji zadnou flash cache...

[PetebLazar]

Z jakého důvodu si myslíte, že jsou tyto HDD limitovány(doporučovány) objemy zápisů ročně (550TB/y)?

Exos X18 Get more storage with market-leading, high-capacity 18TB drives, a 550TB/yr workload rating, and 2.5M-hr MTBF to meet the most demanding requirements.

[PetebLazar]

Nejlevnější 2,5" 512GB TLC SSD stojí okolo 600Kč včetně DPH a marží, takže se dá odhadnout že samotné flash paměti budou stát ne více než 10US$ (ve velkých objemech spíše polovinu). Pokud budeme flash paměť dané velikosti provozovat v pSLC režimu, poskytne nám kapacitu 170GB (místo tří/TLC pouze jeden bit/pSLC na buňku). Jak jsme viděli ve vedlejším vlákně výrobci (SD Kingston Industrial) si troufají v pSLC modu na 30000 přepisů. To by nám při 170GB flash poskytlo cca 5100 TB (2x vice nez odpovida peti letum provozu pri 550TB/yr). Takže finančně tam flash+řadič klidně může být schován. Shodných 550TB/year nakonec zmiňuje u svých HDD i WDC, že by tyto HDD dvou subjektů měly něco společného?

[Tomtom]

To by se tim snad pochlubili v datasheetu ne? Navic jsem tam ted sypal 400GB VMDK soubor a rychlost byla porad konstantni.

[PetebLazar]

Kdyby to melo tu mou prikladovou velikost, tam by se tam pres 6 uzitecnych memberu v RAID6 veslo i tech 400GB. Osobně si myslím, že ta popsaná rychlost opravdu byla reálná. Akorát by mne zajímalo co vede k výrobce k tomu TB/yr parametru. U 18TB HDD je to vlastně pouhých 30 přepisů/rok, což vynásobeno 5 lety zaruky dava hodnotu za kterou by se asi styděly i nepovedená QLC SSD.

[PetebLazar]

Například v této zprávičce z roku 2021 se hovoří o přidané OptiNAND. https://www.notebookcheck.net/HDDs-still-going-strong-Western-Digital-announces-20-TB-drives-with-OptiNAND-flash-memory.558014.0.html

[PetebLazar]

U toho 10000rpm se to do datasheetu dostalo. Ma 16GB eMLC. Patrne se ukladaji jen vybrane zapisy (vsechny by takto malou flash odrovnaly). exos10e2400

[X]

Osobne, co to jako ma vlastne byt? K cemu to cele je? Nedokazu si predstavit jedinou smysluplnou situaci.

[Tomtom]

Mas proste extremne spatnou predstavivost. Nic si z toho ale nedelej - nemuzeme mit vsichni vsechno

[X]

Duvod proc to nemuzes napsat? Je to nejaka blbost co? Takze jse se nakonec nespletl..

[Tomtom]

Clovek, ktery napise, ze nevi, kcemu je ve firme fileserver je bud troll nebo bolb nebo oboji. Ani s jednim z toho se nemam chut vybavovat.

[cbrpnk]

+1

[dustin]

Zkusil jsi kombinované současné čtení/zápis více malých souborů, tedy zátěž bližší avizovanému firemnímu fileserveru? Ta čísla mohou být výrazně jiná, ale také to může pro požadovanou zátěž stačit.

[X]

Kde si psal, ze je to firma? Aha, vlastne nikde a to jsem se normalne zeptal na co to je.. stacilo jen odpovedet, bez tech kecu. Jako firemni fileserver bych si to fakt nepredstavil a neznam nikoho kdo to tak ma.