abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
včera 18:55 | Zajímavý projekt

Společnosti Google, Microsoft, Twitter a Facebook společně představily open source platformu Data Transfer Project (DTP). Cílem platformy je zjednodušit uživatelům přechod a přenos dat mezi jednotlivými online službami. Podrobnosti v pdf a na GitHubu.

Ladislav Hagara | Komentářů: 1
včera 18:33 | Nová verze

Canonical a Microsoft společně oznámili, že PowerShell Core je nově dostupný také jako snap balíček na Snapcraftu. Microsoft uvolnil zdrojové kódy PowerShellu (Wikipedie, GitHub) v srpnu 2016 pod open source licencí MIT a naportoval je na Linux.

Ladislav Hagara | Komentářů: 1
včera 13:11 | Zajímavý projekt

Novinkou v minor aktualizaci webového prohlížeče Vivaldi je podpora vyhledávače Qwant (Wikipedie). Vývojáři Vivaldi zdůrazňují, že se jedná o evropský vyhledávač respektující soukromí uživatelů.

Ladislav Hagara | Komentářů: 6
včera 01:33 | Nová verze

Po šesti letech od vydání verze 1.0 byla vydána verze 2.0 multiplatformního editoru tagů MusicBrainz Picard (Wikipedie). Přehled novinek, vylepšení a oprav v changelogu.

Ladislav Hagara | Komentářů: 0
19.7. 16:22 | Nová verze Ladislav Hagara | Komentářů: 12
19.7. 15:00 | Komunita

Dnes končí podpora Ubuntu 17.10 Artful Aardvark. Uživatelům je doporučen přechod na Ubuntu 18.04 Bionic Beaver s prodlouženou podporou do roku 2023. Podpora standardních verzí Ubuntu je 9 měsíců. Verze 17.10 byla vydána 19. října 2017.

Ladislav Hagara | Komentářů: 11
19.7. 13:33 | Bezpečnostní upozornění

Společnost Oracle vydala čtvrtletní bezpečnostní aktualizaci svých softwarových produktů (CPU, Critical Patch Update). Opraveno bylo celkově 334 bezpečnostních chyb. V Oracle Java SE je například opraveno 8 bezpečnostních chyb. Všechny jsou vzdáleně zneužitelné bez autentizace. V Oracle MySQL je opraveno 31 bezpečnostních chyb. Vzdáleně zneužitelných bez autentizace je 7 z nich.

Ladislav Hagara | Komentářů: 0
19.7. 13:11 | Zajímavý software

Nick Clifton zveřejnil na blogu společnosti Red Hat věnujícímu se počítačové bezpečnosti nástroj, pomocí kterého lze ověřit, zda jsou binární spustitelné soubory odolné vůči variantě 1 bezpečnostní chyby Spectre v procesorech.

Ladislav Hagara | Komentářů: 0
19.7. 03:00 | Nová verze

Po více než roce vývoje od vydání verze 1.12 byla vydána nová verze 1.13 Java edice počítačové hry Minecraft (Wikipedie). Kódový název nejnovější verze je Update Aquatic. Přehled novinek v oficiálním oznámení o vydání. Detailní přehled novinek na Gamepedii a na YouTube.

Ladislav Hagara | Komentářů: 4
18.7. 23:55 | Nová verze

Společnost Epic Games vydala verzi 4.20 svého proprietárního multiplatformního herního enginu Unreal Engine (Wikipedie). Přehled novinek i s celou řadou obrázků a videi v oznámení na blogu.

Ladislav Hagara | Komentářů: 0
Jak čtete delší texty z webových stránek?
 (77%)
 (20%)
 (5%)
 (7%)
 (2%)
 (10%)
Celkem 371 hlasů
 Komentářů: 40, poslední 29.6. 10:21
    Rozcestník

    Dotaz: 200 GB txt subor a sort -u

    7.7. 18:52 tutanchamon
    200 GB txt subor a sort -u
    Přečteno: 872×
    Chcem dostat unikatne slova z 260 GB suboru. Ako na to casovo aj datovo co najefektivnejsie? Mam iba starsie dvojjadro s 4GB RAM a prepoctom idem k 80 hodinam triedenia a cca 500 GB na temp subory + vysledny subor... Dakujem za postrehy...

    Řešení dotazu:


    Odpovědi

    7.7. 19:32 OldFrog {Ondra Nemecek} | skóre: 29 | blog: Žabákův notes | Praha
    Rozbalit Rozbalit vše Re: 200 GB txt subor a sort -u
    Podle mě záleží, jak hodně se ta slova opakují. Naivním přístupem bych načetl slovo po slově a vkládal do Setu ve vhodném programovacím jazyce a ten Set nakonec serializoval. Výběrem vhodné implementace Setu by šlo docílit optimálního výkonu, asi na to budou i specializované knihovny. Šlo by to řešit po částech, aby se všechna aktuálně zpracovávaná data vešla do RAM - rozdělit soubor, zpracovat po částech, získané mezivýsledky zpracovat v druhém průchodu. Možná by stejnou úlohu zajistila i nějaká databáze (třeba MapDB a podobné).
    -- OldFrog
    7.7. 19:33 Kit | skóre: 41 | Brno
    Rozbalit Rozbalit vše Re: 200 GB txt subor a sort -u
    Nacpal bych ta slova jako klíče do databáze DB4 a vypsal její obsah.
    Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
    8.7. 12:09 Lazar
    Rozbalit Rozbalit vše Re: 200 GB txt subor a sort -u
    Co rozdělit soubor na desítky(stovky?) menších, stanovit unikátní seznam pro každý z nich a pak stanovit seznam unikátních slov pro sloučené dílčí seznamy? Těch unikátních slov snad bude relativně konečné množství, ne?
    8.7. 14:15 Dikobraz Fik
    Rozbalit Rozbalit vše Re: 200 GB txt subor a sort -u
    Příloha:
    ^^^^^^^^^^^^^^ pozrite si progress... poriesil som to takto - hadam to niekomu niekedy pomoze...
    pv $1 | parallel --tmpdir tmp --pipe --files sort -u -T tmp -S512M  --parallel=2 | parallel --tmpdir tmp -Xj1 sort -u -T tmp -S1024M --parallel=2  -m {} ';' rm {} > $2
    
    nutne definovat --tmpdir (u mna v aktualnom adresari) inac si zabijete /tmp (ak tam nemate dost miesta)
    9.7. 12:25 uniq
    Rozbalit Rozbalit vše Re: 200 GB txt subor a sort -u
    Preco si nepouzil program uniq?
    9.7. 16:24 R
    Rozbalit Rozbalit vše Re: 200 GB txt subor a sort -u
    Lebo pred jeho pouzitim sa musia aj tak data usporiadat programom sort?
    9.7. 18:48 pc2005 | skóre: 36 | blog: GardenOfEdenConfiguration | liberec
    Rozbalit Rozbalit vše Re: 200 GB txt subor a sort -u
    Jo klíč by měl být OK. Ono těch slov zas tolik není:
    # cat /usr/share/dict/words  | wc -l
    38619
    # cat /usr/share/dict/words  | wc -c
    352846
    
    Pokud by vyhledání klíče bylo rychlý (třeba hash), tak by to mohlo číst až rychlostí blízkou disku. Můj naivní kód v perlu, co parsuje asi 3.5GB lisp-like zdroják to zvládne na c2d asi za 30 minut, ale kromě hledání klíče to dělá i inserty do tisíců spojových seznamů apod (což je mnohem náročnější).
    9.7. 19:25 OldFrog {Ondra Nemecek} | skóre: 29 | blog: Žabákův notes | Praha
    Rozbalit Rozbalit vše Re: 200 GB txt subor a sort -u
    Pokud ovšem jde o slova z normálního „lidského“ jazyka...
    -- OldFrog
    10.7. 14:45 pc2005 | skóre: 36 | blog: GardenOfEdenConfiguration | liberec
    Rozbalit Rozbalit vše Re: 200 GB txt subor a sort -u
    Hmm to je vlastně pravda. Ale i tak ty klíče samozřejmě pomohou, jen to bude trvat dýl a sežere to víc času.
    9.7. 22:47 Rockhopper
    Rozbalit Rozbalit vše Re: 200 GB txt subor a sort -u
    V prvé řadě je potřeba soubor zkomprimovat a řadit zkomprimovaný. Hrubý odhad bez znalosti typu dat cca. do 10 hodin. Na velikosti RAM víceméně nezáleží, stačí 16 MB, záleží na druhu komprese.
    10.7. 09:08 rastos | skóre: 61 | blog: rastos
    Rozbalit Rozbalit vše Re: 200 GB txt subor a sort -u
    N=100000
    split --lines=$N  vstup
    for file in x*
    do 
      cat $file | tr ' ' '\n' | sort -u > $file.usorted
      mv $file.usorted $file
    done
    cat x* | sort -u > vystup
    
    Hodnotu N upraviť podľa potreby. To 'tr' je také neotesané riešenie, čo neberie do úvahy bodky, čiarky, atď. Možno by sa dalo nahradiť nejakým šikovnejším sed-om.
    10.7. 09:22 dustin | skóre: 61 | blog: dustin
    Rozbalit Rozbalit vše Re: 200 GB txt subor a sort -u
    Myslím, že pokud bude těch x* hodně, zahlásí bash u cat příliš dlouhý seznam parametrů. Ale to lze snadno vyřešit třeba přes find.

    Jsou dvě jádra, tak by se to procházení x* mohlo obalit funkcí a xargsem spouštět dva procesy.
    10.7. 11:01 rastos | skóre: 61 | blog: rastos
    Rozbalit Rozbalit vše Re: 200 GB txt subor a sort -u
    Keď urobíš "wc -l vstup" a vydelíš výsledok 200, tak dostaneš počet riadkov na jeden súbor ktorý bude mat +- 1GB. Ten počet dáš split-u, a budeš mať 200 súborov. Aj keby si to delil 2000 tak budeš mať 2000 súborov po 100MB. To by nemuselo byť moc. Podstatné je, že každý ten kúsok sa tým "sort -u" značne zredukuje, takže aj ich spojenie na konci bude relatívne malé.
    10.7. 11:07 dustin | skóre: 61 | blog: dustin
    Rozbalit Rozbalit vše Re: 200 GB txt subor a sort -u
    Jasně, jen jsem upozorňoval, že bývá dobré na max. počet souborů přes wildcard myslet, je to pak nepříjemná chyba. I když, v bashi je každé ladění nepříjemné :-)
    10.7. 10:01 〹
    Rozbalit Rozbalit vše Re: 200 GB txt subor a sort -u
    Kolik unikátních slov očekáváš? Bavíme se o lidském jazyce?
    Řešení 1× (cronin)
    10.7. 12:46 OldFrog {Ondra Nemecek} | skóre: 29 | blog: Žabákův notes | Praha
    Rozbalit Rozbalit vše Re: 200 GB txt subor a sort -u
    Chtělo by to vzorek toho souboru. A nabízí se vyhlásit soutěž o nejrychlejší řešení a udělat porovnání použití různých technologií :-)
    -- OldFrog
    17.7. 07:55 Michal Kubeček | skóre: 71 | Luštěnice
    Rozbalit Rozbalit vše Re: 200 GB txt subor a sort -u
    A také dost záleží na tom, jestli to má být jednorázová akce nebo jestli je cílem napsat program, který se bude na podobně velkých souborech spouštět opakovaně. V prvním případě bude stačit něco, co bude přijatelně rychlé, a nemělo by smysl trávit hodinu práce navíc optimalizací, která zrychlí běh o hodinu (nebo třeba i čtyři). Ve druhém už by stálo zamyslet se nad datovou strukturou, která umožní rychlý insert a walkthrough (RB tree?).
    12.7. 16:09 lertimir | skóre: 61 | blog: Par_slov
    Rozbalit Rozbalit vše Re: 200 GB txt subor a sort -u
    rozhodně bych netřídil původní soubor. použil bych algoritmus typu
    setrideny-seznam-unikatnich-slov="prázndný seznam"
    
    slovo=prectu-slovo()
    while (slovo!=null){
      if (slovo "je v" setrideny-seznam-unikatnich-slov){ # náročnost operace O(log(N))
         zaradit(slovo, setrideny-seznam-unikatnich-slov) # pro balancované seznam to je tuším také O(log(N)), navíc v předchozím vyhledávání už bylo nalezeno, kde v tom seznamu by tohle slovo mělo být a není takže by ty operace mohly být i rychlejší než log protože není třeba hledat.
      }
    }
    
    pak v setrideny-seznam-unikatnich-slov je pořád setříděno a pokud to není těch slov fakt moc tak se to možná i vejde do paměti.

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.