abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    dnes 13:00 | Bezpečnostní upozornění

    Správa služeb hlavního města Prahy se potýká s následky kyberútoku. Hackerská skupina začala zveřejňovat na internetu některé z ukradených materiálů a vyzvala organizaci k vyjednávání. Ta zatím podrobnosti k případu sdělovat nechce. Případem se zabývá policie i Národní úřad pro kybernetickou a informační bezpečnost (NÚKIB).

    Ladislav Hagara | Komentářů: 2
    dnes 12:33 | Zajímavý software

    OCCT je oficiálně k dispozici na Linuxu (YouTube). Jedná se o proprietární software pro zátěžové testování a monitorování hardwaru.

    Ladislav Hagara | Komentářů: 1
    dnes 02:44 | IT novinky Ladislav Hagara | Komentářů: 0
    včera 17:55 | Nová verze

    Canonical vydal Ubuntu 25.04 Plucky Puffin. Přehled novinek v poznámkách k vydání. Jedná se o průběžné vydání s podporou 9 měsíců, tj. do ledna 2026.

    Ladislav Hagara | Komentářů: 0
    včera 14:11 | Nová verze

    Desktopové prostředí LXQt (Lightweight Qt Desktop Environment, Wikipedie) vzniklé sloučením projektů Razor-qt a LXDE bylo vydáno ve verzi 2.2.0. Přehled novinek v poznámkách k vydání.

    Ladislav Hagara | Komentářů: 0
    včera 14:00 | Nová verze

    Vývojáři KDE oznámili vydání balíku aplikací KDE Gear 25.04. Přehled novinek i s náhledy a videi v oficiálním oznámení.

    Ladislav Hagara | Komentářů: 0
    včera 11:55 | Zajímavý článek

    Nová čísla časopisů od nakladatelství Raspberry Pi zdarma ke čtení: Raspberry Pi Official Magazine 152 (pdf) a Hello World 26 (pdf).

    Ladislav Hagara | Komentářů: 0
    včera 03:55 | Pozvánky

    Zajímá vás Open Build Service (OBS) a vývoj linuxového jádra pro IBM Mainframe? V rámci Informatických večerů na FIT ČVUT v Praze proběhne v pondělí 28. dubna přednáška Linux on Z Development s podtitulem „From packaging in the openSUSE Build Service until Linux Kernel Development at IBM“. Přednáška proběhne v anglickém jazyce. Vstup je zdarma a bez předchozí registrace.

    Ladislav Hagara | Komentářů: 0
    včera 03:11 | Nová verze

    Vyšla nová verze XMPP (Jabber) klienta Dino. Mezi novinky patří vylepšený přenos souborů (XEP-0447: Stateless file sharing), přepracované dialogy a další. Vyzkoušet lze i na (linuxových) telefonech.

    sonicpp | Komentářů: 0
    včera 01:11 | Nová verze

    Vyšla nová verze XMPP (Jabber) klienta Gajim, která přidává podporu nového způsobu synchronizace informací o přečtení zpráv (XEP-0490: Message Displayed Synchronization jako nástupce XEP-0333: Displayed Markers), dále centrální stránku pro přehled všech aktivit (Activity feed) nebo vylepšení přepínání mezi více účty. Přehled dalších změn je k dispozici na oficiálních stránkách.

    sonicpp | Komentářů: 0
    Jaký filesystém primárně používáte?
     (59%)
     (1%)
     (10%)
     (20%)
     (4%)
     (1%)
     (2%)
     (0%)
     (1%)
     (2%)
    Celkem 364 hlasů
     Komentářů: 18, poslední včera 12:41
    Rozcestník

    Dotaz: php - Seřadit uživatele podle klíčů a zobrazit jich omezenýc počet

    19.9.2010 17:11 v4it
    php - Seřadit uživatele podle klíčů a zobrazit jich omezenýc počet
    Přečteno: 380×
    Dobrý den, mám výpis uživatelů, kde spojuju informace o jedněch uživatelích ze 2 zdrojů: z ldapu(pokud má daný uživatel založen emailový účet, jinak se vrací null) a z mysql(pokud mají ftp účet, jinak se vrací null). Tyto informace spojím v jednom poli a povoluji řazení podle jména uživatele, emailové adresy, ftp kvóty apod. Je možnost řadit podle více klíčů najednou. Také omezuju výpis uživatelů třeba 15 najednou. Toto hezky funguje, ale poslední dobou, co narůstá počet uživatelů, se to stává hrozně pomalým. Není čemu se divit - musí se přečíst všichni uživatelé z obou zdrojů, v poli seřadit a pak na nich nasadit limit zobrazení. Potřeboval bych poradit s vhodnějším algoritmem na zpracování dat. Logicky se naskýtá možnost získat třeba 3 uživatele už rovnou seřazené z mysql, ale to nejde z následujícího důvodu:
    username | sql/email | ldap/kvota
    -----------------------------------------
    usr1 | e@email.com | 500
    usr2 | d@email.com | 500
    usr3 | c@email.com | 500
    usr4 | b@email.com | 500
    usr5 | a@email.com | 500
    
    Teď se rozhodnu seřadit je podle kvóty a pak podle emalu, tzn. ldap vrátí první 3, ty pak se ty tři seřadí jako c@..., d@..., e@... Správně by ale měl výpis vypadat takto:
    usr5 | a@email.com | 500
    usr4 | b@email.com | 500
    usr3 | c@email.com | 500
    
    Doufám v nějakou dobrou duši, která mi s tím pomůže :-)

    Odpovědi

    Josef Kufner avatar 19.9.2010 18:44 Josef Kufner | skóre: 70
    Rozbalit Rozbalit vše Re: php - Seřadit uživatele podle klíčů a zobrazit jich omezenýc počet
    Tak načti už z databáze/ldapu omezený počet, spoj to v programu a následně omez ještě jednou na požadovaný počet. Takže pokud chceš N záznamů, načteš max N z databáze, max N z ldapu a v programu seřadíš max 2N záznamů.

    Pokud potřebuješ načítat data z databáze k položkám z ldapu i pokud nemají ftp účet, načítej ldap jako první a požadovaná ID z ldapu připiš do selectu (id IN (...)).

    Pokud je situace ještě horší, zjisti si ID požadovaných záznamů z obou zdrojů v první sadě dotazů a vlastní seznam načti až napodruhé.
    Hello world ! Segmentation fault (core dumped)
    19.9.2010 19:33 v4it
    Rozbalit Rozbalit vše Re: php - Seřadit uživatele podle klíčů a zobrazit jich omezenýc počet
    Ono je to ve skutečnosti malinko jinačí, uživatele už znám podle centrální databáze a jejich username, pak mi akorát teoreticky stačí najít odpovídající záznamy v ostatních zdrojích podle username, které se tady používá jako takový klíč, jenže tímto přístupem se odříznu od možnosti seřadit záznamy. Takové je schéma:
    
    (-------PHP APLIKACE--------)--(centrální db v mysql)
      |           |           |
    (ftp/mysql) (mail/ldap)  (*/*)...
    
    
    Josef Kufner avatar 19.9.2010 19:47 Josef Kufner | skóre: 70
    Rozbalit Rozbalit vše Re: php - Seřadit uživatele podle klíčů a zobrazit jich omezenýc počet
    V tom případě přidej vrstvu.
    (-------PHP APLIKACE--------)--(centrální db v mysql)
                                            ||
                              (-------Backend manager-----)
                                |           |           |
                             (ftp/mysql) (mail/ldap)  (*/*)...
    
    A v centrální DB si kešuj všechny potřebné informace. Update centrální DB pak spouštěj buď periodicky nebo občas při dotazu či nejlépe ať si každá služba aktualizuje svá data sama (pár scriptů to obstará; = backend manager).

    Krom toho, že se ti výrazně zrychlí "PHP APLIKACE", tak si ušetříš starosti s přílišnou různorodostí služeb, resp. je vytlačíš stranou, kde nestraší.
    Hello world ! Segmentation fault (core dumped)
    19.9.2010 20:15 v4it
    Rozbalit Rozbalit vše Re: php - Seřadit uživatele podle klíčů a zobrazit jich omezenýc počet
    To s tou aktualizací nebude tak jednoduché. Dejme tomu že se rozhodnu z centrální aplikace změnit emailovou adresu nějakého uživatele, tzn. musím nejdříve aktualizovat cílovou databázi a při úspěchu aktualizovat i cache. Problém nastane z druhé strany kdy se třeba uživatel rozhodne že si změní heslo nebo se aktualizuje v db informace o využité kvótě - tam nemohu nijak zajistit, aby si sama ldap připojila k centrální databázi a tam informace aktualizovala. Zároveň nevím o žádném mechanismu, který by kontroloval, zda cache potřebuje aktualizaci (procházení všech zdrojů a porovnávání není dobrý mechanismus).
    Josef Kufner avatar 19.9.2010 20:43 Josef Kufner | skóre: 70
    Rozbalit Rozbalit vše Re: php - Seřadit uživatele podle klíčů a zobrazit jich omezenýc počet
    Tak nemusíš procházet vše, stačí jen co se změnilo od poslední aktualizace. Obvykle bývá dostupný čas poslední změny, tak to snad nebude problém.

    Jinak pokud něco změníš v nějaké službě, tak by to mělo být udělané tak, aby jsi se nemusel o aktalizaci kešovaných dat starat -- tedy ono se to postará samo při dalším zobrazení a dočasná nekonzistence nevadí.

    Ale pokud s tímhle bude víc problémů než užitku, pořád můžeš rozdělit původní jedno kolo dotazů na dvě (viz první komentář).
    Hello world ! Segmentation fault (core dumped)
    19.9.2010 20:58 v4it
    Rozbalit Rozbalit vše Re: php - Seřadit uživatele podle klíčů a zobrazit jich omezenýc počet
    Ono je to tak půl na půl - pokud bych vyřešil ten cache, tak mi odpadne starost se řazením záznamů (to obstará sql), odpadne starost s dočasnou nedostupností některých služeb, ale zase přibude starost jak aktualizovat záznamy (ne všechny služby si ukládají modified položku u uživatelů). Taky nevím jak bych ten cache měl tvořit. Logicky to vychází tak, že co služba, to tabulka v mysql, jenže bude problém u indexů a u datových typů v sql pokud se bude jednat o konverzi třeba z ldapu. Co se týče tvého prvního příspěvku - mohl bys to rozvést? Nějak jsem to úplně nepochopil - dejme tomu že mám X služeb, N uživatelů a M uživatelů u každé služby, kde M<=N.
    Josef Kufner avatar 19.9.2010 22:34 Josef Kufner | skóre: 70
    Rozbalit Rozbalit vše Re: php - Seřadit uživatele podle klíčů a zobrazit jich omezenýc počet
    Starost s nedostupností služeb bych viděl jako celkem podstatný argument pro kešování. K updatům může pomoct i sledování logů (tail -f | ...). Navíc updaty budou jediný problém k řešení, zbytek je víceméně triviální. Také poznámka, že hodnoty označené hvězdičkou se aktualizují kadých 5 minut, nikoho nezarmoutí. A pokud uzavřeš aktualizaci do transakce, tak si nikdo ani nevšimne, že zrovna běží (místo skutečné transakce stačí použít nějaký příznak nový/starý).

    To první jsem myslel tak, že v prvním kole uděláš dotaz na každou službu a získáš seznam max L uživatelů, kteří by se mohli objevit ve výsledném výpisu. (Kde L je počet položek na výpisu.) V druhém kole pak z této sady výsledků vytáhneš seznam ID uživatelů a zeptáš se centrální DB na tyto uživatele (select ... where id in (1, 2, 3, ...)). Výsledek nebude mít více než X×L položek a v PHP to pak celé spojíš a seřadíš. V lepším případě to seřadíš ještě v centrální DB a v PHP pak uděláš něco jako left join.
    Hello world ! Segmentation fault (core dumped)
    19.9.2010 23:06 v4it
    Rozbalit Rozbalit vše Re: php - Seřadit uživatele podle klíčů a zobrazit jich omezenýc počet
    Starost s nedostupností služeb bych viděl jako celkem podstatný argument pro kešování.
    I jako argument proti. Třeba služba ftp je nedostupná pro aplikaci php z důvodu částečného výpadku spojení, ale uživatelé ftp normálně používají a můžou si měnit hesla. PHP aplikace ale ftp službu nevidí a tak veškeré úpravy bude provádět lokálně. Ve chvíli kdy bude služba dostupná i pro php aplikaci nastane konflikt: aktualizovat cache podle služby nebo službu podle cache.

    Jinak to s těmi částečnými dotazy je výborný nápad, asi to udělám tak, děkuju.
    20.9.2010 00:54 v4it
    Rozbalit Rozbalit vše Re: php - Seřadit uživatele podle klíčů a zobrazit jich omezenýc počet
    Ještě bych měl otázku: jakým způsobem řadit a vybírat uživatele, pokud bude více řazení nad stejnou službou? Např. řadit vzestupně s limitem 2 podle služeb(zde pro přehlednost uvádím přímo databáze) v tomto pořadí: mysql/email, mysql/maildir, ldap/uid, mysql/kvota. Musím použít 4 dotazy nebo mohu dotaz na mysql spojit v jeden? Bude to tak fungovat?
    Josef Kufner avatar 20.9.2010 03:13 Josef Kufner | skóre: 70
    Rozbalit Rozbalit vše Re: php - Seřadit uživatele podle klíčů a zobrazit jich omezenýc počet
    PHP aplikace ale ftp službu nevidí a tak veškeré úpravy bude provádět lokálně.
    Cache bude z pohledu aplikace read-only, takže nic takového nemůže nastat. Úpravy se udělají normálaně přímo s danou službou, jakoby žádná cache nebyla. Uživatel dostane potvrzení o úspěšnosti přímo od služby. Je to takové kolečko, které se otočí s každou provedenou úpravou.
    Hello world ! Segmentation fault (core dumped)
    20.9.2010 13:28 v4it
    Rozbalit Rozbalit vše Re: php - Seřadit uživatele podle klíčů a zobrazit jich omezenýc počet
    Tato cache u mě nemá šanci. Ta php aplikace je primárně určená k editaci uživatelů a pokud jí nebude schopná nemá cenu mít ani readonly cache. Nicméně k mé předchozí otázce: jakým způsobem řadit a vybírat uživatele, pokud bude více řazení nad stejnou službou? Např. řadit vzestupně s limitem 2 podle služeb(zde pro přehlednost uvádím přímo databáze) v tomto pořadí: mysql/email, mysql/maildir, ldap/uid, mysql/kvota. Musím použít 4 dotazy nebo mohu dotaz na mysql spojit v jeden? Bude to tak fungovat?

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.