Dotaz: jak odfiltrovat radky se stejnou hodnotou

[Leoš Literák]

Na abicku se muze zobrazovat vice prispevku od jednoho uzivatele, coz obcas vede k tapetovani. Potrebuju tedy upravit SQL prikaz, aby vracel jen jeden zapisek od uzivatele a dalsi, prestoze by jinak do vyberu patrily, ignoroval a nacetl misto nich jine.

Aktualne ma dotaz tuto strukturu (db schema):

SELECT R.cislo FROM polozka P, relace R, spolecne S WHERE
P.typ=12 and P.cislo=R.potomek and typ_potomka='P' and S.typ='P' and S.cislo=R.potomek AND S.vytvoreno<=now() 
ORDER BY S.vytvoreno DESC LIMIT 0,15

Naivne jsem pridal do selectu sloupecek S.pridal, ktery obsahuje id autora, a doplnil GROUP by S.pridal, coz zafungovalo, ale seznam nebyl setrizen podle casu. Klauzule DISTINCT take nema zadny efekt, protoze id relace je vzdy unikatni. Tim jsem uvizl a nez to zacnu resit v jave, poradim se s vami, zda na neco neprijdete.

Odpovědi

[kulik]

Slo by to napriklad pomoci not exists, je to v tomto pripade logictejsi nez group by, kdyz nic negaregujes. Ciste prakticky bych to resil az v te jave, uz jen kvuli jednodussi konfigurovatelnoti (bude to ruzne pro ruzne sekce stranek, "zahozene" budou jen skryte a pujde je na vyzadani zobrazit, ...).

[Leoš Literák]

Mohl bys prosim poslat ukazku s not exists?

Jinak v jave se mi do toho nechce, protoze bych musel tahat vyrazne vice dat jako pojistku, ze tam zbude dostatek polozek po odstraneni tech, ktere tam nepatri. Data jsou pro homepage a konfigurovatelnost tam zatim neplanuju. I kdyz mozna po nasazeni si ji ctenari vyzadaji.

[kulik]

Zhruba neco takoveho, pokud tedy spravne chapu, ze chces nejnovejsi prispevek:

with polozky as (
SELECT R.cislo, s.vytvoreno, s.pridal
  FROM polozka P, relace R, spolecne S 
  WHERE P.typ=12 
    and P.cislo=R.potomek 
    and typ_potomka='P' 
    and S.typ='P' 
    and S.cislo=R.potomek 
    AND S.vytvoreno<=now()
)
select *
  from polozky xx
  where not exists ( select 0
                       from polozky
                       where pridal = xx.pridal
                         and vytvoreno > xx.vytvoreno )

Te javy bych se zas tak moc nebal, jestlize ted tahas 15, muzes tahat rekneme 30 a pokud by to nestacilo, dotahnout si dalsi - je to samozrejme pomalejsi, ale predpokladam, ze v 99% pripadu by se vystacilo s jednim dotazem.

[neaktivni]

Resil bych to pres INNER JOIN asi takto:

... AS a INNER JOIN
(SELECT MAX(vytvoreno) AS vytvoreno, pridal FROM spolecne) AS b
ON (a.vytvoreno = b.vytvoreno AND a.pridal = b.pridal)

[Leoš Literák]

Zkusím to, díky. Snad to zvládnu dá dohromady. Jako další riziko vidím MySql verze 5.1, snad to podporuje.

[kuka]

Nezkoumal jsem ten datovy model, ale nemuze vadit, ze se na "b" aplikuji jine podminky nez na "a"?

[Leoš Literák]

Muze mi nekdo vysvetlit, co je mineno tim "AS a", resp. kam to do SQL prikazu patri? Ma to byt nove pojmenovani tabulky S? Lepsi by byl kompletni prikaz. Dik

[kuka]

Ja jsem to pochopil tak, ze "a" je ten tvuj puvodni dotaz (bez trideni a limitu). Myslim ze kompletni kod by nemel byt potreba, jde o jednoduchy postup "hledam radky splnujici me podminky takove, ze jsou zaroven mezi radky s touto vlastnosti posledni za cloveka". To se da bud tak ze si zjistim konkretni cas posledniho (ale mel bych to delat na stejne mnozine dat) a podle nej to pak spojim (cimz starsi radky vypadnou, protoze nematchuji ten posledni cas), nebo tak, ze doplnuju podminku, ze zadny novejsi v mnozine neexistuje. V obou pripadech tam ve vysledku budu mit velmi podobne dotazy dvakrat (prispevek vyse pouzivajici not exists pouziva pro zkraceni konstrukci with, ktera mozna v mysql neni, ale lze to proste trivialne rozepsat do dvou stejnych dotazu na mistech, kde je pouzity ten alias). V cistem SQL podle mne jiny zpusob neni, nejde tam "primo" pracovat s konkretnimi radky z grupovane skupiny) Treba v Oracle na to postupy jsou, lze si vyzadat prvni ze skupiny, predchazejici ve skupine apod., ale to afaik nejsou standardne podporovane veci v SQL.

[neaktivni]

Jasne, byl to jen hint. Kompletne by to muselo byt nejak takto (nemam moznost testovat, ale melo by to snad priblizne stacit):

SELECT R.cislo
FROM 
  polozka P
INNER JOIN
  relace R
ON (P.typ=12 and P.cislo=R.potomek and typ_potomka='P')
INNER JOIN
  spolecne S
ON (S.typ='P' and S.cislo=R.potomek AND S.vytvoreno<=now())
INNER JOIN
(
    SELECT MAX(vytvoreno) AS vytvoreno, pridal FROM spolecne
    WHERE S.typ = 'P' AND S.vytvoreno<=now() 
    GROUP BY pridal) AS U
ON (S.vytvoreno = U.vytvoreno AND S.pridal = U.pridal AND S.cislo = U.cislo))
ORDER BY S.vytvoreno DESC LIMIT 0,15

Nejak takto by to melo fungovat, inner joiny jsou v podstate identicke s puvodnim pouzitim where, akorat mi prijdou prehlednejsi. Mozna tam je nejaka chyba a nejspis by to bylo dobre nejak zoptimalizovat. No, uvidite.

[Leoš Literák]

Ted nemam cas to ladit, takze jsem to zkusil jen spustit:

ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near ') ORDER BY S.vytvoreno

Vice si pohraju vecer

[neaktivni]

jejej, nechal jsem tam zavorku navic

[Leoš Literák]

Dik, mel jsem podezreni, ale v tech zavorkach jsem se ztratil. Ted jsme v inner joinu:

ERROR 1054 (42S22): Unknown column 'S.typ' in 'where clause'

coz resi odstraneni prefixu S. Pak to ale skonci na to, ze tabulka U nema sloupecek cislo: Unknown column 'U.cislo' in 'on clause'

[neaktivni]

ja sem tele, tech chyb. kazdopadne, to vsechno je asi jinak. co je cislo? plati ze vyssi cislo znamena novejsi zaznam daneho typu? pokud ano, pak by to melo byt pro zachovani jedinecnosti

SELECT R.cislo
FROM 
  polozka P
INNER JOIN
  relace R
ON (P.typ=12 and P.cislo=R.potomek and typ_potomka='P')
INNER JOIN
  spolecne S
ON (S.typ='P' and S.cislo=R.potomek AND S.vytvoreno<=now())
INNER JOIN
(
    SELECT MAX(cislo) AS cislo, pridal FROM spolecne
    WHERE typ = 'P' AND vytvoreno >= now()
    GROUP BY pridal ) AS U
ON (S.pridal = U.pridal AND S.cislo = U.cislo)
ORDER BY S.vytvoreno DESC LIMIT 0,15

To vrati od kazdeho uzivatele vzdy pouze zaznamy s nejvyssim cislem typu 'P'. Pokud cislo neni nejvyssi u nejnovejsiho zaznamu daneho typu (i kdyz asi je, kdyz je cislo + typ unikatni), pak se to musi hnat pres vytvoreno, ale to je hloupe, protoze nevim, zda je zajistena jedinecnost. v kazdem pripade takto:

SELECT R.cislo
FROM 
  polozka P
INNER JOIN
  relace R
ON (P.typ=12 and P.cislo=R.potomek and typ_potomka='P')
INNER JOIN
  spolecne S
ON (S.typ='P' and S.cislo=R.potomek AND S.vytvoreno<=now())
INNER JOIN
(
    SELECT MAX(vytvoreno) AS vytvoreno, pridal FROM spolecne
    WHERE typ = 'P' AND vytvoreno >= now()
    GROUP BY pridal ) AS U
ON (S.pridal = U.pridal AND S.vytvoreno = U.vytvoreno)
ORDER BY S.vytvoreno DESC LIMIT 0,15

[Leoš Literák]

Neplati, dulezitejsi je S.vytvoreno. Blogy je totiz mozne schedulovat / odkladat, takze treba zapisek vytvoris v lednu, ale publikujes jej az v unoru. Zapisky z konce ledna budou tedy starsi, prestoze maji vyssi id.

[Leoš Literák]

Druhy prikaz nevrati zadna data.

[neaktivni]

Mozna to bdue tim, ze jsem tam dopsal blbe tu casovou podminku >= misto <= . Zkuste to zmenit.

[neaktivni]

Teda chci rict ze to je urcite spatne. Je treba to zmenit, ale co bude potom, to tezko rict

[Leoš Literák]

Tak uz mame vysledek: 52 sekund na prvni spusteni, neco pres sekundu na dalsi spusteni. Porovnani vysledku pred a po ukazuje nespravnost dotazu, ocekaval jsem odstraneni 13. radku, misto toho je mnozina vysledku zmenena na vetsine pozic. Nevidim v datech logiku, jak je vybira. Dekuju za pomoc, zkusim to v jave.

[happy barney]

otázka: kedy sa jedná o tapetovanie? chceš odstrániť všetky rovnaké príspevky jednoho autora alebo viacerých ? v sekvencii za sebou alebo každý deň ?

[Leoš Literák]

Z duvodu jednoduchosti bude platit jeden zapisek od uzivatele. Nicmene mam schizu, byl jsem presvedcen, ze jsem to uz mel nasazeno, ale nakoukanim do svn jsem tuto funkcnost nenasel.

[happy barney]

vytiahni si všetky texty od separátnej tabuľky, pridaj k nim hash, napr: sha1 (join ('-', userid, text)). v tejto tabuľke eviduj id prvého/posledného príspevku a v tabuľke s príspevkami nahraď text referenciou do tejto tabuľky a výskyt kontroluj podmienkou. "id = id".

hash môžeš upraviť podľa potreby, takisto prvý/posledný príspevok môžeš vytiahnuť do ďalšej tabuľky.

[FooBar]

Jaky databazovy server? Jsem pred prvnim kafem a zadani jsem jenom prolitnul, ale prijde mi, ze presne to co hledas je nejaky tvuj lokalni ekvivalent DISTINCT ON (expression), http://www.postgresql.org/docs/current/interactive/sql-select.html

[Leoš Literák]

Mysql 5.0.75

[kvutza]

Přijde mi, že obdobný problém je svižně řešen pro PostgreSQL na "Last order for each" pomocí DISTINCT ON a rozepsané složitěji pro těžkopádnější systémy na "Last order for each" pro MySQL, ...

[Šangala]

Píšu, protože nechápu proč GROUP BY a následné ORDER BY by měl vracet kolekci jinak setříděnou.
Protože se mi špatně čte spojování tabulek bez JOINu, tak sem si to přepsal (snad dobře).
Toto by mělo vrátit to co před tím, ale jen po jednom příspěvku od S.Pridal.

SELECT S.pridal,MAX(R.cislo) AS cisloPosledni,MIN(R.cislo) AS cisloPrvni FROM relace AS R
  INNER JOIN polozka  AS P ON R.typ_potomka='P' AND P.typ=12 AND P.cislo=R.potomek
  INNER JOIN spolecne AS S ON S.cislo=R.potomek AND S.typ='P' AND S.vytvoreno<=now()
   GROUP BY S.pridal ORDER BY S.vytvoreno DESC LIMIT 0,15

Což by mohlo být původní

SELECT S.pridal,MAX(R.cislo) AS cisloPosledni,MIN(R.cislo) AS cisloPrvni FROM polozka P, relace R, spolecne S WHERE
P.typ=12 and
P.cislo=R.potomek and
typ_potomka='P' and
S.typ='P' and
S.cislo=R.potomek AND
S.vytvoreno<=now()
GROUP BY S.pridal
  ORDER BY S.vytvoreno DESC LIMIT 0,15 

Omlouvám se jestli mi něco uniklo a nepobral jsem to…

[kulik]

Bohuzel nerozumim k cemu prispevek smeruje. Dotaz vybira pro uzivatele minimalni a maximalni cislo relace. Jakou to ma souvislost s problemem posledniho prispevku uzivatele? Trideni podle S.vytvoreno by melo podle mne vyhodit chybu ve smyslu "not a group by expression", nicmene mysql nepouzivam, mozna to nejak zkousne (ale jak by to pak setridilo to fakt netusim).

[Šangala]

Sorry, nepobral jsem to, špatně jsem pochopil tabulku relace (i když je i pojmenována víc než výstižně).

»Jsem si jist, že odpověď je správná, jen otázka byla položena chybně.« :)

[Šangala]

Nicméně bych to rád pobral (ani nechci najít řešení, ale pochopit vo co go :) ), původní dotaz selectuje roj R.cislo, které odpovídají více zápiskům.
(Neznám konkrétní využití, ale předpokládám, že původní dotaz je kompletní a je třeba vrátit to co je v něm napsáno).
A požadavek byl je omezit 1× na uživatele definového S.pridal.
A protože nevím jestli 1. nebo poslední příspěvek a protože záznamy v relace mají primární index jako autoincrement a je to pole cislo, tak jsem předpokládám, že nejvyšší cislo na daného uživatele je poslední záznam a nejnižší 1. záznam.
Proto selectovací dotaz (pokud je správně) vybere tu množinu záznámů uvedenou v původním SQL dotazu a seskupí záznamy dle uživatele a ke každému záznamu vrátí cislo prvního a posledního záznamu relace.
Kde jsem se dostal mimo zadání ? - dík

[kulik]

Co treba si precist celou diskusi:

Neplati, dulezitejsi je S.vytvoreno. Blogy je totiz mozne schedulovat / odkladat, takze treba zapisek vytvoris v lednu, ale publikujes jej az v unoru. Zapisky z konce ledna budou tedy starsi, prestoze maji vyssi id.

[Šangala]

Chybný předpoklad :) - četl jsem celou diskuzi, ALE upjal jsem se na problém definovaný na začátku a tato informace mi nepřipadla důležitá, ale když jsem se zanořil je přímo fatální…

Vzhledem k datovému modelu a zadání, bych volil jednoznačně aplikační řešení nebo řešení přes SQL fci.
Nechat to jak je (SQL dotaz) nebo dotaz optimalizovat a projel to celé, s tím, že vypsat jen ty 1. záznamy (třeba přes pomocnou tabulku evidovaných S.pridal)

S kolegou jsme zrobily tento výkonný fujtajbl,
vracející jeden záznam R.cisla,
pro každého uživatele S.pridal
a to poslední dle S.vytvoreno (... teda doufám):

SELECT Max(RR.cislo) as poslednicislo FROM
        (SELECT S.pridal, MAX(S.vytvoreno) AS maxvytvoreno FROM relace AS R
                INNER JOIN polozka  AS P ON R.typ_potomka='P' AND P.typ=12 AND P.cislo=R.potomek
                INNER JOIN spolecne AS S ON S.cislo=R.potomek AND S.typ='P' AND S.vytvoreno<=NOW()
              GROUP BY S.pridal
              ORDER BY Max(S.vytvoreno) DESC
        ) AS RPS
        INNER JOIN spolecne as SS ON SS.pridal = RPS.pridal AND SS.vytvoreno = RPS.maxvytvoreno
        INNER JOIN relace as RR ON RR.typ_potomka='P'AND RR.potomek=SS.cislo
            GROUP BY SS.pridal LIMIT 0,15

POZOR: Pokud uživatel vložil více příspěvků v čase 1 sec. - smůla - budou tam všechny

[kulik]

Myslim ze problem byl uz vyresen, lepe receno SQL reseni v principu navrzeno (tazatel se to nakonec rozhodl udelat proceduralne, coz je podle mne rozumne). Order by klauzule ve vnorenem dotazu nema smysl, naopak chybi "na konci". Vzhledem ke grupovani dle ss.pridal je vylouceno, ze by mel jeden uzivatel ve vystupu vice zaznamu bez ohledu na to, kolik existuje zaznamu zadanych ve stejnem case (tzn. tve varovani pred timto je mylne). Pokud vubec bude tento dotaz fungovat, vybere posledni prispevky patnacti "nahodnych" uzivatelu, nikoliv poslednich patnact prispevku od ruznych uzivatelu.

[Šangala]

Ad. vyřešem
není označeno jako vyřešen a zkusím nepovažuji za vyřešeno :)
Ad. Pozor
Ano máte pravdu, (poznámka byla k dotazu, který nebyl publikován)
Ad. Order
na konci order by být nemůže, neni v kolekci a ve vnořeném dotazu zajistí pořadí
Ad. Pokud vubec bude tento dotaz fungovat
No, to nemusí obvykle dotazy skládám nad daty a postupně. (SQL dělám řídce).
Ad. nahodnych uzivatelu
Hledím na to a nemyslím, můžete to zdůvodnit ?

[kulik]

Order by musi byt na konci, uvnitr postrada smysl a setrideni vysledku nezajisti - nevim jak to nejak formalne zduvodnit, je to elementarni vlastnost SQL. Pokud na konci "byt nemuze", musi se dotaz upravit tak aby ta m mohl byt.

[Šangala]

Chtěl jsem zdůvodnit náhodnost, ne třídění ... nicméně není již třeba (vrací to sice nenáhodný výsledek, ale špatný :))

Poznámka k elementární "vlastnosti SQL", aby to někoho neuvedlo v omyl :):
pod-dotaz obecně může ovlivňovat setřídění výsledku např. MySQL5 (mám pocit PostgreSQL od 7.1)

SELECT column2
  FROM (SELECT column2,id FROM t1 ORDER BY column1 DESC) AS tt1
    INNER JOIN t2 ON tt1.id = t2.t1id_fk
 WHERE t2.column42 > 7

Vrací výsledek tříděný dle column1, ale ve výsledku column1 není

či ovlivnit výsledek samotný ... specifické M$SQL (pominu-li chybu historické verze):

SELECT *
 FROM (SELECT TOP 3 FROM t1 ORDER BY column DESC) as tt1
 ORDER BY column ASC

Vrací 3 poslední (dle column) záznamy z t1 setříděné dle column vzestupně

[Leoš Literák]

Diky za pokus, ale nevrati ani jeden radek z puvodniho vysledku. Ty relace jsou nejake nahodne, vetsina z nich je velmi starych.

[Šangala]

Tý-jo, Praha a 6:43 :) (to porušuje pravidlo, do Brna volej po osmé do Prahy po deváté :) )
Mně to vrátilo 0 záznamů, bo mám databázi prázdnou :)
Takže předchozí příspěvek o náhodnosti nekeceal :(
Abych si to ujasnil původní dotaz když se přepíše by vypadal takto:
To by mělo vrátit stejnou skupinu jako původní dotaz (a možná rychleji) - je tak ?, nemám chybu již zde ?

SELECT R.cislo FROM relace AS R
  INNER JOIN polozka  AS P ON R.typ_potomka='P' AND P.typ=12 AND P.cislo=R.potomek
  INNER JOIN spolecne AS S ON S.cislo=R.potomek AND S.typ='P' AND S.vytvoreno<=now()
     ORDER BY S.vytvoreno DESC LIMIT 0,15

Pokud předcházející platí, chyba je (u mě) v následujícím ... kde ? :)
Takto získaná kolekce hodnot R.cislo je třeba omezit tak, aby tam byl jen 1× záznam pro S.Pridal a kolekce byla stále setříděná dle S.vytvoreno
Výsledkem filtrování jen na jeden záznam pro S.Pridal má být záznam s nejvyšším datem S.vytvoreno (ale S.vytvoreno je zároveň <=NOW()).

[Šangala]

Poslední pokus (od kolegy):

SELECT X.MaxCislo 
   FROM (SELECT Max(RR.cislo) as Maxcislo
      FROM ( SELECT S.pridal, Max(S.vytvoreno) as lastpublished
              FROM relace AS R
              INNER JOIN polozka  AS P ON R.typ_potomka='P' AND P.typ=12 AND P.cislo=R.potomek
              INNER JOIN spolecne AS S ON S.cislo=R.potomek AND S.typ='P' AND S.vytvoreno<=now() GROUP BY S.pridal
            ) as F
            INNER JOIN spolecne AS SS ON SS.typ='P' AND SS.vytvoreno<=now() AND SS.pridal = F.pridal AND SS.vytvoreno = F.lastpublished
            INNER JOIN relace AS RR ON RR.typ_potomka = 'P' AND RR.potomek = SS.cislo
            INNER JOIN polozka AS PP ON PP.typ=12 AND PP.cislo=RR.potomek
              GROUP BY F.pridal
        ) AS X
    INNER JOIN relace RRR ON X.Maxcislo = RRR.cislo
    INNER JOIN spolecne as SSS ON RRR.potomek = SSS.cislo AND SSS.typ = 'P'
  ORDER BY SSS.vytvoreno DESC LIMIT 0,15

Tímto končím :)

[fanda]

Zkusím také nějaký návrh, ale jen teoreticky.

Pokud potřebuješ unikátní pridal, vyšel bych z tabulky autorů (tu tam nemáš uvedenou, ale předpokládám, že existuje), kde je právě každý autor jen jednou.

A ke každému autorovi bych pomocí vnořeného selectu dotáh jeho nejnovější záznam vyhovující podmínkám. Tedy vpodstatě tvůj select z původního dotazu ofiltrovaný navíc na pridal=autor, seřazený dle vytvoreno sestupne a limit 1

Tento výsledek bych seřadil dle vytvoreno sestupne s limitem 15.

Z hlavy nedám teď SQL dohromady, já to zas tak často nepoužívám a nemám syntaxi v hlavě.

Jen nástin: SELECT a.autor, (SELECT cislo, vytvoreno WHERE ...... S.pridal=A.autor ORDER BY vytvoreno DESC LIMIT 1) ORDER BY vytvoreno DESC LIMIT 15