Dotaz: mazani starych db v postgresql

[masi]

Zdravim,

mam runner testu z gitlabu, kde se hromadi POSTGRE databaze a hledam jak to promazavat pravidelne. S mysql je to snadne, ale u postgre me napada jedine prez find prohledat adresar, kde jsou data a vse starsi treba tyden hledat prez jmena adresaru v indexu v postgre, abych to sparoval a mohl pak korektne prez pgdrop zahazovat.

Napada nekoho spravnejsi zpusob?

Jsou to jen testovaci data a v zasade db vytvorena vic nez 3d zpet nemaji smysl, ale zas bych nerad smazal treba systemove databaze a delat find na fs, pak se dotazovat v db na jmeno db podle indexu a nasledne to mazal mi prijde zbytecne slozite a vypocetne neefektivni, zvlast kdyz je tam ted par stovek db

Predem diky za tipy.

---

---

Odpovědi

[Heron]

Seznam db získáte přímo klientem psql -l, případně (a to pro vás bude asi vhodnější), přímo SQL dotazem: SELECT datname FROM pg_database;

[Heron]

Pokud máte ty testovací DB vhodně pojmenované, tak si pomocí SQL dotazu můžete vylistovat přesně ty, které chcete smazat:

SELECT datname FROM pg_database WHERE datistemplate = false AND datname LIKE 'test%';

[masi]

diky. Nicmene tohle neni zdaleka ono. Obe varianty znam a neresi muj problem... Poskladal jsem neco jako:

SELECT (pg_stat_file('base/'||oid ||'/PG_VERSION')).modification as modify, datname FROM pg_database WHERE datname LIKE '%_%' AND modify < NOW() - INTERVAL '7 days';

ale nefunguje to. A navic nevim jak to pak poskladat do "drop database $ten_vysledek". Ten dotaz vyse funguje jen do doby nez tam dam tu pasaz 'AND modify < NOW() - INTERVAL '7 days''. Nejde to zrejme proto, ze ve chvili kdy se dela where se nejmenuje ten sloupec modify, ale je to jen tip, protoze mi to rika, ze ten sloupec neexistuje. Cili by to mozna slo prez nejaky select into tmptable a pak nad tim select s where jako mam vyse a nakonec to dat drop database, ale porad to zkousim nalamat do jednoho dotazu ale me znalosti nestaci a nemuzu najit nic co bych pochopil a fungovalo by. Nepochybuji o tom, ze to poskladat jde, ale po hodine googleni a zkouseni, zacinam pochybovat, ze to poskladam ja Uz zvazuju varianty jako select, grep, nebo nejaky pekny python a pak pgdrop $dbname

Prosim nejakeho guru o pomoc, casto tu byval Pavel Stehule a psal neuveritelna zaklinadla.

[Filip Jirsák]

Nejde to zrejme proto, ze ve chvili kdy se dela where se nejmenuje ten sloupec modify, ale je to jen tip, protoze mi to rika, ze ten sloupec neexistuje. Cili by to mozna slo prez nejaky select into tmptable

Úplně stačí ten výraz, který máte v SELECT, zkopírovat do WHERE místo modify. Je to duplicitní kód, ale to je holt SQL… (Navíc v té části SELECT to pak asi nebudete potřebovat.)

zkousim nalamat do jednoho dotazu

V PostgreSQL máte uložené procedury, je zbytečné to cpát do jednoho dotazu, když to nepotřebujete optimalizovat.

[masi]

Genialni!!!

moc diky za pomoc. Nize je finalni verze

SELECT datname FROM pg_database WHERE datname LIKE '%_%' AND (pg_stat_file('base/'||oid ||'/PG_VERSION')).modification < NOW() - INTERVAL '7 days';

Zkusim z toho udelat proceduru

[xkucf03]

Je to duplicitní kód, ale to je holt SQL…

Ani v SQL není potřeba duplikovat kód – stačí použít vnořený dotaz nebo CTE (WITH).

[Pavel Stěhule]

V Postgresu není alias na stejné úrovni viditelný. Tj.

SELECT vyraz AS y FROM foo WHERE y = 10; -- nelze

Lze duplikovat výraz (nicméně spočítá se pouze jednou):

SELECT vyraz AS y FROM foo WHERE vyraz = 10; -- vyraz se pocita pouze jednou

nebo použít derivovanou tabulku a přesunout predikát tam, vně už je alias viditelný:

SELECT * FROM (SELECT vyraz AS y) s WHERE y = 10;

[masi]

Ahoj,

jen abych to nejak zakoncil.

Nakonec jsem vyplodil toto:

CREATE OR REPLACE FUNCTION clean_all_dbs(IN _days_ago INT)
  RETURNS void
  LANGUAGE plpgsql
AS
$$
DECLARE
  db RECORD;
BEGIN
  FOR db IN 
    SELECT 
      datname,
      (pg_stat_file('base/'||oid ||'/PG_VERSION')).modification AS modify
    FROM 
      pg_database
    WHERE
      (pg_stat_file('base/'||oid ||'/PG_VERSION')).modification < NOW() - INTERVAL '14 days'
      AND datname LIKE '%\_%'
  LOOP
    EXECUTE 'DROP DATABASE IF EXISTS ' || quote_ident(db.datname);
    RAISE INFO 'Dropped database: %', quote_ident(db.datname);
  END LOOP;
END;
$$;

Neni tam doreseno jen predani kolik dni zpetne se ma mazat, ale jinak to "skoro" funguje. Jediny problem je "ERROR: DROP DATABASE cannot be executed from a function or multi-command string."

Po chvili googleni jsem se docetl, ze neni podporovano dropovani databazi ve funkcich a tak jsem to nakonec udelal shell scriptem na par radcich.

Ne ze bych workaround nenasel, ale byl to rakovy hnus, ze mi prislo lepsi to udelat scriptem nize

#!/bin/bash
#
# Simple postgre cleaning script
#
 
days_ago=${1?"First arg define how old databases may be deleted"}
DELDB="/tmp/pg_deleted_db-$(date +%F)"


# Generate databases list
psql -c "SELECT \
  datname, \
  (pg_stat_file('base/'||oid ||'/PG_VERSION')).modification AS modify \
FROM \
  pg_database \
WHERE \
  (pg_stat_file('base/'||oid ||'/PG_VERSION')).modification < NOW() - INTERVAL '"${days_ago}" days\' \
  AND datname LIKE '%\_%';" | grep '_' > ${DELDB}


# Main
echo "Deleting databases more than $days_ago old..."

while read -r dbname modify; do
  dropdb ${dbname} && echo "Database ${dbname} has been dropped because is last modified on ${modify}!"
done < ${DELDB}

Zrejme to neni usecase co by resilo mnoho lidi, ale mozna to nekomu usetri par hodin casu