abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
dnes 00:22 | Komunita

V Norimberku probíhá do pátku ownCloud conference 2018, tj. konference vývojářů a uživatelů open source systému ownCloud (Wikipedie) umožňujícího provoz vlastního cloudového úložiště. Přednášky lze sledovat online. Videozáznamy jsou k dispozici na YouTube. Při této příležitosti byl vydán ownCloud Server 10.0.10. Z novinek lze zdůraznit podporu PHP 7.2. Vydán byl také ownCloud Desktop Client 2.5.0. Vyzkoušet lze online demo ownCloudu.

Ladislav Hagara | Komentářů: 0
dnes 00:11 | Pozvánky

Zářijový pražský sraz spolku OpenAlt se koná již tento čtvrtek – 20. 9. 2018 od 18:00 v Radegastovně Perón (Stroupežnického 20, Praha 5). Tentokrát bez oficiální přednášky, ale zato s dobrým jídlem a pivem – volná diskuse na téma IoT, CNC, svobodný software, hardware a další hračky.

xkucf03 | Komentářů: 0
včera 16:11 | Komunita

Vývojáři relačního databázového systému PostgreSQL oznámili, že schválili svůj Code of Conduct (CoC) aneb kodex chování vývojářů PostgreSQL.

Ladislav Hagara | Komentářů: 14
včera 14:44 | Nová verze

Byla vydána verze 1.0 poštovního serveru Courier (Wikipedie). Aktualizovány byly také související balíčky jako Courier authentication library, Courier-IMAP, SqWebMail, maildrop nebo Cone.

Ladislav Hagara | Komentářů: 0
včera 02:22 | Zajímavý software

Společnost ​Versity Software otevřela svůj archivační souborový systém ScoutFS. Zdrojové kódy jsou k dispozici na GitHubu (kernel space, user space) pod licencí GPLv2.

Ladislav Hagara | Komentářů: 21
včera 00:44 | Nová verze

Byla vydána verze 4.2 programovacího jazyka Swift (Wikipedie). Zdrojové kódy jsou k dispozici na GitHubu. Ke stažení jsou oficiální binární balíčky pro Ubuntu 18.04, Ubuntu 16.04 a Ubuntu 14.04. Přehled novinek ve videozáznamu přednášky z WWDC 2018.

Ladislav Hagara | Komentářů: 3
17.9. 17:55 | Nová verze

Po třech a půl letech od vydání verze 3.4.1 byla vydána nová verze 3.4.2 programu pro filtrování spamu Apache SpamAssassin (Wikipedie). Z novinek lze zmínit 4 nové pluginy. Pravidla budou ověřována pomocí SHA-256 a SHA-512 místo SHA-1. Řešeny jsou také 4 bezpečnostní chyby. Například chyba CVE-2018-11780 v pluginu PDFInfo zneužitelná ke vzdálenému spuštění kódů (RCE).

Ladislav Hagara | Komentářů: 0
17.9. 16:22 | Pozvánky

Díky openSUSE Video Teamu lze sledovat živý přenos většiny prezentací z letošní SUSE Labs Conference. Záznamy proběhlých prezentací budou postupně přidávány na kanál SUSE Labs na YouTube.

Michal Kubeček | Komentářů: 0
17.9. 10:22 | Pozvánky

Na webových stránkách konference LinuxDays byl zveřejněn program přednášek a workshopů. Současně byla spuštěna registrace. Konference proběhne o víkendu 6. a 7. října 2018 v Praze v areálu ČVUT v Dejvicích na Fakultě informačních technologií.

Ladislav Hagara | Komentářů: 0
17.9. 02:22 | Komunita

Linus Torvalds se v oznámení o vydání 4. rc verze Linuxu 4.19 omlouvá za své chování. Posledním commitem před zvýšením rc3 na rc4 bylo odstranění souboru s Code of Conflict a přidání souboru s Contributor Covenant Code of Conduct vycházejícího z Contributor Covenant. Vývoj Linuxu 4.19 dokončí Greg Kroah-Hartman. Linus Torvalds si bere volno a bude pracovat na svém chování. Pravděpodobně vylepší svého poštovního klienta, aby mu nedovolil odesílat emaily obsahující nadávky.

Ladislav Hagara | Komentářů: 50
Na optické médium (CD, DVD, BD aj.) jsem naposledy vypaloval(a) data před méně než
 (13%)
 (15%)
 (21%)
 (23%)
 (24%)
 (4%)
 (1%)
Celkem 356 hlasů
 Komentářů: 33, poslední 16.9. 11:55
Rozcestník

Dotaz: Smazání velkého monžství dat z Oracle DB

2.10.2016 13:19 majales | skóre: 23 | blog: Majales
Smazání velkého monžství dat z Oracle DB
Přečteno: 2014×
Zdravím,
Provozujeme velkou Oracle DB a nahromadily se nám tam od uživatelů desítky GB, možná i stovky GB irelevantních dat. Rád bych zredukoval DB tak aby se zmenšila pravidelná měsíční záloha, která už přesahuje rozumnou velikost. Někde jsem se dočetl, že se masivní delete operace v Oracle DB provádějí s NOLOGGING. Poradili byste jak postupovat v případě výmazu ne celých řádků, ale pouze blobů, kde jsou data uložena? Jedná se o Oracle 10g v archivelog módu. Díky za každý tip.

Odpovědi

2.10.2016 13:27 majales | skóre: 23 | blog: Majales
Rozbalit Rozbalit vše Re: Smazání velkého monžství dat z Oracle DB
Kolega bez mého vědomí sám část dat v blobech přepsal daty s nulovou velikostí, což se samosebou na velikosti fullbackupu neprojeví. Předpokládám, že tyto operace by se měly nejprve rollbacknout a pak smazat s NOLOGGING option. Je to tak?
Max avatar 2.10.2016 14:26 Max | skóre: 66 | blog: Max_Devaine
Rozbalit Rozbalit vše Re: Smazání velkého monžství dat z Oracle DB
Mně by zajímalo, k čemu máte archivní logy? To děláte vždy dump databáze a pak zálohujete redo logy, abyste se mohli vrátit do jakéhokoli času, a tak stále dokola?
Jinak já teď řeším něco podobného. Mám asi 4TiB db, celé je to closed řešení od jedné firmy a nyní mi řekli, že jedna z tabulek má 2TiB, že jsou tam jen logy aplikáče, že to můžeme klidně mazat, proč to prý neděláme. Mno, to byla od nich další třešnička, protože podobných skrytých blbostí, o kterých nám neřekli, bylo celkem dost a některé si vyžádaly i neplánované odstávky.
Osobně dělám dump jednou týdně a zálohu redo logů. Ale nakonec budu přecházet na standby řešení tak, jako to máme i u jiných db, jelikož server se z "nice to have" přesunul do čáry "když to chvilku nepoběží, tak bude průser".
Zdar Max
Měl jsem sen ... :(
2.10.2016 15:37 majales | skóre: 23 | blog: Majales
Rozbalit Rozbalit vše Re: Smazání velkého monžství dat z Oracle DB
Vychází to z původní instalace, která byla rozlezlá na celkem 8 fyzických mašin, z toho byly 4 fyzické stroje určeny pro oracle. Byly to dva Oracle RAC clustery s tím že ten druhý byl Standby toho prvního. Na zálohu tam byla pásková knihovna. Celé se to zredukovalo na dvě virtuání mašiny, jedna pro Oracle DB a druhá pro Oracle HTTP s tím, že výhledově bych rád zprovoznil alespoň Standby DB na virtuálu na jiné fyzickém mašině. Původní zálohovací skripty jsem neměnil, takže zůstal každodenní skript na backup archivelogů a týdenní na increment a měsíční na FULL backup. Dostal jsem se k tomu asi rok a něco před přechodem z původní instalace na ten virtuál s minimálními znalostmi co se týče oracle, takže teď řeším ex post jak se s tím popasovat..
3.10.2016 10:26 jekub
Rozbalit Rozbalit vše Re: Smazání velkého monžství dat z Oracle DB
dump jednou týdně a zálohu redo logů

Není to zbytečné?
2.10.2016 16:53 Tomáš
Rozbalit Rozbalit vše Re: Smazání velkého monžství dat z Oracle DB

Zrovna jsem toto asi před 1 měsícem řešil. Je potřeba si uvědomit, že jedno veliké mazání DELETE FROM ... , které by bylo jako jedna veliká transakce, může zhavarovat na nedostatku místa v undo segmentu (dokud neuděláte commit, tak stále musíte mít někde zálohu pro případ rollback).

Dále je potřeba si uvědomit, že smazané místo zůstává zabrané v segmentu do okamžiku, dokud neuděláte alter table shrink space cascade nebo alter table modify lob ... pro LOB. Netuším jak to vypadá při zálohování, zda se zálohují i prázdné ale zabrané bloky. V případě LOBu pak záleží i na tom, kam se LOBy sypou zda přímo do řádku, nebo LOB segmentu (viz fráze enable storage in row při vytváření tabulky)

Já jsem skončil u mazání po časových úsecích v nočním okně. Už to běží 14 dní a ještě dalších 14 dní poběží. Každou noc se zvládnou odmazat tak 2-3 časové úseky.

Pak bude následovat zmíněné alter table modify lob (mylob) store as secure file compress high které jednak sesype ementál tabulky a LOB segmentu do kompaktní formy, a jednak dojde ke kompresi dat LOBu. Přesný příkaz bude pro sesypání tabulky/LOBu do kompaktnější formy závisí na tom zda se Váš LOB umísťuje převážně do řádku nebo do separátního LOB segementu. Kam LOBY převážně tečou zjistíte pokud se podíváte na velikost LOB segmentu. Z této části mám největší obavu, protože tabulka bude po celou dobu sesypání exklusivně zamknutá a já jen doufám, že se vejdu s časem běhu do víkendového okna.

3.10.2016 10:55 Ivan2 | skóre: 4
Rozbalit Rozbalit vše Re: Smazání velkého monžství dat z Oracle DB
Obavam se, ze na to co delas "alter table modify lob (mylob) store as secure file compress high" je potreba extra linece na "Advanced compression". :(
3.10.2016 10:53 Ivan2 | skóre: 4
Rozbalit Rozbalit vše Re: Smazání velkého monžství dat z Oracle DB
na NOLOGGING moc nespolehej, ten se uplatni pouze za urcitych pripadech a tech podminek je docela dost.

Pokud si muzes dovolit downtime tak pouzij CTAS, "create table as select" s naslednym rename, a drop table.

shrink lob na 10g verzi bych moc nedoporucoval.
27.10.2016 09:51 majales | skóre: 23 | blog: Majales
Rozbalit Rozbalit vše Re: Smazání velkého monžství dat z Oracle DB
Zdravím.. A kdybych si mohl dovolit downtime, tak jak by to šlo udělat?
27.10.2016 14:15 krocan
Rozbalit Rozbalit vše Re: Smazání velkého monžství dat z Oracle DB
...tak pouzij CTAS, "create table as select" s naslednym rename, a drop table.
16.11.2016 09:17 alkoholik | skóre: 36 | blog: Alkoholik
Rozbalit Rozbalit vše Re: Smazání velkého monžství dat z Oracle DB
Jasne, ser se s tim rucne, kdyz ti Oracle pripravil nastroj.
16.11.2016 09:18 alkoholik | skóre: 36 | blog: Alkoholik
Rozbalit Rozbalit vše Re: Smazání velkého monžství dat z Oracle DB
Sorry, 10g
3.10.2016 11:04 jekub
Rozbalit Rozbalit vše Re: Smazání velkého monžství dat z Oracle DB
takhle narychlo, pokud blob tvoří vetšinu dat tabulky
create table as select (bez blobu) nolog
alter table add blob
alter table nolog
recyclebin=off
drop table
rename table
alter table log
nebo podobné variace na toto téma.
3.10.2016 13:35 majales | skóre: 23 | blog: Majales
Rozbalit Rozbalit vše Re: Smazání velkého monžství dat z Oracle DB
No musím to promyslet... to mazání má být opravdu selektivní, tzn. identifikují se bloby s "bordelem" a přepíší se nulovou velikostí...
3.10.2016 14:25 jekub
Rozbalit Rozbalit vše Re: Smazání velkého monžství dat z Oracle DB
Tak jeste jede tip
add column
update
drop column
rename column
30.10.2016 21:24 FrantaS | skóre: 12 | Hlučín
Rozbalit Rozbalit vše Re: Smazání velkého monžství dat z Oracle DB
Je to již mnoho let a verzí Oracle zpět, ale podobnou věc jsem vyřešil tak, že jsem mazal v kurzoru. Tam jsem zadával podmínky. Pokud jde nějak identifikovat postupně řádky třeba za určité dny apod, pak je lze s dalšími podmínkami updatovat v cyklu a nakonec cyklu dát commit. Takto lze podle velikosti rollbacku v jednom cyklu updatovat třeba 100.000 záznamů. Výmaz 2 mil. záznamů mi neprošel, protože se to nevešlo do rollbacku, ale takto to šlo velmi rychle.
Ať se nám daří.
7.11.2016 14:36 rich
Rozbalit Rozbalit vše Re: Smazání velkého monžství dat z Oracle DB
Jednou z moznosti by mohlo byt dotycnou tabulku rozdelit na partitions (viz. table online redefinition. jinak teda partitioning vyzaduje licenci), kde klicem pro partitioning by byl nejaky casovy sloupec (interval partitioning). Smazani starych udaju je pak jen drop/exchange partition...

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.