abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
eParkomat, startup z ČR, postoupil mezi finalisty evropského akcelerátoru ChallengeUp!
Robot na pivo mu otevřel dveře k opravdovému byznysu
Internet věcí: Propojený svět? Už se to blíží...
dnes 12:00 | Zajímavý projekt

Projekt Termbox umožňuje vyzkoušet si linuxové distribuce Ubuntu, Debian, Fedora, CentOS a Arch Linux ve webovém prohlížeči. Řešení je postaveno na projektu HyperContainer. Podrobnosti v často kladených dotazech (FAQ). Zdrojové kódy jsou k dispozici na GitHubu [reddit].

Ladislav Hagara | Komentářů: 5
dnes 11:00 | Bezpečnostní upozornění

Byly zveřejněny informace o bezpečnostní chybě CVE-2016-8655 v Linuxu zneužitelné k lokální eskalaci práv. Chyba se dostala do linuxového jádra v srpnu 2011. V upstreamu byla opravena minulý týden [Hacker News].

Ladislav Hagara | Komentářů: 0
včera 22:00 | Komunita

Přibližně před měsícem bylo oznámeno, že linuxová distribuce SUSE Linux Enterprise Server (SLES) běží nově také Raspberry Pi 3 (dokumentace). Obraz verze 12 SP2 pro Raspberry Pi 3 je ke stažení zdarma. Pro registrované jsou po dobu jednoho roku zdarma také aktualizace. Dnes bylo oznámeno, že pro Raspberry Pi 3 je k dispozici také nové openSUSE Leap 42.2 (zprávička). K dispozici je hned několik obrazů.

Ladislav Hagara | Komentářů: 5
včera 06:00 | Zajímavý software

OMG! Ubuntu! představuje emulátor terminálu Hyper (GitHub) postavený na webových technologiích (HTML, CSS a JavaScript). V diskusi k článku je zmíněn podobný emulátor terminálu Black Screen. Hyper i Black Screen používají framework Electron, stejně jako editor Atom nebo vývojové prostředí Visual Studio Code.

Ladislav Hagara | Komentářů: 33
včera 06:00 | Zajímavý článek

I letos vychází řada ajťáckých adventních kalendářů. QEMU Advent Calendar 2016 přináší každý den nový obraz disku pro QEMU. Programátoři se mohou potrápit při řešení úloh z kalendáře Advent of Code 2016. Kalendáře Perl Advent Calendar 2016 a Perl 6 Advent Calendar přinášejí každý den zajímavé informace o programovacím jazyce Perl. Stranou nezůstává ani programovací jazyk Go.

Ladislav Hagara | Komentářů: 9
3.12. 16:24 | Nová verze

Byla vydána Mageia 5.1. Jedná se o první opravné vydání verze 5, jež vyšla v červnu loňského roku (zprávička). Uživatelům verze 5 nepřináší opravné vydání nic nového, samozřejmě pokud pravidelně aktualizují. Vydání obsahuje všechny aktualizace za posledního téměř půldruhého roku. Mageia 5.1 obsahuje LibreOffice 4.4.7, Linux 4.4.32, KDE4 4.14.5 nebo GNOME 3.14.3.

Ladislav Hagara | Komentářů: 17
3.12. 13:42 | Pozvánky

V Praze probíhá konference Internet a Technologie 16.2, volné pokračování jarní konference sdružení CZ.NIC. Konferenci lze sledovat online na YouTube. K dispozici je také archiv předchozích konferencí.

Ladislav Hagara | Komentářů: 0
2.12. 22:44 | Komunita

Joinup informuje, že Mnichov používá open source groupware Kolab. V srpnu byl dokončen dvouletý přechod na toto řešení. V provozu je asi 60 000 poštovních schránek. Nejenom Kolabu se věnoval Georg Greve ve své přednášce Open Source: the future for the European institutions (SlideShare) na konferenci DIGITEC 2016, jež proběhla v úterý 29. listopadu v Bruselu. Videozáznam přednášek z hlavního sálu je ke zhlédnutí na Livestreamu.

Ladislav Hagara | Komentářů: 25
2.12. 15:30 | Zajímavý projekt

Společnost Jolla oznámila v příspěvku Case study: Sailfish Watch na svém blogu, že naportovala Sailfish OS na chytré hodinky. Využila a inspirovala se otevřeným operačním systémem pro chytré hodinky AsteroidOS. Použita je knihovna libhybris. Ukázka ovládání hodinek na YouTube.

Ladislav Hagara | Komentářů: 18
2.12. 14:15 | Nová verze

Byla vydána verze 7.1.0 skriptovacího jazyka PHP používaného zejména k vývoji dynamických webových stránek. Jedná se o první stabilní verzi nejnovější větvě 7.1. Přehled novinek v dokumentaci. Podrobnosti v ChangeLogu. K dispozici je také příručka pro přechod z PHP 7.0.x na PHP 7.1.x.

Ladislav Hagara | Komentářů: 6
Kolik máte dat ve svém domovském adresáři na svém primárním osobním počítači?
 (32%)
 (24%)
 (29%)
 (7%)
 (5%)
 (3%)
Celkem 775 hlasů
 Komentářů: 50, poslední 29.11. 15:50
Rozcestník
Reklama

Dotaz: Ztrata dat po restartu serveru

15.10.2015 07:02 Sapo | skóre: 8
Ztrata dat po restartu serveru
Přečteno: 550×

Dobrý den.

Na serveru Ubuntu 3.13.0-65-generic #106-Ubuntu SMP Fri Oct 2 22:08:27 UTC 2015 x86_64 x86_64 x86_64 GNU/Linux mam nainstalovany ftp server ProFTPD Version 1.3.5rc3. Souborovy system Ext4.

  • V urcitem casove bode oznacenem jako T0 doslo k poskozeni UPS a server prisel o napajeni.
  • Za 30 minut po obnoveni napajeni v case T0+30 server nabehnul a uzivatele dale pracovali se svymi soubory na FTP (vsechny soubory byly na miste).
  • Po dvou dnech provozu, tj. v case T0+48:30 doslo k softwarovemu restartu serveru. Po tomto restartu zmizlo z disku cca 30 GB dat. V logach serveru nemohu nikde najit duvod proc k teto ztrate dat doslo.
Mohl by mi prosim nekdo rici co se mohlo s temi soubory stat ?


Řešení dotazu:


Odpovědi

15.10.2015 08:27 Martin
Rozbalit Rozbalit vše Re: Ztrata dat po restartu serveru
Disky (SMART) a souborový systém jsou v pořádku? Nesmazal to uživatel?
15.10.2015 09:18 Sapo | skóre: 8
Rozbalit Rozbalit vše Re: Ztrata dat po restartu serveru
Server bezi ve VMWare. Souborovy system jsem po vypadku nijak nekontroloval a ani neopravoval. Po obnoveni napajeni nastartoval a vsechny soubory tam byly (uzivatele s nimi 2 dny pracovali). Po softwarovem restartu zmizly. Uzivatele je 100% nesmazali (po restartu zmizlo v souborech cca 30 GB dat).
Řešení 1× (Andrej)
15.10.2015 09:24 Prdelka
Rozbalit Rozbalit vše Re: Ztrata dat po restartu serveru
Tak staci obnovit ze zalohy a je to ne ?
15.10.2015 09:29 Sapo | skóre: 8
Rozbalit Rozbalit vše Re: Ztrata dat po restartu serveru
Nelze, zalohuji co 24 hodin. Behem techto 24 hodin bylo modifikovano a uploadovano prilis mnoho souboru.
15.10.2015 09:30 Sapo | skóre: 8
Rozbalit Rozbalit vše Re: Ztrata dat po restartu serveru
Pro me je hlavni zjistiti proc se tak stalo. Aby se situace neopakovala.
15.10.2015 10:09 Petr Šobáň | skóre: 79 | blog: soban | Olomouc
Rozbalit Rozbalit vše Re: Ztrata dat po restartu serveru
>Server bezi ve VMWare

Já si tipnu VMWare to neuložil na HDD, ale ukládal do cache.

A při výpadku se stratilo že cache není uložená a po startu pokračoval v ukládání do té cache kterou pak při legálním ukončení neuložil, ale zrušil.

Anebo to ukládal do poškozené cache a následný korektní restart tu poškozenou cache na fs opravil, smazal.

Aby se to nestalo? No proto mívají servery dva nezávislé napájecí zdroje atd.....
15.10.2015 11:08 Sapo | skóre: 8
Rozbalit Rozbalit vše Re: Ztrata dat po restartu serveru
Ano ale selhala centralni UPS. Ta napajela diskova pole i jednotlive servery. Porucha zpusobila ze behem sekundy se ztratilo napajeni vseho. 30GB dat je prilis na jakoukoliv cache.

Dva nezavisle napajeci zdroje je dobry tip ktery urcite zrealizujeme.
15.10.2015 12:37 Petr Šobáň | skóre: 79 | blog: soban | Olomouc
Rozbalit Rozbalit vše Re: Ztrata dat po restartu serveru
Pokud jsou to hodně důležitá data měly by ty UPS být taky zálohované....

Ano je mi jasné že nelze ochránit vše.

30G je dost, ale kam se to potom stratilo?
15.10.2015 12:43 Sapo | skóre: 8
Rozbalit Rozbalit vše Re: Ztrata dat po restartu serveru
Příloha:
No to prave nevim, viz. priloha.
15.10.2015 10:46 GeorgeWH | skóre: 35
Rozbalit Rozbalit vše Re: Ztrata dat po restartu serveru
tak potom na co ti je ta zaloha?
15.10.2015 10:50 Sapo | skóre: 8
Rozbalit Rozbalit vše Re: Ztrata dat po restartu serveru
Pro pripad dissaster recovery.
Jendа avatar 15.10.2015 19:14 Jendа | skóre: 73 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: Ztrata dat po restartu serveru
No a jak jinak se to dá dělat? Zálohovat každou minutu? Pokud je tohle velký problém, tak asi jedině online replikace.
15.10.2015 20:43 GeorgeWH | skóre: 35
Rozbalit Rozbalit vše Re: Ztrata dat po restartu serveru
tak to musi on vediet. ale pokial ma zalohu, ktora mu je prakticky na nic, tak potom na co mu to je?

ked sa data casto menia, tak urobim diff hoc aj kazdu hodinu, a na konci dna to zmazem, a necham si len koplet zalohu z celeho dna. moznosti je viac.
16.10.2015 09:54 Sapo | skóre: 8
Rozbalit Rozbalit vše Re: Ztrata dat po restartu serveru
Jak jsem jiz psal, zalohu mam pouze pro pripad disaster recovery. Nepotrebuji kazdou hodinu zalohovat data. Pouze potrebuji vedet co se stalo a jak tomu predejit.
15.10.2015 10:46 GeorgeWH | skóre: 35
Rozbalit Rozbalit vše Re: Ztrata dat po restartu serveru
zmizli vsetky data? nepripojil si nejaky disk do adresara, kde pred tym boli tie data? alebo ti chybaju len jednotlive subory/adresare? v akom stave je hw?
15.10.2015 10:55 Sapo | skóre: 8
Rozbalit Rozbalit vše Re: Ztrata dat po restartu serveru
Nezmizly vsechny data. Mam strukturu
/home/ftp/zakaznik1
/home/ftp/zakaznik2
/home/ftp/zakaznik3
/home/ftp/zakaznik...
/home/ftp/zakaznik300
Tretina jednotlivych adresaru byla prazdna (zmizly soubory i podadresare). Datum a cas posledniho pristupu dotechto adresaru byl nastaven na cca 2 minuty po restartu.
Zbyle dve tretiny dat zustali nedotcene. HW je v perfektnim stavu.
15.10.2015 10:59 GeorgeWH | skóre: 35
Rozbalit Rozbalit vše Re: Ztrata dat po restartu serveru
filesystem si kontroloval?

HW je v perfektnim stavu.

predpokladam, ze aj ta ups bola v perfektnom stave :)
15.10.2015 11:10 Sapo | skóre: 8
Rozbalit Rozbalit vše Re: Ztrata dat po restartu serveru
Ano po ztrate dat zkontroloval a vse je v poradku. Tim HW sem myslel diskove pole a servery. No UPS na druhy den zahlasila bad batery :-)
15.10.2015 12:46 Petr Šobáň | skóre: 79 | blog: soban | Olomouc
Rozbalit Rozbalit vše Re: Ztrata dat po restartu serveru
Pak mě napadá jenom jedna možnost diskové pole se rozpadlo a data jsou na jednom HDD a na druhý se to nezapsalo a pak když se to zaplo tak se to synclo z toho špatného hdd kde ty data nebyly zapsané?

Proskoumal bych datové pole zda něco neobjevíš.

Jinak pokud není nic v nějakém logu (když to vypadlo všechno naráz asi se nic nezapsalo) tak fakt nevím jak zjistit kde vznik problém....

Jediné řešení provádět častější zálohy, zdvojit napájení i s ups pokud je to životně důležité...
Max avatar 15.10.2015 12:58 Max | skóre: 64 | blog: Max_Devaine
Rozbalit Rozbalit vše Re: Ztrata dat po restartu serveru
Tak, tak , to je největší možný případ. Už jsem zažil, že nebylo zapnuté checkování mdadm pole + nastaveny eventy. Pole se rozpadlo a fungovalo jen z jednoho hdd, po regulérním rebootu se nabootovalo z toho druhého, neaktuálního hdd.
ESXi sw pole neumí, je tedy možné, že storage pro ESXi běží na jiném poli a to zazlobilo? Nebo se podělalo hw pole.
Nebo se šachovalo se snapshoty (třeba v době výpadku se vytvářel backup formou snapshotů a v tom to padlo a něco se podělalo).
Zdar Max
Měl jsem sen ... :(
15.10.2015 13:15 Sapo | skóre: 8
Rozbalit Rozbalit vše Re: Ztrata dat po restartu serveru
To neni nas pripad. Nepouzivame sw raid. Diskove pole ma hw raid na kterem bezi dalsi virtualni stroje a ty jsou v poradku. Snapshot virtualniho stroje neprobihal.
Max avatar 15.10.2015 13:36 Max | skóre: 64 | blog: Max_Devaine
Rozbalit Rozbalit vše Re: Ztrata dat po restartu serveru
A v rámci toho virtuálu nemáš vytvořeno pole? Nemigroval jsi třeba fyzický server na virtuální a nezapomněl jsi na to, že to má sw pole? Nebo nějaký jiný důvod, proč by ho to mělo?
Můžeš to ověřit, že to tak 100% není?
Zdar Max
Měl jsem sen ... :(
15.10.2015 13:51 Sapo | skóre: 8
Rozbalit Rozbalit vše Re: Ztrata dat po restartu serveru
V ramci virtualu pole vytvoreno nemam. Nic jsem nemigroval. Zadny duvod me nenapada :-(
/dev/sda1 on / type ext4 (rw,errors=remount-ro)
/dev/sdb1 on /home/ftpuser type ext4 (rw,errors=remount-ro)

Max avatar 15.10.2015 13:57 Max | skóre: 64 | blog: Max_Devaine
Rozbalit Rozbalit vše Re: Ztrata dat po restartu serveru
A jakým způsobem je pole do ESXi připojeno? Přes NFS, nebo to je lokální storage v serveru? Nebo nějak jinak?
Zdar Max
Měl jsem sen ... :(
Jendа avatar 15.10.2015 19:17 Jendа | skóre: 73 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: Ztrata dat po restartu serveru
Pak mě napadá jenom jedna možnost diskové pole se rozpadlo
Pokud je to tento případ, tak by měl být v logu vidět resync. Teda jestli to není nějaký pochybný HW RAID a kdo ví, jak je to v VmWare.

Já jsem tu někde četl, že VmWare dělalo vlastní diskovou cache, a kecalo systému, že data zapsalo, i když je drželo v cache. A potom se při výpadku samozřejmě data ztratí. Na druhou stranu to znamená větší číslo v benchmarku, že jo.
16.10.2015 09:59 Sapo | skóre: 8
Rozbalit Rozbalit vše Re: Ztrata dat po restartu serveru
VMware je k diskovemu poli pripojen dvemi 10GbE SFP porty. Na te partition na diskovem poli jsou disky vice serveru a ty jsou zcela vporadku.
16.10.2015 12:30 Petr Šobáň | skóre: 79 | blog: soban | Olomouc
Rozbalit Rozbalit vše Re: Ztrata dat po restartu serveru
Tak potom je to jasné moje první odpověď VMware si dělá cache která při výpadku se zahodila.

A že to bylo 30G no tak bylo......
Max avatar 16.10.2015 13:41 Max | skóre: 64 | blog: Max_Devaine
Rozbalit Rozbalit vše Re: Ztrata dat po restartu serveru
Provozuji ESXi od verze 3.5 a nikdy se mi nic podobného nestalo (několikrát odpojení od proudu za běhu apod.), ale to samozřejmě nemusí nic znamenat. Většinou to je local storage + HW RAID + cache na řadiči + baterie.
Cache na běžném řadiči bývá do 2GiB. Kdyby to nějak cachovat mělo, musel by mít na ESXi nastavenou SSD cache.
Osobně jsem zvědavý, na co se přijde.
Zdar Max
Měl jsem sen ... :(
Jendа avatar 16.10.2015 20:49 Jendа | skóre: 73 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: Ztrata dat po restartu serveru
Kdyby to nějak cachovat mělo, musel by mít na ESXi nastavenou SSD cache.
Ne, normálně v RAMce. Ale přišlo by mi divné že by to neflushlo několik hodin nebo kolik.
16.10.2015 17:01 fish | skóre: 22
Rozbalit Rozbalit vše Re: Ztrata dat po restartu serveru
Ta varianta s cache se mi moc nezda. Nikde jsem tu informaci nenasel, ale pusobi to na me, ze se ztratily nahodny soubory, ne jen ty, ktery byly od vypadku vytvoreny a upraveny. Plus na disku zustala struktura nadrazenych adresaru, ve kterych ty soubory byly, navic s casem modifikace po restartu. Ta chybejici cache by spis vedla k nahodne vadnym blokum dat v souborech, pripadne k poskozeni filesystemu, ktery by to bud vubec neprezil, nebo by fsck neco presunul do lost+found.

I kdyby VMWare udelal nejakou divocinu s automatickym obnovenim nejakeho starsiho snapshotu, porad by se do historyckyho stavu vratilo vsechno, ne jen cast dat.

btw co je v /var/log/fsck/ (pripadne jinde, kam prislusny server uklada vysledek fsck po bootu)?
16.10.2015 20:52 JaPe
Rozbalit Rozbalit vše Re: Ztrata dat po restartu serveru
Dobrý den,

přesnou příčinu bude asi docela těžký zjisit. Nevím taky docela přesně, co si mám představit pod tím softtwarovým restartem - restart té virtuální mašinky z jejího operačního systému ? Restart virtuální mašinky přes vCentrum ? Sw restart celýho ESXka ? Nicméně můj velmi osobní názor - po tom prvním (hardwarovém) restartu ESXko tu mašinku tak úplně nestartovalo, ale obnovovalo, případně z jinejch důvodů byl ten FS připojenej s chybama. A při tom druhým restartu ext4 dojelo žurnál, jenže ten už byl divnej, takže to jeho dojetí tomu tentokrát spíš ublížilo. Do budoucna tomu asi těžko zabráníš - snad jedině ten FS nemountovat automaticky a po každým restartu ho nejdřív rukama zkontrolovat/opravit. Pole je v tom podle mě nevinně - kdyby bylo nabořený (třeba vyklepaná neuložená cache kontroleru) vypadalo by to IMHO jinak - a hlavně by si stěžovalo to ESXko při mountování toho datastoru - tedy pokud to je připojený jako datastore a ne jako raw lun nebo iscsi svazek rovnou do té virtuální mašinky.

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.