Dotaz: disk s NTFS se nedaří přimountovat

[Michal Svatuška]

Dobrý den,

připojil jsem k počítači disk 250 GB SATA, který dřív sloužil v nějakém windowsím stroji a chtěl bych z něj přečíst data. Na disku je souborový systém NTFS a systém zrcadlení RAID. Po prostudování diskuzí jsem zkusil vymazat metadata raidu příkazem dmraid -r -E /dev/sdc a do bootovacích parametrů jádra jsem přidal nodmraid. Výpisy příkazu fdisk teď vypadají následovně:

root@pc169c:~# fdisk -l /dev/sdc

Disk /dev/sdc: 250.1 GB, 250059350016 bytes
255 heads, 63 sectors/track, 30401 cylinders, total 488397168 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x61356135

   Device Boot      Start         End      Blocks   Id  System
/dev/sdc1   *          63   976751999   488375968+   7  HPFS/NTFS/exFAT

a

root@pc169c:~# fdisk -l /dev/sdc1

Disk /dev/sdc1: 250.1 GB, 250059317760 bytes
255 heads, 63 sectors/track, 30401 cylinders, total 488397105 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x6e697373

This doesn't look like a partition table
Probably you selected the wrong device.

     Device Boot      Start         End      Blocks   Id  System
/dev/sdc1p1   ?  1936269394  3772285809   918008208   4f  QNX4.x 3rd part
/dev/sdc1p2   ?  1917848077  2462285169   272218546+  73  Unknown
/dev/sdc1p3   ?  1818575915  2362751050   272087568   2b  Unknown
/dev/sdc1p4   ?  2844524554  2844579527       27487   61  SpeedStor

Partition table entries are not in disk order

Pokus o připojení oddílu sdc1 dopadá špatně:

root@pc169c:~# mount -t ntfs /dev/sdc1 /mnt/sdc1/
Failed to read last sector (976751936): Invalid argument
HINTS: Either the volume is a RAID/LDM but it wasn't setup yet,
   or it was not setup correctly (e.g. by not using mdadm --build ...),
   or a wrong device is tried to be mounted,
   or the partition table is corrupt (partition is smaller than NTFS),
   or the NTFS boot sector is corrupt (NTFS size is not valid).
Failed to mount '/dev/sdc1': Invalid argument
The device '/dev/sdc1' doesn't seem to have a valid NTFS.
Maybe the wrong device is used? Or the whole disk instead of a
partition (e.g. /dev/sda, not /dev/sda1)? Or the other way around?

Tady ještě přidávám výpisy příkazu mdadm:

root@pc169c:~# mdadm --examine /dev/sdc
/dev/sdc:
   MBR Magic : aa55
Partition[0] :    976751937 sectors at           63 (type 07)

a

root@pc169c:~# mdadm --examine /dev/sdc1
/dev/sdc1:
   MBR Magic : aa55
Partition[0] :   1836016416 sectors at   1936269394 (type 4f)
Partition[1] :    544437093 sectors at   1917848077 (type 73)
Partition[2] :    544175136 sectors at   1818575915 (type 2b)
Partition[3] :        54974 sectors at   2844524554 (type 61)

Prosím, poraďte mi. Díky, Michal

Odpovědi

[pet]

Rychlost je první ctnost.

Fajn, byl jsi rychlý. Smazal jsi metadata raidu, která teď potřebuješ. Zřejmě byla na začátku oddílu. Takže ntfs ve skutečnosti začíná o kousek dále než oddíl. Kdybys nebyl tak rychlý, mohl jsi disk prostě připojit jako raid v degradovaném modu a vše vyčíst. Teď je potřeba zjistit, kde ve skutečnosti začíná ntfs, a připojit to s offsetem. Pokud jsi tedy mazáním metadat nezničil ještě něco jiného. Zálohu toho disku před tím zásahem samozřejmě nemáš, že?

[Michal Svatuška]

Díky, že jsi se ozval. Zálohu nemám.

Teď je potřeba zjistit, kde ve skutečnosti začíná ntfs, a připojit to s offsetem.

Jak se to dělá?

[lertimir]

Windowsí RAIDy jsou obvykle operované s dmraid ne s mdadm. Mají jiný format matadat. Takže jednak si přečíst man a použít zjišťovací a ne manipulační funkce. A mount s offsetem je mount -o offset=pocet_bytu ...., ale kde fakticky začíná ntfs oddíl při dmraidu to musíš zjistit.

[Michal Svatuška]

Zdar. Z windowsího stroje jsem vykuchal druhý disk. Je identický s tím prvním (WD, 250 GB, SATA). Pravděpodobně je to ten, který s tím prvním byl zrcadlen pomocí raidu. Zde je výpis příkazu fdisk:

root@pc169c:~# fdisk -l /dev/sdc

Disk /dev/sdc: 250.1 GB, 250059350016 bytes
255 heads, 63 sectors/track, 30401 cylinders, total 488397168 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x002e0033

Disk /dev/sdc doesn't contain a valid partition table

A zde je výpis příkazu dmraid:

root@pc169c:~# dmraid -r
/dev/sdc: isw, "isw_bjgfajhfaa", GROUP, ok, 488397166 sectors, data@ 0

Prosím, teď mi opatrně poraďte, jak to připojit, ať to zase nezkazím. Mimochodem, podle man dmraid by mělo být právě pomocí dmraid -r možné zjistit zmiňovaný offset NTFS oddílu. Já jej nevidím.

[NN]

No hlavne zacni zalohou..

[Michal Svatuška]

Disk s NTFS a RAID se snažím přimountovat právě proto, abych mohl vytvořit zálohu - tedy přečíst z něj data a okopírovat je jinam. Windowsí počítač, ze kterého oba disky pochází již nenahodím. Odešlo v něm něco zásadního, pravděpodobně základní deska. Jinými slovy: tuto diskuzi jsem založil právě proto, abych se dozvěděl, jak se to přimountuje.

[JH]

jenom technicka. na vytvoreni zalohy nepotrebujes nic nikam mountovat.

[lertimir]

Tak disk nejdříve nakopiruj příkazem dd do souboru jinam a pak na kopii můžeš testovat co tam vlastně je.

[pet]

Chápu-li to správně, tak máš:

- 1. disk, ten jsi asi poškodil těmi pokusy

- 2. disk, zatím nepoškozený

Oba disky jsou úplně stejné.

Zálohovat před dalšími pokusy potřebuješ 2. disk, buď do souboru:

dd if=/dev/sdX of=moje_file

kde sdX nahradíš za to, kde vidíš ten 2. disk

nebo do 1. disku:

dd if=/dev/sdX of=/dev/sdY

kde sdX nahradíš za to, kde vidíš ten 2. disk a kde sdY nahradíš za to, kde vidíš ten 1. disk

POZOR!!!! Pokud to popleteš, můžeš přijít o data!!!!

[Michal Svatuška]

Zvolil jsem první variantu a data z druhého nepoškozeného disku jsou již zazálohována v souboru.

[nobody]

nevim jak s dmraid, ale z dd image celeho disku, lze pripojovat i jednotlive partition pouzitim kpart (resp. jinak to ani nejde tim ze je to image celeho disku, pokud bys delal jen dd image jednotlive partition, tak ta jde pripojit rovnou)

POZOR na tom linku je to uvedeno, ale i tak, nezapomen pridat -o ro aby se pripojovalo pouze pro cteni, no a nebo jeste lepe, udelej si zalohu te dd zalohy a pracuj s touto zalohou zalohy ;)

[pj]

V prvním bloku NTFS je string viz offset 0 ve výpisu na http://ntfs.com/ntfs-partition-boot-sector.htm, můžeš prohledat začátky všech sektorů:

#!/usr/bin/python

import sys, os

f = open(sys.argv[1], 'r')
f.seek(0, os.SEEK_END)
for i in range(0, int(f.tell()), 512):
    f.seek(i, os.SEEK_SET)
    if f.read(8) == '\xebR\x90NTFS ':
        print i
        break
f.close()

[Jendа]

Mimochodem vyhledat začátek partition umí testdisk.

[kapo]

Zkusil bych mit v jadre zapnutou podporu pro Windows LDM partition type (CONFIG_LDM_PARTITION). To zapina podporu pro dynamicke disky z Windowsu (tj. vsecky mozny typy RAIDu). Pak jakmile ten disk pripojis, tak by to melo poznat tu partition tabulku.

[Michal Svatuška]

Omlouvám se za neschopnost. Jak se ta podpora CONFIG_LDM_PARTITION zapíná? Zatím jsem zjistil, že je potřeba mít v nějakém souboru tyto řádky:

"Advanced partition selection" CONFIG_PARTITION_ADVANCED "Windows Logical Disk Manager (Dynamic Disk) support" CONFIG_LDM_PARTITION

Nedaří se mi zjistit ve kterém. Mám Debian 7.7. Díky.

[nobody]

neomlouvej, on ti doporucuje vlastni kompilaci kernelu, coz neni treba :)
s nejvetsi pravdepodobnosti to budes mit aktivovane jiz v distribucnim jadru, zjistit muzes takto:

cat /boot/config-$(uname -r) | grep -i LDM_PARTITION

[Michal Svatuška]

V souboru /boot/config-3.2.0-4-686-pae jsem našel řádKY CONFIG_LDM_PARTITION=y a CONFIG_PARTTION_ADVANCED=y. Vypadá to, že podpora pro dynamické disky z Windows je zapnutá. Disk se přesto nepřipojuje.

kpartx jsem zkusil taky:

root@pc169c:/home/svatuska/sdc/dd_kopie/zaloha# kpartx -a -v dd_kopie.dd 
root@pc169c:/home/svatuska/sdc/dd_kopie/zaloha# 

Program proběhne a v /dev se žádné nové zařízení neobjeví. testdisk hlásí, že na disku nevidí žádný oddíl. Pythonovský skript, který měl najít počátek NTFS oddílu po několika minutách běhu skončí hlášením MemoryError.

Mnohokrát děkuji za všechny rady. Nicméně, zatím stále prohrávám.

[nobody]

pokud image budes brat jako zalohu, a pokusis se pracovat s hhd, zkus:

#zkus
dmraid -ay
#nebo mozna
apt-get install ldmtool
ldmtool create all

melo by to vytvorit zarizeni v /dev/mapper/ ktere pak zkusis normalne pripojit

[Michal Svatuška]

dmraid -ay hlásí

root@pc169c:~# dmraid -ay
ERROR: isw: wrong number of devices in RAID set "isw_bjgfajhfaa_Volume0:1" [1/2] on /dev/sdc
RAID set "isw_bjgfajhfaa_Volume0:1" was not activated

Jde o to, že z dvojice zrcadlených disků mám připojený pouze jeden. Potřebuji to dmraidu nějak sdělit.

[Michal Svatuška]

Tady ještě přidávám výpis příkazu dmraid -s:

root@pc169c:~# dmraid -s
ERROR: isw: wrong number of devices in RAID set "isw_bjgfajhfaa_Volume0:1" [1/2] on /dev/sdc
*** Group superset isw_bjgfajhfaa
--> Subset
name   : isw_bjgfajhfaa_Volume0:1
size   : 488391936
stride : 256
type   : stripe
status : broken
subsets: 0
devs   : 1
spares : 0

[Peter Golis]

Podľa poskytnutej informácie (type : stripe) sa jedná o RAID 0 bez redundancie. Ak neboli dáta zálohované, tak im môžeš s najväčšou pravdepodobnosťou zamávať. Ale skús si to radšej overiť z preberaceho protokolu.

[Michal Svatuška]

Děkuji. Co to je přebírací protokol? Jinak, ta metadata jsem smazal pomocí dmraid -r -E nikoli pomocí mdadm, jak tady napsal lertimir. Kromě toho, z výpisu příkazu fdisk -l je zjevně poškozená tabulka oddílů.

[nobody]

mam pocit ze mysli "predavaci protokol" kterej si mel dostat pri predavani tech HDD kdyz na tebe byla prevedena sprava, asi mu unika ze to mas v domacim a ne firemnim prostredi...
jinak pro RAID0 je to asi blbe, pokud by slo o RAID1, tak by slo asi dump metadat ze zdraveho a pak obnova na nemocnej...
jinak se man dmraid zminuje i o tom, aby pro pripad ze smazes spatne metadata, jsi je mazal s parametrem -D kterej by zaroven provedl ten dump, kterej by pak sel obnovit, ale na to uz je pozde :(

[lertimir]

Ok. Nepamatoval jsem si, čím to bylo smazáno. Tabulka asi není poškozena, prostě tam vůbec není. Pravděpodobně je RAID vytvořený přímo nad fyzickým diskem a ne nad oddílem. Což nemusí být problém, sám mám LVM nebo LUKS části, vytvořené přímo nad disky a vytvořený oddíl a uvnitř oddílu vytvořený LVM či LUKS. Pro RAID je to možné úplně stejně.

[lertimir]

No nejak mi utekl překlep: .....přímo nad disky a ne nejdříve vytvořený oddíl......

[Peter Golis]

Preberací protokol je papier ktorým sa vo firemnej sfére potvrdzuje prebratie dodávky servra alebo služieb. V ňom sú popísané aj použité technológie, a mal by tam byť aj typ použitého RAIDu. Ak sa nejedná o firemný segment, tak sú dve možnosti sociálneho inžinierstva. Buď sa opýtaš človeka čo to inštaloval či si nespomenie, alebo sa posnažíš spomenúť si podľa poslednej známej veľkosti súborových systémov prislúchajúcich daným diskov a fyzickej kapacity diskov. Ak to bolo na pôvodných dvoch diskoch o fyzickej veľkosti 250G dostupného miesta cca 500G, tak to bol jednoznačne Stripe (RAID 0) aôebo JBOD a je to v ťahu. A ak bolo na pôvodných dvoch diskoch o fyzickej veľkosti 250G dostupného miesta cca 250G, tak sa mohlo jednať o Mirror (RAID 1) a je šanca to zachrániť. Typ použitého RAIDu je dosť podstatná informácia na pokus o záchranu daných dát.

[lertimir]

Vážně si všichni myslíte, že se to zrestaurovat nedá? podle jeho odkazu je to určitě RAID 0, protože výpis má, že je size : 488391936 A to na 250GB neudělá. Ale na druhou stranu, ty data na disku má pořád, takže kdyby vytvořil dmraidovou hlavičku, na základě té funkční, v níž bude popsán stejný raid jen s jiným volume pro druhý disk v RAID 0, tak by se mu RAID pak měl sestavit. Druhá věc je že je to práce jako na kostele. A asi hraní si s HEX editorem přímo s tím diskem. Ale možná to vidím naivně, ale pořád by to ještě sestavit mělo jít.

[NN]

good luck

[Michal Svatuška]

No tak já se pouštím do obnovení RAID 0 podle uvedeného návodu. Zdá se, že s prvním bodem - Determine the order of the physical disks in the array - není problém. Podle výpisu příkazu fdisk -l:

root@pc169c:~# fdisk -l

Disk /dev/sda: 200.0 GB, 200049647616 bytes
255 heads, 63 sectors/track, 24321 cylinders, total 390721968 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x02720271

   Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *          63    40965749    20482843+   7  HPFS/NTFS/exFAT
/dev/sda2        40966144    80027647    19530752   83  Linux
/dev/sda3        80027648   386668543   153320448   83  Linux
/dev/sda4       386668544   390721535     2026496   82  Linux swap / Solaris

Disk /dev/sdc: 1000.2 GB, 1000204886016 bytes
255 heads, 63 sectors/track, 121601 cylinders, total 1953525168 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk identifier: 0x0000eb9c

   Device Boot      Start         End      Blocks   Id  System
/dev/sdc1            2048  1945141247   972569600   83  Linux
/dev/sdc2      1945143294  1953523711     4190209    5  Extended
Partition 2 does not start on physical sector boundary.
/dev/sdc5      1945143296  1953523711     4190208   82  Linux swap / Solaris

Disk /dev/sdd: 250.1 GB, 250059350016 bytes
255 heads, 63 sectors/track, 30401 cylinders, total 488397168 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x002e0033

Disk /dev/sdd doesn't contain a valid partition table

Disk /dev/sdb: 250.1 GB, 250059350016 bytes
255 heads, 63 sectors/track, 30401 cylinders, total 488397168 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x61356135

   Device Boot      Start         End      Blocks   Id  System
/dev/sdb1   *          63   976751999   488375968+   7  HPFS/NTFS/exFAT

je sdb první disk RAIDu a sdd druhý disk. Pokud se mýlím, opravte mě, prosím. Teď jdu na druhý bod - Determine the stripe size. Doporučíte mi, prosím, nějaký HEX editor, ve kterém si budu prohlížet sektory? Uvítám jakékoli další rady.

[Michal Svatuška]

Po dalším studiu návodu se zdá, že první disk je sdd a druhý sdb, protože:

root@pc169c:~# fdisk -l /dev/sdb1

Disk /dev/sdb1: 250.1 GB, 250059317760 bytes
255 heads, 63 sectors/track, 30401 cylinders, total 488397105 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x6e697373

This doesn't look like a partition table
Probably you selected the wrong device.

     Device Boot      Start         End      Blocks   Id  System
/dev/sdb1p1   ?  1936269394  3772285809   918008208   4f  QNX4.x 3rd part
/dev/sdb1p2   ?  1917848077  2462285169   272218546+  73  Unknown
/dev/sdb1p3   ?  1818575915  2362751050   272087568   2b  Unknown
/dev/sdb1p4   ?  2844524554  2844579527       27487   61  SpeedStor

Partition table entries are not in disk order

Ta podivná tabulka oddílů se podobá popisu v návodu: An MBR containing four entries, each of which described junk (eg: a few partitions extending into the terabytes).

[pushkin]

Když tak vidím tu sérii neúspěšných pokusů s oběma disky, opravdu jsi je měl nastavené do režimu RAID 1? Nebyl to náhodou RAID 0, který rozkládá data mezi oba disky?

[Michal Svatuška]

To nevím, já jsem ten RAID nekonfiguroval. Ale předpokládám, že se jedná o RAID 1. Dostal jsem nápad: vzít, ten druhý disk, na kterém jsem vymazal metadata a poškodil tabulku oddílů, vymazat z něj úplně všechno a příkazem dd na něm vytvořit obraz nepoškozeného disku. Tím budu teoreticky mít kompletní set RAIDu a už by to mohlo fungovat. Je to dobrý nápad? A jak se mažou data z disku, který nelze přimountovat?

[pet]

To nevím, já jsem ten RAID nekonfiguroval. Ale předpokládám, že se jedná o RAID 1. Dostal jsem nápad: vzít, ten druhý disk, na kterém jsem vymazal metadata a poškodil tabulku oddílů, vymazat z něj úplně všechno a příkazem dd na něm vytvořit obraz nepoškozeného disku. Tím budu teoreticky mít kompletní set RAIDu a už by to mohlo fungovat. Je to dobrý nápad? A jak se mažou data z disku, který nelze přimountovat?

No, tak pěkně postupně:

Nevíš, jedná-li se o RAID1 či 0. Vyber si tedy náhodně několik míst na obou discích a porovnej je. Budou-li v naprosté většině případů stejné, je to RAID 1, jinak to byl RAID 0.

Byl-li to RAID 0, stále ještě by data mohlo jít složit, protože máš oba disky, to jest všechna data.

Byl-li to RAID 1, teoreticky by tvůj postup mohl fungovat, ale já neznám dmraid, tak neporadím.

A jak se mažou data z disku, který nelze přimountovat?

Data se nemažou, data se přepisují!! Takže například dd if=/dev/ZDROJ of=/dev/CÍL.

[pushkin]

A-ha. Jak už píše kolega - otestuj náhodně několik míst na obou discích. Pokud nalezneš shodu, byl to RAID 1 a ještě máš šanci.

Jinak jak smazat data - snadno. Pokud nevyžaduješ, aby disk byl nečitelný, pak stačí spustit gparted a můžeš si s ním dělat, co chceš. Pokud chceš bezpečné smazání dat, pak doporučuji dd if=/dev/urandom of=/dev/sdX. To ale chvíli trvá.

[Michal Svatuška]

A poradíte mi, prosím, nějakou chytrou metodu porovnání? Z obou disků mám dd obrazy a mám je uložené na mém hlavním linuxovém disku.

-rw-r--r-- 1 root     root     250059350016 Apr 13 13:43 dd_kopie_bez_metadat.img
-rw-r--r-- 1 root     root     250059350016 Apr 13 11:44 dd_kopie.img

[lertimir]

Neblázni. Nad každým zápisem do disku se třikrát zamysli. Smazání dat ti žádnou novou situaci nepřinese. Pokud si pamatuji z diskuse, co jsi s tím dělal, tak jsi jsi pouze smázl metadata pomocí mdadm. I když by to byl teoreticky RAID 0, tak ty data tam pořád jsou, to co tam není jsou metadata raidu. Myslím si, že s opatrností je možné zrekonstruovat i metadata RAIDu O.