Dotaz: existuje v linuxu program na defragmentaci hdd

[Ignác]

neco jako defrag a jine ve windows ?

---

---

Odpovědi

[frdrx]

Když chcete používat nějakou GNU/Linuxovou distribuci, asi by bylo vhodné si o GNU/Linuxu napřed něco zjistit - přečíst. Takový nástroj na Linuxu nenajdete, jelikož GNU/Linuxové distribuce nemají problémy s fragmentací souborů jako je tomu například u OS Windows. I na GNU/Linuxu nějaká ta fragmentace souborů na harddisku být může, ale je zkrátka zanedbatelná a neohrožuje spolehlivý běh systému.

[Heron]

Jak může fragmentace ohrožovat běh systému?

Fragmentace vzniká ze samotné podstaty funkce fs s blokovými soubory nad blokovým zařízením. Existují algoritmy alokace bloků, které v některých případech fungují dobře, ale v jiných totálně selhávají. Záleží jen na konkrétní pracovní zátěži. S určitou zátěží si žádný FS neporadí.

[L_l]

Ano, sekl jsem se. Nemyslel jsem ohrožení samotného běhu systému, nýbrž ohrožení rychlosti běhu systému vinou nadměrné fragmentace. Značně fragmentovaný NTFS filesystém - to je pohádka...

[Kit]

NTFS se pod linuxovými OS nedoporučuje používat. Linux má dostatek vlastních souborových systémů, které jsou pro něj mnohem vhodnější a netrpí tolik fragmentací. Když netrpí nadměrnou fragmentací, není ani potřebné defragmentovat.

[L_l]

Však jsem zmínku o fragmentaci NTFS (pod taktovkou Windows!) myslel jen jako příklad. Ale stejně by mě zajímalo, jaký by byl nejvhodnější filesystém například například pro takový externí HDD? Nejčastěji mám právě NTFS, abych své disky mohl, kdyby náhodou, spustit v jiných OS. Vždyť NTFS umí chroustat i BSD...

[nobody]

na externi disk ext4 a (na prvnim oddilu) GNU/Linux instalaci(nebo live)... kdyz nahodou budes u jinych OS, nahodis system z externiho HDD ;) vyuzit to muzes i u GNU/Linux OS jako recovery/backup, pripadne si muzes primo delat rsync tvuj_primarni_os => externi_disk1...

[ondro]

Ak chces ten externy disk pouzivat aj na windows(aj na cudzom PC), tak bohuzial ntfs je najlepsia volba. S ext4 na windows nepochodis.

Ak by MS umyselne neblokoval podporu inych formatov(nezneuzival svoje dominantne postavenie), tak by to vo svete PC mozno inac vyzeralo.

[nobody]

na cizim PC nastartujes svuj Linux z toho externiho HDD a pretahnes data z interniho Windows/NTFS HDD...

ono i poskozene NTFS diky neotevrenosti formatu nema opravnej nastroj v Linuxu a musel bys s externim HDD ktere primarne pouzivas s Linuxem behat opravovat k cizimu PC s Windows ;)

[2X4B-523P]

c) je spravne, musis mit dva oddily, abys mohl do pocitace s Windows take neco nahrat...

[2X4B-523P]

totiz vlastne musis mit prenosny sitovy storage a pak je ti jedno co je kde za system, pouzit sdilenou sitovou jednotku snad umi i novejsi DOS...

[nobody]

ok... takze aby to pochopil i 2X4B-523P, tak puvodni vetu doplnuju o tucne ;)
na cizim PC nastartujes svuj Linux z toho externiho HDD a pretahnes data z/do interniho Windows/NTFS HDD...

[2X4B-523P]

ono i poskozene NTFS diky neotevrenosti formatu nema opravnej nastroj v Linuxu a musel bys s externim HDD ktere primarne pouzivas s Linuxem behat opravovat k cizimu PC s Windows

asi budu vypadat jaku syn vesnickeho idiota a televizni rosnicky, ale jak zarucis, ze se zrovna nejakym zpusobem neposkodi ten filesystem tech Windows na ktera nahravas? budes spolehat, ze se to opravi samo po rebootu?

[nobody]

vypadas spis ze delas ze sebe schvalne natvrdleho, ale budiž :)
Linux NTFS ovladac pro cteni/zapis nedela problem, problem je to ze v pripade ze externi disk vytrhnes za chodu, vypadne proud atd, tedy stejne problematicka situace jako muze nastat pri provozu s OS Windows, tak disk s takto nekonzistentnim filesystemem nemas v Linuxu jak opravit, muzes mu odebrat dirty flag aby se netvaril ze muze byt poskozen, muzes mu resetovat journal a nastavit planovanou kontrolu ktera probehne pod Windows, ale nemas proste moznost pustit chkdsk a tedy provest realnou kontrolo s pripadnou opravou...
btw: pokud by bylo pri nahravani z Linuxu na NTFS disk s Windows problem, tak by asi totoznej problem mohl nastat pokud bys externi disk pro pouzivani primarne s Linuxem mel zformatovan pod NTFS a nahraval na ne sva data, ale to vnimas asi jako bezproblemove, je v tom rozpor nemyslis? ;)

[2X4B-523P]

psla jsem o dvou separatnich oddilech a penosnem NASku, zkus nejdriv cist a pak odpovidat...

[nobody]

psal si ze je nutne:
- mit 2 separatni oddily aby si mohl DO PCsWin i neco nahral => neni potreba, viz co sem psal, staci klidne 1
- prenosne NAS => ano je to take moznost :) jeste muzes nosit sebou notebook s linuxem kam pripojis ten hloupej usb externi disk s ext4, muzes si vozit na rudliku i celej rack s 20 x 2U serverama a stovkama disku v poli, muzes sebou vozit za kamionem prives s datacentrem, muzes xyz... ;)

[2X4B-523P]

jak ale nekomu, komu souhrou nahod na tech widlich spadne filesystem, po tom co tam mel bootly Linux a neco se tam nahralo pres ntfs-3g? to ti neuveri, ze si za to mohly widle...

[2X4B-523P]

vypadlo mi slovo vysvetlis

[nobody]

a jak mu vysvetlis kdyz tam pripojis USB_HDD s NTFS, zobrazi se BSOD a po restartu mu uz pocitac nenabehne ani v nouzovem rezimu, ze za to nemuzes ? ;)

[2X4B-523P]

mnohem snadneji, nez kdyz tam budu bootovat Linux... sice mam Linux rad, ale radit nekomu aby prenasel data timto zpusobem nebudu... to si troufnu delat na svem systemu, pokud k tomu budu mit duvod... pri nejhorsim i free verze kompresnich programu umi rozdelit velke soubory na casti, takze se jeste dnes da pouzivat FAT, ale lepsi je to prenosne NASko...

[nobody]

pokud chci externi hdd pouzivat primarne u linuxu s tim ze obcas mozna nekdy bych ho pripojil v windows, proste nechapu proc by mel byt primarne volen NTFS system, abych pri primarnim pouziti toho disku musel trpet a nemohl provest opravu filesystemu...

ale souhlas nejlepsi bude ten "CloudShell for XU4" ;)

[2X4B-523P]

CloudShell je zajimavy cenou a nema wi-fi, ale je to oproti tomu co jsem navrhoval o dost mene prenosne a je nebezpeci, ze se rozbije display, ktery je dost zbytecny, pokud se bavime o prenosnem NASku... take se kolikrat hodi ten bezdrat a baterie, mensi veci muzu nahrat zajemci kdekoli do telefonu a nemusim mu lezt do baraku...

[2X4B-523P]

mimochodem, jak to delas, ze mas universalni boot pro vsechny mozne UEFI a SecureBoot? Nebo se kazdemu hodlas take vrtat v UEFI (BIOSu) a prenastavovat?

[Jendа]

Na SecureBoot jsem ještě nenarazil, ale jinak mám syslinux a efigrub současně a už jsem s tím zachraňoval systém který uměl pouze efiboot a lidi okolo to neuměli nabootovat.

[2X4B-523P]

ja na to take nenarazil, ale ocekavam, ze se tak stane... podle zakona schvalnosti me to zastihne zcela nepripraveneho bez moznosti to jakkoli obejit

[2X4B-523P]

nevim jestli na TOHLE potrebujes kamion, me by se to veslo do kapsy...

[nobody]

a TOHLE se ti take vejde do kapsy ? ;)
btw: pokud bych chtel WirelessStorage, tak sahnu spis po CloudShell for XU4 a na LCD si stridave s htop budu pouste pri nahravani dat pohadky

[2X4B-523P]

ono to ma i ethernet, ale to by sis to musel precist, coz je jiste zbytecne, proc bys cetl, kdyz vsechno vis?

[nobody]

to je preci jedno ze to ma i ethernet, clanek pojednava o WirelessStorage, mel sem snad napsat WirelessStoraga_s_ethernetem? kdyz nekdo mluvi o WifiRouter opravujes ho ze to ma i ethernet ?;)
kazdopadne "CloudShell for XU4" ma take ethernet, ma to i HDMI a a a ..jak sem psal poridil bych radeji to :)

[2X4B-523P]

protoze mi porad pradhazujes NAS co neodvezes ani kamionem, tak jsem mel za to, ze ti jde o kabel, preci jen kopirovat po bezdratu je utrpeni...

[nobody]

ale neee... psal sem prenosne NAS => ano je to take moznost :) jeste muzes... to ze vozit datove_centrum byla az ta nejextremnejsi moznost vyjmenovana postupne za tim "jeste muzes", kde predtim souhlasim s tebou ze prenosne NAS je moznost, i kdyz pravda tim vyctem jsem to chtel trochu zesmesnit/zpestrit, protoze kdyz uz ma nekdo externi USB_HDD je to proste nejjednodusi reseni :)

[2X4B-523P]

ale s tom Cloudshellem jsi mi nasadil brouka do hlavy... ze bych to objednal, odkuchal z toho display, slozil to bez nej a display bych si dal na predek case... tim ze nemam opticke mechaniky, kterych se mi tam vejde hned 6, ale nemam ani jednu, je tem nevyuzita rovna plocha presne pro takovehle ucely... stejne je to divny, koupim jakoukoli DVD mechaniku, nikdy ji nepouzivam, pak se po letech rozhodnu neco vypalit a leti do kose, protoze nefunguje, to mi udelaly uplne vsechny a nektere jsem vyhodil i kdyz byly jeste v zaruce, je to vec k nicemu (ale mam hodne prazdnych medii, v mem dome nikdy neni nouze o popelnik...)

[cinnamon]

http://www.paragon-software.com/landing-pages/recovery-media-builder/index.html

[nobody]

pokud tim reagujes na opravu NTFS USB_disku bez Windows, tak WinPE si nastartuju z PXE serveru, nepotrebuju k tomu Paragon RMB kterej navic potrebuje ke svemu behu Windows :)
nicmene nejsem si jistej (a nechce se mi to hledat), ale WinPE licence snad umoznuje bezplatne vyuzit WinPE jen na opravy, nebo distribuci Windows, nevim jestli oprava NTFS na USB_HDD do toho spada ;)

[cinnamon]

nepotrebuje je to boot iso. http://www.paragon-software.com/home/rk-free/requirements.html

[nobody]

boot ISO ale neni ten ParagonRecoveryMediaBuilder, to je EXE kterej musis stahnout, nainstalovat do Windows a pak muzes teprve vytvorit (stale ve Windows) boot ISO...
naproti tomu PXE server mi bezi pod Linuxem, WinPE image si vytahnu z WAIK pod Linuxem a nastartuju si to i bez vypalovani na CD/DVD nebo kopirovani na USB-flash :)

[cinnamon]

Ještě jeden odkaz z paragonu, je to offtopic ale existuje ještě něco podobného? http://www.paragon-software.com/home/extfs-windows/ Byl jsem spokojeným uživatelem HDM 2006/2008, ale už neuměl upravovat ext4 nyní využívám "Disky"

[nobody]

nainstaluj GParted, nebo pokud chces samostatne "boot iso" tak "GParted LiveCD/USB"

[cinnamon]

Vím co je gparted, je to omezený manažer oddílǔ. Disky jsou dokonalejší, ty jediné mi dokázaly formátovat usb disk na kterých byl Opensuse 13.2 kde byly vytvořeny dva oddíly, jeden EFI a druhý systémový, všechny nástroje si na tom vylámaly zuby, včetně Windows.

[nobody]

nesmysl... gparted jako manazer oddilu ma mene omezeni nez gnome-disks kterej postrada zmenu velikosti a posouvani a hlavne neni staven na spoustu zmen uz jen tim ze dela zmenu okamzite, misto aby vytvarel frontu ktera se pak pusti najednou, tedy i s tou moznosti ze se zmeny vubec neaplikuji...

to ze ma gnome-disks neco navic (smart, load/save image, editor autofs) ktere neni primarne ulohou manazeru oddilu z nej opravdu nedelaji dokonalejsi manager oddilu...

tvuj problem s usb_diskem mohl byt ciste tvuj problem a ne gparted ;)

[cinnamon]

Tak si to zkus na svou flešku a pak pošli svého smajlíka.

[nobody]

co si mam zkusit? Opensuse 13.2 na flasku s efi? jako live, nebo install? a proc vlastne? abych ti pak psal ktere nastroje/postupy to odstranili i bez vyuziti gnome-disks? fdisk, cfdisk, parted/gparted, sfdisk, dd, cat nebo ja nevim co? to radeji poslu sveho smajlika rovnou ;)

[lertimir]

Disky jsou "dokonalejší" jen zdánlivě. Disky jsou z pohledu jakéhokoliv operačního systému bloková zařízení, které mají bloky lineárně uspořádané. A ty bloky jsou rozděleny do oddílů tabulkou oddílů, která má dva možné formáty. starý MSDOS a nový GPT. A uvnitř je buď filesystem nebo ještě nějaká vložená bloková vrstva (LVM, RAID, dm-crypt) či její kombinace.

To, že nějaký nástroj do oddílu či tabulek napsal něco nekorektně, čemuž pak standardní nástroje nerozumí se občas stane. Nebo se také může stát, že nějaký nástroj tam napíše informaci, která je smysluplná a zavádějící, což může být mnohdy i větší problém.

Před lety jsem řešil situaci, kdy motherboard pracoval s většími LBA disky v XP jen tak, že na nich zadefinoval softwarový RAID z boardu a na něm pak pracoval i když to byl jej jeden disk. Při zařazení takového disku jako sekundáru do linuxového stroje s tím byl problém, protože standardní nástroje blokovaly operace s oddílem, protože tam byly metadata RAIDu a klikacími nástroji nešlo nic odstranit. diskuse zde mi pomohla zjistit, že s metadaty mohou umět pracovat nástroje balíku dm-raid, což umožnilo odstranit falešný RAID a zase disk normálně používat. Pokud je disk po HW stránce v pořádku je to vždy problém mezi židlí a klávesnicí.

[cinnamon]

Víš, že Disky jsou alias pro gnome-disk-utiity? Pokus o vtip?

[nobody]

Vis ze je to trochu jinak ? gnome-disk-utility je balicek jehoz obsahem je mimo jine binarka gnome-disks, ktera ma desktop filem pridelene jmeno Disks ke kteremu nalezi cesky preklad Disky... ;)

[nobody]

k tomu extfs pro widle, tusim jich bylo vic, ale uz sem je spousty let nezkousel, aktualne ve vyvoji vypada treba opensource ext2fsd

[BigWrigley]

S uspechem lze pouzit na prenos mezi WIN a Linuxem UDF. Oba systemy jej nativne podporuji.

[2X4B-523P]

ani Windows nefragmentuje, fragmentace je dusledek temer 100% zaplneni disku a pak fragmentuji vsechny filesystemy... ze v dobe winXP byla prumerna velikost disku 3GB a k zaplneni a fragmentaci dochazelo velice brzy, neni chyba NTFS... pokud se na Windows vcas vytvoril swap soubor pevne velikosti a doslo ke swapovani, tak to az tolik bolestive nebylo, oproti stavu, kdy byl system nucen dynamicky swapovat na jiz fragmentovanem filesystemu... navic se tenkrat stavalo, ze kdyz dosla veskera pamet, Windows vyzval k ukonceni aplikaci, Linux to dodnes vyreseno nema a proste sestreli co se mu namane, takze konkretne v tomto pripade na tom na Linuxu nejsme zrovna nejlepe... ale muzeme si to tu mezi sebou nalhavat, abychom si nahonili ego...

[nobody]

a ze windows vyzvou vzdy k ukonceni aplikace, ktere bude reagovat a neskonci to zasekem nebo bsod si nalhavame proc? ;)

[2X4B-523P]

to jsem videl akorat na kradenych Windows a cracknutych programech, v praci jen kdyz byl vadny disk nebo pamet... ta sit v praci byla cca 500 pocitacu s Windows a zaseky a BSOD jsem neregistroval, zato na samo domo pocitacich s kradenym softem to bylo i nekolikrat denne a kazdy na to nadaval, jak jsou ty Windows k nicemu

[nobody]

a ja to vidaval v praci na stovkach certifikovaneho HW s OEM WindowsXP ;)

[2X4B-523P]

kdo to spravoval?

[nobody]

spravoval sem to ja, rozbijel to microsoft a dodavatel sw ;)

[Sten]

K fragmentaci dochází i na NTFS vinou toho, jak tam funguje alokace bloků. NTFS totiž neprovádí alokace do celého oddílu, ale jen do jeho druhé poloviny. Teprve po zaplnění si alokační prostor rozšíří o polovinu první poloviny a tak dále. To ale znamená, že už při zaplnění necelé poloviny disku začne výrazně fragmentovat. Druhý problém je s kompresí. Pokud zapnete kompresi na NTFS, tak všechny bloky v souboru zkomprimuje na místě, což vytvoří prázdné bloky tam, kde komprese ušetřila místo, a tedy opět fragmentaci. Shadow copy (používané při zálohování) také způsobuje fragmentaci, protože po zmražení se nová data začnou zapisovat na úplně jiné místo. A také hodně fragmentované bývá MFT (metadata), což výkonu zrovna nepřidá.

[x14]

Zajímavé, máš k tomu nějaké zdroje? Hlavně mě zajímá ta alokace bloků.

[Jendа]

Linux na dojití paměti reaguje zatuhnutím (bugreport). Ale nevím jak to souvisí s dotazem.

[Heron]

Záleží na systému souborů. XFS má nástroj xfs_fsr, BTRFS má nástroj btrfs defrag.

[Ignác]

elektronicky osciloskop ???? ja bych raději dřevěný.jo jinak hdd mi jede v ext4 ver 1.0

[Trubicoid2]

sudo e4defrag /

Jinak ten autodefrag v btrfs se mi zda moc nefunguje, tedy btrfs defrag je jeste potreba

[Olaf]

Nupaci, ještě jsi pořád nepochopil rozdíl mezi odpovědí na dotaz a patičkou/podpisem uživatele?

[Ignác]

Přeblafe,ja jsem hlavne mepochopil jak kazdej dulezitej čůrák píše pod tak zvanou odpovedi tuny sraček,který nikoho nezajímají .

[Olaf]

No hlavně ty každého zajímáš. Že něco nechápeš, neznamená, že "to" nemá smysl. Lidé prostě používají automatické podpisy/patičky, jež se posílají při každé odpovědi. A každý s IQ nad 85 to pochopí. Že ty jsi mimoň, za to fakt nemůžeme.

[nabehnisisam]

NEMUŽEME ? No tě prdel ono je vas přeblafů víc ?

[frdrx]

Ne. Není k tomu důvod.

Předně existuje mnohem dokonalejší možnost: mount option autodefrag pro Btrfs.

I filesystémy bez takové možnosti (tj. téměr všechny ostatní, snad možná kromě XFS či kterého) mají zpravidla alokaci místa vyřešenou rozumně, takže pokud člověk nezkouší experimenty v podobě zápisu čtyřkilobytových souborů přes celý disk a následného smazání „každého druhého“ (v nějakém přibližném slova smyslu; nikde není zaručeno, že budou alokované postupně za sebou), většinou se filesystém chová rozumně a žádné problémy s fragmentací se nekonají.

Ať tak nebo tak, v éře Btrfs už není třeba na ostatní systémy až tolik myslet. Takže autodefrag je ta odpověď.

[L_l]

Mám tomu rozumět tak, že byste BTRFS doporučil v každém případě jakožto "nejlepší" filesystém?

[Andrej]

Proč v každém případě? Co kdyby byl pro některé nasazení lepší třeba ZFS? Zvážil bych konkrétní požadavky pro konkrétní nasazení, vybral bych filesystémy, které všechny požadavky splňují, a z těch bych pak vybral ten nejvhodnější například pomocí benchmarku. To ovšem za předpokladu, že je dané nasazení dost velké, aby se nějaké benchmarkovací úsilí vyplatilo.

A nějak nechápu, kam vlastně tahle otázka směřuje. Nejlepší jsou leda lentilky. Nicméně pokud by byla mezi požadavky automatická online defragmentace, pak bude Btrfs nejspíš jediný kandidát. (Pokud náhodou XFS neumí něco podobného.)

[Tomáš Bžatek]

Zalezi, co je mineno tim "automaticka defragmentace". Treba takovy "automaticky" TRIM na SSD (discard mount option) prinasi spis vykonnostni problemy nez uzitek.

[Václav "Darm" Novák]

Bylo by k tomu víc informací? Tohle by mě opravdu zajímalo…

[nobody]

asi to ze nez neustalej discard z fstab se doporucuje pres cron poustet razove fstrim...

[Václav "Darm" Novák]

To chápu, ale zajímal by mě důvod výkonnostních problémů když to dělá fstab.

[Václav "Darm" Novák]

tedy, když je to nastaveno přes fstab, pochopitelně.

[nobody]

discard provadi trim ihned po mazani, fstrim jen kdyz je zavolan... a nektere ssd/radic/bios maji udajne s discard problemy kdy pri velkem zatizeni muze dojit k poruse filesystemu

[x14]

Ryze mazací operace nad spousto souborů (například smazání stromu zdrojáků jádra) jsou opravdu řádově pomalejší (tj. místo jednotek sekund jsou to desítky), při běžných operacích je to prakticky neměřitelné. Já považuji trimování cronem za zbytečnou vyfikundaci, discard funguje optimálně.

[Sten]

Automatický trim dělá výkonnostní problémy ve dvou případech:

1. když je poprvé spuštěn (provede se trim veškerého volného místa)
2. Když jde na disk hodně zápisů s fsync. TRIM je totiž synchronní a brání NCQ. Ale NCQ se na SSD téměř neprojevuje a spíš se týká případu, kdy je to posílané na rotační disk.

[Heron]

Existuje i NCQ Trim, který nebrání disku si to udělat podle svého pořadí, ale někteří výrobci tuto funkci opět pochopili po svém, takže se jejich výrobky dávají v Linuxu na blacklist.

[Andrej]

Takzvané SSD (ve skutečnosti WOM (Write-Only Memory)) jsem tady vůbec nebral v úvahu.

Trim a defragmentace jsou dost zásadně odlišné procesy. Defragmentace se týká souborového systému, zatímco trim se souborovým systémem a jeho datovými strukturami nemá vůbec nic společného (tedy kromě hlášení prázdných bloků filesystémem).

[frdrx]

Využiju příležitosti se zeptat. Je to rozumné v kombinaci s SSD?

[Petr Šobáň]

Na SSD se žádná defragmentace nedělá - prostě tam není mechanika a ke všem buňkám je stejně rychlý přístup takže fragmentace nespomaluje SSD.

A pokud ji budeš používat docílíš pouze skrácení životnosti SSD, na rychlost to má minimální vliv.

(Samozřejmě není úplně stejně rychlý přístup ke všem buňkám, ale v reálu je to zanedbatelný rozdíl jedině že by byl vadný řadič a měl špatný FW)

Pro SSD defragmentaci na všech FS i OS VYPNOUT!!!!

[frdrx]

Super! Tohle tu bylo potřeba zmínit!

[Trubicoid2]

Jejda, to vsichni vi, ne? :)

Jeste ext4 umí optimizovat adresare, což se muze hodit i na ssd//mmc, fs odmountovat a e2fsck -fyD /dev/sda1

[frdrx]

Nespolíhal bych na to.

[Andrej]

Btrfs detekuje, zda se jedná o SSD. (Kromě toho je tam option ssd/nossd, kdyby to náhodou na nějakém obskurním hardwaru určil špatně.)

Defragmentace na SSD by podle mě škodila, protože jde o přesouvání bloků a zápisy. To znamená, že už tak zoufale nespolehlivé SSD by bylo ještě méně spolehlivé, protože by mělo v podstatě zbytečné zápisy navíc.

Ve své odpovědi výše jsem o SSD vůbec neuvažoval. Nic takového bych si nepořídil a nesvěřil tomu svá data, takže se většinou nezamýšlím, jak by to či ono (ne)fungovalo na SSD.

[jekub]

Možná by tyto nepostradatelné utility šly spustit ve wine Ignácie.