Pozor na locate/mlocate

6.3.2021 17:28 | Přečteno: 2543× | GNU/Linux

Dneska to bude stručné, ale zato apolitické. Příkaz locate je jeden z klasických unixových příkazů a slouží k vyhledávání souborů na disku. Je mnohem rychlejší než find, protože pracuje nad svým indexem místo toho, aby postupně procházel všechny soubory a složky na disku. Takže zadáme třeba locate wgetrc a vzápětí nám to najde /etc/wgetrc. To je skvělé, ne? Taková jednoduchá indexace a vyhledávání se někdy hodí. Ale taky nám může pěkně zavařit. A to doslova.

Nedávno mi začal vytuhávat jeden server. Nejdřív jsem si říkal, že mi to asi nějaká verběž DoSuje. Ale pak jsem zjistil, že se ten systém podělal sám od sebe. Bohužel i to se v GNU/Linuxu někdy stává. Na tom serveru mám spoustu souborů (neptejte se proč) a taky spoustu snapshotů (tím se počet souborů ještě násobí, takže jich je ve výsledku fakt hodně). Systém docela dlouho běžel, a pak se zadřel. Jednoduše proto, že došlo místo na disku. Pomocí du -sh jsem po pár krocích nalezl adresář /var/lib/mlocate/, který měl desítky GB a vyplnil veškeré volné místo, takže se většina služeb zastavila a ani se nic nemohlo logovat. Ano, měl bych monitorovat volné místo na discích... třeba Zabbixem. Píšu si do TODO.

Příkaz locate resp. balíček mlocate je ve výchozím stavu instalován a pravidelně aktualizuje svůj index. Většinou o tom ani nevíte a nijak to neškodí. Ale je to past. Na tomhle systému jsem nikdy locate nepotřeboval, indexace probíhala úplně zbytečně, což vedlo k výkonnostním problémům a nakonec k zadření serveru a výpadku služby. Pokud tedy locate vyloženě nepotřebujete, tak doporučuji preventivně udělat:

apt remove mlocate

Případně můžete vytvořit nějaký menší oddíl a připojit ho do /var/lib/mlocate/. Pokud tam pak dojde místo, tak se zastaví jen indexace a nepožere vám to všechno volné místo, které potřebujete pro mnohem užitečnější služby a logy.

       

Anketa

Anketa

Anketa

Anketa

Komentáře

[ehmmm]

Co to je za system/distribuci, ze ma automaticky nainstalovany locate?

To s tim mistem na disku, jsem uz taky zazil. Ale u nas za to mohla databaze.

[Seržant]

Tohle bylo Ubuntu.

[Bystroushaak]

Co to bylo za verzi? Teď jsem koukal na svoje ubuntu servery a vůbec to tam nemám nainstalované.

[Seržant]

Ubuntu 18.04.5 LTS. Určitě jsem to tam neinstaloval explicitně. Možná se to tam natáhlo jako závislost nějakého balíčku, ale spíš mám pocit, že to tam bylo už od začátku (i v serverové instalaci Ubuntu).

[Seržant]

P.S. Při odinstalaci to s sebou nevzalo žádný další balíček, takže to zjevně vyžadovaná závislost nebyla.

[m.]

A instalujes baliky z kategorie suggested?

[Jendа]

Pomocí du -sh jsem po pár krocích nalezl

ncdu

Případně můžete vytvořit nějaký menší oddíl a připojit ho do /var/lib/mlocate/.

Správný způsob je v /etc/updatedb.conf nastavit adresáře, které se nemají indexovat - adresáře s velkým množstvím souborů, snapshoty…

[kvr]

+1 . Záleží, co to bylo za soubory. U snapshot, mails a jiných private souborů apod bych čekal, že hlavně nebudou přístupné, mlocate by se k nim přirozeně neměl vůbec dostat. Ale to je v článku utajeno.

locate je docela užitečný na nalezení knihoven, programů, konfigurací apod, takže pro mě je to jedna z věcí, kterou naopak rychle instaluju, pokud chybí.

[otasomil]

Hlavne locate najde vse okamzite a to i v celem /. Vetsinou pouzivam s ignoraci velikosti znaku:

locate -i nejakynazev

[Jendа]

Moje updatedb na Debianu běží pod rootem. (a mlocate je setuid, čte databázi čitelnou pouze pod rootem a informace z ní aktivně filtruje, pokud ho zavolá obyčejný uživatel)

[Seržant]

U snapshot, mails a jiných private souborů apod bych čekal, že hlavně nebudou přístupné, mlocate by se k nim přirozeně neměl vůbec dostat. Ale to je v článku utajeno.

Update indexu běží pod rootem a hledání pak vlastně taky, protože ta binárka má SUID bit. Přijde mi to navíc jako zbytečné bezpečnostní riziko (jen kvůli hledání, které stejně většinou nepoužívám).

[Seržant]

ncdu

To si při plném disku těžko nainstaluji. Ten systém byl sotva použitelný, nefungovalo ani napovídání v Bashi

Správný způsob je v /etc/updatedb.conf nastavit adresáře, které se nemají indexovat - adresáře s velkým množstvím souborů, snapshoty…

Dík, tohle je dobrá připomínka. Hledal jsem konfigurák s názvem locate nebo mlocate, což tam nebylo a neměl jsem chuť pátrat dál, tak jsem ten balíček prostě odinstaloval, protože ho stejně nepoužívám.

[k3dAR]

tak pro priste ja ncdu instaluju na kazdem desktopu i serveru jako jeden z prvnich balicku (spolecne s ssh-server, mc, byobu, atd) a na serveru zaroven vzdy upravuju /etc/updatedb.conf, resp. i na desktopu tam davam vyjimku na /mnt ale ano, delam to par let od doby co mi doslo misto ve /var

[otasomil]

Obvykle hledam pomoci aliasu v .bashrc:

alias najdi="find | grep -i"

Orientacne vzdy vim kde hledat tak i toto je rychly.
S locate jsem nemel zadne problemy ac jej v OS mam.
Prehled o zabranem miste kde lezi nejvetsi balvan nechavam na tomto:

du -hc --max-depth=3 | sort -rh | head -20

[Jendа]

du -hc --max-depth=3 | sort -rh | head -20

ncdu

[k3dAR]

pripadne "ncdu -x" aby "neprolezl" do dalsich filesystemu

[skunkOS]

"Příkaz locate resp. balíček mlocate je ve výchozím stavu instalován a pravidelně aktualizuje svůj index" - na seriozních distribucích určitě nainstalován by default není, případně je tam nějaká sane konfigurace.

[AsciiWolf]

Na Fedoře i Mintu mlocate, pokud se nemýlím, by-default je. Tuším, že i na Debianu (včetně standardní instalace bez desktop-related věcí).

[Max]

Buď nehledám, páč vím, nebo hledám pomocí find. Locate je dobrý, ale musí se ta db udržovat.
Zdar Max

[Seržant]

V Ubuntu se udržuje sama, pravidelně cronem.

[Max]

To u většiny OS, ale nebývá zahrnuto vše + se to spouští v nějakých intervalech. Pokud má člověk rotačáky a hodně data, tak je to i slyšet, kdy se ten cron spustil :)
Zdar Max

[zito]

Před pár týdny jsem přešel na plocate. Na noťasu jedu unstable. V dalších verzích Debianu nahradí mlocate...

[k3dAR]

BTW: v pripravovanem Xubuntu 21.04:

mlocate has been replaced with plocate, which should result in even faster lookups with Catfish.

[marbu]

Locate není od Debianu 10 v základní instalaci, ale nedávno se řešilo, zda se tam má locate vrátit s plocate implementací od Debianu 12.

[Lenka]

Vážení, většinu osobních souborů pokud je nepotřebuju mít po většinu času na systemovem disku přesouvám na disk externí, nejnovější mám 5G s R100M/s, k čemu mi takový locate bude kdzž budu chtít najít soubor hned, než by proběhla indexace najdu to dřív třeba kfindem, pro mě rychlejší než find. A to co mi zbyde v /home tak o tom vím, to indexovat nepotřebuju. Kde indexaci naopak považuju za užitečnou je /etc a /usr/share, ano indexace byla určena pro osobní soubory.