Dotaz: Instalace ElasticSearch

[svido]

Ahoj, mám problém s instalací ElasticSearch v Gentoo. Instaloval jsem z oficiální portage (app-misc/elasticsearch-5.0.0::gentoo). Po kompilaci službu normálně pustím, bez chyb. Pokud, ale zkusím curl -X GET 'http://localhost:9200' dostanu chybu: curl: (7) Failed to connect to localhost port 9200: Connection refused. Nastavení jsem nechal výchozí. Java JDK mám instalováno (IcedTea JDK 3.1.0 [icedtea-bin-8]).

Divné je, že pokud stáhnu binárku, tak Elastic normálně funguje.

Stejná věc se mi stala i pod virtualizovaným Ubuntu.

Netušíte někdo co s tím? Děkuji

---

---

Odpovědi

[NN]

Chyba hovori sama za sebe. Bud na localhostu na 9200 nic neposloucha, nebo je to blokovane.

[Jary]

koukni do logů journalctl -xe třeba. nebo journalctl -u elasticsearch

[Filip Jirsák]

Kdyby tam měl systemd, neřešil by problémy s tím, že neví, že se služba nenastartovala, že neví, co vypisuje na standardní výstup, nebo že musí pracně zjišťovat, jak a s jakými parametry se ta služba vlastně spouští. Tady se bavíme o starém init systému a celé řešení problému je sbírka příkladů na to, co je na starém init systému špatně.

[pavlix]

Kdyby tam měl systemd, neřešil by problémy...

To je docela odvážné tvrzení. Nejspíš by to řešil úplně stejně.

[Filip Jirsák]

Neřešil by, kde má log, protože by ho měl v journalu. Neřešil by, kde má výpis ze standardního výstupu, protože by ho měl v journalu. Nedivil by se, že služba havarovala, protože by to měl v journalu. Nemusel by řešit, jak službu spustit na popředí mimo init systém, protože pod systemd běží úplně stejně a má z ní ten samý výstup, jako kdyby ji spustil ručně z terminálu. Stejně by řešil akorát to, že když chce znát aktuální stav služeb, musí se na aktuální stav služeb podívat a nestačí spoléhat na to, že se služba spustila.

[pavlix]

Nemyslím si. Ale nemá cenu se o tom dohadovat.

[Tomáš Bžatek]

Vazne? A jak moc vlastnich zkusenosti mas s openrc?

[Filip Jirsák]

Používám Gentoo od roku 2002, možná 2003. Tak můžete hádat.

[svido]

sorry, ale běž se bodnout, s takovými typy rad. Hmm, tak to musíš být guru, když jsi začal používat Gentoo hned jak vzniklo Pak bych čekal jiné odpovědi.

[Filip Jirsák]

Rady jsem vám dal dole. Tady jsem žádnou radu nedával, pouze jsem korigoval zjevně chybnou radu, že se máte podívat do journalu, protože jsem na rozdíl od Jaryho věděl, že systemd nepoužíváte. Sebelepší odpovědi vám nepomůžou, když neumíte číst.

[eagle.metawerzum]

Filip Jirsák je trochu zvláštní člověk, kterému ani roky zkušeností nepomůžou, aby se s ním vůbec dalo o IT rozumně bavit.

[Tomáš Bžatek]

Ok, dobre, ja az od 2004. Gentoo se systemd mam pokusne na jedne masine taky a po nejakem roce a pul kazdodenniho pouzivani bych se jej presto neopovazil na produkcni server nasadit. Nedavno se mi napr. v systemd "objevilo" (= leaklo) nekolik desitek tisic cgroup (vlivem bugu, ktery se v upstreamu stale resi) a system sel zkratka do kytek.

[pavlix]

Mně to běžně dělá hovadiny i na laptopu.

[svido]

co já vím, tak pro Gentoo je default OpenRC. Instalovat kvůli ElasticSearch nějaký Ubuntu | Debian, abych Ti uděla radost se systemd, fakt nebudu. Nehledě na to, že s OpenRC jsem nikdy neměl problém.

Je dopíchaný celý init script, nastavují se tam věci, které vlastní instance ElasticSearch pak ani nebere v úvahu...

Nakonec jsem to vyřešil tak, že pouštím démona ručně svým skriptem a to mi stačí. Bohužel Gentoo není oficiálně podporované Elasticem, což je škoda, ale to je všeobecná potíž.

[Filip Jirsák]

Instalovat kvůli ElasticSearch nějaký Ubuntu | Debian, abych Ti uděla radost se systemd, fakt nebudu.

Systemd se dá bez problémů provozovat i na Gentoo.

Nehledě na to, že s OpenRC jsem nikdy neměl problém. Je dopíchaný celý init script, nastavují se tam věci, které vlastní instance ElasticSearch pak ani nebere v úvahu...

Aha, takže jste vlastně s OpenRC měl problém a právě ho popisujete.

Nakonec jsem to vyřešil tak, že pouštím démona ručně svým skriptem a to mi stačí.

Kdybyste používal systemd, tak ten příkaz místo vlastního skriptu napíšete do unit souboru a máte to vyřešeno.

Čímž ale vůbec netvrdím, že máte používat systemd. Je to jenom taková poznámka pod čarou k diskusím o systemd – jak lidé popíšou spoustu problémů třeba s OpenRC, a pak tvrdí, že s ním nikdy problém neměli, protože si ani neuvědomují, že jsou to problémy a že to tak být nemusí. To, že obejdete init systém a spouštíte službu ručně, mi připadá jako dost vážný problém init systému, který je určen právě k tomu, aby služby spravoval a spouštěl.

[pavlix]

Systemd se dá bez problémů provozovat i na Gentoo.

Neříkal bych tomu bez problémů. Jen ty problémy nejsou o moc horší než na jiných distribucích. Ale používat se dá. Zrovna uvažuju o přechodu na OpenRC, ale trochu mě mrzí, že je OpenRC přecijen trochu nedotažené a zpátečnické.

[Filip Jirsák]

Ano, já vím, dělám něco špatně, že mi systemd na Gentoo funguje bez problémů. Ale já už jsem se s tím smířil, že nikdy nebudu mít tolik zkušeností a znalostí, aby mi systemd konečně začal dělat problémy.

[pavlix]

Už jsem si zvykl na to, že je ignorování a zamlčování problémů oblíbená zábava mezi systemd fanboys. :)

[Filip Jirsák]

Je hloupé místo předložení argumentů oponenta onálepkovat ošklivými slovíčky. Je hloupé předložená tvrzení označovat za lež jenom proto, že se neshodují s vašimi názory – pak totiž nemáte jak zjistit, zda váš názor náhodou není chybný.

[Peter Golis]

Nejde o jeho názor. Ide o jeho možnosť odsudzovať niečo alebo niekoho, tak ako to robí pracujúci ľud po večeroch v pohostinstvách nižšej cenovej kategórie. A potom ide do volieb, a nadáva na politikov ktorých si sám zvolil.

[pavlix]

Nepovažuju vás za oponenta a ani si nemyslím, že byste patřil mezi lidi, se kterými má smysl korigovat názory.

[pavlix]

Nakonec jsem to vyřešil tak, že pouštím démona ručně svým skriptem a to mi stačí. Bohužel Gentoo není oficiálně podporované Elasticem, což je škoda, ale to je všeobecná potíž.

Já v tom žádnou potíž nevidím. A ten initskript jistě půjde triviálně opravit a založit bug report, aby se opravil všem. O tom je totiž open source, ne o tom, jestli je Gentoo oficiálně podporované tvůrcem daného software nebo ne.

[Jendа]

netstat -tlpn

telnet ta_adresa

[svido]

Ano, samozřejmě, takový hlupák nejsem. Na portu 9200 nic není. Bohužel v žádném logu jsem nic nenašel a ikdyž měnín nastavení Elasticu podle Google, tak to nic nedělá. Služba se tváří, že běží, ale na portu nic není.

Vůbec mě nenapadá, proč to nejde, resp. je možné, že mu něco chybí - protože binární Elastic je v pohodě.

Opravdu nemá nikdo zkušenosti s instalací?

[svido]

Ano, samozřejmě, takový hlupák nejsem... Na portu 9200 nic není. Bohužel v žádném logu jsem nic nenašel a ikdyž měnín nastavení Elasticu podle Google, tak to nic nedělá. Služba se tváří, že běží, ale na portu nic není.

Vůbec mě nenapadá, proč to nejde, resp. je možné, že mu něco chybí - protože binární Elastic je v pohodě.

Opravdu nemá nikdo zkušenosti s instalací?

[Josef Kufner]

Ano, samozřejmě, takový hlupák nejsem...

Jsi si jistý?

Na portu 9200 nic není.

Přesně to ta chybová hláška říká.

Podívej se pomocí netstatu (jak už napsal Jenda), zda ta služba běží a hlavně na jakém portu (a zda vůbec) poslouchá.

[svido]

ale, tak hoši... Ještě jednou:

Nainstaluji Elastic, pustím službu ElasticSearch. Podle výpisu služba běží:

hurvajs@zeryk ~/Downloads/elasticsearch/elasticsearch-5.0.0/bin $ sudo /etc/init.d/elasticsearch restart
Password:                                                                                                       
 * Stopping elasticsearch ...        [ ok ]
 * Starting elasticsearch ...        [ ok ]

v žádném logu jsem nic nenašel a přesto Elastic nefunguje. V netstat samozřejmě port 9200 ani jiný není, to jsem kontroloval ještě před dotazem.

Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name                                                                                
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      -                                                                                               
tcp        0      0 127.0.0.1:8088          0.0.0.0:*               LISTEN      -                                                                                               
tcp        0      0 0.0.0.0:25              0.0.0.0:*               LISTEN      -                                                                                               
tcp        0      0 127.0.0.1:33755         0.0.0.0:*               LISTEN      3643/clementine                                                                                 
tcp        0      0 127.0.0.1:3306          0.0.0.0:*               LISTEN      -                                                                                               
tcp6       0      0 :::22                   :::*                    LISTEN      -                                                                                               
tcp6       0      0 :::443                  :::*                    LISTEN      -                                                                                               
tcp6       0      0 :::80                   :::*                    LISTEN      -

Když ale stáhnu binárku Elasticu a pustím jí, tak se naslouchání vytvoří a Elastic funguje. Konfigurace je úplně stejná.

Moje otázka byla, jestli někdo neví proč se služba tváří, že běží a vlastně neběží. Jestli se s tím už někdo setkal

[pavlix]

proč se služba tváří, že běží a vlastně neběží

Jak se prosím projevuje, že se služba tváří, že běží?

[svido]

pokud běží, naslouchá na portu 9200. Ověření je pak přes cUrl:

$ curl -X GET http://localhost:9200
{
  "name" : "CkIjmO8",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "isAIDlInS-OgDttbySeTDw",
  "version" : {
    "number" : "5.0.0",
    "build_hash" : "253032b",
    "build_date" : "2016-10-26T04:37:51.531Z",
    "build_snapshot" : false,
    "lucene_version" : "6.2.0"
  },
  "tagline" : "You Know, for Search"
}

[pavlix]

Takže služba skutečně běží a běží na správném portu? V tom případě vidím problém ve špatně formulovaném dotazu. Tím, že řádně nepopíšete problém se v podstatě izolujete od pomoci ze strany všech lidí, co nejsou přímo experti na elasticsearch, takže možná od všech, kteří se na dotaz přijdou podívat.

Měl jsem za to, že je dotaz o tom, že služba neběží nebo neodpovídá. Teď jsem se dozvěděl, že ano. Teď má za to, že tady jenom všichni ztrácíme čas.

[svido]

možná jsem to popsal špatně, ale snažil jsem se to popsat. Zřejmě chyba na mé straně. ElasticSearch má fungovat tak, že po spuštení defaultně naslouchá na portu 9200 - ElasticSearch je vlastně REST API.

Nové zjištění je, že ačkoliv spuštění služnby napíše OK, tak dle statusu je crashed. Takže zkusím projít init sckript, jestli mne to nenakonpne dál.

[pavlix]

Co to znamená mít status crashed a kdo takový status reportuje?

[svido]

# /etc/init.d/elesticsearch status
  * status: crashed

Bohužel, k tomu není nikde žádný záznam v logu, proč služba spadne. V oficiálním návodu, jsem nic nenašel

[pavlix]

1) Nejdřív se vykašli na RC skripty a pouštěj službu ručně. Tak můžeš zapínat debugy, pouštět strace, pouštět gdb...

2) Teprve kdyby ručně všechno fungovalo, má smysl se hrabat v initskriptech a OpenRC.

[svido]

jasně, zkusím. Jen až večer - nemám to doma. Jen mi je divné, že ElasticSearch všem funguje.

[dustin]

U tak složitého projektu není nic divného, že nefunguje napoprvé...

[DarkKnight]

Obzvlast u tak velkeho projektu je velmi divne, ze nefunguje v zakladni instalaci (coz ocividne funguje, kdyz se spusti stahnuta oficialni verze), takze je spis na vine ten, kdo ten balicek vytvarel. Tipnul bych si na spatne nastaveny JAVA_HOME, working dir, nebo neco jineho.

[Josef Kufner]

Tohle se typicky stává, když se sejdou lehce nekompatibilní knihovny, nebo se objeví drobná chyba specifická pro tvojí konfiguraci.

Podívej se do init scriptu, s jakými parametry to tu službu spouští (předpokládám alespoň cestu ke konfiguračním souborům), a pak ji spusť ručně bez init scriptu. Obvykle to napíše do terminálu něco, co se nedostalo do logu. Nebo aspoň uvidíš, co to vlastně (ne)dělá. Můžeš ještě přidat nějaký parametr (bývá to něco jako --debug; viz dokumentace) pro zapnutí ladicích výpisů, kdy démon zůstane v popředí a nedělá ze sebe démona.

[svido]

ono mi to přijde, že init script je možná starý pro ElasticSearch 2. Nastavují se tam proměnné, které se sice předají službě pro pouštění deamonů, ale samotný Elastic je ani pak nebere, resp. nezná potřebné parametry.

[Filip Jirsák]

Předpokládám, že půjde o nějakou chybu v konfiguraci a že když ElasticSearch spustíte na popředí, vypíše vám chybu na standardní výstup.

[svido]

už nevím jak to mám popsat...

Jsou tu dvě věci:

1. Elastic zkompilovaný z portage - ten neběží, služba je dle statusu crashed, nikde jsem nenašel logy, proč služba spadne. Zkoušel jsem přenastavit konfiguraci a vždy stejný výsledek.
2. Binárka stažená přímo z Elasticu, pak naopak běží a vše funguje, jak má. Tj. naslouchá na portu 9200, je vidět tudíž v netstats. (i onen cUrl výstup je z binární verze). Rád bych ale využíval verzi z portage - ať kvůli aktualizacím, nastvení atd.

Zkusil jsem vzít konfiguraci z binární verze a použít jí ve verzi z portage. Bohužel opět stejný výsledek. Služba sice napiše re/started OK, ale podle statusu padne na hubu.

Snažím se tedy vyřešit variantu 1)

[pavlix]

Zkusil jsem vzít konfiguraci z binární verze a použít jí ve verzi z portage.

No tak vidíš, že máš nějaký výsledek. To totiž znamená, že není problém v té binárce. A to už bys dávno věděl, kdybys postupoval podle instrukcí lidí, co věnovali svůj čas tomu, aby ti poradili.

[Max]

Ten výpis neříká nic o tom, zda služba běží, nebo ne. První řádek je potvrzení stavu, že služba je down (nehledě na tom, zda běžela, nebo ne). Druhý řádek je jen potvrzení spuštění, ale pokud to hned na to padlo, tak je služba opět dole.
Většinou ověříš tak, že "/etc/init.d/elasticsearch status", ale spíš než to bych koukal po procesu v systému.
Pokud nic nenajdeš, je down. A pak musíš řešit proč. Tj. pokud v logách nic není, tak zvýšit úroveň logování.
Pokud to nepomůže, tak zkusit ručně spustit, zda ti to něco nevypíše v terminálu.
Zdar Max

[svido]

Ten status mne nenapadl. Díky. Samozřejmě je status: crashed. Kouknu do init skriptu, co to vlastně má dělat.

P.S.: úroveň logování zvednu jak - pomocí --verbose při spuštění služby?

[Filip Jirsák]

Setkal už se s tím nejspíš každý. Není to nic specifického pro ElasticSearch, je to normální správa linuxových služeb. Jste si jistý, že v tom výpisu z netstatu nic není ElasticSearch, třeba ten program na portu 8088? Dál bych se podíval do výpisu procesů, zda služba opravdu běží nebo neběží. Ve spouštěcím skriptu pak najdete způsob, jak se spouští, můžete ji zkusit spustit ručně, jestli něco nevypisuje na standardní výstup, případně přidat nějaké parametry, aby se zvýšila podrobnost výpisu.

[svido]

nn, není. Na 8088 mi běží proxy. V procesech Elastic není. Je pravda, že do spouštěcího skriptu jsem ještě nekoukal. Mrknu