Popis nástrojov pre sledovanie zaťaženia systému

• Autor : Tomáš Mokoš, Marek Brodec

Nload

Verzia : 0.7.4

Je konzolová aplikácia ktorá monitoruje sieťovú pre vádzku a rýchlosť toku v reálnom čase. Získané štatistiky zobrazuje v dvoch grafoch(1 pre uplink a 1 pre downlink). Poskytuje podrobnejšie informácie o celkovom množstve prenesených dát a priemernej, aktuálnej, minimálnej a maximálnej rýchlosti. Toto rozšírenie sme používali v najjednoduchšom režime nload interface, existuje však mnoho rozšírení zobrazení a doplňujúcej konfigurácie pomocou rôznych prepínačov o ktorých sa je možné dočítať v man page aplikácie $ man nload.

Inštalácia:

• stiahnutie balíčka

apt-get install nload 

Použitie:

• spustenie nástroja na rozhraní enp0s9

nload enp0s9 

Ukončenie: Ctrl+c alebo „q“

Iftop

Verzia : 1.25

Iftop je aplikácia, ktorá monitoruje sieťovú prevádzku na pomenovanom rozhraní alebo na prvom rozhraní ktoré nie je špecifikované a zobrazuje tabuľku s aktuálnymi informáciami o toku v pároch teda zdrojová vs cieľová komunikácia. Opäť je možné použiť rôzne rozšírujúce možností a filtre pre požadované siete a podobne. O týchto možnostiach je možné dočítať sa v manuálovej stránke k nástroju $ man iftop.

Inštalácia:

• stiahnutie balíčka

apt-get install iftop 

Použitie:

• spustenie nástroja s počúvaním na rozhraní enp0s9 v promiskuitnom režime (-p) , pretože monitorujeme rozhranie ktorým prichádza zrkadlená prevádzka, a teda chceme aby sme sledovali aj pakety, ktorých cieľová adresa nie je naša IP adresa poprípade broadcast.

iftop -i enp0s9 -p  

Bigdesk

Verzia : 2.5.0

Bigdesk je najjednoduchší dostupný plugin, ktorý veľmi uľahčuje sledovanie toho čo aktuálne Elasticsearch robí.

Inštalácia pluginu pozostávala z viacerých krokov:

• presun do inštalačného priečinka elasticsearchu

cd /data/moloch/elasticsearch-2.4.0/bin  

• inštalácia samotného pluginu s ignorovaním pravidiel prístupu užívateľov(-b) a zobrazením priebehu inštalácie na terminál(-v)

./plugin install https://github.com/lukas-vlcek/bigdesk/archive/master.zip -v -b 

• prístup k danému pluginu pomocou IP adresy a portu na ktorých je v závislostí od konfigurácie spustený Elasticsearch klaster(cluster).

http://IP_adresa:číslo_portu/_plugin/bigdesk/

Ukážka grafov na ktorej je možné vidieť počet alokovaných GB RAM pamäte pre Elasticsearch a počet aktuálne využívaných GB za obdobie posledných 5 min. Toto obdobie je možné meniť v intervale od 10 sekúnd po max 1hodinu, rovnako je možné určiť interval aktualizácie informácií zaradených do grafu od 1 po 30 sekúnd.

V nasledujúcej ukážke je možné vidieť využitie procesora a RAM pamäte.V tomto prípade sa jedna o zaťaženie celkové, spôsobené všetkými bežiacimi procesmi nie len procesom Elasticsearch inštancie. Keďže swapovanie sme pri inštalácií Molocha vypli graf je prázdny.

V poslednej ukážke môžeme vidieť rôzne štatistiky prehľadávania a indexovania v dátach jednak v počtoch ale tiež v časových jednotkách.

Head

Verzia : 0.1.3

Head je front end Web API, ktoré umožňuje prehliadanie, vyhľadávanie a interakciu s klastrom Elasticsearch. Umožňuje jednak pohľad na stav elasticsearchu ale tiež prácu s jednotlivými dennými dávkami indexov.

Inštalácia pluginu ma viacero alternatív, uvediem dve najpoužívanejšie:

• stiahnutie inštalačného repozitára pluginu

git clone git://github.com/mobz/elasticsearch-head.git 

• presun do inštalačného priečinka

cd elasticsearch-head  

• spustenie inštalácie

npm install 

• spustenie pluginu

npm run start  

• prístup k danému pluginu pomocou IP adresy a portu na ktorých je v závislostí od konfigurácie spustený Elasticsearch klaster(cluster).

http://IP_adresa:číslo_portu/_plugin/head/

alebo

• spustenie inštalácie samotného pluginu

sh /data/moloch/elasticsearch-2.4.0/bin/plugin install mobz/elasticsearch-head 

• prístup k danému pluginu pomocou IP adresy a portu na ktorých je v závislostí od konfigurácie spustený Elasticsearch klaster(cluster).

http://IP_adresa:číslo_portu/_plugin/head/

Bigdesk a Elasticsearch Head pluginy nie sú funkčné od Elasticsearch verzie 5.x, kvôli zmenám v architektúre Elasticsearch databázy.

Zdroje

• Report Projekt 1-2 – Marek Brodec