Vyťaženie CPU, RAM, HDD
- Autor : Tomáš Mokoš, Marek Brodec
Vzhľadom na to, že vzorce pre zistenie koľko dní dokáže Moloch archivovať a aký hardvér by sme mali pre naše podmienky nasadiť sú len približné, rozhodli sme sa vykonať štatistiku, ktorá by nám mohla ujasniť tieto hodnoty
Zo vzorca pre výpočet počtu uzlov Elasticsearchu : ¼ * priemerná sieťová prevádzka v Gbit/s * počet dní, ktoré chceme archivovať, vyplýva, že by nám pri 2 Mbit/s dátovom toku, stačiť 1 uzol.
Pomocou vzorca 86400 * priemerná sieťová prevádzka za sekundu * počet dní archivácie, sme schopní spätne vypočítať, keďže 1Gbit/s zaberá 11TB, tak 2Mbit/s bude zaberať denne 22GB, čiže sme schopný archivovať približne 113 dní neorezaných dát.
Vzhľadom na to, že náš server na laboratórnej úrovni nie je príliš zaťažovaný, z pamäte RAM je využívaných priemerne iba 7GB (22%). Je to aj kvôli tomu, že v noci sú dátové toky minimálne. Nerovnomerné dátové toky spôsobujú skreslenie a preto by bolo vhodné vykonať dlhodobejšie pozorovanie.
Konkrétne Moloch CPU využíva iba na približne 5% a z pamäte RAM využíva 1,0-1,3 GB (3-3,5%).
Taktiež to je v prípade využitia diskového priestoru, ktoré bolo v prvom týždni 340 GB (17%), v druhom 220 GB (11%) a v treťom 140 GB (7%).
Vďaka tomu, že sme nasadili orezávanie dát, sme zatiaľ dokázali archivovať 6 mesiacov prevádzky, pričom treba podotknúť, že reálne to boli len 4, keďže počas skúškového obdobia bola prevádzka veľmi nízka. Zaplnených bolo 52% pamäte, čo je 1,3 TB.
Zdroje
- Report Projekt 1-2 – Marek Brodec