Hardvérové požiadavky
- Autor : Tomáš Mokoš
Moloch je postavený tak, aby bolo možné ho rozložiť na viacero strojov, pri väčších tokoch. Pri malých sieťach, ukážkach alebo nasadeniach len tak doma, je možné mať všetko na jednom stroji. Avšak pri zachytávaní veľkých objemov dát pri veľkých prenosových rýchlostiach sa neodporúča mať spustený Capture a Elasticsearch na rovnakom stroji. Moloch umožňuje otestovanie demo verzie softvéru priamo na webovej stránke. Moloch pri nedostatku miesta zmaže najstaršie dáta a uloží nové. Umožňuje tiež zapnúť replikácie, čoho následkom je dvojnásobok spotreby miesta na disku preto tento krok je nutné dôkladne premyslieť.
Elasticsearch a počet uzlov
Množstvo uzlov (serverov), ktoré by sme mali použiť závisí hlavne od:
- Koľko pamäte každý uzol má
- Pre koľko dní chceme ukladať meta dáta (SPI dáta)
- Aké rýchle sú disky
- Aké množstvo prevádzky tvorí HTTP
- Aká je priemerná prenosová rýchlosť všetkých rozhraní
- Či sú spojenia krátkodobé alebo dlhodobé
- Aká rýchla by mala byť reakcia pri dopytovaní
- Aké množstvo ľudí odhadujeme, že sa bude súčasne dopytovať v rovnakom čase
Do úvahy treba taktiež brať to, že pri 1 Gbit/s sieťovej prevádzke treba približne 200GB disku na deň pre uloženie metadát (SPI dát) z modulu Elasticsearch. Pre príklad môžeme uviesť, že pre archiváciu 14-tich dní pri priemernej sieťovej prevádzke 2.5 Gbit/s sa dá ľahko vypočítať 14* 2.5* 200, čo je približne 7 TB diskového priestoru.
Približný vzorec pre výpočet počtu potrebných uzlov pre Elastisearch je ¼ * priemerná sieťová prevádzka v Gbit/s * počet dní, ktoré chceme archivovať. Ako príklad môžeme uviesť, že pri rýchlosti 1 Gbit/s a 20 dňovej archivácií, by sme potrebovali 5 uzlov. Pokiaľ chceme Moloch nasadiť na výkonnejšie stroje, je možné mať viac uzlov Elasticsearchu na jednom stroji. Taktiež zavedenie nového uzla nie je zložitý proces a preto je lepšie začať s menším počtom uzlov a následne ich postupne pridávať, kým nezískame požadovanú rýchlosť dopytovania.
Capture
Pri Capture je dôležité poznamenať, že pri priemernej sieťovej prevádzke s rýchlosťou 1 Gbit/s sa vyžaduje približne 11TB diskového priestoru denne pre archiváciu pcap súborov. Takže pre uloženie 7 dní s priemernou rýchlosťou 2.5 Gbit/s je potrebné 7* 2.5* 11, čo sa rovná 192.5TB miesta na disku. Celková veľkosť šírky pásma musí zahŕňať oba smery prenosu, čiže 10G linka, môže reálne generovať 20G dát pre zachytenie, 10G v každom smere. Vzhľadom na toto sa odporúča mať pripojených viac liniek k Molochu. Ako príklad môžeme uviesť, že pri 10G linke, kde je priemerná prenosová rýchlosť 4Gigabit/s v každom smere je lepšie radšej použiť dve 10G linky pre zachytávanie, pretože v opačnom prípade sa môže stať, že dôjde k strate paketov.
Pre zachytávanie väčšieho množstva dát (niekoľko Gbit/s) môžeme uviesť odporúčané hardvérové komponenty :
- Pamäť: 64 GB do 96 GB
- OS disky: Najlepšie sú RAID5, veľmi šetrné. SSD disky nie sú nevyhnutné.
- CAPTURE disky: 20+x 4TB disky alebo 6 TB SATA.
- RAID: Hardvérová RAID karta s aspoň 1G cache.
- NIC: Odporúčajú sa nové základné sieťové karty INTEL, ale mala by fungovať väčšina.
- CPU: minimálne 2*6 jadier, čím väčšia je priemerná rýchlosť linky, tým narastá nutnosť zvýšiť rýchlosť/počet jadier. Moloch umožňuje pomocou mirrorov záťaž rozložiť medzi viac moloch-capture zariadení.
Pri zvažovaní dokúpenia ďalších SSD diskov alebo drahších sieťových kariet je treba radšej zvážiť pridanie ďalšieho monitorovacieho zariadenia do skupiny.
Zdroje
- CRZP Komplexný systém pre detekciu útokov a archiváciu dát – Moloch