Menu Zavrieť

Moloch – Hardvérové požiadavky

Hardvérové požiadavky

  • Autor : Tomáš Mokoš

Moloch je postavený tak, aby bolo možné ho rozložiť na viacero strojov, pri väčších tokoch. Pri malých sieťach, ukážkach alebo nasadeniach len tak doma, je možné mať všetko na jednom stroji. Avšak pri zachytávaní veľkých objemov dát pri veľkých prenosových rýchlostiach sa neodporúča mať spustený Capture a Elasticsearch na rovnakom stroji. Moloch umožňuje otestovanie demo verzie softvéru priamo na webovej stránke. Moloch pri nedostatku miesta zmaže najstaršie dáta a uloží nové. Umožňuje tiež zapnúť replikácie, čoho následkom je dvojnásobok spotreby miesta na disku preto tento krok je nutné dôkladne premyslieť.

Elasticsearch a počet uzlov

Množstvo uzlov (serverov), ktoré by sme mali použiť závisí hlavne od:

0 Shares

Moloch – konfigurácia sieťového rozhrania

Konfigurácia sieťového rozhrania

  • Autor : Tomáš Mokoš, Marek Brodec

Vzhľadom na to, že pri veľkom toku môže dôjsť ku strate paketov, sa neodporúča, aby rozhranie ktorým prichádzajú pakety, bolo tým istým rozhraním, ktoré je pripojené k internetu, v tomto prípade rozhranie, ktorému je priradená statická IP adresa. Na serveri, ktorý sa nachádza v laboratóriu sa nachádzajú dva rozhrania, kde sa jedno využíva pre potreby odchytávania paketov (SPAN port) a druhé pre komunikáciu „von“. Preto aby sa predišlo strate paketov, sa monitorovaciemu rozhraniu na strane Molochu odporúča zvýšiť buffer na maximum a vypnúť väčšinu funkcií sieťovej karty nasledujúcimi príkazmi:

ethtool –G enp0s9 rx 4096 tx 4096 
ethtool –K enp0s9 rx off tx off gs off tso off gso off 

Maximálnu veľkosť buffera môžeme zistiť pomocou príkazu ethool -g a funkcie karty pomocou príkazu ethtool -k. Väčšinu funkcií sieťovej karty vypíname kvôli tomu, že sa aj tak nevyužívajú, keďže chceme zachytávať to, čo sa nachádza na sieti a nie to čo vidí operačný systém.

0 Shares

Moloch – Cyber Defense Monitoring Course Suite

Cyber Defence Monitoring Course Suite (CDMCS)

  • Autor : Tomáš Mokoš, Marek Brodec
  • Operačný systém : Ubuntu 16.04
  • Verzia Elasticsearch : 5.5.1
  • Verzia Suricata : 4.0.1

Graf

Elasticsearch

Elasticsearch je open source nástroj, ktorého primárnym účelom je efektívne a urýchlené fulltextové vyhľadávanie v množstve ním indexovaných dát. Jeho najčastejším použitím je prehľadávanie databázy dokumentov.

0 Shares

Moloch – Komponenty a architektúra

Komponenty a architektúra Molocha

  • Autor : Tomáš Mokoš

Komponenty

Moloch sa skladá z troch komponentov:

  • Elasticsearch – Je vyhľadávacia databáza, ktorá poháňa Moloch. Je založená na Apache. Žiadosti prijíma pomocou HTTP a výsledky vracia vo formáte JSON , čo je formát výmeny dát. Má automatické delenie dát do viacerých databáz pri viacerých uzloch (angl. database sharding). Je rýchla a škálovateľná.
  • Capture – Je aplikácia naprogramovaná v jazyku C, ktorá monitoruje sieťovú prevádzku v reálnom čase, zapisuje PCAP súbory na disk. Alternatívne môže byť zavolaná z príkazového riadku pre manuálny import PCAP súborov na analýzu a archiváciu. Analyzuje rôzne protokoly 3. až 7. vrstvy, vytvára SPI dáta, ktoré posiela do clusteru Elasticsearchu z dôvodu indexovania.
  • Viewer – Je aplikácia „node.js“ , čo je udalostne riadená Javascript platforma zo strany servera, založená na Google Chrome Javascripte, pričom má vlastnú HTTP a JSON komunikáciu. Beží na každom zariadení s Capture modulom a poskytuje webové rozhranie pre prehľadávanie, zobrazovanie a exportovanie PCAP súborov. GUI/API volania sú vykonávané pomocou URI, takže je možná integrácia so systémami pre správu bezpečnostných informácií a udalostí (SIEM), konzolami alebo príkazovým riadkom pre získanie PCAP súborov alebo spojení podľa voľby.

Architektúra

Všetky komponenty sa môžu nachádzať a pracovať na rovnakom uzle, avšak pri väčších dátových tokoch to nie je odporúčané. Či sa jedná o väčší dátový tok je možné zistiť pokiaľ dopytovanie trvá príliš dlho, vtedy je dobré prejsť na Multinode architektúru. Jednotlivé komponenty majú odlišné požiadavky. Capture potrebuje veľké množstvo diskového priestoru pre prijaté PCAP súbory. Elasticsearch naopak potrebuje veľké množstvo pamäte RAM pre indexovanie a rýchle vyhľadávanie. Avšak Viewer je z nich najmenší a nemá vysoké nároky, preto sa môže nachádzať kdekoľvek.

0 Shares