Komponenty a architektúra Molocha

• Autor : Tomáš Mokoš

Komponenty

Moloch sa skladá z troch komponentov:

• Elasticsearch – Je vyhľadávacia databáza, ktorá poháňa Moloch. Je založená na Apache. Žiadosti prijíma pomocou HTTP a výsledky vracia vo formáte JSON , čo je formát výmeny dát. Má automatické delenie dát do viacerých databáz pri viacerých uzloch (angl. database sharding). Je rýchla a škálovateľná.
• Capture – Je aplikácia naprogramovaná v jazyku C, ktorá monitoruje sieťovú prevádzku v reálnom čase, zapisuje PCAP súbory na disk. Alternatívne môže byť zavolaná z príkazového riadku pre manuálny import PCAP súborov na analýzu a archiváciu. Analyzuje rôzne protokoly 3. až 7. vrstvy, vytvára SPI dáta, ktoré posiela do clusteru Elasticsearchu z dôvodu indexovania.
• Viewer – Je aplikácia „node.js“ , čo je udalostne riadená Javascript platforma zo strany servera, založená na Google Chrome Javascripte, pričom má vlastnú HTTP a JSON komunikáciu. Beží na každom zariadení s Capture modulom a poskytuje webové rozhranie pre prehľadávanie, zobrazovanie a exportovanie PCAP súborov. GUI/API volania sú vykonávané pomocou URI, takže je možná integrácia so systémami pre správu bezpečnostných informácií a udalostí (SIEM), konzolami alebo príkazovým riadkom pre získanie PCAP súborov alebo spojení podľa voľby.

Architektúra

Všetky komponenty sa môžu nachádzať a pracovať na rovnakom uzle, avšak pri väčších dátových tokoch to nie je odporúčané. Či sa jedná o väčší dátový tok je možné zistiť pokiaľ dopytovanie trvá príliš dlho, vtedy je dobré prejsť na Multinode architektúru. Jednotlivé komponenty majú odlišné požiadavky. Capture potrebuje veľké množstvo diskového priestoru pre prijaté PCAP súbory. Elasticsearch naopak potrebuje veľké množstvo pamäte RAM pre indexovanie a rýchle vyhľadávanie. Avšak Viewer je z nich najmenší a nemá vysoké nároky, preto sa môže nachádzať kdekoľvek.

Moloch je možné jednoducho škálovať na viacero uzlov pre Capture a Elasticsearch komponenty. Jeden alebo viacero inštancií Capture môže bežať na jednom alebo viacerých uzloch, pričom budú odosielať dáta do databázy Elasticsearch. Taktiež jedna alebo viacero databáz Elasticsearchu môže bežať na jednom alebo viacerých uzloch pre zvýšenie kapacity pamäte RAM dostupnej pre indexovanie. Tento druh architektúry je preto najviac odporúčaný pre zachytávanie a indexovanie dátového toku v reálnom čase.

Odporúčame nasadiť Molocha za rozhranie so zrkadlenou prevádzkou, vnašom prípade Cisco SPAN port. Viac informácií o port mirroringu nájdete tu.

Zdroje

• CRZP Komplexný systém pre detekciu útokov a archiváciu dát – Moloch

Inštalácia systému Moloch

• Autori : Tomáš Mokoš, Marek Brodec
• Testovaná verzia : 0.20.0
• Operačný systém : Ubuntu 14.04.5

Poznámka: tento článok je zastaralý, pre aktuálnejšiu verziu navštívte Moloch v1.7.0– Inštalácia systému

Inštalácia systému nie je triviálna, preto sme pripravili nasledovný návod ako sfunkčniť systém v cloudovom prostredí. Keďže sa serveru prideľuje IP adresa dynamicky pomocou DHCP, nie je potrebné meniť konfiguračný súbor interface-ou.

Na začiatok je potrebné pridať repozitáre pre balíček Java a následne ho nainštalovať.

add-apt-repository ppa:webupd8team/java 
apt-get install oracle-java8-installer 

Nainštalujeme potrebné balíčky.

apt-get install wget curl libpcre3-dev uuid-dev libmagic-dev pkg-config g++ flex bison zlib1g-dev libffi-dev gettext libgeoip-dev make libjson-perl libbz2-dev libwww-perl libpng-dev xz-utils libffi-dev 

Je potrebné stiahnuť si Node.js pričom doporučujeme verziu 6.x vzhľadom na to, že verzia 8.x nie je v súčasnosti podporovaná.

curl -sL https://deb.nodesource.com/setup_6.x | sudo -E bash – 
sudo apt-get install -y nodejs 

Stiahneme a nainštalujeme Elasticsearch.

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.5.3.deb
sudo dpkg -i elasticsearch-5.5.3.deb

Nakopírujeme si Moloch na náš server.

git clone https://github.com/aol/moloch.git 

Využijeme inštaláciu pomocou dostupného skriptu.

./easybutton-build.sh 

V predchádzajúcich verziách bolo potrebné upraviť pravidlá firewallu.

iptables -A INPUT -m tcp -p tcp --dport 8005 -j ACCEPT 
iptables -A INPUT -m udp -p udp --dport 8005 -j ACCEPT 
iptables -A OUTPUT -m tcp -p tcp --sport 8005 -j ACCEPT 
iptables -A OUTPUT -m udp -p udp --sport 8005 -j ACCEPT 
iptables -A INPUT -m tcp -p tcp --dport 9200 -j ACCEPT 
iptables -A INPUT -m udp -p udp --dport 9200 -j ACCEPT 
sudo su -c 'iptables-save > /etc/iptables/rules.v4' 

Pomocou nasledujúcich príkazov sa doinštalujú ďalšie potrebné súbory pre Capture hosta a nakonfiguruje sa interface, na ktorom bude systém počúvať. Pri Elasticsearch sa volí no, vzhľadom na to, že sme si ho nainštalovali predtým a Elasticsearch, ktorý poskytuje tento skript je len v demo verzii.

make install 
make config 

Presunieme sa do adresára s Viewer-om, aktualizujeme Node.js a spustíme skript na vytvorenie účtu pre webové rozhranie.

cd /data/moloch/viewer 
npm update 
/data/moloch/bin/moloch_add_user.sh admin "Admin User" PASSWORD --admin 

Následne vytvoríme symbolickú linku v adresári s Viewer-om.

ln -sf /usr/bin/nodejs node 

Spustíme jednotlivé komponenty.

service elasticsearch start 
service molochcapture start
service molochviewer start

Pokiaľ sme všetko urobili správne mali by sme byť schopní pripojiť sa na webové rozhranie na adrese http://IPADDRESSOFINTERFACE:8005

Zdroje:

• Github Informácie o systéme Moloch

Port-Mirror

• Autor : Tomáš Mokoš, Marek Brodec

Port-Mirror alebo zrkadlenie portov sa používa na sieťovom prepínači pre posielanie kópií sieťových paketov, ktoré je možné vidieť na jednom porte prepínača (alebo celej VLAN) pre monitorovanie siete pripojenej na inom porte prepínača. Port-Mirror sa bežne používa pre sieťové zariadenia, ktoré vyžadujú monitorovanie prevádzky v sieti, ako je napríklad systém detekcie narušenia, pasívna sonda alebo technológie real user management (RUM), ktorý sa používa na podporu riadenia výkonu aplikácií (APM).

V našom prípade nám katedra poskytla prepínač Cisco Catalyst 2960, ktorý sme nakonfigurovali tak, aby nám všetky dátové toky prechádzajúce rozhraním, ku ktorému sú pripojené zariadenia v laboratórií ďalej k Internetu, boli odzrkadlené na rozhranie, na ktorom je pripojený náš server so systémom Moloch. Z toho vyplýva, že aktuálne monitorujeme a archivujeme všetku prevádzku, ktorá prichádza alebo odchádza z laboratórií katedry.

Switch(config)#monitor session 1 source fa0/1 both  

– Určuje interface zdroja fa 0/1 a parameter both určuje oba smery.

Switch(config)#monitor session 1 destination interface fa0/24 

– Určuje cieľové rozhranie, na ktoré bude prevádzka zrkadlená.

Zdroje

• CRZP Komplexný systém pre detekciu útokov a archiváciu dát – Moloch