Inštalácia Molocha nie je triviálna, preto sme pripravili tento návod ako nasadiť systém Moloch v cloudovom prostredí.
Pred inštaláciou samotného Molocha musíme nainštalovať databázu Elasticsearch a vykonať nasledovné zmeny v konfigurácii operačného systému.
Tento článok popisuje sieťový dataset KIS 2019. Ak máte zájuem o prístup k tomuto datasetu, kontaktujte nás na e-mailovej adrese dataset[AT]kis.fri.uniza.sk.
Dataset KIS 2019 bol vytvorený ako súčasť diplomovej práce Tomáša Mokoša na Katedre Informačných Sietí na Fakulte Riadenia a Informatiky Žilinskej Univerzity v Žiline.
Tento článok je zastaraný, použite novšie návody uvedené nižšie.
Prepojenie Molocha/Arkime so Suricatou
Elasticsearch je open source nástroj, ktorého primárnym účelom je efektívne a urýchlené fulltextové vyhľadávanie v množstve ním indexovaných dát. Jeho najčastejším použitím je prehľadávanie databázy dokumentov.
Stiahnutie Molochom aktuálne podporovanej verzie Elasticsearch.
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.5.1.deb
Rozbalenie archívu spojené s inštaláciou
sudo dpkg -i elasticsearch-5.5.1.deb
Suricata je veľmi rýchly, robustný a neustále rozvíjajúci sa free open source detekčný nástroj. Je schopný jednak detekovať narušenie vniknutia v reálnom čase, vykonávať prevenciu vniknutí ale i monitorovať bezpečnosť siete a spracovávať pcap súbory offline.
Nastavenie premennej v ktorej bude uložené číslo nami inštalovanej verzie.
VER=4.0.1
Stiahnutie a rozbalenie inštalačného balíka.
wget http://www.openinfosecfoundation.org/download/suricata-$VER.tar.gz
tar -xvzf "suricata-$VER.tar.gz"
Inštalácia a konfigurácia
./configure --enable-nfqueue --prefix=/usr --sysconfdir=/etc --localstatedir=/var
./configure --prefix=/usr --sysconfdir=/etc --localstatedir=/var
V tejto chvíli máme na výber jednu z nasledujúcich možností:
./configure && make && make install-conf
./configure && make && make install-rules
./configure && make && make install-full
cat >> /usr/local/etc/suricata/suricata.yaml <<EOF
stats:
enabled: no
outputs:
- fast:
enabled: no
- eve-log:
enabled: yes
filename: eve.json
types:
- alert:
tagged-packets: no
xff:
enabled: no
af-packet:
- interface: enp7s0f0
cluster-id: 98
cluster-type: cluster_flow
defrag: yes
default-rule-path: /usr/local/etc/suricata/rules
sensor-name: moloch-singlehost
EOF
Je free databáza obsahujúca databázu pridelených IP adries spolu s uvedením krajiny poprípade mesta organizácie, ktorej bola pridelená konkrétna IP adresa poprípade rozsah adries. Databáza IP adries je aktualizovaná vždy prvý utorok v mesiaci.
Stiahnutie archívov a rozbalenie databázy
echo "$(date) installing GeoLite2"
[[ -f 'GeoLite2-City.mmdb.gz' ]] || wget -q -4 http://geolite.maxmind.com/download/geoip/database/GeoLite2-City.mmdb.gz
mkdir -p /usr/local/share/GeoIP
gunzip GeoLite2-City.mmdb.gz --stdout > /usr/local/share/GeoIP/GeoLite2-City.mmdb
EveBox je webové rozhranie poskytujúce nástroje pre manažment alertov a udalostí generovaných IDS detekčným nástrojom Suricata. Tento nástroj úzko spolupracuje s Elasticsearchom. Jeho sekundárnou úlohou je prepojenie logov Suricaty s Elasticsearchom.
Stiahnutie inštalačného balíka najnovšej verzie Evebox.
wget -q -4 https://evebox.org/files/development/evebox-latest-amd64.deb
Rozbalenie archívu spojené s inštaláciou
dpkg -i evebox-latest-amd64.deb
Nastavenie URL adresy pre prístup k Elasticsearchu, premennej ELASTICSEARCH_INDEX, ktorá pri svojom zavolaní bude indexovať dáta do Elasticsearchu pod názvom indexov suricata a posledným parametrom je pridanie absolútnej cesty súboru z ktorého sú načítavané alerty a udalostí Suricaty.
cat >/usr/local/etc/default/evebox <<EOF
ELASTICSEARCH_URL="-e http://localhost:9200"
ELASTICSEARCH_INDEX="--index suricata"
SURICATA_EVE="--end /var/log/suricata/eve.json"
EOF
Vytvorenie súboru služby vďaka, ktorému je možné proces spustenia Evebox Servera spustiť len zavolaním názvu tejto služby bez potreby dodefinovania súborov a ďalších nevyhnutných možností zakaždým.
cat > /lib/systemd/system/evebox.service <<EOF
[Unit]
Description=EveBox Server
[Service]
ExecStart=/usr/bin/evebox \$ELASTICSEARCH_URL \$ELASTICSEARCH_INDEX \$CONFIG \$EVEBOX_OPTS
EnvironmentFile=-/usr/local/etc/default/evebox
[Install]
WantedBy=multi-user.target
EOF
Rovnaký zámer ako v predošlom kroku ale pre spustenie procesu Eveboxu, ktorý bude importovať alerty zo Suricata logov.
cat > /lib/systemd/system/evebox-esimport.service <<EOF
[Unit]
Description=EveBox-EsImport
[Service]
ExecStart=/usr/bin/evebox esimport \$ELASTICSEARCH_URL \$ELASTICSEARCH_INDEX \$SURICATA_EVE
EnvironmentFile/usr/local/etc/default/evebox
[Install]
WantedBy=multi-user.target
EOF
Zaradenie služby konfigurovanej v predošlých súboroch medzi služby.
systemctl enable evebox-esimport
systemctl enable evebox
Príkazy pre spustenie, pozastavenie,reštart služieb prípadne zistenie služby.
systemctl start|restart|stop|status evebox-esimport
systemctl start|restart|stop|status evebox
Pri akejkoľvek zmene v konfiguračnom súbore služby je nutné reloadovať daemon a znovu zaradiť medzi služby.
systemctl deamon-reload
systemctl enable ....
Pridanie repozitárov a inštalácia JAVA.
add-apt-repository ppa:webupd8team/java
apt-get update
apt-get -y install oracle-java8-installer
Inštalácia nevyhnutných balíčkov pre chod Molocha.
apt-get install wget curl libpcre3-dev uuid-dev libmagic-dev pkg-config g++ flex bison zlib1g-dev libffi-dev gettext libgeoip-dev make libjson-perl libbz2-dev libwww-perl libpng-dev xz-utils libffi-dev
Stiahnutie inštalačného balíčka pre Ubuntu 16.04
wget https://files.molo.ch/builds/ubuntu-16.04/moloch_0.20.1-1_amd64.deb
Rozbalenie balíčka spojené so samotnou inštaláciou
dpkg -i moloch_0.20.1-1_amd64.deb
Spustenie konfigurácie. Keďže sme Elasticsearch inštalovali osobitne pri konfigurácií nepovolíme inštaláciu Elasticsearch Dema.
sudo ./data/moloch/bin/Configure
Inštalácia pokračuje spustením Elasticsearchu a počiatočnej incializácie databázy
systemctl start elasticsearch.service
/data/moloch/db/db.pl http://127.0.0.1:9200 init
/data/moloch/db/db.pl http://127.0.0.1:9200 upgrade
Pridanie používateľa pre prístup k webovému grafickému prostrediu.
/data/moloch/bin/moloch_add_user.sh admin user password –admin
Vytvorenie konfiguračného súboru súčastí wiseService a nastavenie parametrov jednak samotnej služby a rovnako aj pre Suricatu(IP adresa pre prístup k Eveboxu, polia ktoré budú v Molochu zobrazvané, atď…)
cd /data/moloch/etc/
cp /data/moloch/wiseService/wiseService.ini.sample /data/moloch/etcwise.ini
cat > /data/moloch/etc/wise.ini <<EOF
[wiseService]
port=8081
[suricata]
evBox=http://127.0.0.1:5636
fields=severity;category;signature;flow_id;_id
mustHaveTags=escalated
mustNotHaveTags=archived
EOF
Vytvorenie symbolickej linky v priečinku wiseService odkazujúcej na konfiguračný súbor vytvorený v predošlom kroku.
cd /data/moloch/wiseService/
ln -s /data/moloch/etc/wise.ini wiseService.ini
Spustenie musí prebiehať priamo z priečinku wiseService
node /data/moloch/bin/node wiseService.js -c wiseService.ini
Stiahnutie a rozbalenie archívu, je nutné vybrať verziu podporovanú pre inštalovanú verziu Elasticsearchu.
wget https://artifacts.elastic.co/downloads/kibana/kibana-5.5.3-amd64.deb
dpkg -i kibana-5.5.3-amd64.deb
Spustenie služby
service kibana start
service kibana status
Konfiguračný súbor je umiestnenie
cat /etc/kibana/kibana.yml
Pre prístup cez web je nevyhnutné povoliť komunikáciu na čísle portu Kibanu štandardne je to port 5601.
iptables -A INPUT -m udp -p udp --dport 5601 -j ACCEPT
iptables -A INPUT -m tcp -p tcp --dport 5601 -j ACCEPT
Pre náhľad do Elasticsearchu je možné využívať služby poskytované Kibanou. V prvom kroku je nutné nastaviť ktoré indexy chceme prehľadávať. Ako index pattern je nutné nastaviť pre molocha všetko čo začína „session-“ a pre suricatu „suricata-“. Tieto nastavenia je možné meniť na karte Management.
CDMCS Cyber Defence Monitoring Course Suite
Niekedy sa môže stať, že potrebujete poskytnúť PCAP súbory tretím stranám mimo vašej organizácie, prípadne ako tomu bolo v našom prípade, zverejniť dataset sieťovej prevádzky. Aby ste neodhalili sieťovú infraštruktúru alebo iné citlivé dáta, musíte tieto súbory anonymizovať pred tým, ako ich budete zdieľať s kýmkoľvek mimo vašej organizácie.
Na anonymizáciu siťových dát ns OSI vrstvách 2 až 4 používame TraceWrangler. TraceWrangler je veľmi jednoduchý na používanie a disponuje intuitívnym grafickým rozhraním:
V tomto článku si ukážeme ako prepojiť nástroj na odchytávanie sieťovej prevádzky Moloch s nástrojom na detekciu narušenia bezpečnosti Suricata.
Návody na inštaláciu Molocha a Suricaty môžete nájsť tu a tu.
Nástroj Moloch archivuje sieťovú prevádzku, ku ktorej následne umožňuje rýchly a prehľadný prístup, avšak sám o sebe neposkytuje bezpečnostné opatrenia pre prevádzku, ktorú sleduje. Na druhej strane, IDS Suricata dozerá na sledovanú prevádzku a vytvára značky, ktoré informujú o bezpečnostných hrozbách, ale nedisponuje grafickým rozhraním na ich zobrazenie.
Od verzie 1.5 (vydanej 16.7.2018), Moloch podporuje plugin pre import alertov, ktoré generuje Suricata. Suricata spolu s Molochom musia byť spustené na tom istom zariadení. Dáta, ktoré vygenerovala Suricata sú prístupné vo webovom rozhraní Molocha v záložkách Sessions a SPI View. Všetky spojenia, ktoré obsahujú dáta Suricaty je možné nájsť dotazom suricata.signature == EXISTS! vo vyhľadávacom poli Molocha. Toto riešenie nezahŕňa žiadne špeciálne používateľské rozhranie pre Suricatu v Molochu, iba pridáva nové polia do dát vygenerovaných Molochom. Na pridanie pluginu je potrebné upraviť konfiguračný súbor Molocha, pridať v ňom suricata.so do zoznamu pluginov a špecifikovať cestu k súboru eve.json, do ktorého Suricata zapisuje alerty.
Do konfiguračného súboru Molocha, ktorý sa nachádza v /data/moloch/etc/config.ini pridáme nasledujúce riadky:
pluginsDir=/data/moloch/plugins
plugins= suricata.so;
suricataAlertFile=/var/log/suricata/eve.json
suricataExpireMinutes=60Následne nám v záložkách sessions a SPI view pribudne položka Suricata.
Moloch sa skladá z troch komponentov:
Všetky komponenty sa môžu nachádzať a pracovať na rovnakom uzle, avšak pri väčších dátových tokoch to nie je odporúčané. Či sa jedná o väčší dátový tok je možné zistiť pokiaľ dopytovanie trvá príliš dlho, vtedy je dobré prejsť na Multinode architektúru. Jednotlivé komponenty majú odlišné požiadavky. Capture potrebuje veľké množstvo diskového priestoru pre prijaté PCAP súbory. Elasticsearch naopak potrebuje veľké množstvo pamäte RAM pre indexovanie a rýchle vyhľadávanie. Avšak Viewer je z nich najmenší a nemá vysoké nároky, preto sa môže nachádzať kdekoľvek.
Moloch je možné jednoducho škálovať na viacero uzlov pre Capture a Elasticsearch komponenty. Jeden alebo viacero inštancií Capture môže bežať na jednom alebo viacerých uzloch, pričom budú odosielať dáta do databázy Elasticsearch. Taktiež jedna alebo viacero databáz Elasticsearchu môže bežať na jednom alebo viacerých uzloch pre zvýšenie kapacity pamäte RAM dostupnej pre indexovanie. Tento druh architektúry je preto najviac odporúčaný pre zachytávanie a indexovanie dátového toku v reálnom čase.
Odporúčame nasadiť Molocha za rozhranie so zrkadlenou prevádzkou, vnašom prípade Cisco SPAN port. Viac informácií o port mirroringu nájdete tu.
Scirius Community Edition je webové rozhranie určené pre správu Suricata pravidiel. Stará sa o súbor rules a aktualizácie s ním spojených súborov.
V tomto návode si ukážeme ako nainštalovať Scirius Community Edition na Operačnom systéme Ubuntu 16.04.
Pred tým než začneme inštalovať Scirius CE, musíme mať nainštalovaný IDS Suricata. Návod na inštaláciu Suricaty sa nachádza tu.
Nainštalujeme si manažéra pre python balíčky a hlavičkové súbory pre jazyk python
sudo apt-get install python-pip python-devStiahneme si Scirius repozitár z GitHubu
git clone https://github.com/StamusNetworks/scirius.gitPresunieme sa do priečinku, ktorý sme práve stiahli a nainštalujeme z neho potrebné závislosti
cd scirius
sudo pip install -r requirements.txtStiahneme si modul na monitorovanie zmien v súborovom systéme pyinotify. Tento modul je potrebný pre reštartovanie Suricaty cez Scirius
sudo pip install pyinotifyStiahneme si modul Gitdb na čítanie a zapisovanie do git repozitárov
sudo pip install gitdbNainštalujeme si npm
sudo apt-get install npmStiahneme si webpack verziu 3.11
sudo npm install -g npm@latest webpack@3.11Nainštalujeme Scirius
npm installPredošlý príkaz vytvoril priečinok pre Hunt komponent sciriusu. Presunieme sa do priečinka hunt, nainštalujeme ho a pripravíme ho na použitie
cd hunt
npm install
npm run buildZ priečinku scirius inicializujeme Django databázu
python manage.py migrateVytvoríme účet pre superusera
python manage.py createsuperuserPred spustením aplikácie musíme najprv vytvoriť balíčky modulov tým, že spustíme webpack (tento krok je potrebné zopakovať po každej aktualizácii kódu)
sudo webpackAk chceme spustiť Scirius tak, aby bol prístupný iba na lokálnom zariadení na adrese localhost:8000
sudo python manage.py runserverAk chceme aby Scirius počúval na adrese, ktorá je prístupná z vonkajšej siete, musíme ju pridať do zoznamu ALLOWED_HOSTS v súbore settings.py. Následne môžeme spustiť Scirius príkazom
python manage.py runserver x.x.x.x:8000Najprv si pridáme najnovší stabilný Suricata repozitár do APT:
sudo add-apt-repository ppa:oisf/suricata-stable
sudo apt-get updateTeraz môžeme nainštalovať Suricatu príkazom:
Upgrade Molocha na najnovšiu verziu nie je možný z akejkoľvek verzie. Pri niektorých starších verziách vyžaduje postupnú inštaláciu novších verzií v presnom poradí.
Najstaršia verzia Molocha, ktorú sme mali nasadenú bola verzia 0.50.
Upgrade Molocha z verzie 0.50 na verziu 1.0 a vyššie vyžaduje, vzhľadom na veľké zmeny vo verzii 1.0, reindexovanie všetkých session dát. Reindexovanie sa deje na pozadí po upgrade a preto trvá iba chvíľu, kým je server znova online.
Medzi veľké zmeny patria najmä:
Stiahneme balíček s verziou 1.1.0
Priradíme mu práva:
chmod +x moloch_1.1.0-1_amd64.debVypneme všetky súčasti molocha:
service molochcapture stop
service molochviewer stopNainštalujeme Moloch v1.1.0:
dpkg -i moloch_1.1.0-1_amd64.debNa všetkých uzloch spustíme /data/moloch/bin/moloch_update_geo.sh , ktorý nám stiahne a aktualizuje nové mmdb style maxmind súbory.
Spustíme db.pl http://localhost:9200 upgrade , pre upgrade databázy.
Zapneme súčasti Molocha:
service molochcapture start
service molochviewer startPokiaľ vznikne problém a súčasti budú mať problém sa spustiť, je potrebné skontrolovať logy capture a viewera nachádzajúce sa v /data/moloch/logs/capture.log a /data/moloch/logs/viewer.log.
Pre upgrade na Moloch 1.5 a vyššie musíme najprv upgradovať Moloch na verziu 1.0 alebo 1.1 (1.1.1 je odporúčaná). Taktiež, všetky reindexovacie operácie musia byť dokončené.
Vypneme capture a viewer:
service molochcapture stop
service molochviewer stopStiahneme balíček s verziou 1.5.3
Priradíme mu práva a rozbalíme ho:
chmod +x moloch_1.5.3-1_amd64.deb
dpkg -i moloch_1.5.3-1_amd64.debPre clean inštaláciu spustíme:
/data/moloch/db.pl http://localhost:9200 initAk chceme len upgrade:
/data/moloch/db.pl http://localhost:9200 upgradeAk sme sa rozhodli pre clean inštaláciu, musíme znovu pridať používateľa, pretože ho init script vymaže:
/data/moloch/bin/moloch_add_user.sh admin "Admin User" THEPASSWORD --adminSpustenie offline monitoringu priečinku:
exec /data/moloch/bin/moloch-capture -c /data/moloch/etc/config.ini --host moloch3 -m -R /data/moloch/monitor/Spustenie viewera:
service molochviewer startPokiaľ majú súčasti problém sa spustiť je potrebné prezrieť logy:
/data/moloch/logs/capture.log
/data/moloch/logs/viewer.logPoznámka: tento článok je zastaralý, pre aktuálnejšiu verziu navštívte Moloch v1.7.0– Inštalácia systému
Inštalácia systému nie je triviálna, preto sme pripravili nasledovný návod ako sfunkčniť systém v cloudovom prostredí. Keďže sa serveru prideľuje IP adresa dynamicky pomocou DHCP, nie je potrebné meniť konfiguračný súbor interface-ou.
Na začiatok je potrebné pridať repozitáre pre balíček Java a následne ho nainštalovať.
add-apt-repository ppa:webupd8team/java
apt-get install oracle-java8-installer
Nainštalujeme potrebné balíčky.
apt-get install wget curl libpcre3-dev uuid-dev libmagic-dev pkg-config g++ flex bison zlib1g-dev libffi-dev gettext libgeoip-dev make libjson-perl libbz2-dev libwww-perl libpng-dev xz-utils libffi-dev
Je potrebné stiahnuť si Node.js pričom doporučujeme verziu 6.x vzhľadom na to, že verzia 8.x nie je v súčasnosti podporovaná.
curl -sL https://deb.nodesource.com/setup_6.x | sudo -E bash –
sudo apt-get install -y nodejs
Stiahneme a nainštalujeme Elasticsearch.
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.5.3.deb
sudo dpkg -i elasticsearch-5.5.3.deb
Nakopírujeme si Moloch na náš server.
git clone https://github.com/aol/moloch.git
Využijeme inštaláciu pomocou dostupného skriptu.
./easybutton-build.sh
V predchádzajúcich verziách bolo potrebné upraviť pravidlá firewallu.
iptables -A INPUT -m tcp -p tcp --dport 8005 -j ACCEPT
iptables -A INPUT -m udp -p udp --dport 8005 -j ACCEPT
iptables -A OUTPUT -m tcp -p tcp --sport 8005 -j ACCEPT
iptables -A OUTPUT -m udp -p udp --sport 8005 -j ACCEPT
iptables -A INPUT -m tcp -p tcp --dport 9200 -j ACCEPT
iptables -A INPUT -m udp -p udp --dport 9200 -j ACCEPT
sudo su -c 'iptables-save > /etc/iptables/rules.v4'
Pomocou nasledujúcich príkazov sa doinštalujú ďalšie potrebné súbory pre Capture hosta a nakonfiguruje sa interface, na ktorom bude systém počúvať. Pri Elasticsearch sa volí no, vzhľadom na to, že sme si ho nainštalovali predtým a Elasticsearch, ktorý poskytuje tento skript je len v demo verzii.
make install
make config
Presunieme sa do adresára s Viewer-om, aktualizujeme Node.js a spustíme skript na vytvorenie účtu pre webové rozhranie.
cd /data/moloch/viewer
npm update
/data/moloch/bin/moloch_add_user.sh admin "Admin User" PASSWORD --admin
Následne vytvoríme symbolickú linku v adresári s Viewer-om.
ln -sf /usr/bin/nodejs node
Spustíme jednotlivé komponenty.
service elasticsearch start
service molochcapture start
service molochviewer start
Pokiaľ sme všetko urobili správne mali by sme byť schopní pripojiť sa na webové rozhranie na adrese http://IPADDRESSOFINTERFACE:8005