Dohľad nad servermi za VPN⁠.

Klient prevádzkuje vlastnú serverovú infraštruktúru pre svoje aj zákaznícke systémy. Servery bežali, ale o ich stave nemal nikto priebežný prehľad. O výpadku sa firma dozvedela od používateľa, ktorý sa nevedel prihlásiť, prípadne z reklamácie zákazníka na druhý deň ráno.

Ešte nepríjemnejšie boli problémy, ktoré neprichádzajú náhle. Zaplnený disk, dochádzajúca pamäť, služba, ktorá po reštarte nenaštartovala, certifikát pred expiráciou – to všetko sa ohlási vopred, ale len tomu, kto sa pozerá. Bez sledovania sa z predvídateľnej údržby stáva nočná havária.

K tomu prišla požiadavka, ktorá vylúčila väčšinu hotových riešení: monitorovací systém nesmie byť vystavený do internetu. Dohľadové prostredie vidí do vnútra infraštruktúry, pozná adresy, verzie, otvorené porty aj slabé miesta – teda presne to, čo útočník potrebuje. Verejne dostupný dohľad je preto väčšie riziko než pohodlie, ktoré prináša.

Chýbal aj podklad na rozhodovanie. Otázky typu „vydrží tento server ešte rok?" alebo „kedy sme naposledy mali problém s pamäťou?" sa dali zodpovedať len odhadom, pretože neexistovala žiadna história.

Monitorovací systém sme umiestnili do vyhradeného virtuálneho stroja, oddeleného od produkčných serverov. Nemá verejnú webovú službu – pracovné rozhranie je dostupné výhradne cez VPN, takže z internetu nie je čo napadnúť. Oddelenie má aj druhý dôvod: keď má problém produkčné prostredie, dohľad nad ním musí fungovať ďalej. Monitoring bežiaci na tom istom serveri ako sledovaná služba mlčí presne vtedy, keď je najviac potrebný.

Zber údajov je postavený tak, aby sledované servery nemuseli byť otvorené smerom von. Na každom beží agent, ktorý odosiela namerané hodnoty do dohľadového prostredia; komunikácia ide cez privátnu sieť a je autentifikovaná tokenom, ktorý sa dá kedykoľvek zneplatniť. Sledujeme dostupnosť služieb a HTTP odpovede, zaťaženie procesora, obsadenosť pamäte a odkladacieho priestoru, voľné miesto na diskoch, stav systémových služieb, platnosť certifikátov a odozvu databáz.

Nad meraniami sú pravidlá pre upozornenia. Kľúčové bolo obmedziť falošné poplachy, pretože upozornenie, ktoré prichádza zbytočne, sa po dvoch týždňoch prestane čítať. Preto sa hlási až potvrdený stav – hodnota musí prekročiť hranicu opakovane a musí sa udržať – a upozornenia majú stupne podľa závažnosti: výpadok služby ide okamžite a hlučným kanálom, dochádzajúce miesto na disku ako plánovaná úloha s predstihom.

Údaje sa neuchovávajú len v surovej podobe. Podrobné merania majú kratšiu životnosť, staršie sa zhusťujú do hodinových a denných priemerov, takže história ostáva použiteľná na plánovanie kapacity aj po roku, bez toho, aby databáza rástla donekonečna. Z tejto histórie vzniká mesačný report: dostupnosť za obdobie, zoznam incidentov s trvaním, trend obsadenosti diskov a pamäte a upozornenia na to, čo bude treba riešiť v najbližších mesiacoch.

Súčasťou dodávky bolo aj zálohovanie samotného dohľadového stroja a postup obnovy. Systém, ktorý stráži infraštruktúru, sa nesmie stať jediným miestom bez zálohy.

Zmenil sa spôsob, akým sa firma o problémoch dozvedá. Informácia o výpadku prichádza v minútach a rovno s kontextom – čo presne nefunguje, odkedy, a čo sa dialo so zaťažením a pamäťou tesne predtým. Odpadlo tým prvých dvadsať minút každého incidentu, ktoré predtým padli na zisťovanie, čo sa vlastne stalo.

Časť incidentov prestala vznikať úplne. Zaplnený disk a dochádzajúca pamäť sú dnes plánovaná úloha s týždňami rezervy, nie večerná havária. To isté platí pre certifikáty a služby, ktoré po reštarte nenaštartovali.

Vznikol podklad na rozhodovanie o kapacite. Namiesto odhadu je k dispozícii trend za mesiace, z ktorého sa dá povedať, ktorý server treba posilniť a ktorý je naopak predimenzovaný.

A požiadavka na bezpečnosť ostala splnená bez kompromisu: dohľadové prostredie nemá verejne dostupnú službu, pracuje sa s ním cez VPN a prístup je viazaný na konkrétne osoby. Dodávateľ ani klient nepotrebujú otvárať infraštruktúru do internetu preto, aby na ňu videli.