Die Administration der Administration
www.wedaco.de
DOAG-Regionaltreffen Halle/Leipzig 27.05.2013 Die Administration der Administration
Die Administration der Administration
Agenda moderne Administration im Rechenzentrum Administrative Fragestellungen Möglichkeiten der Log-Auswertung Aufbewahrung von Log-Informationen Werkzeug zur Auswertung von Logdateien Fragen
www.wedaco.de
Die Administration der Administration
Wedaco UG & Co. KG
Ø Ø Ø Ø
professionelles Webdesign Datenbankanbindung (Oracle, MySQL) eCommerce-Lösungen Analysewerkzeuge für Rechenzentren
Ø Ø Ø Ø
hochverfügbare Oracle Datenbankumgebungen Realisierung effizienter und zuverlässiger Backup-Strategien Administration, Wartung praxisnahe Einweisung und Schulung von Administratoren
Ø Ø Ø
Beratung im Bereich Applikations- und Datenbankhochverfügbarkeit Beratung bei der Konzeption und Implementation umfangreicher Portale Beratung bei der Umgestaltung und Erweiterung bestehender Web-Portale
www.wedaco.de
Die Administration der Administration
Sven Mendler
www.wedaco.de
Curriculum Vitae Know-How Datenbanken: - Oracle Database (9i – 11g) - Database - RMAN - Dataguard - Oracle RAC 10g - Oracle Grid Infrastructure 11g - IAS / OAS - OEM GridControl (10g – 11g) - MySQL - MS SQL-Server Betriebssysteme: - Windows, Sun Solaris, HP-UX, RHEL, SLES Programmiersprachen: - PHP, Shell, Perl, Java, C/C++
Die Administration der Administration
www.wedaco.de
Die Administration der Administration
Die Administration der Administration
www.wedaco.de
Betrieb von Anwendungen / Bereitstellen von Services Ø
hoher administrativer Aufwand
Ø
zertifizierte Systemumgebungen
Ø
komplexe RZ-Infrastruktur
Ø
Hardware unterschiedlicher Hersteller
Ø
heterogene Betriebssysteme
Ø
unterschiedliche Middleware
Ø
viele verschiedene Datenbanken
Ø
Heerscharen hoch spezialisierter Administratoren
Ø
unzählige Logdateien mit verschiedenen Meldungen
Ø
viele Komponenten mit eigenen Administrationswerkzeugen
Die Administration der Administration
www.wedaco.de
Umfang der Administration Hardware
Security
Logging
Backup
Datenbanken
Tuning Datentransfer
Middleware
Betriebssysteme Tracing
Archivierung
Anwendungen
Infrastruktur
Die Administration der Administration
Werkzeuge eines Administrators
Ø
zentrale komponentenübergreifende Administrationswerkzeuge
Ø
separate Tools der einzelnen Komponenten
Ø
selbst programmierte Werkzeuge
Ø
eigene Skripte
Ø
Monitoringsysteme
Ø
Ticketsysteme
www.wedaco.de
Die Administration der Administration
www.wedaco.de
Serviceprozesse im Rechenzentrum
Problem Management Change Management Incident Management
Service Level Management Release Management
Configuration Management
gem. IT Infrastructure Library (ITIL)
Die Administration der Administration
www.wedaco.de
Was bedeutet das für den Administrator? DGMGRL> DISABLE FAST_START FAILOVER; ALTER PACKAGE p1 COMPILE; /var/log/messages BACKUP … DATABASE; BOFH
alert-PRODDB.log export.log
# fsck /dev/sdb1
ALTER INDEX … REBUILD;
LOAD DATA … INTO …; ALTER SESSION SET sql_trace=true;
Die Administration der Administration
www.wedaco.de
Zu den Aufgaben eines Administrators gehört, … Ø
immer zu wissen, ob ein Service stabil läuft,
Ø
Warnungen und Fehler sofort zu analysieren,
Ø
den Status aller automatisierten Tasks zu kennen,
Ø
alle Systeme proaktiv zu administrieren,
Ø
System-Dokumentationen zu pflegen,
Ø
nötige Ressourcenerweiterungen zu planen,
Ø
neue Projekte/Verfahren in den produktiven Betrieb zu überführen,
Ø
innovative Technologien für den Einsatz zu eruieren.
Die Administration der Administration
www.wedaco.de
Um alle Aufgaben effizient zu erledigen, muss sich jeder Administrator gut organisieren.
Die Administration der Administration
Koordination und Kombination diverser Administrationstools: Ø Welches Werkzeug benutze ich wofür? Ø Wo finde ich welche Information? Ø Wie werde ich über Warnungen/Fehler informiert? Ø Welche Analysemechanismen habe ich in welcher Situation? Ø Wie können geeignete Vertretungsregelungen eingerichtet werden?
Die Administration der Administration
www.wedaco.de
OD R N P ce O / D D O N R E /P XT T pa a E N s t O E e a T M l d U E b a A G r A ta o E N / S A e ' U M t E a e R T il EN cre 0M T 0 X 3 E dataf „Logdatei“ E D Z E
M SYSTE 01.dbf' SI ZE UNLIMIT I em S t X s A '/ y M s / K e 0 l 4 fi Eine Logdatei (engl. log file, auch Ereignisprotokolldatei a 102 t a d T E X 8 M S e 0 E U NE n 0 T E i 2 S R l Y S M Protokoll genannt) das aeutoma?sch geführte on 50 enthält p 0 : 0 L 2 c 3 A 1 a C : E O L 20aller oder es IvZon Prozessen l S 2 b TEDauf einem 2 a ' I t f M b es?mmter A k?onen l b I u e d L J t . 1 UN ea 0 r m E T ue c e Z t I : s S sy AX ted Computersystem. / M e l l c K p r 0 m o C o 024 cl/ 1 e r n o i / T l a X n t E o N M L E ada N A T r O C S o O Y Q uelle: w ww.wikipedia.org D L S „ Logdatei“ T e TEN N c X E a E M p O E s T G e U A 8 l A N 0 b A 0 a M 2 t T EXTEN 2 20:12:50 ent SYSTEM ) 2ist eine Datei m der Prozesse, K M Eine Logdatei m it d ie i n g 0 E l e 5 T u s S J t x SY K) e ck e 0 u a n t 5 T b n l K e t l 0 m x o Netzwerken 5 Computern urnd ablaufen, akufgezeichnet e eg n l s e a K t i 0 a t c 5 e i ba cr lInforma?onsquellen, al (insind weich?ge l i o t e r i werden. L ogdateien g n a 2 (i # e g stor d: creat g o a l orNetzwerk zu erfassen. rrent t e s um die a ktuelle S itua?on i n e inem t e M l E u T C S Y 8 2 Comp S 0 0 e tablespace 20:12:56 2 og sequenc /redo02.log Quelle: www.itwissen.info 22 cl o l r t o l / u d l J e c ILE c r F n o A a / T Tue v a A d t a a d 1 a BS1 D r E d o T S a / O U D E : 8 N R 0 0 U Thre M # 20 E 0 C 0 1 A 2 0 P : S E 2 mem 3 1 LE IZ
Die Administration der Administration
www.wedaco.de
L O G G I N G
Die “Administration der Administration“
Entstehung von Logdateien
Auffinden von Logdateien
Analyse der Loginformationen
mit Logdateien betrifft alle Bereiche derUmgang Anwendungsund Systemadministration.
Die Administration der Administration
Administra1ve Fragestellungen Läu7 im Verantwortungsbereich alles so, wie es soll? Waren alle automa@sierten Ak@onen erfolgreich? Was passiert mit Logging-‐Informa@onen?
www.wedaco.de
Die Administration der Administration
Verantwortungsbereich Was gehört zum Verantwortungsbereich? v
Infrastruktur
v
Hardware
v
Netzwerk
v
Middleware
v
Datenbanken
v
Storage
v
Backup
v …
www.wedaco.de
Die Administration der Administration
beispielha7e Systemumgebung
… am Beispiel eines miHelständischen Online-‐Händlers
www.wedaco.de
Die Administration der Administration
beispielha7e Hosts Systemumgebung zu überwachende
… am Beispiel eines miHelständischen Online-‐Händlers
www.wedaco.de
Die Administration der Administration
www.wedaco.de
beispielha7e Hosts Systemumgebung zu überwachende Anzahl : 10 x Linux 3 x Solaris 3 x Windows Server
-
16 Host Betriebssysteme
Nicht berücksichtigt ist weitere Infrastruktur, wie z.B. Backupserver, LAN-Technik, SAN-Technik usw.
… am Beispiel eines miHelständischen Online-‐Händlers
Die Administration der Administration
beispielha7e Systemumgebung zu überwachende Anwendungen
… am Beispiel eines miHelständischen Online-‐Händlers
www.wedaco.de
Die Administration der Administration
www.wedaco.de
Verantwortungsbereich zu überwachende Anwendungen Anzahl : 16 x Backup-Client 10 x Server-Anwendungen (Firewall, Webserver, Applikationsserver, Terminalserver, Mail, Virus-Scan, Fileserver)
26 Anwendungen
… am Beispiel eines miHelständischen Online-‐Händlers
Die Administration der Administration
Verantwortungsbereich zu überwachende „Datenbankanwendungen“
… am Beispiel eines miHelständischen Online-‐Händlers
www.wedaco.de
Die Administration der Administration
www.wedaco.de
Verantwortungsbereich zu überwachende „Datenbankanwendungen“ Anzahl : 2 x Knoten einer Grid Infrastructure 2 x Instanz einer Oracle DB 2 x Knoten eines MySQL Cluster 2 x MySQL DB 1 x Microsoft SQL Server 1 x Oracle XE 10 Datenbankanwendungen … am Beispiel eines miHelständischen Online-‐Händlers
-
Die Administration der Administration
www.wedaco.de
Verantwortungsbereich zu überwachende automatisierte Aktionen Anzahl : 3 x Oracle RMAN Backup (Full, Inc., Alog) 1 x Oracle logischer Export 1 x Datenreplikation in Referenzdatenbank 1 x MySQL Export 16 x Filesystem Backup 4 x Schnittstelle zu Fremdsystemen (eBay, Amazon MarketPlace, Lieferanten)
26 automatisierte Aktionen … am Beispiel eines miHelständischen Online-‐Händlers
-
Die Administration der Administration
www.wedaco.de
Gesamt zu überwachende Komponenten: beispielha7e Systemumgebung 16 Host Betriebssysteme 10 „Datenbankanwendungen“ 26 Anwendungen 26 automatisierte Aktionen
-
78 Komponenten Viele dieser Komponenten benutzen EINE Logdatei. Elemente, wie zum Beispiel Oracle (RAC-) Datenbanken, Apache Webserver oder Betriebssysteme stellen deutlich mehr essentielle Log- und Tracedateien zur Verfügung. In den folgenden Beispielen wird von einer Mindestanzahl von
100 wichtigen Logdateien ausgegangen. … am Beispiel eines miHelständischen Online-‐Händlers
Die Administration der Administration
… zurück zu den Fragen … Läu7 im Verantwortungsbereich alles so, wie es soll? Waren alle automa@sierten Ak@onen erfolgreich? Was passiert mit Logging-‐Informa@onen?
www.wedaco.de
Die Administration der Administration
www.wedaco.de
Die Administration der Administration
www.wedaco.de
Die Administration der Administration
www.wedaco.de
Die Möglichkeiten im Vergleich: Logdatei per eMail Zusätzliche Systemressourcen erforderlich Login an mehreren Servern/Tools notwendig Statusübersicht über ALLE Logdateien Schnelles Finden bestimmter Meldungen Einfacher Remotezugriff realisierbar Vertretung eines Admin‘s einfach realisierbar Zentrale Sicherung/Archivierung möglich
Logdateien manuell öffnen
Diverse Admin-Tool‘s verwenden
Eine GUI für alle Logdateien
Die Administration der Administration
www.wedaco.de
Die Möglichkeiten im Vergleich: Logdatei per eMail
Logdateien manuell öffnen
Diverse Admin-Tool‘s verwenden
Eine GUI für alle Logdateien
Anmeldungen, um alle Logdateien zu analysieren
1
100
15 - 30
1
Zugriff auf alle Logdateien
5
200
30
1
100
100
100
0
106 Min
400 Min
145 - 160 Min
2 Min
1,8 Std.
6,7 Std.
2,4 – 2,7 Std.
0,03 Std
Zeitlicher Aufwand pro Tag* (in Minuten)
Feststellen des Status aller Logdateien
Gesamt :
In Minuten / Tag
400
106
145
2
Welcher Admin opfert täglich mehr als EINE Stunde für das Lesen/Suchen in Logdateien? * Bei angenommenen 100 auszuwertenden Logdateien
Die Administration der Administration
www.wedaco.de
OD R N P O / D D O N e R E /P XT T pac a E N s t O E e a T M l d U E b a A G a r A t o E N / S A e ' U M t E a e R T Welche Methode(n) nutzen Sie in Ihrem Verantwortungsbereich … EN cre 0M T afil 0 X t 3 E a d E D M ITE M ' SIZ I f L SYSTEv 01.fürdb N UStatus diverser Anwendungen? E die Ermittlung des Z m I e S '/ /syst 0240K MAX e l fi a t v 1 für die Erkennung von Fehlern oder Warnungen bei Datenbanken? a d T E X 8 M S e 0 E U NE n 0 T E i 2 S R l Y S M on für die Überwachung 50 von Betriebssystem-Log‘s? 0 : e 0 L 2 c 3 A 1 a v C : p E O L 20 es IZ l S 2 b TED 2 a ' I t f M l b I u e d L J t . N 1 automatisierter UAktionen? ea 0 r m E Tue v c e für die Auswertung von Logdateien Z t I : s S sy AX ted / M e l l c K p r 0 m o 4 / 2 Co l 0 c 1 e r n o li XT n ta/ E o a N M d L E a N A T r O C S o O Y D L S T e TEN N c X E a E M p O E s T G e 8 l AU NA 0 b A 0 a M 2 t T 0 M STE 12:5 Y EXTEN Haben : S 0 2 t ) Methode(n) die Möglichkeit, die gestellten 22 Sie durchsIhre men K M Fragen ) g 0 E l e 5 T u S J t Y k x S K c e 0 a n t 5 Tue b n l K e t l 0 m x 5 Aufwandkzu sbeantworten? e ro und ohne eg n schnell großen l e a K t i 0 a t c 5 e i l cr lba a (in l i o t e r i g n a e Erinnerung: 2 (i # e g stor d: creatZur g o a l or t t n e s e t r e M r l E u C so, wie es soll? YST v 2Läu7 i8 m Verantwortungsbereich alles 2 Comp S 0 0 e g e c o c n l a 6 e . p 5 u 2 s : q 0 e sautoma@sierten deorfolgreich? :12 v Waren e 0 g r table 2 o a lle A k@onen / l l 2 c 2 o r t o l / u d l J e c I LE c r F n o A a / T Tue v a A d t D a a d 1 1 a S r B E d o T S a / O U D E : 8 N R 0 0 U Thre M # 20 E 0 C 0 1 A 2 0 P : S E 2 mem 3 1 LE IZ
Die Administration der Administration
www.wedaco.de
… eine Frage ist noch unbeantwortet … Läu7 im Verantwortungsbereich alles so, wie es soll? Waren alle automa@sierten Ak@onen erfolgreich? Was passiert mit Logging-‐Informa@onen?
Die Administration der Administration
Warum müssen Loginforma@onen auRewahrt werden? § Bedarf der Administratoren, Anwendungsbetreuer und Benutzer § unternehmensinterne Festlegungen § BSI (Bundesamt für Sicherheit in der Informationstechnik) o ISO 27001 o ISO 27002 o IT-Grundschutz
Weiterführende Informationen: BSI – IT-Grundschutz https://www.bsi.bund.de/cln_165/DE/Themen/ITGrundschutz/itgrundschutz_node.html BSI – Logdatenstudie (Verwendung von Log- und Monitoringdaten in jedem IT-Verbund) https://www.bsi.bund.de/DE/Publikationen/Studien/logdaten/index_htm.html
www.wedaco.de
Die Administration der Administration
Umgang mit Logdateien
Je nach Schutzbedürfnis der Log-Informationen: § kein Behandeln der Logdateien § Log-Rotation auf den entsprechenden Servern § Zentralisierung der Logdateien auf einem Share § Backup zentralisierter Logdateien § revisionssichere Archivierung zentralisierter Logdateien
www.wedaco.de
Die Administration der Administration
www.wedaco.de
Die Administration der Administration
www.wedaco.de
Die Möglichkeiten im Vergleich: Logdatei per eMail Zusätzliche Systemressourcen erforderlich Login an mehreren Servern/Tools notwendig Statusübersicht über ALLE Logdateien Schnelles Finden bestimmter Meldungen Einfacher Remotezugriff realisierbar Vertretung eines Admin‘s einfach realisierbar Zentrale Sicherung/Archivierung möglich
Logdateien manuell öffnen
Diverse Admin-Tool‘s verwenden
Eine GUI für alle Logdateien
Die Administration der Administration
www.wedaco.de
Die Möglichkeiten im Vergleich: Logdatei per eMail
Logdateien manuell öffnen
Diverse Admin-Tool‘s verwenden
Eine GUI für alle Logdateien
Anmeldungen, um alle Logdateien zu analysieren
1
100
15 - 30
1
Zugriff auf alle Logdateien
5
200
30
1
100
100
100
0
106 Min
400 Min
145 - 160 Min
2 Min
1,8 Std.
6,7 Std.
2,4 – 2,7 Std.
0,03 Std
Zeitlicher Aufwand pro Tag* (in Minuten)
Feststellen des Status aller Logdateien
Gesamt :
In Minuten / Tag
400
106
145
2
* Bei angenommenen 100 auszuwertenden Logdateien
Die Administration der Administration
www.wedaco.de
Automa@sche Analyse in EINER grafischen Oberfläche
Logfile monitor v2 v Tool zur Admin-‐Unterstützung v ALLE Loginforma@onen im Überblick v Zentralisierung von Informa@onen v GUI zur Log-‐Auswertung v Erleichterung der Administra@on v Zeitersparnis durch Automa@on v zentrales Backup/Archivierung
stet o k d l e G r h I t i … weil Ze
…
Die Administration der Administration
Ø ALLE Logdateien in EINER grafischen Oberfläche Ø Nur EIN LogIn für ALLE Logdateien Ø KEINE Logdatei bleibt unbeachtet
www.wedaco.de
Übergeordnete Komponente Log Ak1on
Oracle Datenbank mit zwei Log-‐Ak1onen Logdatei-‐Status
Oracle RAC
Telefonanlage Siemens HiPath4000 Logdatei-‐Info‘s BackupServer Tivoli Storage Manager
Die Administration der Administration
www.wedaco.de
Ø Automa@sierte Auswertung anhand frei definierbarer Sta@
Die Administration der Administration
Ø Verweise auf zusätzliche Log-‐ oder Tracedateien
www.wedaco.de
Die Administration der Administration
www.wedaco.de
Ø sofor@ger Zugriff auf zusätzliche Log-‐ und Tracedateien
alert_orcl.log orcl_mmnl_11590.trc
Die Administration der Administration
Ø Anzeige ungewöhnlich lang laufender Ak@onen Ø rudimentäres Monitoring
www.wedaco.de
Die Administration der Administration
Ø Auslassen „übergroßer“ Logdateien bei der automa@sierten Auswertung
www.wedaco.de
Die Administration der Administration
www.wedaco.de
Ø Einfache Vertretung von Admin‘s durch Zugriffsänderung Ø Überwachung “fremder“ Logdateien ohne Server-‐Zugang
Hilde
Klaus
Klaus
Hilde
Die Administration der Administration
www.wedaco.de
Ø Sicherung/Archivierung eines Filesystems erfasst ALLE Logdateien
Logfile monitor v2
Die Administration der Administration
www.wedaco.de
Ø Remote-‐Zugriff auf eine Anwendung = Zugriff auf ALLE Logdateien
-‐ Kein Zugriff auf die eigentlichen Server -‐ Freischaltung nur EINER Anwendung für Remotezugriff -‐ Zugriff somit auch für Personen möglich, die keine Zugriffsberech1gung auf die Server haben
Die Administration der Administration
www.wedaco.de
Mögliche Einsatzgebiete Datentransfer Oracle DB Oracle RAC RMAN Export Import Cluster Backups Webserver Datenbanken Applika@onen Windows Events
Netzwerkhardware Telefonanlagen Onlineshops Windows Linux UNIX Storages Firewalls Produk@onsanlagen Infrastrukturtechnik eigene Logdateien Syslog
Die Administration der Administration
www.wedaco.de
Mögliche Einsatzgebiete Datentransfer Oracle DB Oracle RAC RMAN Export Import Cluster Backups Webserver Datenbanken Applika@onen Windows Events
AL
Netzwerkhardware Telefonanlagen Onlineshops Windows Linux UNIX Storages Firewalls Produk@onsanlagen Infrastrukturtechnik eigene Logdateien Syslog
n e t r e i s a b t x e LE t
! n e i e t Logda
Die Administration der Administration
www.wedaco.de
Integra@on des Logfile Monitors vorhandene Infrastruktur
separate Admin-‐DMZ
Die Administration der Administration
LIVE - DEMO
www.wedaco.de
Die Administration der Administration
Logfile monitor
v3 v
Agent zum Übertragen der Logdateien
v
Logrota@on für jede Art von textbasierten Logdateien
www.wedaco.de
Die Administration der Administration
FRAGEN ?
www.wedaco.de
Die Administration der Administration
www.wedaco.de
Vielen Dank für Ihre Aufmerksamkeit!
Sven Mendler Wedaco UG & Co. KG Am Kirschberg 168 – 169 99625 Beichlingen Tel: (0171) 7915167 Fax: (03635) 602978 Mail:
[email protected] Web: www.Wedaco.de
Webdevelopment
Databases
Consulting
