Teil I Was sind Datenbanken?
Was sind Datenbanken?
Was sind Datenbanken? 1
Überblick & Motivation
2
Architekturen
3
Einsatzgebiete
4
Historisches
Sattler / Saake
Datenbanksysteme
Letzte Änderung: Okt. 2016
1–1
Was sind Datenbanken?
Lernziele für heute . . . Motivation für den Einsatz von Datenbanksystemen Kenntnis grundlegender Architekturen
Sattler / Saake
Datenbanksysteme
Letzte Änderung: Okt. 2016
1–2
Was sind Datenbanken?
Überblick & Motivation
Was sind Datenbanken? Daten = logisch gruppierte Informationseinheiten Bank =
Die Sicherheit vor Verlusten ist eine Hauptmotivation, etwas „auf die Bank zu bringen“. Eine Bank bietet Dienstleistungen für mehrere Kunden an, um effizient arbeiten zu können. Eine Datenbank hat die (langfristige) Aufbewahrung von Daten als Aufgabe. Sattler / Saake
Datenbanksysteme
Letzte Änderung: Okt. 2016
1–3
Was sind Datenbanken?
Überblick & Motivation
Anwendungsbeispiele
Sattler / Saake
Datenbanksysteme
Letzte Änderung: Okt. 2016
1–4
Was sind Datenbanken?
Überblick & Motivation
Wie verwaltet man Datenbanken?
Ohne Datenbanken jedes Anwendungssystem verwaltet seine eigenen Daten Daten sind mehrfach gespeichert Probleme I I I
redundant
Verschwendung von Speicherplatz „Vergessen“ von Änderungen keine zentrale, „genormte“ Datenhaltung
Sattler / Saake
Datenbanksysteme
Letzte Änderung: Okt. 2016
1–5
Was sind Datenbanken?
Überblick & Motivation
Probleme der Datenredundanz Andere Softwaresysteme können große Mengen von Daten nicht effizient verarbeiten Mehrere Benutzer oder Anwendungen können nicht parallel auf den gleichen Daten arbeiten, ohne sich zu stören Anwendungsprogrammierer / Benutzer können Anwendungen nicht programmieren / benutzen, ohne I I
interne Darstellung der Daten Speichermedien oder Rechner
zu kennen (Datenunabhängigkeit nicht gewährleistet) Datenschutz und Datensicherheit sind nicht gewährleistet
Sattler / Saake
Datenbanksysteme
Letzte Änderung: Okt. 2016
1–6
Was sind Datenbanken?
Überblick & Motivation
Idee: Datenintegration durch Datenbanksysteme Anwendung
...
Anwendung
DBMS
Datenbankmanagementsystem = Software zur Verwaltung von Datenbanken
DBS = Datenbanksystem
Datenbank
Sattler / Saake
Datenbanksysteme
strukturierter, von DBMS verwalteter Datenbestand
Letzte Änderung: Okt. 2016
1–7
Was sind Datenbanken?
Überblick & Motivation
Motivation Datenbanksysteme sind Herzstück heutiger IT-Infrastrukturen
. . . allgegenwärtig
Datenbankspezialisten sind gefragt
Sattler / Saake
Datenbanksysteme
Letzte Änderung: Okt. 2016
1–8
Was sind Datenbanken?
Überblick & Motivation
Fragestellungen 1
Wie organisiert (modelliert und nutzt) man Daten?
2
Wie werden Daten dauerhaft verlässlich gespeichert?
3
Wie kann man riesige Datenmengen (≥ Terabytes) effizient verarbeiten?
4
Wie können viele Nutzer (≥ 10.000) gleichzeitig mit den Daten arbeiten?
Sattler / Saake
Datenbanksysteme
Letzte Änderung: Okt. 2016
1–9
Was sind Datenbanken?
Architekturen
Prinzipien: Die neun Codd’schen Regeln 1 2 3
4 5 6 7 8 9
Integration: einheitliche, nichtredundante Datenverwaltung Operationen: Speichern, Suchen, Ändern Katalog: Zugriffe auf Datenbankbeschreibungen im Data Dictionary Benutzersichten Integritätssicherung: Korrektheit des Datenbankinhalts Datenschutz: Ausschluss unauthorisierter Zugriffe Transaktionen: mehrere DB-Operationen als Funktionseinheit Synchronisation: parallele Transaktionen koordinieren Datensicherung: Wiederherstellung von Daten nach Systemfehlern
Sattler / Saake
Datenbanksysteme
Letzte Änderung: Okt. 2016
1–10
Was sind Datenbanken?
Architekturen
Datenunabhängigkeit und Schemata Basierend auf DBMS-Grobarchitektur Entkopplung von Benutzer- und Implementierungssicht Ziele u.a.: I I I I
Trennung von Modellierungssicht und interner Speicherung Portierbarkeit Tuning vereinfachen standardisierte Schnittstellen
Sattler / Saake
Datenbanksysteme
Letzte Änderung: Okt. 2016
1–11
Was sind Datenbanken?
Architekturen
Schemaarchitektur Zusammenhang zwischen I I
I I
Konzeptuellem Schema (Ergebnis der Datendefinition) Internem Schema (Festlegung der Dateiorganisationen und Zugriffspfade) Externen Schemata (Ergebnis der Sichtdefinition) Anwendungsprogrammen (Ergebnis der Anwendungsprogrammierung)
Sattler / Saake
Datenbanksysteme
Letzte Änderung: Okt. 2016
1–12
Was sind Datenbanken?
Architekturen
Schemaarchitektur /2 Trennung Schema — Instanz I I
Schema (Metadaten, Datenbeschreibungen) Instanz (Anwenderdaten, Datenbankzustand oder -ausprägung)
Datenbankschema besteht aus I
internem, konzeptuellem, externen Schemata und den Anwendungsprogrammen
im konzeptuellen Schema etwa: I I I
Strukturbeschreibungen Integritätsbedingungen Autorisierungsregeln (pro Benutzer für erlaubte DB-Zugriffe)
Sattler / Saake
Datenbanksysteme
Letzte Änderung: Okt. 2016
1–13
Was sind Datenbanken?
Architekturen
Schemaarchitektur /3 externes Schema 1
Konzeptuelles Schema
internes Schema
Datenbanksysteme
externes Schema N
Datendarstellung
Anfragebearbeitung Sattler / Saake
...
Letzte Änderung: Okt. 2016
1–14
Was sind Datenbanken?
Architekturen
Datenunabhängigkeit /2 Stabilität der Benutzerschnittstelle gegen Änderungen physisch: Änderungen der Dateiorganisationen und Zugriffspfade haben keinen Einfluss auf das konzeptuelle Schema logisch: Änderungen am konzeptuellen und gewissen externen Schemata haben keine Auswirkungen auf andere externe Schemata und Anwendungsprogramme
Sattler / Saake
Datenbanksysteme
Letzte Änderung: Okt. 2016
1–15
Was sind Datenbanken?
Architekturen
Datenunabhängigkeit /3 mögliche Auswirkungen von Änderungen am konzeptuellen Schema: I I
eventuell externe Schemata betroffen (Ändern von Attributen) eventuell Anwendungsprogramme betroffen (Rekompilieren der Anwendungsprogramme, eventuell Änderungen nötig)
nötige Änderungen werden jedoch vom DBMS erkannt und überwacht
Sattler / Saake
Datenbanksysteme
Letzte Änderung: Okt. 2016
1–16
Was sind Datenbanken?
Architekturen
Anwendungsbeispiel: Musikversand Titel Musiker
Jahr Preis
Rezension(en)
Tracks
Sattler / Saake
Datenbanksysteme
Letzte Änderung: Okt. 2016
1–17
Was sind Datenbanken?
Architekturen
Ebenen-Architektur am Beispiel Konzeptuelle Sicht: Darstellung in Tabellen (Relationen) Musiker MNr 103 104 105 Album ANr 1014 1015 1016 1021 1025
Sattler / Saake
Name Apocalyptica Subway To Sally Rammstein Titel Amplified Nord Nord Ost Rosenrot Engelskrieger Reflections
Land Finnland Deutschland Deutschland Jahr 2006 2005 2005 2003 2006
Genre Rock Rock Rock Rock Rock
Datenbanksysteme
MNr → Musiker 103 104 105 104 103
Letzte Änderung: Okt. 2016
1–18
Was sind Datenbanken?
Architekturen
Ebenen-Architektur am Beispiel /2 Externe Sicht: Daten in einer flachen Relation ANr 1014 1015 1016 1021 1025
Sattler / Saake
Titel Amplified Nord Nord Ost Rosenrot Engelskrieger Reflections
Jahr 2006 2005 2005 2003 2006
Genre Rock Rock Rock Rock Rock
Datenbanksysteme
Musiker Apocalyptica Subway To Sally Rammstein Subway To Sally Apocalyptica
Letzte Änderung: Okt. 2016
1–19
Was sind Datenbanken?
Architekturen
Ebenen-Architektur am Beispiel /3 Externe Sicht: Daten in einer hierarchisch aufgebauten Relation Musiker Titel Apocalyptica Subway To Sally Rammstein
Sattler / Saake
Album Jahr
Amplified Reflections Nord Nord Ost Engelskrieger Rosenrot
Datenbanksysteme
2006 2003 2005 2003 2005
Genre Rock Rock Metal Rock Rock
Letzte Änderung: Okt. 2016
1–20
Was sind Datenbanken?
Architekturen
Ebenen-Architektur am Beispiel /4 Interne Darstellung
1000
1500
2000
Baumzugriff über Albumnummer
teilweises Speichern der Datensätze im Baum
1014 Amplified 2006 1015 Nord Nord Ost 2005
19.99 Rock 15.99 Rock
Sattler / Saake
103 104
.... ....
Überlaufbereich für Datensätze
Datenbanksysteme
Letzte Änderung: Okt. 2016
1–21
Was sind Datenbanken?
Architekturen
System-Architekturen Beschreibung der Komponenten eines Datenbanksystems Standardisierung der Schnittstellen zwischen Komponenten Architekturvorschläge I
I
ANSI-SPARC-Architektur Drei-Ebenen-Architektur Fünf-Schichten-Architektur beschreibt Transformationskomponenten im Detail Vorlesung „Datenbank-Implementierungstechniken“
Sattler / Saake
Datenbanksysteme
Letzte Änderung: Okt. 2016
1–22
Was sind Datenbanken?
Architekturen
ANSI-SPARC-Architektur ANSI: American National Standards Institute SPARC: Standards Planning and Requirement Committee Vorschlag von 1978 Im Wesentlichen Grobarchitektur verfeinert I I I
Interne Ebene / Betriebssystem verfeinert Mehr Interaktive und Programmier-Komponenten Schnittstellen bezeichnet und normiert
Sattler / Saake
Datenbanksysteme
Letzte Änderung: Okt. 2016
1–23
Was sind Datenbanken?
Architekturen
ANSI-SPARC-Architektur /2 Externe Ebene
Konzeptuelle Ebene
Interne Ebene
Optimierer
Plattenzugriff
Anfragen Auswertung
Updates
P1
... Pn
DBOperationen
Data Dictionary
Einbettung Masken
Sichtdefinition Datendefinition
Sattler / Saake
Datenbanksysteme
Dateiorganisation
Letzte Änderung: Okt. 2016
1–24
Was sind Datenbanken?
Architekturen
Klassifizierung der Komponenten Definitionskomponenten: Datendefinition, Dateiorganisation, Sichtdefinition Programmierkomponenten: DB-Programmierung mit eingebetteten DB-Operationen Benutzerkomponenten: Anwendungsprogramme, Anfrage und Update interaktiv Transformationskomponenten: Optimierer, Auswertung, Plattenzugriffssteuerung Data Dictionary (Datenwörterbuch): Aufnahme der Daten aus Definitionskomponenten, Versorgung der anderen Komponenten
Sattler / Saake
Datenbanksysteme
Letzte Änderung: Okt. 2016
1–25
Was sind Datenbanken?
Architekturen
Fünf-Schichten-Architektur Verfeinerung der Transformationsschritte Mengenorientierte Schnittstelle
Datensystem
Satzorientierte Schnittstelle
Übersetzung Zugriffspfadwahl
Zugriffssystem
Logische Zugriffspfade, Schemakatalog, Sortierung, Transaktionsverwaltung
Speichersystem
Speicherungsstrukturen, Zugriffspfadverwaltung, Sperrverwaltung, Logging, Recovery
Interne Satzschnittstelle Systempufferschnittstelle
Pufferverwaltung Dateischnittstelle
Betriebssystem
Systempufferverwaltung, Seitenersetzung, Seitenzuordnung Externspeicherverwaltung, Speicherzuordnung
Geräteschnittstelle Externspeicher Sattler / Saake
Datenbanksysteme
Letzte Änderung: Okt. 2016
1–26
Was sind Datenbanken?
Architekturen
Anwendungsarchitekturen Architektur von Datenbankanwendungen tpyischerweise auf Basis des Client-Server-Modells: Server ≡ Datenbanksystem Client (Dienstnehmer)
Server (Diensterbringer)
1. Anforderung 2. Bearbeitung 3. Antwort
Sattler / Saake
Datenbanksysteme
Letzte Änderung: Okt. 2016
1–27
Was sind Datenbanken?
Architekturen
Anwendungsarchitekturen /2 Aufteilung der Funktionalitäten einer Anwendung I I I
Präsentation und Benutzerinteraktion Anwendungslogik („Business“-Logik) Datenmanagementfunktionen (Speichern, Anfragen, . . . ). Benutzerschnittstelle Anwendungslogik
Benutzerschnittstelle
Client
DB-Schnittstelle
Anwendungslogik DB-Schnittstelle
DB-Server
Zwei-Schichten-Architektur Sattler / Saake
Client
Applikationsserver
DB-Server
Drei-Schichten-Architektur Datenbanksysteme
Letzte Änderung: Okt. 2016
1–28
Was sind Datenbanken?
Einsatzgebiete
Einige konkrete Systeme (Objekt-)Relationale DBMS I I
Oracle11g, IBM DB2 V.10, Microsoft SQL Server 2012, SAP HANA MySQL (www.mysql.org), PostgreSQL (www.postgresql.org)
Pseudo-DBMS I
MS Access
NoSQL-Systeme I
Graph-Datenbanksysteme (InfiniteGraph, neo4j), Dokument-Datenbanken (MongoDB), Key-Value-Stores, ....
Sattler / Saake
Datenbanksysteme
Letzte Änderung: Okt. 2016
1–29
Was sind Datenbanken?
Einsatzgebiete
Einsatzgebiete Klassische Einsatzgebiete: I
I I
viele Objekte (15000 Bücher, 300 Benutzer, 100 Ausleihvorgänge pro Woche, . . . ) wenige Objekttypen (BUCH, BENUTZER, AUSLEIHUNG) etwa Buchhaltungssysteme, Auftragserfassungssysteme, Bibliothekssysteme, . . .
Aktuelle Anwendungen: I
E-Commerce, entscheidungsunterstützende Systeme (Data Warehouses, OLAP), NASA’s Earth Observation System (Petabyte-Datenbanken), Data Mining
Sattler / Saake
Datenbanksysteme
Letzte Änderung: Okt. 2016
1–30
Was sind Datenbanken?
Einsatzgebiete
Datenbankgrößen eBay Data Warehouse 10 PB (≈ 10 · 1015 Bytes) Teradata DBMS, 72 Knoten, 10.000 Nutzer, mehrere Millionen Anfragen/Tag WalMart Data Warehouse 2,5 PB Teradata DBMS, NCR MPP-Hardware; Produktinfos (Verkäufe etc.) von 2.900 Märkten; 50.000 Anfragen/Woche Facebook x.000 MySQL-Server
400 TB
Hadoop/Hive, 610 Knoten, 15 TB/Tag US Library of Congress nicht digitalisiert
10-20 TB
PB für Petabyte entspricht der Größenordnung 1015 Sattler / Saake
Datenbanksysteme
Letzte Änderung: Okt. 2016
1–31
Was sind Datenbanken?
Historisches
Entwicklungslinien: 60er Jahre Anfang 60er Jahre: elementare Dateien, anwendungsspezifische Datenorganisation (geräteabhängig, redundant, inkonsistent) Ende 60er Jahre: Dateiverwaltungssysteme (SAM, ISAM) mit Dienstprogrammen (Sortieren) (geräteunabhängig, aber redundant und inkonsistent) DBS basierend auf hierarchischem Modell, Netzwerkmodell I I I I
Zeigerstrukturen zwischen Daten Schwache Trennung interne / konzeptuelle Ebene Navigierende DML Trennung DML / Programmiersprache
Sattler / Saake
Datenbanksysteme
Letzte Änderung: Okt. 2016
1–32
Was sind Datenbanken?
Historisches
Entwicklungslinien: 70er und 80er Jahre 70er Jahre: Datenbanksysteme (Geräte- und Datenunabhängigkeit, redundanzfrei, konsistent) Relationale Datenbanksysteme I I I I
Daten in Tabellenstrukturen 3-Ebenen-Konzept Deklarative DML Trennung DML / Programmiersprache
Sattler / Saake
Datenbanksysteme
Letzte Änderung: Okt. 2016
1–33
Was sind Datenbanken?
Historisches
Historie von RDBMS 1970: Ted Codd (IBM) → Relationenmodell als konzeptionelle Grundlage relationaler DBS 1974: System R (IBM) → erster Prototyp eines RDBMS I
I I
zwei Module: RDS, RSS; ca. 80.000 LOC (PL/1, PL/S, Assembler), ca. 1,2 MB Codegröße Anfragesprache SEQUEL erste Installation 1977
1975: University of California at Berkeley (UCB) → Ingres I I
Anfragesprache QUEL Vorgänger von Postgres, Sybase, . . .
1979: Oracle Version 2
Sattler / Saake
Datenbanksysteme
Letzte Änderung: Okt. 2016
1–34
Was sind Datenbanken?
Historisches
Entwicklungslinien: (80er und) 90er Jahre Wissensbanksysteme I I
Daten in Tabellenstrukturen Stark deklarative DML, integrierte Datenbankprogrammiersprache
Objektorientierte Datenbanksysteme I
I I I
Daten in komplexeren Objektstrukturen (Trennung Objekt und seine Daten) Deklarative oder navigierende DML Oft integrierte Datenbankprogrammiersprache Oft keine vollständige Ebenentrennung
Sattler / Saake
Datenbanksysteme
Letzte Änderung: Okt. 2016
1–35
Was sind Datenbanken?
Historisches
Entwicklungslinien: heute Neue Hardwarearchitekturen I
Multicore-Prozessoren, Hauptspeicher im TB-Bereich: In-Memory-Datenbanksysteme (z.B. SAP HANA)
Unterstützung für spezielle Anwendungen I
I
I
I
Cloud-Datenbanken: Hosting von Datenbanken, Skalierbare Datenmanagementlösungen (Amazon RDS, Microsoft Azure) Datenstromverarbeitung: Online-Verarbeitung von Live-Daten, z.B. Börseninfos, Sensordaten, RFID-Daten, . . . (StreamBase, MS StreamInsight, IBM Infosphere Streams) Big Data: Umgang mit Datenmengen im PB-Bereich durch hochskalierbare, parallele Verarbeitung, Datenanalyse (Hadoop, Hive, Google Spanner & F1, . . . ) NoSQL-Datenbanken („Not only SQL“): nicht-relationale Datenbanken, flexibles Schema (dokumentenzentriert), „leichtgewichtig“ durch Weglassen von SQL-Funktionalitäten wie Transaktionen, mächtige deklarative Anfragesprachen mit Verbunden etc. (CouchDB, MongoDB, Cassandra, . . . )
Sattler / Saake
Datenbanksysteme
Letzte Änderung: Okt. 2016
1–36
Was sind Datenbanken?
Historisches
Trends Nutzergenerierte Inhalte, z.B. Google: I I I
Verarbeitung von 20 PB täglich 15h Video-Upload auf YouTube in jeder Minute Lesen von 20 PB würde 12 Jahre benötigen bei 50 MB/s-Festplatte
Linked Data und Data Web I
I
I
Bereitstellung, Austausch und Verknüpfung von strukturierten Daten im Web ermöglicht Abfrage (mit Anfragesprachen wie SPARQL) und Weiterverarbeitung Beispiele: DBpedia, GeoNames
Sattler / Saake
Datenbanksysteme
Letzte Änderung: Okt. 2016
1–37
Was sind Datenbanken?
Historisches
Zusammenfassung Motivation für Einsatz von Datenbanksystemen Codd’sche Regeln 3-Ebenen-Schemaarchitektur & Datenunabhängigkeit Einsatzgebiete
Sattler / Saake
Datenbanksysteme
Letzte Änderung: Okt. 2016
1–38
Was sind Datenbanken?
Historisches
Kontrollfragen Welchen Vorteil bieten Datenbanksysteme gegenüber einer anwendungsspezifischen Speicherung von Daten? Was versteht man unter Datenunabhängigkeit und wie wird sie erreicht? In welchen Bereichen kommen Datenbanksysteme zum Einsatz?
Sattler / Saake
Datenbanksysteme
Letzte Änderung: Okt. 2016
1–39
