Strukturbasierte Abbildung von XML auf relationale

Datenbanken

XML & DatenbankenSS 2004

Marcel Keller

Inhalt des Vortrags

• 1.Einführung in das Thema– 1.1 Motivation– 1.2 Art der zu speichernden Dokumente

• 2.Automatisches Mapping– 2.1. Prinzipielle Abbildungsvorschrift– 2.2. Anfragen – 2.3. Eigenschaften

• 3.Benutzerdefiniertes Mapping– 3.1. Abbildungsvorschrift– 3.2. Anfragen– 3.3. Eigenschaften

• 4. Was machen die Hersteller?– 4.1.Oracle 9i – 4.2. IBM DB2

1.1.Motivation

Warum XML in DB speichern?

• Bewährte Datenbanktechnologie nutzen:– Transaktionsmanagement– Logging und Recovery– Synchronisation– Integritätsregeln– Anfrageoptimierung XML RDBS

Einordnung der strukturbasierten Abbildung

BenutzerdefiniertesMapping

Textbasierte Abbildung

VollständigesAutomatisches

Mapping

Strukturbasierte Abbildung

Modellbasierte Abbildung

Speicherung von XML-

Dokumenten

•Klettke/Meyer

•Shanmugasundaram et al

•Deutsch/Fernandez/Suciu:STORED

•Bourret

•Oracle 9i XSU

•Bourret

•Deutsch/Fernandez/

Suciu:STORED

•IBM DB2 Extender

1.2. Art der zu speichernden XML-Dokumente

• Abbildung auf DB-Struktur besonders geeignet für datenzentrierte XML- Dokumente

•Bei XML als Medium zum Datenaustausch zwischen Systemen sehr strukturierte Daten

•Beispiele: Übermittlung von Bestellungen, Produktdaten usw.

•Leichte Abbildung in relationales Schema möglich

•Gemischte Inhalte treten selten auf

•Reihenfolge von Geschwisterelementen spielt in der Regel keine Rolle

•Hierarchische Strukturen lassen sich auf mehrere Tabellen mit entsprechenden Fremdschlüsselbeziehungen abbilden

2. Automatisches Mapping

• DTD,XML-Schema muss vorhanden sein

• Datenbankentwurf richtet sich nach Struktur der Dokumente

• automatische Abbildung eines Schemas von XML-Dokumenten auf Datenbankschema mit Hilfe einer Defaultmappingvorschrift

• Das Bedeutet:XML-Strukturen werden von allgemeingültigem, vom Schema unabhängigem, Konzept umgesetzt

• bildet ganzes XML-Dokument ab

2.1. Prinzipielle Abbildungsvorschrift nachKlettke/Meyer

XML-Information Datenbank-Information

Element Wurzelelement Relation mit eindeutiger ID

Normales XML-Element Attribut einer Relation

Sequenz von Elementen Attribute einer Relation

Alternative von Elementen Attribute einer Relation

Element mit Quantifizierer ? Attribut einer Relation, Nullwerte möglich

Elemente mit Quantifizierer + oder *

Relation mit eindeutiger ID und Element ist Attribut der Relation

Komplex strukturiertes (geschachteltes) Element,also Element mit Subelementen

Relation mit eindeutiger ID wobei Subelemente Attribute der Relation

Attribut XML-Attribut Attribut einer Relation

#IMPLIED Nullwert erlaubt

#REQUIRED Nullwert nicht erlaubt

Defaultwert Defaultwert

Anwendung der Vorschrift

<!ELEMENT hotel (hotelname, kategorie, adresse, telefon+, fax)>

<!ATTLIST hotel id ID #REQUIRED><!ELEMENT hotelname (#PCDATA)><!ELEMENT kategorie (#PCDATA)><!ELEMENT adresse (plz, ort, strasse, nummer)><!ELEMENT plz (#PCDATA)><!ELEMENT ort (#PCDATA)><!ELEMENT strasse (#PCDATA)><!ELEMENT nummer (#PCDATA)><!ELEMENT telefon (#PCDATA)><!ELEMENT fax (#PCDATA)>

CREATE TABLE Hotel ( ID INTEGER PRIMARY KEY, Hotelname VARCHAR(50) NOT NULL, Kategorie INTEGER NOT NULL, Adresse VARCHAR(5) NOT NULL, Telefon VARCHAR(5) NOT NULL, Fax VARCHAR(30) NOT NULL);

CREATE TABLE Adresse ( ID INTEGER PRIMARY KEY, Plz INTEGER NOT NULL, Ort VARCHAR(50) NOT NULL, Strasse VARCHAR(30) NOT NULL, Nummer INTEGER NOT NULL, FOREIGN KEY (ID) references Hotel (ID));

CREATE TABLE Telefon ( ID INTEGER NOT NULL, Telefon VARCHAR(30) NOT NULL, PRIMARY KEY (ID,Telefon), FOREIGN KEY (ID) references Hotel (ID));

Beispiel-DTD:

Datenbankentwurf:

Relationenschema für die DTD

ID Hotelname Kategorie Fax

1 Hotel Hübner 1 0381-543444

ID PLZ Ort Strasse Nummer

1 18119 Warnemünde Seestraße 12

ID Telefon

1 0381-54340

1 0381-540

Hotel

Adresse

Telefon

Abbildung von Alternativen• Elementnamen werden zu Attributnamen einer Relation• Problem: Viele Nullwerte in der Tabelle (Speicherplatzverschwendung)

•Beispiel:

....<!ELEMENT Kontakt (Telefon|Fax|Email)*><!ELEMENT Telefon (#PCDATA)><!ELEMENT Fax (#PCDATA)><!ELEMENT Email (#PCDATA)>....

....<Kontakt>

<Telefon>0381/7774</Telefon> <Fax>0381/7775</Fax>

<Email>vertrieb@db-Solutions.de </Email><Kontakt>....

ID Telefon Fax Email

1 0712/4455 NULL NULL

2 0381/7774 0381/7775 vertrieb@db-solutions

Kontakt

Abbildung von rekursiven Datendefinitionen

....<!ELEMENT ort (name, einwohnerzahl, ausflugsziel*)><!ELEMENT ausflugsziel (ort, entfernung, beschreibung)> ....

ID Name Einwohnerzahl Ausflugsziel

20 Jena .... 33

21 Weimar ....

22 Kahla .... ....

ID Ort Entfernung Beschreibung

33 22 ..... ....

33 21 .... ....

Ort

Ausflugsziel

•DTD's können beispielsweise rekursiv sein•Unendliche Rekursion auf der Instanzenebene einer Datenbank nicht möglich•Vorgehensweise:

•Aufspaltung in separate Tabellen•Verwendung von Primär-/Fremdschlüssel

•Beispiel:

Abbildung von Elementordnungen

• Dokumentordnung von XML-Dokumenten aus DB nicht erkennbar• Reihenfolge kann aber von Bedeutung sein (Beispiel:Wissenschaftliche

Publikationen)• In diesen Fällen: zusätzliches ordnungserhaltendes Attribut• Beispiel:

<Buch> <Kapitel>Einführung</Kapitel> <Kapitel>Theoretische Grundlagen</Kapitel> <Kapitel>Konzeption</Kapitel> <Kapitel>Beispiel</Kapitel> <Kapitel>Zusammenfassung</Kapitel></Buch>

Ordnung Kapitel

1 Einführung

2 Theoretische Grundlagen

3 Konzeption

4 Beispiel

5 Zusammenfassung

Darstellung von Mixed-Content• Speicherung von Mixed-Content-Elementen in relationalen Datenbanken sehr umständlich• Keine effizienten Anfragen möglich• Selten bei datenzentrierten Dokumenten• Andere Form der Speicherung wählen bei häufigem Vorkommen!• Beispiel:

<anreisebeschreibung>

Sie können unser Haus auf verschiedenen Wegen erreichen:

<bahn>per Bahn: 1km ab Bahnhof Warnemünde</bahn>

<auto>per Auto: 19km ab Autobahn A19 Rostock-Berlin</auto>

Sie finden uns direkt an der Uferpromenade.

</anreisebeschreibung>

<!ELEMENT anreisebeschreibung (#PCDATA | auto | bahn)*>

Ordnung

#PCDATA Bahn Auto

1 Sie können unser Haus auf verschiedenen Wegen erreichen:

NULL NULL

2 NULL per Bahn: 1km ab Bahnhof Warnemünde NULL

3 NULL NULL per Auto: 19km ab Autobahn A19 Rostock-Berlin

4 Sie finden uns direkt an der Uferpromenade.

NULL NULL

2.2. Anfragen

•Datenbankanfragen mit SQL:

–Struktur der Datenbank muss bekannt sein–Joins, Aggregatfunktionen usw. lassen sich ausführen–Optimierung übernimmt das DBMS

•XML-Anfragen mit den XML-QL:XPath oder XQuery:

–Prozess der Abbildung XML auf Datenbank muss protokolliert sein

–Datenbankanfrage für XML-Anfrage muss automatisch generiert werden können

–Ergebnis für die XML-Anfrage muss generiert werden können

2.3. Eigenschaften der Speicherung mit automatischem Mapping

Schemabeschreibung (DTD o.XML-Schema)

erforderlich

Dokumentrekonstruktion Nur eingeschränkt möglich (Protokollierung des Abbildungsprozesses nötig)

Anfragen SQL- und XML-Anfragen (Transformation) sind möglich

Effizienz Hoch durch Einsatz der DB-Engine

Einsatz Für datenzentrierte XML-Dokumente

Weitere Besonderheiten •Erhalten der Dokumentordnung nur über zusätzliches Attribut•OODBS/ORDBS erlauben natürlichere Abbildung der Elementhierarchien•Änderung des XML-Schemas erfordert Anpassung der DB•Oft großes Schema & schwach gefüllte Datenbanken (Nullwerte)•Speicherung von Alternativen,Mixed-Content-Typ, Rekursion problematisch•Speicherung von Elementen vom Typ ANY nicht möglich•Speicherung von Kommentaren,PI‘s,Prolog und der DTD nicht möglich•Bei DTD Anpassung der DB-Attributtypen vom Anwender nötig

3. Benutzerdefiniertes Mapping• Art der Speicherung in der Datenbank konnte bisher nicht beeinflusst

werden

• Mappingvorschrift spezifiziert welche Informationen aus XML-Dokument auf welche Datenbankstruktur abgebildet wird (vollständig oder nur Ausschnitt)

• Sehr flexible Methode

• Unabhängiges Entwerfen von XML-Schema und Datenbankschema möglich

• Speicherung von XML-Dokumenten in existierende Datenbanken möglich

• Zusammenführen von XML-Dokumenten mit in anderer Form gespeicherter Daten möglich

• Erstellen von Mappingvorschrift erfordert großen manuellen Aufwand

3.1. Beispiel einer Mappingvorschrift nach Ronald Bourret

<Hotel url= "www.hotel-huebner.de“> <HotelID>H0001</HotelID> <Name>Hotel Huebner </Name> <Adresse> <PLZ>18119</PLZ> <Ort>Warnemünde</Ort> <Strasse>Seestrasse</Strasse> <Nr>12</Nr> </Adresse> <Preise> <Einzelzimmer>198</Einzelzimmer> </Preise> </Hotel>

<ClassMap> <ElementType Name="Hotel“/> <ToClassTable> <Table Name="Preise"> </ToClassTable> <PropertyMap> <Attribute Name="url"/> <ToColumn> <Column Name="Hotel_url"> </ToColumn> </PropertyMap> <PropertyMap> <ElementType Name="hotelname"/> <ToColumn> <Column Name="Name"/> </ToColumn> </PropertyMap> <PropertyMap> <ElementType Name="Einzelzimmer"/> <ToColumn> <Column Name="Einzelzimmer"/> </ToColumn> </PropertyMap>.....</ClassMap>

Hotel_url Name Einzelzimmer

www.hotel-huebner.de

Hotel Hübner 198

Preise

3.2. Anfragen

• Datenbankanfragen mit SQL:

– Struktur der Datenbank muss bekannt sein

• XML-Anfragen: (nur sehr eingeschränkt)

– Nur möglich wenn Abbildungsprozess in Metadaten protokolliert wird

– Alle für Anfrage relevanten Daten müssen dabei gespeichert sein

– Problem:unvollständige Speicherung,Art der Speicherung gegenüber Originaldokument stark verändert

3.3. Eigenschaften der Speicherung mit benutzerdefiniertem Mapping

Schemabeschreibung (DTD o.XML-Schema)

erforderlich

Dokumentrekonstruktion meist nicht möglich (Protokollierung des Abbildungsprozesses nötig,vollständige Abbildung)

Anfragen SQL-Anfragen möglichXML-Anfragen in Ausnahmefällen möglich

Effizienz Hoch durch Einsatz der DB-Engine

Einsatz Für datenzentrierte XML-Dokumente

Weitere Besonderheiten •Erhalten der Dokumentordnung nur über zusätzliches Attribut•Änderung des XML-Schemas erfordert Anpassung der Mappingvorschrift •Zusammenhang von Elementen und Attributen eines XML-Dokumentes kann verloren gehen•sehr variable Methode•Speicherung in bestehende Datenbanken möglich•Verantwortung für das Mapping liegt beim Anwender

4. Was machen die Hersteller?4.1. Oracle 9i (automatisches Mapping)

– Shredding Storage zur strukturierten Speicherung von XML-Dokumenten

– Programm XSU (XML SQL Utility) kann Ergebnisse von SQL-Anfragen in XML ausgeben und Daten aus XML-Dokumente in Tabellen einlesen (Export & Import von XML-Daten)

Oracle DB

<ROWSET> <ROW num="1"> <PersNr>234<PersNr> <Name>Müller<Name> <Gehalt>4000<Gehalt> </ROW> <ROW num="2"> ... </ROW>...</ROWSET>

Import von XML-Daten mit XSU

– Import:

• Name der bestehenden Tabelle und des XML-Dokumentes müssen als Parameter an XSU übergeben werden

• XSU erzeugt automatisch SQL-Insert-Befehle

• XML- und relationales Schema müssen exakt übereinstimmen

• Ist dies nicht der Fall, Anpassung des relationalen Schemas oder Transformation des XML-Dokumentes mit XSLT

• DB2 XML-Extender (ab V.7.1. Bestandteil):

– 2 Zugriffs- bzw. Speicherungsformen für XML:

• XML-Collection (<Xcollection>): Abbildung auf relationale Strukturen

• XML-Column: XML-Datentyp,Speicherung von ganzen XML-Dokumenten oder Fragmenten

– Genaue Form der Speicherung wir in DAD-Datei (Document Access Definition) beschrieben

– DAD-Datei ist XML-formatiertes Dokument welches auf Client gespeichert ist

4.2. IBM DB2 UDB (benutzerdefiniertes Mapping)

Weitere Eigenschaften der DAD-Datei• DAD-Datei muss beim Aktivieren einer XML-Collection (Gruppe relationaler Tabellen die XML enthalten) angegeben werden

• dxxEnableCollection(): Eingabe: DB-Name, Name der Collection, DAD als CLOB, Tablespace

• Stored-Procedures:

• dxxShredXML(): Eingabe: DAD-Datei und XML-Objekt (!Tabellen müssen vorhanden sein!)

• dxxInsertXML():Eingabe: Name der aktivierten XML-Collection, XML-Objekt

• Verwendung von <Xcollection> in DAD:

• 2 Abbildungsmethoden:• SQL-Zuordnung (nur bei Export)• RDB-node-Zuordnung (Import & Export)

XML-Column und XML-Collection

Shredding unter Verwendung von RDB-node (Beispiel)

<!ELEMENT Order (Customer, Part+)><!ATTLIST Order order_key ID #REQUIRED><!ELEMENT Customer (Name, Email)><!ELEMENT Name (#PCDATA)><!ELEMENT Email (#PCDATA)><!ELEMENT Part (Key, Quantity, ExtendedPrice,Tax,Shipment)><!ATTLIST Part color CDATA #IMPLIED><!ELEMENT Key (#PCDATA)><!ELEMENT Quantity (#PCDATA)><!ELEMENT ExtendedPrice (#PCDATA)><!ELEMENT Tax (#PCDATA)><!ELEMENT Shipment (ShipDate, ShipMode)><!ELEMENT ShipDate (#PCDATA)><!ELEMENT ShipMode (#PCDATA)>

order_key customer_name cuctomer_email

1 Müller müller@gmx.de

part_key order_key price tax quantity color date mode

1 1 100 16 1 black 20.05.2004 1

order_tab

part_tab

Beispiel-DTD:

relationaler Entwurf:

XML-Dokumentstruktur und mögliche Zuordnung von Elementen/Attributen zu Spalten von relationalen Tabellen:

order_tab

part_tab

DAD-Fragment:Zerlegung mit Xcollection & RDB_node

<?xml version="1.0"?><!DOCTYPE DAD SYSTEM "dxx_install_verz/samples/db2xml/dtd/dad.dtd"><DAD><dtdid>dxx_install_verz/samples/dad/getstart.dtd</dtdid> <validation>YES</validation> <Xcollection><prolog>?xml version="1.0"?</prolog><doctype>! DOCTYPE Order SYSTEM "dxx_install_verz/samples/db2xml/dtd/getstart.dtd"</doctype> <root_node><element_node name="Order">

<RDB_node> <table name="order_tab" key="order_key"/> <table name="part_tab" key="part_key order_key"/> <condition>order_tab.order_key = part_tab.order_key</condition>

</RDB_node>

<attribute_node name="key"> <RDB_node> <table name="order_tab"/> <column name="order_key" type="integer"/> </RDB_node> </attribute_node>

Fortsetzung DAD-Fragment<element_node name="Customer">

<element_node name="Name"> <text_node> <RDB_node> <table name="order_tab"/> <column name="customer_name" type="varchar(30)"/> </RDB_node> </text_node> </element_node>

<element_node name="Email"> <text_node> <RDB_node> <table name="order_tab"/> <column name="email_name" type="varchar(30)"/> </RDB_node> </text_node> </element_node>

</element_node>..........................</element_node></root_node>. </Xcollection></DAD>