Informationstheorie und Codierung

Informationstheorie und Codierung - 4. Übertragungskanal56

Informationstheorie und Codierung

4. Übertragungskanal

Informationstheoretische Beschreibung

Kanalkapazität

Signal-Rausch-Verhältnis

Leitungscodierung

(AMI, HDB3, PST, 4B3T, 5B6B, CMI)

Informationstheorie und Codierung - 4. Übertragungskanal57

Darstellung des Übertragungskanals

Störungen e(t), E(f)

QuelleSignale

u1(t), U1(f)

SenkeSignale

u2(t), U2(f)Übertragungskanal G(f)

Systemtheoretische Beschreibung

Übertragungskanal

H(Y|X), H(X|Y), T(X,Y)

(Irrelevanz, Äquivokation, Transinformation)

QuelleSymbole xi

Entropie H(X)

SenkeSymbole yj

Entropie H(Y)

Informationstheoretische Beschreibung

Störungen p(Y|X)

Informationstheorie und Codierung - 4. Übertragungskanal58

Bergersches Entropiemodell

QuelleX

SenkeY

H(X) H(Y)

H(X|Y)

H(Y|X)

T(X,Y)

fehlerfreie Übertragung: H(X) = T(X,Y) = H(Y)

Äquivokation (Rückschlussentropie)

Irrelevanz (Störentropie)

Transinformation

(Nutzentropie, Synentropie)

Informationstheorie und Codierung - 4. Übertragungskanal59

Kanalarten und Störungen

Kanal

diskret analog

• diskrete Informationsübertragung

• Anzahl der Signalzustände (Zeichenvorrat) endlich

• z.B. PCM, PSK

• Kontinuierliche bzw. analoge Informationsübertragung

• Anzahl der Signalzustände unendlich

• z.B. AM, FM

Beschreibung von Störungen

systemtheoretisch informationstheoretisch

Signal-Rausch-Verhältnis Fehlerwahrscheinlichkeit

Beispiele für Störungen:

Nebensprechen, Verzerrungen, Echos, thermisches Rauschen, Fremdstörungen, …

Informationstheorie und Codierung - 4. Übertragungskanal60

Kanalmodell

Modell beschreibt:

Sichtweise:

Wirkung

(Wirkungswahrscheinlichkeit)

Sender

Ursache

(Ursachenwahrscheinlichkeit)

Empfänger

Verbund

(Verbundwahrscheinlichkeit)

global

Betrachtung der Wirkung:

x1

x2

x3

xN-1

xN

y1

y2

y3

yMyM-1

p(xi) p(yj)

Quelle Übergänge Senke(Wirkung)

p(yj|xi)

p(yj|xi):

Wahrscheinlichkeit, dass unter der Bedingung des gesendeten Symbols xi ein Empfangssymbol yj

die Wirkung ist

(Berücksichtigung der Irrelevanz bzw. Störung)

Informationstheorie und Codierung - 4. Übertragungskanal61

Mathematische Beschreibung I(Betrachtung der Wirkung)

Vektor der Zustandswahrscheinlichkeiten

(p(X)) =

p(x1)p(x2)...

p(xN)

am Sender: am Empfänger:

(p(Y)) =

p(y1)p(y2)...

p(yM)

Matrix der Übergangswahrscheinlichkeiten:

(p(Y|X)) = p(y1|x1) ⋯ p(yM|x1)

⋮ ⋱ ⋮p(y1|xN) ⋯ p(yM|xN)

Ankunft eines Symbols beim Empfänger

Zeile

= 1

j

i

Informationstheorie und Codierung - 4. Übertragungskanal62

Mathematische Beschreibung II(Betrachtung der Wirkung)

Kanaleingang: H X = −

i

p xi ld p xi

Verbundentropie (Sendersicht): H X, Y = −

i

p xi

j

p yj xi ld(p xi p yj|xi )

Störentropie (Irrelevanz):

fehlerfreie Übertragung: p(yj|xi) = 1 für i = j und p(yj|xi) = 0 für i ≠ j

Einzelanteil Gesamtstörung

H Y|xi = −

j

p yj|xi ld p yj|xi

H Y|X = −

i

p xi

j

p yj|xi ld p yj|xi

H Y|X =

i

p xi H(Y|xi)

Transinformation: T(X,Y) = H(Y) – H(Y|X)

Kanalausgang: H Y = −

j

p yj ld p yj

Informationstheorie und Codierung - 4. Übertragungskanal63

Betrachtung der Ursache

x1

x2

x3

xN-1

xN

y1

y2

y3

yMyM-1

p(xi) p(yj)

Quelle Übergänge Senke(Ursachen)

p(xi|yj)

p(xi|yj):

Wahrscheinlichkeit dafür, dass das Versenden von xi

Ursache für ein bestimmtes yj war

(Berücksichtigung der Äquivokation)

Matrix der Übergangswahrscheinlichkeiten:

(p(X|Y)) = p(x1|y1) ⋯ p(x1|yM)

⋮ ⋱ ⋮p(xN|y1) ⋯ p(xN|yM)

alle Ursachen für ein yj

Spalte

= 1

Informationstheorie und Codierung - 4. Übertragungskanal64

Mathematische Beschreibung(Betrachtung der Ursache)

Kanalausgang: H Y = −

j

p yj ld p yjKanaleingang:

H X, Y = −

j

p yj

i

p xi yj ld(p yj p xi|yj )

Rückschlussentropie (Äquivokation):

verlustfreie Übertragung: p(xi|yj) = 1 für i = j und p(xi|yj) = 0 für i ≠ j

Einzelanteil Summe

H X|yj = −

i

p xi|yj ld p xi|yj

H X|Y = −

j

p yj

i

p xi|yj ld p xi|yj

H X|Y =

j

p yj H(X|yj)

Transinformation: T(X,Y) = H(X) – H(X|Y)

H X = −

i

p xi ld p xi

Verbundentropie (Empfängersicht):

Informationstheorie und Codierung - 4. Übertragungskanal65

Kanalmodell(Betrachtung des Verbundes)

x1

x2

x3

xN-1

xN

y1

y2

y3

yMyM-1

p(xi) p(yj)

Quelle Übergänge Senke(Verbunde)

p(xi,yj)

p(xi,yj):

Wahrscheinlichkeit dafür, dass das Symbol yj auf das ursprünglich gesendete Symbol xi folgt

(Berücksichtigung von Irrelevanz und Äquivokation)

Matrix der Übergangswahrscheinlichkeiten:

(p(X,Y)) = p(x1, y1) ⋯ p(x1, yM)

⋮ ⋱ ⋮p(xN, y1) ⋯ p(xN, yM)

H X, Y = −

i

p xi ld p(xi) −

i

p xi

j

p yj|xi ld p yj|xi

i

Informationstheorie und Codierung - 4. Übertragungskanal66

Mathematische Beschreibung(Betrachtung des Verbundes)

Matrix der Verbundwahrscheinlichkeiten:

(p(X,Y)) = p(x1, y1) ⋯ p(x1, yM)

⋮ ⋱ ⋮p(xN, y1) ⋯ p(xN, yM)

j

p xi, yj = 1

= −

i

p xi

j

p yj|xi ld p xi p yj|xi

Verbundentropie: H(X)

H(X|Y)H(Y)

H(Y|X)

= −

j

p yj ld p(yj) −

j

p yj

i

p xi|yj ld p xi|yj

= −

j

p yj

i

p xi|yj ld p yj p xi|yj

Informationstheorie und Codierung - 4. Übertragungskanal67

Verbund und Transinformation

Transinformation:

H(X) H(Y)

H(X|Y)

H(Y|X)

T(X,Y)H(X,Y)

T(X,Y) = H(X) + H(Y) – H(X,Y)

Transinformationsfluss: ΦT [bit

s]= T(X,Y) [

bit

S(ymbol)] ∙ fx [

S(ymbole)

s] mit fx =

1

Tx

Informationstheorie und Codierung - 4. Übertragungskanal68

Transinformationsfluss und Kanalkapazität

Kanalkapazität: C [bit/s] = max{ΦT} = max{T(X,Y) ∙ fx }

Symbolrate

(Baudrate)

Symbolabstand

S(ymbole)

s=

Baud

s

Satz von der Kanalkapazität (Shannon): C ≥ H(X) ∙ fx

Nyquistrate (siehe Systemtheorie): ϑN = 1

TN

= 2fg [S(ymbole)

s]

Grenzfrequenz

max{fx } = ϑN= 2fg

max{T(X,Y)} = ???

Eigenschaft des Kanals

für Übertragung nötige C

Binäre Übertragung

PY= PX + PS

Informationstheorie und Codierung - 4. Übertragungskanal69

Analoge Kanäle

(mittlere Leistung am Kanalausgang)

PS (mittlere Störleistung)

PX (mittlere Signalleistung)

Annahme: Nutz- und Störsignal normalverteilt

mit Tmax = T(X,Y) und fmax = 2fg folgt:

Entropie der Quelle: H(X) = 0,5 ld(2π ∙ 𝑒 ∙ PX)

Störentropie: H(Y|X) = 0,5 ld(2π ∙ 𝑒 ∙ PS)

Entropie am Kanalausgang: H(Y) = 0,5 ld(2π ∙ 𝑒 ∙ (PX + PS))

PY

Transinformation: T(X,Y) = H(Y) – H(Y|X) = 0,5 ld(1 +PX

PS

)

C = fmax ∙ Tmax = fg ∙ ld(1 +PX

PS

)

PX

PS

= Signal-Rausch-Verhältnis

Informationstheorie und Codierung - 4. Übertragungskanal70

Leitungscodierung

Ziel:

• Anpassung an die Übertragungswege (spektrale Formung)

• ggf. Erkennung/Korrektur verfälschter Zeichen (Hinzufügen von Redundanz)

• wichtige Eigenschaften:

➢ Gleichstromfreiheit

➢ Synchronisierbarkeit (selbsttaktend)

➢ Fehlererkennung

Beispiele:

NRZ (Non-Return-to-Zero) und RZ (Return-to-Zero)

• nicht gleichstromfrei

• NRZ, RZ (unipolar): nicht selbsttaktend; RZ (bipolar): selbsttaktend

• keine Fehlererkennung

Informationstheorie und Codierung - 4. Übertragungskanal71

Bsp. Regenerierende Übertragung

PCM-Übertragungsstrecke

Regenerierender Verstärker (Repeater) für ternäre Signale

Informationstheorie und Codierung - 4. Übertragungskanal72

Signalverläufe und Störeinflüsse bei digitaler Basisbandübertragung

Signal der Quelle

leitungscodiertes Signal (hier AMI)

Signal am Kanalausgang

Signalregenerierung

Resultat (codiert)

Resultat (decodiert)

Schw

ellw

erte

Informationstheorie und Codierung - 4. Übertragungskanal73

AMI- und HDB3-Code

AMI (Alternate Mark Inversion)

Eigenschaften:

• pseudoternär

• gleichstromfrei

• nicht selbsttaktend

• Fehler bedingt erkennbar

binär AMI

0 0

1 +/- (alternierend)

HDB3 (High Density Bipolar of order 3)

Eigenschaften:

• basierend auf AMI-Code

aber:

• max. drei aufeinander folgende Nullen

• selbsttaktend

letzterImpuls

Anzahl von Impulsen nach letzter Ersetzung

ungerade gerade

negativ 000- +00+

positiv 000+ -00-

Informationstheorie und Codierung - 4. Übertragungskanal74

PST und 4B3T-Code

PST (Paired Selected Ternary)

Eigenschaften:

• paarweise Codierung

• gleichstromfrei

• selbsttaktend

• Fehler nicht erkennbar

binär PST

00 -+

01 0+/0- (alternierend)

10 +0/-0 (alternierend)

11 +-

4B3T (4 Binär 3 Ternär)

Eigenschaften:

• ternärer Code

• gleichstromfrei

• selbsttaktend

• Fehler bedingt erkennbar

• verschiedene Codetabellen (z.B. MMS43, FOMOT, JESSOP/WATERS)

Informationstheorie und Codierung - 4. Übertragungskanal75

MMS43-CodeBinarwert S1 Sn S2 Sn S3 Sn S4 Sn

0001

0111

0100

0010

1001

1110

1011

0011

1101

1000

0110

1010

1111

0000

0101

1100

0 - +

- 0 +

- + 0

+ - 0

+ 0 -

0 + -

+ - +

0 0 +

0 + 0

+ 0 0

- + +

+ + -

+ + 0

+ 0 +

0 + +

+ + +

1

1

1

1

1

1

2

2

2

2

2

2

3

3

4

4

0 - +

- 0 +

- + 0

+ - 0

+ 0 -

0 + -

+ - +

0 0 +

0 + 0

+ 0 0

- + +

+ + -

0 0 -

0 - 0

- 0 0

- + -

2

2

2

2

2

2

3

3

3

3

3

3

1

1

1

1

0 - +

- 0 +

- + 0

+ - 0

+ 0 -

0 + -

+ - +

0 0 +

0 + 0

+ 0 0

- - +

+ - -

0 0 -

0 - 0

- 0 0

- + -

3

3

3

3

3

3

4

4

4

4

2

2

2

2

2

2

0 - +

- 0 +

- + 0

+ - 0

+ 0 -

0 + -

- - -

- - 0

- 0 -

0 - -

- - +

+ - -

0 0 -

0 - 0

- 0 0

- + -

4

4

4

4

4

4

1

2

2

2

3

3

3

3

3

3

Sn:

Angabe der für den nächsten Ternärblockrelevanten Spalte

Informationstheorie und Codierung - 4. Übertragungskanal76

CMI- und 5B6B-Code

CMI (Code Mark Inversion)

Eigenschaften:

• zwei Pegel pro Binärzeichen

• gleichstromfrei

• selbsttaktend

• Fehler bedingt erkennbar

binär CMI CMI für LWL

0 -+ 0+

1 ++/--(alternierend)

++/00(alternierend)

5B6B (5 Binär 6 Binär)

Eigenschaften:

• auch LWL-geeignet

• alternierende Verwendung von unsymmetrischen (unbalanced) Codewörtern

• gleichstromfrei

• selbsttaktend

• Fehler bedingt erkennbar

• verschiedene Codetabellen (z.B. Cattermole, Morgenstern)

Informationstheorie und Codierung - 4. Übertragungskanal77

5B6B nach Cattermole

00000 111000 00001 110100 00010 110010 00011 110001 00100 101100 00101 101010 00110 101001 00111 100110 01000 100101 01001 100011 01010 011100 01011 011010 01100 011001 01101 010110 01110 010101 01111 010011 10000 001110 10001 001101 10010 001011 10011 000111 10100 101000 01011110101 100100 01101110110 100010 01110110111 100001 01111011000 011000 10011111001 010100 10101111010 010010 10110111011 010001 10111011100 001100 11001111101 001010 11010111110 001001 11011011111 000101 111010

5B 6B - Mode + Mode

(2x1; 4x0) (3x1;3x0) (4x1;2x0)

Codeworte

symmetrisch

(balanced)

Codeworte

unsymmetrisch

(unbalanced)

Informationstheorie und Codierung - 4. Übertragungskanal78

Weitere bekannte Leitungscodes

• MLT-3-Code (Multilevel Transmission Encoding - 3 levels)

• Manchester-Code, differentieller Manchester-Code

• 4B5B, 8B10B

• B8ZS (Bipolar with 8 Zeros Substitution)

• 2B1Q (2 Binär 1 Quarternär)

• …