Informationstheorie und Codierung

Informationstheorie und Codierung - 4. Übertragungskanal56

Informationstheorie und Codierung

4. Übertragungskanal

Informationstheoretische Beschreibung

Kanalkapazität

Signal-Rausch-Verhältnis

Leitungscodierung

(AMI, HDB3, PST, 4B3T, 5B6B, CMI)


Darstellung des Übertragungskanals

Störungen e(t), E(f)

QuelleSignale

u1(t), U1(f)

SenkeSignale

u2(t), U2(f)Übertragungskanal G(f)

Systemtheoretische Beschreibung

Übertragungskanal

H(Y|X), H(X|Y), T(X,Y)

(Irrelevanz, Äquivokation, Transinformation)

QuelleSymbole xi

Entropie H(X)

SenkeSymbole yj

Entropie H(Y)

Informationstheoretische Beschreibung

Störungen p(Y|X)


Bergersches Entropiemodell

QuelleX

SenkeY

H(X) H(Y)

H(X|Y)

H(Y|X)

T(X,Y)

fehlerfreie Übertragung: H(X) = T(X,Y) = H(Y)

Äquivokation (Rückschlussentropie)

Irrelevanz (Störentropie)

Transinformation

(Nutzentropie, Synentropie)


Kanalarten und Störungen

Kanal

diskret analog

• diskrete Informationsübertragung

• Anzahl der Signalzustände (Zeichenvorrat) endlich

• z.B. PCM, PSK

• Kontinuierliche bzw. analoge Informationsübertragung

• Anzahl der Signalzustände unendlich

• z.B. AM, FM

Beschreibung von Störungen

systemtheoretisch informationstheoretisch

Signal-Rausch-Verhältnis Fehlerwahrscheinlichkeit

Beispiele für Störungen:

Nebensprechen, Verzerrungen, Echos, thermisches Rauschen, Fremdstörungen, …


Kanalmodell

Modell beschreibt:

Sichtweise:

Wirkung

(Wirkungswahrscheinlichkeit)

Sender

Ursache

(Ursachenwahrscheinlichkeit)

Empfänger

Verbund

(Verbundwahrscheinlichkeit)

global

Betrachtung der Wirkung:

x1

x2

x3

xN-1

xN

y1

y2

y3

yMyM-1

p(xi) p(yj)

Quelle Übergänge Senke(Wirkung)

p(yj|xi)

p(yj|xi):

Wahrscheinlichkeit, dass unter der Bedingung des gesendeten Symbols xi ein Empfangssymbol yj

die Wirkung ist

(Berücksichtigung der Irrelevanz bzw. Störung)


Mathematische Beschreibung I(Betrachtung der Wirkung)

Vektor der Zustandswahrscheinlichkeiten

(p(X)) =

p(x1)p(x2)...

p(xN)

am Sender: am Empfänger:

(p(Y)) =

p(y1)p(y2)...

p(yM)

Matrix der Übergangswahrscheinlichkeiten:

(p(Y|X)) = p(y1|x1) ⋯ p(yM|x1)

⋮ ⋱ ⋮p(y1|xN) ⋯ p(yM|xN)

Ankunft eines Symbols beim Empfänger

Zeile

= 1

j

i


Mathematische Beschreibung II(Betrachtung der Wirkung)

Kanaleingang: H X = −

i

p xi ld p xi

Verbundentropie (Sendersicht): H X, Y = −

i

p xi

j

p yj xi ld(p xi p yj|xi )

Störentropie (Irrelevanz):

fehlerfreie Übertragung: p(yj|xi) = 1 für i = j und p(yj|xi) = 0 für i ≠ j

Einzelanteil Gesamtstörung

H Y|xi = −

j

p yj|xi ld p yj|xi

H Y|X = −

i

p xi

j

p yj|xi ld p yj|xi

H Y|X =

i

p xi H(Y|xi)

Transinformation: T(X,Y) = H(Y) – H(Y|X)

Kanalausgang: H Y = −

j

p yj ld p yj


Betrachtung der Ursache

x1

x2

x3

xN-1

xN

y1

y2

y3

yMyM-1

p(xi) p(yj)

Quelle Übergänge Senke(Ursachen)

p(xi|yj)

p(xi|yj):

Wahrscheinlichkeit dafür, dass das Versenden von xi

Ursache für ein bestimmtes yj war

(Berücksichtigung der Äquivokation)


(p(X|Y)) = p(x1|y1) ⋯ p(x1|yM)

⋮ ⋱ ⋮p(xN|y1) ⋯ p(xN|yM)

alle Ursachen für ein yj

Spalte

= 1


Mathematische Beschreibung(Betrachtung der Ursache)

Kanalausgang: H Y = −

j

p yj ld p yjKanaleingang:

H X, Y = −

j

p yj

i

p xi yj ld(p yj p xi|yj )

Rückschlussentropie (Äquivokation):

verlustfreie Übertragung: p(xi|yj) = 1 für i = j und p(xi|yj) = 0 für i ≠ j

Einzelanteil Summe

H X|yj = −

i

p xi|yj ld p xi|yj

H X|Y = −

j

p yj

i

p xi|yj ld p xi|yj

H X|Y =

j

p yj H(X|yj)

Transinformation: T(X,Y) = H(X) – H(X|Y)

H X = −

i

p xi ld p xi

Verbundentropie (Empfängersicht):


Kanalmodell(Betrachtung des Verbundes)

x1

x2

x3

xN-1

xN

y1

y2

y3

yMyM-1

p(xi) p(yj)

Quelle Übergänge Senke(Verbunde)

p(xi,yj)

p(xi,yj):

Wahrscheinlichkeit dafür, dass das Symbol yj auf das ursprünglich gesendete Symbol xi folgt

(Berücksichtigung von Irrelevanz und Äquivokation)


(p(X,Y)) = p(x1, y1) ⋯ p(x1, yM)

⋮ ⋱ ⋮p(xN, y1) ⋯ p(xN, yM)

H X, Y = −

i

p xi ld p(xi) −

i

p xi

j

p yj|xi ld p yj|xi

i


Mathematische Beschreibung(Betrachtung des Verbundes)

Matrix der Verbundwahrscheinlichkeiten:

(p(X,Y)) = p(x1, y1) ⋯ p(x1, yM)

⋮ ⋱ ⋮p(xN, y1) ⋯ p(xN, yM)

j

p xi, yj = 1

= −

i

p xi

j

p yj|xi ld p xi p yj|xi

Verbundentropie: H(X)

H(X|Y)H(Y)

H(Y|X)

= −

j

p yj ld p(yj) −

j

p yj

i

p xi|yj ld p xi|yj

= −

j

p yj

i

p xi|yj ld p yj p xi|yj


Verbund und Transinformation

Transinformation:

H(X) H(Y)

H(X|Y)

H(Y|X)

T(X,Y)H(X,Y)

T(X,Y) = H(X) + H(Y) – H(X,Y)

Transinformationsfluss: ΦT [bit

s]= T(X,Y) [

bit

S(ymbol)] ∙ fx [

S(ymbole)

s] mit fx =

1

Tx


Transinformationsfluss und Kanalkapazität

Kanalkapazität: C [bit/s] = max{ΦT} = max{T(X,Y) ∙ fx }

Symbolrate

(Baudrate)

Symbolabstand

S(ymbole)

s=

Baud

s

Satz von der Kanalkapazität (Shannon): C ≥ H(X) ∙ fx

Nyquistrate (siehe Systemtheorie): ϑN = 1

TN

= 2fg [S(ymbole)

s]

Grenzfrequenz

max{fx } = ϑN= 2fg

max{T(X,Y)} = ???

Eigenschaft des Kanals

für Übertragung nötige C

Binäre Übertragung

PY= PX + PS


Analoge Kanäle

(mittlere Leistung am Kanalausgang)

PS (mittlere Störleistung)

PX (mittlere Signalleistung)

Annahme: Nutz- und Störsignal normalverteilt

mit Tmax = T(X,Y) und fmax = 2fg folgt:

Entropie der Quelle: H(X) = 0,5 ld(2π ∙ 𝑒 ∙ PX)

Störentropie: H(Y|X) = 0,5 ld(2π ∙ 𝑒 ∙ PS)

Entropie am Kanalausgang: H(Y) = 0,5 ld(2π ∙ 𝑒 ∙ (PX + PS))

PY

Transinformation: T(X,Y) = H(Y) – H(Y|X) = 0,5 ld(1 +PX

PS

)

C = fmax ∙ Tmax = fg ∙ ld(1 +PX

PS

)

PX

PS

= Signal-Rausch-Verhältnis


Leitungscodierung

Ziel:

• Anpassung an die Übertragungswege (spektrale Formung)

• ggf. Erkennung/Korrektur verfälschter Zeichen (Hinzufügen von Redundanz)

• wichtige Eigenschaften:

➢ Gleichstromfreiheit

➢ Synchronisierbarkeit (selbsttaktend)

➢ Fehlererkennung

Beispiele:

NRZ (Non-Return-to-Zero) und RZ (Return-to-Zero)

• nicht gleichstromfrei

• NRZ, RZ (unipolar): nicht selbsttaktend; RZ (bipolar): selbsttaktend

• keine Fehlererkennung


Bsp. Regenerierende Übertragung

PCM-Übertragungsstrecke

Regenerierender Verstärker (Repeater) für ternäre Signale


Signalverläufe und Störeinflüsse bei digitaler Basisbandübertragung

Signal der Quelle

leitungscodiertes Signal (hier AMI)

Signal am Kanalausgang

Signalregenerierung

Resultat (codiert)

Resultat (decodiert)

Schw

ellw

erte


AMI- und HDB3-Code

AMI (Alternate Mark Inversion)

Eigenschaften:

• pseudoternär

• gleichstromfrei

• nicht selbsttaktend

• Fehler bedingt erkennbar

binär AMI

0 0

1 +/- (alternierend)

HDB3 (High Density Bipolar of order 3)

Eigenschaften:

• basierend auf AMI-Code

aber:

• max. drei aufeinander folgende Nullen

• selbsttaktend

letzterImpuls

Anzahl von Impulsen nach letzter Ersetzung

ungerade gerade

negativ 000- +00+

positiv 000+ -00-


PST und 4B3T-Code

PST (Paired Selected Ternary)

Eigenschaften:

• paarweise Codierung

• gleichstromfrei

• selbsttaktend

• Fehler nicht erkennbar

binär PST

00 -+

01 0+/0- (alternierend)

10 +0/-0 (alternierend)

11 +-

4B3T (4 Binär 3 Ternär)

Eigenschaften:

• ternärer Code

• gleichstromfrei

• selbsttaktend


• verschiedene Codetabellen (z.B. MMS43, FOMOT, JESSOP/WATERS)


MMS43-CodeBinarwert S1 Sn S2 Sn S3 Sn S4 Sn

0001

0111

0100

0010

1001

1110

1011

0011

1101

1000

0110

1010

1111

0000

0101

1100

0 - +

- 0 +

- + 0

+ - 0

+ 0 -

0 + -

+ - +

0 0 +

0 + 0

+ 0 0

- + +

+ + -

+ + 0

+ 0 +

0 + +

+ + +

1

1

1

1

1

1

2

2

2

2

2

2

3

3

4

4

0 - +

- 0 +

- + 0

+ - 0

+ 0 -

0 + -

+ - +

0 0 +

0 + 0

+ 0 0

- + +

+ + -

0 0 -

0 - 0

- 0 0

- + -

2

2

2

2

2

2

3

3

3

3

3

3

1

1

1

1

0 - +

- 0 +

- + 0

+ - 0

+ 0 -

0 + -

+ - +

0 0 +

0 + 0

+ 0 0

- - +

+ - -

0 0 -

0 - 0

- 0 0

- + -

3

3

3

3

3

3

4

4

4

4

2

2

2

2

2

2

0 - +

- 0 +

- + 0

+ - 0

+ 0 -

0 + -

- - -

- - 0

- 0 -

0 - -

- - +

+ - -

0 0 -

0 - 0

- 0 0

- + -

4

4

4

4

4

4

1

2

2

2

3

3

3

3

3

3

Sn:

Angabe der für den nächsten Ternärblockrelevanten Spalte


CMI- und 5B6B-Code

CMI (Code Mark Inversion)

Eigenschaften:

• zwei Pegel pro Binärzeichen

• gleichstromfrei

• selbsttaktend


binär CMI CMI für LWL

0 -+ 0+

1 ++/--(alternierend)

++/00(alternierend)

5B6B (5 Binär 6 Binär)

Eigenschaften:

• auch LWL-geeignet

• alternierende Verwendung von unsymmetrischen (unbalanced) Codewörtern

• gleichstromfrei

• selbsttaktend


• verschiedene Codetabellen (z.B. Cattermole, Morgenstern)


5B6B nach Cattermole

00000 111000 00001 110100 00010 110010 00011 110001 00100 101100 00101 101010 00110 101001 00111 100110 01000 100101 01001 100011 01010 011100 01011 011010 01100 011001 01101 010110 01110 010101 01111 010011 10000 001110 10001 001101 10010 001011 10011 000111 10100 101000 01011110101 100100 01101110110 100010 01110110111 100001 01111011000 011000 10011111001 010100 10101111010 010010 10110111011 010001 10111011100 001100 11001111101 001010 11010111110 001001 11011011111 000101 111010

5B 6B - Mode + Mode

(2x1; 4x0) (3x1;3x0) (4x1;2x0)

Codeworte

symmetrisch

(balanced)

Codeworte

unsymmetrisch

(unbalanced)


Weitere bekannte Leitungscodes

• MLT-3-Code (Multilevel Transmission Encoding - 3 levels)

• Manchester-Code, differentieller Manchester-Code

• 4B5B, 8B10B

• B8ZS (Bipolar with 8 Zeros Substitution)

• 2B1Q (2 Binär 1 Quarternär)

• …

Documents

Informationstheorie und Codierung