1 Biom. Z. Bd. IG 1074 - E. 5 . 8. 323-338 I Bergakademie Freiberg, Sektion Mathematik

Optimale Versuchsplanung im Regressionsmodell i

H. RANDEMER~ und W. J U N G ~

1. Opt iniale Vorsuchsplanung als Entsclieidungsproblem

Im allgemeinen Sprachgebrauch faljt man unter dem Begriff der Versuchsplanung alle notwendigen Vorbereitungen und die Festlegung der Bedingungen fur das Experiment zusammen. Im Hinblick auf die Verwondung des Begriffes in der Mat liematischen Statistik und deren Anwendungen sol1 er fur das folgende ein- gescliriinkt und priizisiert werden. Dazu sollen Grundbegriffe der statistischen Entscheidungstlieorie (z. B. \\'ALD, 1950, FERGUSOX, 1967) verwendet werden, an die liier kurz erinnert wird.

Eine gebene illenge 2 der ,,Zustande der Natur" ent,hiilt die Charakterisierungen aller moglichen verschiedenen ZustBnde, die bei einem zu erkundenden Sach- verhalt auftretsn konnen, z. B. alle moglichen Parameterwerte beini statistischen Schatzprobleni, all0 moglichen Regressionsansgtze beini Problem der Modell- dislwimination. Eine ebenfalls gegebene Menge A der ,,Aktionen d& Statistikers" e i i t halt die Entscheidungen, die iiber den zu erkundenden Sachverhalt getroffen werden konnen, z. B. alle moglichen Schiitzwerte, alle moglichen Modellent- sclieidungen. Wird die Entscheidung a E A gewlhlt und ist c E 2 der wahre Zustand der Katur, dann entsteht fur den Stat.ivt,iker der ,,Verlust" L(c, a). Dabei ivirrl zugelassen, daS diese auf 2 x A definierte Fun1tt.ion z. B. auch vektorwertig ist. Der Statistiker kennt den Zustand 5 E 2 der Xatur nicht, er kann sich jedoch daruber Informationen durch die Beobachtung eines Zufallselements Y ( 5 ) be- sciinffen, das von diesem wahren Zustand abhiingt und auf einem geeigneten M'ahrscheinlichlteitsraum [Q, '23, P (c) ] definiert ist. LLSt sich dieses Zufalls- element, Y([) aus einer gegebenen Menge ( Y , ( [ ) , c E C} wiililen, wobei G eine Indexmonge ist, dann entsteht d m Problem der statistischen Versuchsplunzmg. Jedeni c E C entspricht also ein Experiment, dessen Ergebnis y,(() eine Reali- sieriing von Y,(Q ist. Nach der Beobachtung von y,(c), womit 5 im allgemeinen ininier noch nicht genau bekannt ist, muO der Stat,istiker eine Entscheidung

1 Voltrag, gehalten auf dem 3. Biometrischen Kolloquium der DDK-Region der Internet. Biometr. SOC. Oktober 1973 in Sellin.

2 Die Aiitoren danken der DDR-Region der Internationalen Biometrischen Gesellschaft und der Sektion Riomathematik der Gesellschaft fur Physikalische und Mathemotische Biologie fur die ehrenvolle Einladung zu cinem Vortrag auf dein 3. Biometrischen Kolloquium.

a E A mahlen. Dose Entscheidung wird voii y,([) abhingen, d. h., die En t - scheiduiig erfolgt nacli cirier Entsclieidungsfunktion d,( Y , (C) ) , die jedeiii yc (C) eine Entscheidung a = d,(y,([)), also z. B. jedem Beobachtungsvektor unter Rerucksichtigung der Mefistellen einen SchBtzwert fur den Parameter zuordnet. Fur jedes c E C sei cine Menge I), von Entscheidungsfunktioneii gegebcn. In vielen FQlleri enthnlteii die Mengen D, fiir vei*scliiedenes c Funktionen gleicher Struktur.

Zur Beurteilung der ZwecklnaBigkeit. eines Experimentes c E C und einer Ent- scheidungsfunktion d, E D, bedarf os eines Kriteriulns, dss sich auf die l'erlu&- funktion bezleht, die durch Einsetzen der Ent.scheidungsfunktion d,( Y , ( C j ) ein Zufdlselement I, (C, d, ( Ye([) ) ) geworden 1st. Durch ein geeignetes Funktional Q mird daher die Verlustfunktion auf die reelle Aclise abgebiidet, und man erhiilt eine Funktioil von c und d,, don vom Statistiker w8hlbaren Elementen,

Diese Crone R (c, d,) soll (verallgenieinertes) Risiko genannt werden. Beispiele fur dns Funktional Q sind in der Entscheidungstheorie: (1) der Erwartungs- operator beziiglich Y , (i) und bezuglich einer a-priori-Verteilung 7 ( 5 ) auf 2 (dies fuhrt zum BAYEsschen Entscheidungsproblem), (2) der Erwartungsoperator beziiglich Y , ( 5 ) gekoppelt niit dein hiaximierungsoperator bezuglich 5 E 2 (dies fuhrt zum Minimaxentscheidungsproblem). Gewohnlich erfolgt die Bilduiig von R (c, d,) in zwoi Schritten, wobei man im ersteii durch Anwendungdes Erawtungs- operators ZUI' Risikofunktion

(1 2) gelangt .

Ziel der entsclieidungstheoretisclien Behandlung ist die 3linimierung des Risikos (1.1) durch Wahl eines optimalen Vcrsuches c und einer optimalen Ent- scheidungsfunktion d,, d. h. c*, df sind optimal, falls

R(5; C, d,) = EL ( 5 , d , ( Y , (9)).

min R(c, d,) = R(c*, d:) . cCC,d,En,

I m Zusammenhang mit der Losung der Minimierungsproblems (1.3) soll \-on (statistischer) op;ptimaler Versuchsplanung gesprochsn werden. Eine ausfuhrliche und e twas allgenieinere Behandlung dcs Versuchsplanungsproblems aua cnt- schciduiigstheoretischer Sicht findet sich in BANDEMER 1974, wo bereits auch der folgende Spezialfall der Schitzung ini Regressionsmodell behandeit wurde.

3. \.'ersuchsplanungsproblem im Regressionsniodell

Auf einern n'ahrscheinlichkeitsrauni [SZ, 8, PI sei eine Scliar von ZufallsgroBen Y (2) definiert, wobeia: E V und 7' cine beschriinkte und abgeschlossene Teilmenge des P-dimensionalen Euklidischen Raumes ist. Die Komponenton zi v o n z sind die Einflul3griil3en und die Erwartungswertfunktion E Y (z) = q (2) ist die Wirltungs-

Optimale Versuchsplanung im Regressionsmodell 325

fl8che. Eine Aufgabe der Regressionstheorie ist die Schiitzung der unbekannten Wirkungsfliiiche anhand einer Stichprobe, des Beobachtungsvektors, Y = (Y(z , ) , . . . , Y (z~))', wobei gewohnlich noch weitere Informetionen gegeben sind, z . B. uber die Kovarisnzmatrix By, etwa 23, = ~ 2 1 , .

Die Menge 2 besteht im vorliegonden Fall aus der Menge aller moglichen Irirkungsfliichen 9 (z), die Menge A P U S allen moglichen Schitziingon 6 (2). Da.s zu beobaehtende Zufallselement Y ( 5 ) ist hier der Beobaehtungsvektor 3' = Y (7 (2) ;xi, - . . , zn), und der das Experiment charakterisierende Index c ist das n-tupel (z1,z2, . . .,z,,) mit z, E V , i =z 1, . . ., n, das im folgenden als konkreter Versuchsplan V , bezeichnet werden soll. Eine andere Darstellung des konkreten Versuchsplnnes V , erhitlt man, wenn man nur diejenigen Punkte zI nuffiihrt, die voneinander verschieden sind (2, =/= xj fur I + j ) und jeweils die relativo Hlufigkeit p , des Punktos im Plan V , angibt.

72, , (1 = 1 , . . ., m), naturliche Zahlen. Die Mengo {xi, . . .,z,> der voneinnnder verschiedenen Punkte nennt man das Spektrum s ( V,), die Zahl 7z dcn Umfang des Planes V,, , die relativen Hjufigkeiten p , (1 = 1, . . . , m ) heifien die Gewichte der Planpunkte. Die Menge der Versuchspliine vom Umfang n wird niit TI" und die Rlenge aller ltonkreten Versuchspliine mit V" bezeichnet. Ersetzt man in (2.1)

die Bedingung p , = - durch die schwlehere p , E (0, 13, dann stellt (2.1) cine

diskreto normierte Gewichtsfunktion 6 (2) iiber dem Versuchsbereich V dar. In Vorallgemeinerung des Planbegriffs bczeichnet man 6 (z) als diskreten Versuchs- plan.

Die Entscheidungsfunktionen d, ( Yc ( c ) ) sind im vorliego~den Fall Schiitz- funktionon, die dem Beobachtungsvektor Y Schatzungen (z) der Rirkungs- fliiche zuordnon

121

n

(2 .2) d (Y(7 (2) ; V n ) , J',) = 4 (2) *

\Venn iiber q (2) nichts bekannt ist, wird ohne weitere Voraussetzungen keine sinnvolle SchLtzung moglich sein. Man wiihlt daher meist eine Familie voii Funktionen {q(z, O), 8 E S}, kurz rj(z, S), mit der ~ ( x ) lokalisiert werden soll. X sei eiiie abgeschlossene und boschriinkte Teilmenge des r-dimensionalen Euklidi- schen Raumes. Damit wird die Struktur von A festgelegt, da nur noch Eleniente de:. Funktionenfamilie als Schiitzungen in Frage kommon.

Gibt es in 8* E S, so daB fur allea: E 6'

(3.3) .1? (2, Q*) = 'I (4 7

wobei 7 (z) die wahrs M7irkungsfiiiche ist, d a m soll q(z, e) ein wahrer Regressions- ailsntz heiaen. In diesem Fall kann man 2 und A jeweils durch die Bquivalente hlenge S ersetzen.

326 H. BAKDEMER, M7. JVXO

Hhufig lLBt sich die Existeiiz von O* 6 S nicht sichern, es gibt jedoch zu einem vorgegebenen E > 0 ein O** E S mit

(2.4) \ I ;5(Z, e**) - ?](z) II < E ,

wobei I1 - )I eine gewiihlte Norm ist. In diesein Fall sol1 G(z, (3) cin E-adiiquccfer Regre.ssionsnnsatz genannt werden.

Eventuell kann der Ansatz erst nsch geeigneten Versuchen festgelegt werden. Dies fiihrt auf’ ein weiteres Entscheidungs~~roblem, das im Abschnitt 4 iiaher betrachtet wird.

Durch die \Val11 eines Ansatzes ist die ursprungliche Aufgabe auf die SchLtzung eincs Parametervektors 8,) (z. B. O* oder @**) zuruckgefuhrt und als Entschei- dungsfunktionen d (Y (7 (z); V,,), V,,) kann man Abbildungen des Stichproben- raiimes von Y in S wiihlen, d . h. Schiitzregeln 0 (Y , V,J.

Zur Konstruktion von Schittzregeln bei (bis auf e*) bekaniiter Verteilung von I’ wird hitufig die Maximum-Likelihood-Methode gewiihlt. Sei speziell

(3.5) lr -lV ( q ( z ) 9 In) : q(z) = (7 ’ . * J ?l(zn))’

3 ( ~ ) = j(zy e* = V(Z, e*), wobei die Komponenten von f(z) = (f, (z), . . . ,j,(z))’ bekannte stetige linear unabhiingige Funktionen sind. Dann ist die Maxinium-Likelihood-Schatzung bekanntlich iiquivalent zur Methode der kleinsten Quadrate (OLS) und mit der Ma t.r i x (2.6) erhi l t man die Schiitzregel

Sei allgemcin Y - X ( F 8*, By), dann ergibt sich nach der verallgemeinert.en Methode der kleinsten Quadrate (GLS) bekanntlich

F = ((fj(zi))) i =; I , . . ., n; j = 1, . . ., r

(2.7 1 0 = ( F ’ F ) - ’ P I ’ .

(2.8) e = ( F ’ B ; ‘ F ) - i P ’ B ; ‘ Y . Es mu13 jedoch bemerkt werden, da13 dies nicht die einzigen inogliclien oder auch nur gebriiuchlichen Methoden zur Konstruktion von Schitzregeln s i i~d . Erwiihnt werden sollcn aber lediglich noch die BLIMBE-Schlitzung, die BAYEsschen und die Minimaxschiitzungen.

Die SchMzung der Wirkungsfliche im Regressionsmodell ist also ein Ent- scheidungsproblem (dabei wird unter einer Entscheidung stets die Auswahl eines Elements aus einer vorgegebenen Menge verstsnden). Es bosteht. a u s drei Teil- ent.scheidungen : 1. Wahl eines Regressionsansatzes 2 . IVahl einer Schiitzmethode 3. \Vahl cines Versuchtjplanes Die drei Teile sind voneiiiander stark abhhngig, so h ing t etwa die Schatz- methtde vom Ansatz ab , und der Versuchsplnn wird sich nach Ansatz und Schi tz- methode richten miissen.

Optimale Versuchsplanung iin Regressionsmodell 327

Aus dieser starken Ahhiingigkeit resultiert auch die Forderung, die drei Teil- entscheidungen nach einem gemeinsamen Optimalitiitskriterium zu fallen, denn die ungunstige Wahl z. B. der Schiatzmethode kann nicht durch eine giinstigere Wahl z. B. des Vorsuchsplanes ausgeglichen werden.

Fur den folgenden Abschnitt wird angenommen, daB die Wahl des Regressions- ansatzes bereits, z. B. nach sachlogischen Gesichtspunkten, erfolgt ist und daB der gewhhlte Ansatz im Sinne von (2.3) wahr ist.

3. Optimale Versuchsplanung im Regressionsmodell

Uni zu einer optiniden Schiitzung der Wirkungsfliiche zu kommen, kann man z . B. (vgl. Abschnitt 1 ) eine Verlustfunktion L(7,tj) und einen Operator &, oder ein verallgemeinertes Risiko R (V,, 0 (-, V,)) vorgeben. Ein solches Vorgehen ist jedoch noch nicht allgeinein ublich, man benutzt einen anderen Weg, um zu Optimalitktskriterien zu kommen.

Im Falle eines unbekannten Parameters 0 lie@ dieForderung nahe, die Varianz der Punktschiatzung 0 2 0 zu minimieren. Auch im mehrdimensionalen Fall mochte man Varianzausdriicke minimieren. Bei linearem’dnsatz (2.5) besagt das GauB-Markoff-Theorem, da13 die SchOtzung nach OLS bzw. GLS eine gewisse Optimalitlitseigenschaft besitzt, nllmlich 4 = t’ 8 hat minimale Varianz unter alle linearen erwartungstreuen Schiitzungen fur g = t’ 0. Daher wOhlt man OLS (bzw. GLS) ale SchOtzvdahren und untmwirft die Kovarianzmatrix der Schiit- zung 6

-

A

..

(3.1) Z?G = uZ(F’F)-f bzw. BG = (P’ B;’ F)-‘

bzw. speziell die Varianzfunktion 0 2 4 (z) = D2 ij(2, e) der Schiitzung 4 (z) = A

f (2)’ e (3.2) D 2 r j ( ~ ) = 02f’(F’F)-if bzw. f ’ (P’B;’F)- i f

weiteren Optimalitiitsforderungen. Dies ist moglich, denn (3.1) und (3.2) hiingen iiber F (und BY) vom noch wiahlbaren Plan V , ab. Als Beispiel solcher Kriterien mien genannt

min max DZ 4 (2) ; min det (P’ F)-1; min 0 2 4 (2) h. v n ZEV V” Fn v

(3.3)

I n letzter Zeit sind verstiirkt Untersuchungen im Gange iiber die Optimalitiit von OLS (bzw. GLS) beziiglich Verlustfunktionen im Entscheidungsproblem. Als Beispiel fur die Form der Ergebnisse sei ein Satz von NATHER genannt :

Sei die Verlustfunktion L(7,fi) = L(I 77 - 4 I ) konvex und monoton wachsend in I 7 - 4 I . Sei P eine Menge von moglichen Verteilungen von Y - q, existiere in P ein maximales Element p , hinsichtlich einer (angegebenen) Halbordnung und sei dieses eine Normalverteilung. Dann ist GLS minimax beziiglich aller Schtitz- methoden. Weitere Ergebnisse werden in NATHER, 1972 vorgelegt.

328 H. BAKDEMER, W. J t m

Durch Cntersuchungen dieser Art wird der \Yeg fur eine entscheidungs- theoretische Behandlung des Problems geebnet, d. h. zur Wahl von Schiitz- inethode und Versuchsplan nach einem gemeinsamen Optilnalitatskriterium, das nuf einer Verlustfunktion btrsiert.

Bedeutungsvoll in dieser Richtung sind die jungsten Ergebnisse von LAYCOCK 19‘i?, von denen ebenfalls eins als Beispiel genannt werden sol1 :

Die Verteilung von Y - q sei invariant beziiglich Permutat.ion der Kompo- nent.en. Diel‘erteilung der Koniponenten sei syminetrisch, d. h. P(tj = 1 - P(- t ) . ‘1 = I; 0 ; die Verlustfunktion L(Q, 0 ) = L(q - 4) sei konvex. Sei 4 = a’ 1’

linesre ScKitzung mit Q = (a,, . . . , a,,)‘. a* realisiero das Minimum von I ui i * I - . . . - - \u;1 = u > o , linter der Nebenbedingung F’ a = 1, und es gelte I a 1 1 -

A

71

i- 1

dann ist a*’ I.’ beste lineare erwartungstreue Schatzung fur 17 = f’ 0 bezuglich konvexem Verlust der angegebenen Forin.

\\‘ie die Ergebnisse von LAYCOCK zeigen, ist die gleichzeitige Optimierung von SchLtzmethode und Versuchsplan nach einem gemeinsrtmen Kriterium im all- gemeinen recht kompliziert, so daI3 die Frage int.eressant ist, wann die Optinlierung nach eineni gemeinsamen Kriterium nacheinander fu r Sch&tzmet.hode und Ver- suchsplan erfolgen darf. DieseFrage wurde von RICHTER 1972 mit Hilfsmitteln aus der Spieltheorie untersucht. E r konstruierte oin 5-zugiges Gesamtspiel, das sowohl die Wahl einer Schatzniethode als auch die Wahl eines Versuchsplans einschlieBt . Die Verlustfunktion dieses Spieles kann aus einer sehr allgemeinen Klasse von Funktionen gewahlt werden. Dieses Spiel wird in zwei entsprechende Teilspiele zerlegt, und es wird festgestellt, warm die optimalen Strategien dieses Gesamt- spieles aus den opt,imitlen Strategien der Teilspiele erhalten werden konnen. Es ergeben sich hinreichende Bedingungen, sogenannte Trennsiitie. Fu r eine groI3e Anzahl praktisch wichtiger Verlustfunktionentypen kann unter relativ schwachen Voraussetzungen iiber die Strategienriiume nachgewiesen werden, daB diese hin- reichenden Bedingungen erfiillt sind. Daruber hinaus stellt sich GLS als ein Teil der Jlininiasstrategio im Gesamtspiel heraus.

4. Versuchsplanung zur Modelldiskrimination

Bis jetzt wurde angenommen, daB die Wahl des Ansatzos nach sachlogischen Gesichtspunkten der anwendenden Fachdisziplin vorgenommen wurde, z. R. im Rahmen eines phvsikalischen oder biologischen Modells. R’enn jedoch sachlogisch mehrere Ansatze sinnvoll sind, kann man die Entscheidung uber den aus diesen zu wiihlenden Ansatz vom Ergebnis gewisser Vorversuche abhiingig sein lassen. Man crhalt so ein zweistufiges Vcrfahren, die erste Stufe betrifft die Auswahl des An- satzes, die sogenannte Modelldiskriminat ion, die zweite dann dio endgultige SrhBtzung der unbekannten \l”irkungsflliche.

(4.1)

Gegeben sei also eine Menge von Regressionsansatzen {{$A) (5, Q(”)),z E T I , Q@) E So)) , ?. E A)

Optirnale Versucheplanung im Regressionsmodcll 329

mit der Indexmenge A und den Yarametermengen die Teilmengen gewisser d”-dimensionaler Euklidischer RIume sind. Dabei wird angenommen, daB in die- ser 31enge ein wahrer oder wenigstens ein &-adiiquater Regressionsansatz liegt. Fur das Entscheidungsverfahren der ersten Stufe ist also Zi = A , = A . Fur die Versuclisplanung und die Wahl der Entscheidungsfunktion gibt es eine Reihc von Verfahren, einige davon sind in BANDEMER/BELLMANN/JVNG/RICHTER 1973 dar- gestellt. Als Beispiel sollen hier die Grundgedanken des Verfahrens von BOX/HILL, 1967 dargestdlt werden.

Fur dieses Verfahren sei die Menge A endlich, d. h.

(4.2)

\Veiterhin sei uber A eine a-priori-Verteilung

(4.3)

gegeben, wobei n (2) eine a-priori- Wahrscheinlichkcit dafur ist, dn13 der Ansatz i j ( ’ ] wahr ist.

Fur die erste Stufe des Sequentialverfahreiis wird ein Versuchsplan V,, aus- gewdhlt., so daB mit dein Beobachtungsvektor Y (7 (2); V,*) und mit jedem der konkurrierenden Ansiitze eine Schiitzung der Wirkungsflkche durchgefuhrt werden kann (jeweils unter der Anncthme, daB dieser Ansatz wahr ist). Die Vorher- sage des Ergebnisses des Experiments mittels der jeweils erhaltenen Schiitzung fur die WirkungsflIche wird benutzt., uni uber die BAYEssche Formel zu a- posteriori Wahrscheinlichkeiten fur die Ansittze zu kommen, die als a-priori- \i’alirscheinlichkeiten fur den nkchsten Schritt benutzt werden. Sodsnn erfolgt das weitere Fortschreiten, indem jeweils ein weiterer Punkt z ausgewiihlt wird, an dem die ZufallsgroBe Y (z) beobachtet wird. Die Gewinnung der a-posteriori- \Vahrscheinlichkeiten aus den a-priori-Wahrscheinlichkeiten erfolgt analog zum erst.en Schritt uber die BAYEssche Formel. Als Auswahlkriterium fur den jeweils niiclisten Punkt wird die erwartete Anderung der SHANNONSChen Entropie durch den weiteren Versuch im niichsten Punkt z herangezogen, die durch 2 zu maxi- inieren ist. Da eine Maximierung dieser GroBe auf numerische Schwierigkeiten stofit, verwenden BOX und HILL eine obere Schranke, die sie mit der KKJLLBACK- sclieii Ungleichung erhalten.

Als Stoppregel fur dieses Sequentialverfahren wird von BOX und HILL emp- fohlen : es ist abzubrechen, wenn eine der a-priori-Wahrscheinlichkeiten nach Versuchen, x, + (I), wesentlich grofier a19 die anderen ist. Als Entscheidungs- funktion liegt dann d ( Y ( 7 , Vn), V,) = 1 nehe.

Die notwendige quantitative Priizisierung der Stoppregel (z. B. Abbruch, wenn x , , + ~ ( I ) 2 0,8) wurde bisher nicht untersucht. Bei simulierhn Beispielen wurden zufriedenstellende Ergebnisse erzielt.

I n vielen FIllen gibt es keine sachlogischen Hinweise auf die Form des zu waklenden Ansatzes, und man muB sich rnit Approximationsiiberlegungen fur die unbekannts Wirkungsfliiche (z. B. TAYLoRformel, Satz von WEIERSTRASS)

22 Blom. Z. 16.5

n(A) = (n(l), . . ., n ( m ) }

330 H. BANDEMER, W. JUNC

begnugen. I n dicsem Fall liiuft die Ansatzwahl auf eine Fest,logung des Polynom- g a d s hinaus. Auch hier existieren Vorschliige fur das Vorgehen, z. B. bei STICLER 1971.

5. Optimalitiitskriterien

Nachdern in Abschnitt 3 schon kurz auf die Optimalitiitskriterien eingegangen murde (vgl. etwa (3.3)), sol1 dieser Problemkreis jetzt etwas ausfiihrlicher be- handelt werden. Dabei werden einerseits der schon aus (2.5) bekannte Ansatz

(5.1)

und andererseits ein in den Parametern nichtlinearer Ansatz i j (2, Q ) , den man sich an der Stelle 8 = 0*(e* wahrer Parametervektor) in eine TAYLoRreihe

?j(s, 0 ) = 0, j i (2) + - * * + 0,j, (2) = f ( 2 ) ’ 0

(5.2) q(2 , e) = ~ ( 2 , e*) -+ f(2, e*)‘ (e - e*) + - - -

gelegt. Der unbekannte Parametervektor 8* besitze jeweils 7 Komponenten. Als Beispiel fur (5.1) bzw. (5.2) mogen

(5.3) i j(5, Q ) = 0, + 0 2 x bzw.

(5.4)

dienen. Fur dio Kovarianzmatrix des Beobachtungsvektors gelte By = uz I,z. Unter diesen Voraussetzungen ist es zweckmiiBig, nach OLS zu schiitzen (vgl. Abschnitt 3).

Fur (5.1) sind 6 und B,- sowie 0 2 q(z) explizit angebbar (vgl. (2.7), (3.1) und (3.2)). Bei der Verwendung von diskreten Versuchsplanen [ = isl, p l }E l kann

man mit Hilfe der sogenannten 1nformationsmat.rix M(E) = C p l f ( z l ) f ( x l ) ’ die

Formeln fur B,- und 0 2 i (2) (unter Zugrundelegung von n Beobachtungen) ebenfalls leicht angeben :

i j ( q 0 ) = @,(I -

m

I - 1

(5.5) B,- = u ’ n - i M - ‘ ( t ) ,

(5.6) D? q ( z ) * = u ’ n - I f ( z ) ‘ M - I ( l ) f ( z ) .

Ihbei und auch im folgenden wird naturlich stets vorausgesetxt, dal3 (F’P) f

bzw. M I ( ( ) existieren. Fiir (5.2) ist. 6 im allgeineinen nur iterativ bestimmbar. Auch die Kovarianz-

matrix R;; l&Bt sich nicht explizit angeben. IJnter gewisson Voraussetzungen (vgl. JEKNRICH, 1969) besitzt sic jedoch asymptotisch ( n -+ m) die Darstellung

( 5 . i ) BG = u? n-1 M - i ( [ , Q*)

Optimrtle Versuchsplanung im Hegressionsmodell 331

niit M ( E , e*) = c p I f ( x l , Q*)f(ac,, 0*)’. I m Unterschied zu (5.5) ist die Ko-

varjanzmatrix ini nichtlinearen Fall also vom (unbekannten) wahren Parameter- vektor @* abhlngig. Speziell fu r (5.3) bzw. (5 .4) erhiilt man unter Verwendung eines Planes V , = (xi , . . . , z,)

m

1-1

bzw. (bei grofien n )

Wie in Abschnitt 2 bereits gesagt wurde, besitzt die OLS Optimalitiitseigenschaf- ten hinsiclitlich der Varianz von Paraniterschiitzungen. In Ergiinzung hierzu beziehen sich die gebriiuchlichen Optimalitiitskriterien siimtlich auf die Ko- varianzmatix R,- des Schiitzvektors 0: sie siiid Funktionale, die die liovarian- matrizen auf die reelle Achse abbilden und damit den Vergleich aller dioser Ma- trizen ermoglichen. Aus den Formeln (3.1), (5.5) und 5.7) sowie auch speziell aus (5.8) und (5.9) wird die Abliiingigkeit der Kovarianzmatrizenvom jeweils gewahlten Versuchsplan dcutlich und damit auch die Moglichkeit, nach optimalen Ver- suchspliincn zu suchen.

Die gebriiuchlichen Optimalitiitskriterien konnen grob in zwei Klassen einge- teilt werden. Die Kriterien der einen Klasse beziehen sich mehr auf Schiitzungen $ (2) der Wirkungsflgche 7 (a?), wiihrend die der anderen Klasse sich mehr auf die Parameterschiitzungen 0 beziehen. Als Beispiel hierfiir sollen die folgenden wich-

Ein Versuchsplan V , (bzw. 5 ) heil3t C-optimal beziiglich c, wenn er D(c’ e) = = c‘ I36 c minimiert bezuglich aller V , E { V,, E V”: det (F’F) =+ O } (bzw. beziiglich aller 5 E {f : det (M(E) ) =k 0)). Zu jedem n gibt es also (mindestens) eincn antleren optimalen Versuchsplan. Wenn man z. B. den Parameter 0: init bLsonders groSor Genauigkeit schiitzen mochte, so wird man einen Versuchsplan wiihle:~, der D’(0,) minimiert, d. h. einen C-optimalen Plan bezuglich c = ( O , O , . . ., 0, 1)’. (Es sei hier kurz bemerkt, daD esauchPliinegeben kann, mit denen c’ O* schiitzbar ist, ohne daB (F’F)-i bzw. M-i(E) existieren.)

Ein Versuchsplan V , (bzw. 5 ) heiDt D-optimal, wenn er det B,- minimiert beziiglich aller V , E { V , E V n : det (F’P) $; 0 } (bzw. beziiglich aller 5 E { E : det M ( 5 ) + 0)). Auch das Kriterium der D-Opt,irnalitiit nimmt noch keinen Bezug auf die Schiitzwerte +(z). I m Untsrschied zur C-Optimalitiit wird hier

A

tigen Optimalitiitskriterien dienen. A

A

22.

332 H. BANDEMER, W. JLXQ

jedoch die gegenseitige Abhiingigkeit der Koniponenten von 0 - beriicksiclit,igt. D-optimale Plane miniinieren die verallgemeinerte Varianz von 0.

h

Ein Versuvhsplan V,, (bzw. t ) heil3t G-optimal, wenn er

m t t x Dz ($ (z)) = maxf(z)' B ~ f ( ; r ) X E H Z€ If

minimiert bezugl1c.h rtller V,) E {V,a E V " : det (P'P) 5 O } (bzwr. bezuglich sller E {t: dot ( M ( & ) =t= 0 ) ) . Dabei besteht die Menge H aus allen Punkten Z, in

dencn Schitzwerte (T) gesucht sind. Die G-OptimalitSt bezieht sich also auf ScliStzungen der M'irkungsfl5che 7 (2).

Ein konkreter T'ersuclisplan V,, der fur den Ansstz (5.3) C-optimal bezuglicli

c = (0, I ) ' ist, niulj miniinieren. Dieser Plan 180t sicli leiclit be-

rechnen. Er fiillt init hem konkreten D-optimalen Plan zusammen und kann z. B. BASDEXER 'BELLMAKX ~JCXGIRICHTER, 1973 (Seiten 72-79) enti~oinmen werden. Em konkretsr Versuchsplan V,, der fur don Ansatz (5.4) C-optimal bezuglich c = ( 0 , 1)' 1st. mu13 wegen (5.9) den Ausdruck

minimieren. Ilieser Ausdruck und damit auch der optimale Versuchsplan hangen noch von dein unbekannten und zu schiitzenden Parametervektor Q* ab. Deslialb hilft man sich in p a x i so, da8 man sich zunBchst auf der Basis einer geringen Zalil von Messungen eine GrobschMzung 6 von 0* berechnet und dam die rest- lichen Versuche gemii5 dem C-optimalen Plan durchfuhrt, wobei man Q* = 8 sotzt. S a c h der Durchfuhrung aller Versuche wird danii der endgultige Schiitz- vektor 6 berechnet.

Fur die in den Anwendungen weitverbreiteten vollstiindigen faktoriellen Versuchspl&ne vom Typ 2' und fur die teilweisen faktoriellen Versuchspllne vom T?p 2 k i - p ist die Korarianzniatrix BG ein Vielfaches der Einheitsmatrix :

-

Bg = a2 n-i I , .

Man kann zeigen, dal3 diese Pliine G-optimal (bei V = H ) und D-optimal sind sowie weiteren Optimdit+itskriterien ( A - , E-) geniigen.

6. L&quivalenzsatz von KIEFER und U'OLFOWITZ

Der Aquivalenzsatz von KIEFER und WOLPOWITZ bezielit sich auf diskrete Ver- suchspllne. U'eiterhin wird vorausgesetzt, da13 V = H , By = 02 I,I und

Opt.imale Versuchsplanung im Regressionsmodell 333

gelten. Auf nichtlineare Ansiitze der Form (5 .2 ) kann der Bquivalenzsatz mithin nur angewandt werden, wenn schon eine solche Nlherung 0 fur 0* bekannt ist, daB die TAYLoRreihe ohne Bedenken nach den linearen Gliedern abgebrochen werden kann.

( 1 ) Die folgenden drei Aussagen sind liquivalent

-

Satz (KIEFER uiid WOLFOWITZ) :

(a) Der Plan [* ist D-optimal. (b) Der Plan t* ist G-optimal. (c) maxf(x)' M-1 ( t*)f(z) = r (Anzahl der Parameter).

und M ( E * ) ist dasselbe fiir alle E* aus dieser Menge.

ZE v ( 2 ) Die Menge aller t*, die diese Aussagen erfiillen, ist konvex und abgeschlossen,

Jeder diskrete D-optimale Plan ist also zugleich G-optimal. h i d e r gilt diem Aussage nicht fur konkrete D-optimale Pliine. Fur die Anwendungen ist besonders die Aussage (c) des Satzes wichtig. Braucht doch die G- oder D-Optimalitiit eines diskreten Versuchsplanes nur noch an der Bedingung (c) uberpruft zu werden. Aber auch fur konkrete Versuchspliine besitzt die Bedingung (c) Bedeutung: sie ist eine hinreicheiide (und in verschiedenen FLllen auch notwendige) Bedingung fur die G- und D-OptimalitBt koiikreter VersuchsplLne. (Dabei mu13 M - i ( t * ) durch (n-lP'F)-J ersetzt werden). Aus (c) wurden im Rahmen der Theorie der optimalen Versuchsplanung noch eine Reihe weiterer Siitze gefolgert, die eine wesentliche Grundlage zur Konstruktion konkreter und diskreter optimaler Pliine bilden. Die SEtze ermoglichen vor aliem SchluBfoIgerungen iibor die Struktur G- und D-optirnaler Plline.

7 . Iterationsverfahren

Das folgende Iterationsverfahren ermoglicht die Berechnung diskreter G- und D-optimaler Versuchspllne fur das Regressionsmodell

?j(z,0) = f(z)' 9, V = H , By = u2 I, . Es ist vor allem zur Anwendung auf R,echenautomaten geeignet und wurde

etwa gleichzeitig von verschiedenen Autoren entwickelt (vgl. z. B. FEDOROV, 1971 oder WYNN, 1970). Es besteht aus 3 verschiedenen Schritten. Schritt 1 : Wiihleeinen Plan Vh mit det ( M ( V n 0 ) ) =+ 0. (Dabei ist M ( V,") = n- 1 F'F

die Informcttionsmatrix des Planes V,,o .) Schritt 2 : Bestimme einen Punktzno+, E V mit

maxf(x)'M-'(J',,)f (2) = f ( z n D + 1 ) ' M - l ( J ' n , ) f ( ~ n , + l ) . 2EV

Schritt 3: Bilde den Plan V,,,+, = (z,, . . . ,xRO, z%+ anstelle von Vn, den Schritt 2.

und wiederhole mit V,Lo+ I

Man erhiilt V,L,+2 und schliefihch eine ganze Folge Vn0, VIlo+l, Vno+2, . . ., V,,, . . . von Versuchspliinen, fiir die der folgende Satz von WYNN gilt: Satz: Es ist lirn det ( M ( V,,)) = det ( M ( t * ) ) , wobei t* ein diskreter G-optimaler

11-00

Plan ist.

334 H. BALNDENEB, W. JUNG

Insbesondere dann, wenn Vfl0 gut gewshlt war, kaiin das Itera$onsverfalzren schon nach endlich vielen Schritteii konvergieren.

Das Verfahren ist vor allem dann von Nutzen, wenii es nicht anderweitig gelingt, die optimalen Pline zu bestimmen, also z. B. dann, weiin der Versuchs- bereich V eine koniplizierte Struktur besitzt . V’eiterhin leistet dieses Verfahren nach in dem Fall gute Dienste, wenn ausgehend von (schan durchgefiihrten) a priori Beobachtungen weit ere n, Versuche geplant werden sollea.

8. Affiiiinvarianz

Optimale VersuchsplLne hingen nicht nur vom Regressionsansatz f j (x, O), sondern auch vom Versuchsbereich V ab. Besondere Bedeutung hat die Frage, wie sich die optimalen Versuchspline Lndern, wenn bei gegebeneni Regressions- ansatz der Versuchsbereich V zu einem Versuchsbereich y g e h d e r t wird. V kanii z. 3. der Bereich sein, zu dem die optimalen Plane in einem Tabellenwerk be- rechizet sind, wahrend y der Versuchsbereich ist, der aus einem gegebenen prak- tischen Problem resultiert.

Sei g (x) = A X -+ b (A nichtsingulire Matrix, b Vektor) eine affine Abbildung von T’ auf 8. Es w5re schon, wenn man nur die Punkte xl eines koiikreten oder diskreten optimalen Planes beim Ubergang von 1’ zu Y in Punkto g(z,) zu trans- formieren brauchte, urn den entsprechenden optimalen Plan zu erhalten. Optimale Versuchspline mit dieser giinstigen Eigenschaft sollen affiniiivariant bezuglich g lieifien. Satz : Wenn zu der affinen Abbildung g eine nichtsingulare Matrix C existiert, so

daB f (g (2)) = C f(z) fur alle z E V gilt, dam sind alle G- oder D-optimalen Versuchsplane fur das Modell (5.1) bei V = H auch affininvariant beziiglich der affinen Abbildung g von V auf P .

Beispiel: fj(x, 0) = Oo + Oi 2 + O2 2 2 , P = [ O ; 21. Damit ist g ( x ) = x + 1 und megen

17 = H = [- 1; + 13,

existiert eine nichtsingulare Matrix C. Also mu13 z. B. der Plan

V,**=(X?+l , . . . , . f + 1)

G-optimal fur das Modell mit J7 = = [ O ; 21 sein, wenn 1’; = (xf, . . ., x:) G-optimal fur das Modell mit V = [- 1 ; + 11 ist..

Wenn fj(z, 0) ein vollstindiges Polpnom der Ordnung d in Ic Variablen ist (d = 1, 2 , . . .; k = 1, 2 , . . .), so existiert die Matrix C und ist nichtsingular, wie man leicht zeigen kann.

Optimale Versuchsplanung im Regressionsmodell 335

9. Variable Varianz

Bisher wurde €3, = uZZ,, vorausgesotzt. Es entsteht die Frage, wie sich die an- gegebenen Ergebnisse Bndern, wenn die Komponenten von

zwar noch als unkorreliert vorausgesetzt werden, jedoch UnterschiedlicheVarianzen besitzen diirfen: DZY(z) = a Z d ( ~ ) , A@) > 0. By ist dann also nur noch eine Diagonalmatrix.

Wenn man die Messungen und den Regressionsansatz durch v?z) dividiert, so

I.’ = ( Y ( 2 , ) , . . . , Y ( q ) ) ’

gilt wegen 02 -=== = UT wieder By = a? Z,,, und inan hat das Problem auf das (a urspriingliche Problem mit konstanter Varianz zuruckgefiihrt. Jedoch brauchen die optimalen Plane fur das Modell mit der Varianz 0 2 A(z) und fur das Modell, in dem der Ansatz durch dividiert wurde, nicht identiwh zu sein. Die Eigen- scha€t, identisch zu sein, besitzen die C- und die D-optimalen Pltine, aber nicht die G-optimalen Pliine. Das hat u. a. zur Folge, daB bei variabler Varianz U? A(%) die diskreten G-optimalen und die diskreten D-optimalen Pltine nicht mehr zusammen- fallen. Der Bquivalenzsatz von KIEFER und WOLFOWITZ gilt also in der in Ab- schnitt 6 angegebenen Form nicht fur den Fall variabler Varianz a2 A (z). (Er kann jedoch in einer etwas modifizierten Form auf diesen Fall verallgemeinert werden.)

Zusammenfassung

Es werden grundlegende Begriffe und Probleme der Theorie der optimalen Versuchsplanung fur das Regressionsmodell am entscheidungstheoretischer Sicht erliiutert und neuere Ergebnisse der Arbeitsgruppe Versuchsp~snung an der Sektion Mathematik der Bergakedemie Freiberg referiert.

Summery

Some basic notions and problems in the theory of optimal experimental design for the regression model are explained and new results of the research team Experimental design of the mathematical department of t,he Bergakademie Freiberg are reviewed.

Li teratur

BANDEYER, H., 1974: Optimale Versuchsplanung als Entscheidungsproblem. I m Sammeiband:

RANDENER, H., A. BELLMANN, W. J n m , K. RICHTER, 1973: Optimale Versuchsplanung. Aka-

Box, G. E. P., W. J. HILL, 1967: Discrimination among mechanistic models. Technometrics 9,

FISDOROV, V. V., 1971 : Teorija optimai’nogo eksperimenta. Moskva. FERGusox, T. S., 1967: Mathematical statistics - a decision theory approach. New York, London. JESSRICH, R. I., 1969: Asymptotic properties of non-linear least squares estimator. Ann. Math.

LAYCOCK, P. J., 1972: Convex Loss Applied to Design in Regression Problems. Journ. Roy.

NATHER, W., 1972: Minirnaxschiitzungen im linearen Regressionsmodell. Math. Operationsfor-

Beitrage zur Optimalen Versuchsplanung; Freiberger Forechungshefte (in Druck).

demieverlag, Berlin.

57-71.

Statist. 40, 633-643.

Statist. SOC. Ser. B 84, 148-186.

schung u. Statist. 8. 4 7 5 4 8 2 .

336 H. BANDEYER, 11’. JVNC

RICHTER, K., 1972: Spieltheoretische Behandlung der optiinalen Versuchsplanung fur das Re-

SCBREIBER, O., 1882 : Die Anordnung der U’inkelbeobachtungen im Gbttinger Basisnetz. Zeit-

STIQLER, S., 1971 : Optimal experimental design for polynoniial regression. Journ. Xnier. St.atist.

WALD, A., 1950: Statistical decision functions. Sew York. \VYNS, H. P., 1970: The sequential generation of D-optimum experimental designs. Ann. Math.

Eingang des Yaihukripts: 27. 12. 1 Q i 3

gressionsmodell. Dissertation, Bergakademic Freiberg.

schrift fur Vermessungswesen 11, 129-161.

SSSOC. 66, 311-318.

Statist. 41, 1655-1664.

;\nschrift der Verfasser: Prof. Dr. H.-W. BANDEMEB Dr. W. JUKG Bergakadeniie Freiberg Sektion Mathematik 92 Freiberg, Bernh.-v.-Cotta-Str. 1