1 / 83

Visualisierung I

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

2 / 83

Usage of Medical Volume Data

Diagnosis

Treatment planning

– e.g., radiation therapy (oncology)

– e.g., surgical interventions (orthopedics, oncology)

Intraoperative navigation

Monitoring

– e.g., chemotherapy (oncology)

Simulation & training

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

3 / 83

Motivation

Medical Imaging is a fundamental diagnostic and therapeutic tool

Single Imaging

– X-rays, Ultrasound, Angiography

Image Sequences:

– CT, MRI/MRA, PET/SPECT, Gamma Camera

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

4 / 83

„The Future of Medicine is Technology“

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

5 / 83

Interventional Closed Loop

•Manual

•Robotic

•Irradiation

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

6 / 83

Trends

Not “diagnosis only”: impact on therapy necessary

From Diagnosis to Intervention: intra-operative imaging, navigation, image

guided therapy

From 2D to 3D: Objects vs. images

Holistic approaches & closed loops

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

7 / 83

Überblick Rendering-Techniken I

Visualisierung des 3D-Bildstapels als geschlossenes 3D-Objekt

Oberflächen-basierte Visualisierung:

– Generierung von Oberflächenrepräsentationen der zu visualisierenden Objekte

– Rendering mit Standardmethoden der Computergraphik

surface rendering

surface

extraction

intermediate

surface

representation

(polygons)

image volume

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

8 / 83

Überblick Rendering-Techniken II

Volumen-basierte Visualisierung:– Generierung der 3D-Ansicht direkt aus den

Volumendaten

– Verwendung der gesamten Grauwertinformation

zum Rendering von Oberflächen, Schnittebenen

und (semi-)transparenten Volumina

Transformations-basierte Visualisierung:– Rendering-Prozedur findet nicht im Ortsraum

statt

– Transformation der Bilddaten in eine äquivalente

Darstellung

image volume

direct surface rendering

direct volume renderingsegmentation

attribute volume

.

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

9 / 83

Visualization Pipeline

image acquisition

preprocessing (filtering,

interpolation)

segmentation/ interpretation

rendering

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

10 / 83

Surface

Representation

Volume

Representation

Triangulation using Surface Contours

Iso-value Surface Polygonalization: Marching cubes

Polygonlization Simplification and Optimization:

Surface Fitting or Matching

Image

Space

Object

Space

Ray Tracing

Splatting, Shear-warp

Frequency Domain

Ray Casting Speedup Ray Traversal

Improve Ray Sampling

Volume Visualization Methods

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

11 / 83

Medical Volume Data

CTlung

MRIbrain

fetus

USthorax

NMI

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

12 / 83

Series of Slices of Images

E.g. CT Scans

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

13 / 83

3D Imaging

CT Scans

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

14 / 83

Medical Volume Data - CT

spatial distribution of X-ray

attenuation coefficient

normalized by Hounsfield Units (HU)

high contrast between bone/tissue

resolution: 512x512 per slice

HU material-1000 air

0 water -300 ... -100 fat tissue

10 ... 70 muscle > 200 bone> 100 blood vessels

(contrast media filled)

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

15 / 83

Medical Volume Data - MRI

spatial density distribution (e.g., hydrogen)

allows different imaging parameters

high contrast between different tissue types

resolution: up to 256x256 per slice

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

16 / 83

Medical Volume Data - 3D-US

sound waves (1-15 MHz) are reflected at

interfaces (e.g., muscle/fat tissue)

noisy, unsharp

low dynamic range

shadowing

reflection depends on angle

fast, non-invasive

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

17 / 83

Medical Volume Data - NMI

radio active source is injected, radiation is recorded

& spatially reconstructed

allows monitoring of physiological processes

low resolution

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

18 / 83

Volume Data - Terms

assigns scalar value to every voxel (volume element) of a given grid

cell(space between

8 voxel centers)

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

19 / 83

Voxel Models

binary

gray level (intensity, e.g., 12 bits/voxel)

generalized (+ attributes, e.g., segment, colour, material)

intelligent (+ properties of objects and their relationship on a

symbolic level)

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

20 / 83

Grid Types in Medicine

Cartesian

Regular

Cylindrical

interpolation can transform any grid into a Cartesian grid

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

21 / 83

Volume Data

interpolations in cell space

nearest neighbor

Tri-linear interpolation

Tri-cubic interpolation

I(x,y,z)

V1 V2

V7 V8

V6V5

V4

V3

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

22 / 83

Visualization Pipeline

image acquisition

preprocessing (filtering,

interpolation)

segmentation/ interpretation

rendering

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

23 / 83

Preprocessing

application of a histogram transfer function e.g. thresholding

e.g. classification of different tissue types

e.g. color mapping

filtering

extraction of (fuzzy) surfaces

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

24 / 83

Color Mapping

MRA

brain image

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

25 / 83

Preprocessing

Gaussian pyramid

(simulates nerve cells of visual cortex)

increasing levels contain decreasing degree of detail

increasing levels contain voxels of increasing size

interpolation between levels

constant time filtering

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

26 / 83

Gaussian Pyramid

successive filtering using a

Gauss filter

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

27 / 83

Extracting Surfaces from US

Successive filtering steps on Gaussian

pyramid [Sakas, Walter 1995]

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

28 / 83

Extracting Surfaces from US

result for a liver data set

(Gauss kernel: 53, increasing binarization threshold)

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

29 / 83

Filtering

Gauss filtered

mask size: 33, 53, 73

+ median

filtered (33)

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

30 / 83

Visualization Pipeline

image acquisition

preprocessing (filtering,

interpolation)

segmentation/ interpretation

rendering

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

31 / 83

Surface

Representation

Volume

Representation

Triangulation using Surface Contours

Iso-value Surface Polygonalization: Marching cubes

Polygonlization Simplification and Optimization:

Surface Fitting or Matching

Image

Space

Object

Space

Ray Tracing

Splatting, Shear-warp

Frequency Domain

Ray Casting Speedup Ray Traversal

Improve Ray Sampling

Volume Visualization Methods

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

32 / 83

Extracting Contour on each

slice

Constructing triangular Mesh

between each two slices

Rendering using graphics

pipeline

Triangulation using Surface Contours

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

33 / 83

Iso-value Surface Polygonalization: Marching Cubes

separation of object and background voxels

Classify each Voxel Cube Vertex status as IN (less than) or OUT (larger than)

iso-value

Construct triangles among iso-points

modification: triangulation of distinct parts starting from an interactive given point

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

34 / 83

Marching cubes Algorithm 3-d

2

3 4 5 6

7 8 9 10

11 12 13 14

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

35 / 83

Marching Cubes - result

shaded

wireframe

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

36 / 83

Triangulation

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

37 / 83

Video

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

38 / 83

Automatic 3D-Scanning

Hardware– 3D-Scanner

– Roboter

– Turntable

Benefits– Fully automated scanning

– Hole-free

– Intuitive, fast

Applications– 3D-Productcataloges

– Rapid Prototyping

– Reverse Engineering

– QA, 3D-measurements

– 3D-Documentation

– Culture, Museums...

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

39 / 83

Beispiele

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

40 / 83

Beispiele

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

41 / 83

Animation Drahtgitter

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

42 / 83

Mesh simplification

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

43 / 83

Adaptation: Merging & Subdivision of triangles

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

44 / 83

1. Marching Cube 2. Decimation

Full Resolution

569K Triangles

75% decimated

(142K Triangles)

90% decimated

(57K Triangles)

Example

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

45 / 83

GDMs - Operations

Operation Description

Deletion of redundant edges Mesh vertices are deleted, if its normal just differs

slightly from the normals of its neighbours

Deletion of short edges Short edges are collapsed to one point

Subdivision Triangles are subdivided according to their distance to

the implicitely defined surface

Smoothing Every vertex is replaced by the center of gravity of its

surrounding polygon

Reproject Every vertex is replaced by the intersection of its normal

with the surface

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

46 / 83

3D Camera In-Situ

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

47 / 83

3D_camera Registration of Volunteer

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

Deformable Models

deformation based on elasticity theory

deformation forces (external energy)

deform model to fit data

model elasticity (internal energy)

preserve smoothness

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

48 / 83

49 / 83

I = n

i = 1

Define an object approximation

(contour)

Define a set of operations and an

energy field for each point on object

and contour

Move contour points until they

approach the minimum energy

position

Surface Fitting or Matching: Geometrical Deformable Models

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

50 / 8350

Generierung der Organmodelle

Organ per Thresholding selektieren

Auflösung des Datensatzes verringern

Oberfläche glätten (Morphologie)

Netzpunkt-Oberfläche des Modells erstellen (Marching Cubes)

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

51 / 83

Segmentierung: Ablauf

1. Platzierung des Modells

2. Suche nach Strukturpunken (Kanten, HU)

3. Automatische Adaption

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

52 / 83

Kantenfindung

3D Sobel-Filter

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

53 / 8353

Anpassung und Formerhaltung

Organ model

Pi

iii spE2

ext

Pi Nj

jijii mmTnpE2

int )()(

Suche nach Strukturpunkten Balance der Energien

Iterative Minimierung der Summe aus interner (Formerhaltung) und

externer (Anpassung an den Datensatz) Energie.

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

54 / 83

Segmentation Active Contours

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

55 / 83

Results

initial contour 10 iterations 300 iterations

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

56 / 83

Results - EBCT

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

57 / 83

Results - CT

initial contour 10 iterations 300 iterations

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

58 / 83

Snake Results

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

59/110

3D modelbasierte Segmentierung

Basiert auf statistische Modelle eines Organs

Analyse einer großen Anzahl von Organen

Definition von lokalen Eigenschaften

Mean model generation

Standard deviation of local curvature

for 220 training livers

60 / 8360

Anpassung und Formerhaltung

Organ model

Suche nach Strukturpunkten Balance der EnergienBildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

3D modelbasierte Segmentierung

Model basierte Segmentierung

Mittlere Organform

Lokale Eigenschaften von mehreren Parametern

+ + =

Greyvalue variance Gradient variance Stiffness body

Local tensor in each point:

• Greyvalue variance

• Gradient variance

• Min organ greyvalue

• Max organ greyvalue

• Min gradient

• Max gradient

• Internal energy

• External energy

Model basierte Adaptation

Preprocessing· Median Filter

· Resampling

· Setting of Intensity Limits

Affine Deformation· Global Shape Preservation

Free Form Deformation· Shape Preservation Using

Local Constraints

Atlas +

Databasecreate

User

selects and

positions

3D Shape / Segmentation

inspects /

refines

Nicht uniform deformierbare Modelle

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

64 / 83

65 / 83

Lokale Anpassungkriterien

Beispiel Lunge:

– Rot = lokal höhere Elastizität

– Grün = globale Elastizität

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

Bildgebende Verfahren in

der Medizin und

medizinische

Beispiel Modelladaption

66 / 83

67 / 83

Dental CAD – Einführung

Ausgangssituation: 3D-Scan der Situation im Patientenmund

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

Solution: Automated CAD/CAM System – Work Flow

Bildgebende Verfahren in der Medizin und

medizinische Bildverarbeitung Visualisierung I

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung Visualisierung I69

Fraunhofer‘s Model Based Approach

Lib tooth

model

Scan

preparation

Adaptation

Inlay

generation

Individual adaptation: Model adapts automatic to patient’s tooth

anatomy

»

70 / 83

Dental CAD – Our Approach (3)

„Smart“ library teeth can by generated by the user

Mathematical model

w/dental knowledge

+

User-selected example

toothSmart library tooth

w/dental knowledge

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung Visualisierung I71

T-RecS - Adaptation

Cusp tips

Cusp line

Fissures

Equatorial line

Results

range image tooth model

reconstructionBildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

72 / 83

Results

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

73 / 83

© 2008 Fraunhofer IGD

Artikulator Software-Artikulator

Artikulatormodell nach Kundenwunsch

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

74 / 83

75 / 83

Advantages of our approach

Reconstructions with functional and attractive occlusal surfaces

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

76 / 83

Results

Large bridge, ready for CAM

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

77 / 83

Dental CAD - Verfahren

Automatische Generierung anatomischer Rekonstruktionen

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

78 / 83

Dental CAD - „Schrumpfen“

Rekonstruktion wird „geschrumpft“

Computergenerierter Teil: Wird gefräst oder gesintert aus Titan, Zirkon, etc

Anschließend: Manuelle optisch ansprechende Verblendung mit Keramik

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

79 © 2008 Fraunhofer IGD

IGD Dental-CAD-Complete Solution

Intuitive GUI, fast resultsBildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

80 / 83

Vom CAD-Modell zum Zahn

Aus Zirkon gefertigtes BrückengerüstCAD-Modell

Manuelle Verkleidung mit Schmelzmasse Nach dem „Brand“

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

81 / 83

Problem: Kein realistisches Rendering

Oberkieferrekonstruktion in der Software und „in echt“

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

82 / 83

Realistisches Zähnerendering

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I

83 / 83

Triangular Surfaces

can be rendered by common rendering systems (evtl. HW)

reduces data size (fast rendering)

prone to false segmentation

re-triangulation on parameter change

loss of information

removal/hidden information

Bildgebende Verfahren in der Medizin und medizinische Bildverarbeitung

Visualisierung I