DESY Engineering Day, 2013-04 4/3/2015K.-H. Sulanke, DESY Zeuthen1 IceCube Detector Readout Karl-Heinz Sulanke EL-Gruppe DESY Zeuthen

DESY Engineering Day, 2013-0404/11/23 K.-H. Sulanke, DESY Zeuthen 1

IceCube Detector Readout

Karl-Heinz Sulanke

EL-Gruppe

DESY Zeuthen


Inhalt

• Einführung

• IceCube DAQ allgemein

• DOM (Digital Optical Module), kurz

• DOR (Digital Optical module Readout card), ausführlicher

• DOR-Produktion und -Test

• Schlussbemerkung


Südpol

AMANDA

IceCube

Dome

Skiway

Amundsen-Scott South Pole Station


IceCube Detector


Bohrhütte und Schlauchtrommel


Deployment


December 2010:86 Strings im Eis!

5160 DOMs


IceCube DAQ, Hardware Komponenten

• DAQ basiert auf standard IT-Technik (PC-Farm, Switches,…)

Ethernet für Datentransfer

• drei “custom made” Hardware Komponenten:

DOM (Digital Optical Module), im Eis

MCU (Master Clock Unit) + DSB (Domhub Service Board)

GPS-signal-fanout

by J. Przybilski, LBNL Berkeley

DOR (DOm Readout-card)

by K.-H. Sulanke, DESY Zeuthen

• Spezialkabel für DOM <-> DOR Verbindung

Schwedische Firma Ericsson


IceCube DAQ Block Diagram

DOMs

DORs


DOM (Digital Optical Module)


DOM Mainboard Block Diagram


DOM Montage und Test in Zeuthen

• Jürgen Pieper aus der Elektronikwerkstatt

• Etwa 1500 DOMs wurde in Zeuthen montiert

• Klimakammer fuer Langzeit-Tests (R. Nahnhauer) mit Hilfe von LED + Lichtleitfasern


String Kabel (Ericsson)


IceCube Kabel (3 km lang)

• 16+2 Quads, 0.9 mm Kupferdraht, „solid wire“

• Je ein Quad, bestehend aus zwei verdrillten Paaren, für 4 DOMs

• 145 Ohm Impedanz, DC-Widerstand <140ohm / 2.5 km

• Wichtig (!) wenig crosstalk zwischen den Drahtpaaren

>50 db suppression near end cross talk

>30 db suppression far end cross talk

Akkurate mechanische Konstruktion nötig


DOR (Dom Readout card)• 8 DOMs pro Karte, 32 bit PCI Businterface, DMA fähig

• In System Firmware Update per Software

• 96V DC und Kommunikation (je 2 DOMs) über ein twisted wire pair

• DOM Datenrate, >= 20KB / DOM, -> 48KB

-Kommunikation, Paket-basierend inkl. 32 bit Checksumme

• Zeitkalibration, Genauigkeit besser als 5ns, -> 3ns

- virtuell : 5160 gleichlaufende Uhren im Eis !!!

• GPS Interface (UTC, ASCII Time String -> PCI)

• DOM Power-Switch (96V) inkl. Strom / Spannungsauslese

• DOM Power-Ramping

• DOM Power-Überwachung per Firmware


DOR_rev0


DOR_rev1b


DOR - DOM Readout card, Revision 1b

Comm. Ch0 ADC / DAC

FLASH2 MByte

PLD

Comm.

FPGA

PCIBus

96 V

SRAM1 MByte

PCI FPGA

LocalBus

Mem.Bus

Cfg Req

Cfg

Comm. Ch1 ADC / DAC

Comm. Ch2 ADC / DAC

Comm. Ch3 ADC / DAC

JTAGPLDFPGA

PLLIn0In1

Osc.10MHz

In_sel

Power Control Ch0..Ch3On Cur Vol

DOM quadcable

DOM quadcable

JTAG

JTAG

PLL-In_sel

33MHz

33MHz

20MHz10MHz

10Mhz1PPSTime-string

DESY Engineering Day, 2013-0404/11/23 K.-H. Sulanke 19

Cable Interface Scheme

FPGA

ADC10 BitPREAMP

10

CableCon.

+48V

-48V

RS485

DAC 8 Bit

8

alternative use


ASK Encoding, 1MBit/sTx

Rx,3500

mKabel

• Derzeit implementiert

• DC-free, über Trafo eingekoppelt, 1=pulse, 0=kein Signal,

• Ist default encoding für den DOM nach power on

• DOM-Datenrate von 50 KByte/sec

DESY Engineering Day, 2013-0404/11/23 K.-H. Sulanke 21

Rx / Tx Data Path, one Wire Pair PCI Bus

Cable Con.

2

Address Decoder

InterruptControl

Tx_FIFO_A,B

WriteEnaReadEna

AlmEmptyEmpty

Data_inData_out32

InterruptRx_FIFO_A,B

ReadEnaWriteEna

EmptyAlmFull

Data_outData_in

BusCycle 4

Framing, Encoding

Comm. DAC

88

DeFrame, Decoding

Comm. ADC

810

Diff. Rec.

Wire Pair Control (8) State Machines

Message_rcvd

FPGA

1

2

Internal FIFOs will be replaced by external SRAM


Firmware, ein Beispiel

ping

tclb

cres

RESET

RESET

RESET

RESET

RESET

RESET

RESET

RESET

!rxwraff_B!txrdef_B &

rxwraff_B

!txrdef_A & rxwraff_A

!rxwraff_A

txrdef_B & rxwraff_B

(WDAT & RUN_B # txrdef_B) & !rxwraff_B

txrdef_A & rxwraff_A

(WDAT & RUN_A # txrdef_A) & !rxwraff_A

msg_sent

mrwe_rcvd #mrnb_rcvd #mrwb_rcvd #after_52ms

cresreq_B

cresreq_A

tcwf_cpy_rdy

!pulse_rcvd & after_52ms

pulse_rcvd pulse_sent

msg_sent

after_20us

data_rcvd # after_52ms

sresack_rcvd # after_1ms

msg_sent

msg_sent

!IDL_AB

!IDL_AB

IDL_AB

IDL_AB

idle_rcvd # after_1ms

msg_sent

txrdef_B & rxwraff_B

(RDREQ & RUN_B # rxwraff_B) & !txrdef_B

txrdef_A & rxwraff_A

(RDREQ & RUN_A # rxwraff_A) & !txrdef_A

drand_rcvd # data_rcvd # drbt_rcvd # after_52ms

req_A & !req_B

req_B

req_A

req_B & !req_A

cresreq_B

cresreq_A

DBUFWT & RUN_B & mrwb_rcvd

DBUFWT & RUN_A & mrwb_rcvd

sres

wr

rd

stat

idrq

msg_sent

data_rcvd # after_1ms

WACKWT & RUN_B & mrnb_rcvd

WACKWT & RUN_A & mrnb_rcvd

after_1ms #(mrwb_rcvd #mrnb_rcvd) &!rd_after_stat

(mrwb_rcvd #mrnb_rcvd) &

rd_after_stat &!after_1ms

msg_sent

msg_sent

cres_rdy_B

timeout_B & !cres_rdy_B

idle_rcvd # after_1ms

timeout_A & !cres_rdy_A

cres_rdy_A

timeout_B & !cresreq_B

cresreq_B# after_3s_B

# drbt_rcvd_B

timeout_A & !cresreq_A

cresreq_A# after_3s_A

# drbt_rcvd_A

buf_res_A := RUN_A & (sto[xxxxxxxHLHHxxxH])

Async reset when RESET = 1

buf_res_B := RUN_B & (sto[xxxxxxxHLHHxxxH])

Async reset when RESET = 1

cmd_rec[] = 3:0

comm_err_A = (RUN_A) & (A_AVAL) & !(IDL_AB) & !(CRESACKWT) & after_52ms

comm_err_B = (RUN_B) & (B_AVAL) & !(IDL_AB) & !(CRESACKWT) & after_52ms

cres = CRESA & SEL_A # CRESB & SEL_B

cres_rdy_A = CRESACKWT & idle_rcvd & RUN_A cres_rdy_B = CRESACKWT & idle_rcvd & RUN_B

dom_bfull_A = NODOMBUF_A dom_bfull_B = NODOMBUF_B

drand_rcvd = ctrl_rcvd & (cmd_rec==DRAND) drand_rcvd_A = RACKWT & drand_rcvd & RUN_A drand_rcvd_B = RACKWT & drand_rcvd & RUN_B

drbt_rcvd = ctrl_rcvd & (cmd_rec==DRBT)

drbt_rcvd_A = drbt_rcvd & RUN_A drbt_rcvd_B = drbt_rcvd & RUN_B

eof_rcvd_A = RACKWT & data_rcvd & RUN_A eof_rcvd_B = RACKWT & data_rcvd & RUN_B

idle_rcvd = ctrl_rcvd & (cmd_rec==IDLE)

idreq_rdy_A = ID_REC & data_rcvd & RUN_A idreq_rdy_B = ID_REC & data_rcvd & RUN_B

idrq = !cres & !sres & (idreq_A & A_AVAL & SEL_A # idreq_B & B_AVAL & SEL_B)

mrnb_rcvd = ctrl_rcvd & (cmd_rec==MRNB)

mrnb_rcvd_A = WACKWT & mrnb_rcvd & RUN_A mrnb_rcvd_B = WACKWT & mrnb_rcvd & RUN_B

mrwb_rcvd = ctrl_rcvd & (cmd_rec==MRWB) mrwb_rcvd_A = WACKWT & mrwb_rcvd & RUN_A mrwb_rcvd_B = WACKWT & mrwb_rcvd & RUN_B

mrwe_rcvd = ctrl_rcvd & (cmd_rec==MRWE)

mrwe_rcvd_A = WACKWT & mrwe_rcvd & RUN_A mrwe_rcvd_B = WACKWT & mrwe_rcvd & RUN_B

ping = !cres & !sres & !idrq & !tclb & !stat & !wr & !rd & ( A_AVAL & SEL_A # B_AVAL & SEL_B)

rd = !cres & !sres & !idrq & !tclb & !stat & (!rxwraff_A & A_AVAL & SEL_A & RDA # !rxwraff_B & B_AVAL & SEL_B & RDB)

rd_after_stat = A_AVAL & RUN_A & !rxwraff_A # B_AVAL & RUN_B & !rxwraff_B

req_A = A_AVAL # CRESA

req_B = B_AVAL # CRESB

sres = !cres & (not_cfg_boot_A & sresreq_A & A_AVAL & SEL_A # not_cfg_boot_B & sresreq_B & B_AVAL &

sres_rdy_A = SRESETWT & sresack_rcvd & RUN_A sres_rdy_B = SRESETWT & sresack_rcvd & RUN_B

sresack_rcvd = ctrl_rcvd & (cmd_rec==SRESACK)

stat = !cres & !sres & !idrq & !tclb & (!DOMBUF_A & A_AVAL & SEL_A # !DOMBUF_B & B_AVAL & SEL_B )

sto[] = rx_fwr_res id_cyc wp_idle tcal_data tcal_prec tcal_psnd tcal_cyc cmd_snd3 cmd_snd2 cmd_snd1 cmd_snd0 rec_data rec_ctrl send_data send_ctrl

sto1[] = dom_B_sel

sto2[] = cres_clr_A dom_aval_A dom_tout_A

sto3[] = cres_clr_B dom_aval_B dom_tout_B

tcal_rdy_A = TC_RDAT & data_rcvd & RUN_A tcal_rdy_B = TC_RDAT & data_rcvd & RUN_B

tclb = !cres & !sres & !idrq &(not_cfg_boot_A & tcalreq_A & A_AVAL & SEL_A # not_cfg_boot_B & tcalreq_B & B_AVAL & SEL_B)

timeout = RUN_A & timeout_A # RUN_B & timeout_B

wr = !cres & !sres & !idrq & !tclb & !stat & (!txrdef_A & A_AVAL & SEL_A & WRA # !txrdef_B & B_AVAL & SEL_B & WRB)

The communication for both () DOMs gets stopped, when one DOM is

RESET only now, before it was ored with sresreq_ and cresreq_. These signals are used as conditions as well. Might be a problem !

sto = ( rx_fwr_res id_cyc wp_idle || tcal_data tcal_prec tcal_psnd tcal_cyc || cmd_snd3 cmd_snd2 cmd_snd1 cmd_snd0 || rec_data rec_ctrl send_data

LAST CHANGE: 2006-03-29Statemachine to control the datatransfer to and from two DOMs, DOM_A and DOM_B.- round robin for Rx / Tx- StateCad optimization set: from AREA to SPEED- SRESET burst introduced- 2006-03-13, bit rx_fwr_res introduced- 2006-03-21, input signal not_cfg_boot_A/B introduced- 2006-03-23, timeout_A/B_clr, after_3s_A/B removed- 2006-03-29, SRES / DRBT schema changed- 2006-04-03, drbt_rcvd removed, new sysreset-acknowledge schema- 2006-04-04, for configboot->iceboot, cres after dom reboot by after_3s_A /B.. .

%DRAND% = ^b0110

%NU0% = ^b0000

%NU1% = ^b0001

%SRESACK% = ^b0010

%IDREQ% = ^b0011

%NU3% = ^b0100

%DRREQ% = ^b0101

%DRBT% = ^b0111

%MRWB% = ^b1000

%MRNB% = ^b1001

%MRWE% = ^b1010

%COMRES% = ^b1011

%BFSTAT% = ^b1100

%SYSRES% = ^b1101

%TCAL% = ^b1110

%IDLE% = ^b1111

sto = ( cres_clr_A dom_aval_A dom_tout_A dom_det_A

IDL_AB

WTB

WTA

WRB

WRA

WDATsto=̂ h4002;

WACKWTsto=̂ h004;

TOUT_Bsto3=̂ h2;

TOUT_Asto2=̂ h2;

TCWFMCPYsto=̂ h0900;

TCPULSRECsto=̂ h500;

TCPULSNDsto=̂ h300;

TCALIB

sto=̂ h01e1;

TC_WAIT1

sto=̂ h100;

TC_RDAT

sto=̂ h108;

SRESETWT

sto=̂ h0004;

SRESET

sto=̂ h00d1;

SND_IDLE

sto=̂ h00f1;

SEL_Bsto1=̂ b10;

SEL_A

sto1=̂ b01;

RUN_Bsto1=̂ b10;

RUN_Asto1=̂ b01;

REC_IDLEsto=̂ h004;

RDREQ

sto=̂ h051;

RDB

RDA

RACKWT

sto=̂ h00c;

PRIO_Bsto1=̂ b00;PRIO_A

sto1=̂ b00;

POFFBsto3=̂ h0;

POFFAsto2=̂ h0;

NODOMBUF_B

NODOMBUF_A

IDL_AB

sto=̂ h5000;

ID_REQsto=̂ h2031;

ID_RECsto=̂ h2008;

DOMBUF_B

DOMBUF_A

DBUFWT

sto=̂ h004;

DBUFCHKsto=̂ h0c1;

CRESETsto=̂ h00b1;

CRESBsto3=̂ h0;

CRESACKWTsto=̂ h004;

CRESAsto2=̂ h0;

CRES_RDYB

sto3=̂ h8;

CRES_RDYA

sto2=̂ h8;

CLR_CRESBsto3=̂ h8;

CLR_CRESAsto2=̂ h8;

B_AVALsto3=̂ h5;

A_AVAL

sto2=̂ h5;

• Statemachine zur Steuerung der halbduplex Kommunikation mit den DOMs A,B


Zeitkalibration

• Kalibrations-Zyklus komplett in Firmware realisiert

• initiert durch Software, typ. 1 x pro Sekunde

DESY Engineering Day, 2013-04

Time Calibration

for 76 DOMs

Time

automatic, every few seconds

In-ice DOMs

IceTop


8B10B Encoding, 2MBit/s

Tx

Rx,3500

mKabel

• Verdoppelung der Datenrate

• Erste Labortest waren o.k. (1 x DOR + 8 DOMs), auch Mix von ASK / 8B10B

• Bei vollen Domhub ( 8 x DOR, 60 DOMs) , unter Linux, gab es Probleme

Linux-Treiber, zu hohe Gesamtdatenrate ?

Firmware –Bug ?


DOR Bestückung

• Prototypen, Bestueckung in der Zeuthener Elektronik-Werkstatt

• Serienfertigung für etwa 800 boards extern

• Hersteller I: Mittelstaedt / ESL GmbH, Bln. Tempelhof– etwa 30+60 boards– kostengünstig, aber …

veraltete Produktionsanlagen (Stand Ende 2004) Probleme (keine Erfahrungen) mit dem BGA-

Löten kein Löten unter Schutzgas (war in Aufbauphase)


DOR Bestückung, fortgesetzt

• Hersteller II: Intratec / Elbau GmbH, Bln. Weissensee– etwa 800 boards geliefert– moderne Produktionsanlagen – Löten unter Schutzgas– keine Probleme mit BGAs– geringe Probleme, verursacht durch Handbestückung

LED 180° gedreht (1x) einzelne Pins nicht gelötet (~4x)

– Komplettangebot inkl. Materialbeschaffung möglich– kann empfohlen werden


DOR Test

• Erste Firmware-Tests unter DOS, 130 Mhz Pentium, 32MB Speicher

-> Borland_C, Templates fuer Linux Treiber (by John Jacobsen)

• Nach Herstellung, 100%-iger Funktionstest Test unter Linux

• Test Software von Arthur Jones, LBNL Berkeley, California

• Selbsttest mit Hilfe rückgeführter Ausgänge / Testadapter

• Testlog wird im DOR-Flash abgelegt

• einmalige Nummer per Server vergeben und aufgeklebtR1B0674D05

Rev. 1b

abs. Nr.

Serien Nr.


DOR Fehleranalyse, bezogen auf 225 Boards

• sofort funktioniert (Fa. Intratec) : ~85 %

• nach “einfacher” Reparatur, Ausbeute : ~ 98%

• LP-design, Fehler durch schlechte Footprint-Libraries– schlechte Pad Geometrie versursacht Lötfehler– z.B. SO-8 Footprint mit zu kurzen Pads

• echte Bestückungsfehler– durch verbogene Pads (schlechter Lieferzustand)– durch Handbestückung– durch schlechten Lötpastendruck (selten)

• defekte Bauelemente: 2x– 5V/5V - DC / DC Wandler– Operationsverstärker OPA237NA


DOM hub

From GPS Unit

DO

R c

ard

DO

R c

ard

DO

R c

ard

DO

R c

ard

DO

R c

ard

DO

R c

ard

DO

R c

ard

DO

R c

ard

DS

B C

ard

CP

U

Cat5-cable with:•10 MHz •1 Pulse per Second •RS-232 Time String

10 MHz, 1 pps. Time String

Power SuppliesFans

Monitors


DOM hub (Industrie-PC)

DOR Cards (2 of 8 shown)

DSB forGPS distr.

Chassis Fans

DOM Power Supplies

CPU

~300 W running 60 DOMs

Hard Drive

PowerDistr. Card

Backplane with 12 PCI slots


Rack with DOMhubs

LEDs forRx, Tx and DOM-Power

PCI Bus access


Unterkunft ->Zukünftiges IceCube Lab


IceCube Lab im Winter


Schlussbemerkungen

• IceCube Auslese funktioniert zuverlaessig, Detektor uptime >99%

• Firmware / Software Entwicklungsaufwand war betraechtlich

– Kommunikations-Protokoll zu komplex (?)

• PINGU als evtl. IceCube Erweiterung, 10 Gev...100 GeV

– Auslese basierend auf PCIe, uTCA, ATCA (?)

– Verwendung der existierenden Software moeglich (?)

– Besseres Encoding (?), z.B. PSK (Phase Shift Keying)


Verwendete Quellen

• Animationen, entnommen dem IceCube docushare/public/

• „Design and Performance of the IceCube Electronics“, Vortrag von R.G. Stokstad (LBNL Ca.), 2005

• eigene Dokumente und Bilder


Danke für die Aufmerksamkeit !


Backup Slides


IceCube String

1400 m

2400 m

60 optical sensors

Main Cable

DOM Base with HV generatorElectrical

feedthrough forpower + data

Glass pressure sphere. Rated to 10000 psi.Outer diameter: 13"

Photomultiplier

Gel

String

OM Spacing: 17 m

DOM Board


DOR Leiterplatte

• Entwurf: Reiner Roitsch, Berlin

• 8 Lagen, 311 x 122 mm, SMD beidseitig

• Technik: part. chem NiAu auf Cu

• 3 BGAs, 484 / 256 / 100 pins

• Herstellung– Fa. Mittelstaedt, schlechte Qualität– Fa. Gillett, schlechte Daten-Vorverarbeitung– Fa. straschu, ausreichend gute Qualität

DESY Engineering Day, 2013-04The drilling site in January, 2005

Hose reel Drill tower

IceTop tanks

Hot water generator


Each 2 m dia. IceTop tank contains two Digital Optical Modules. The freezing of the water is done in a controlled manner to produce clear ice.


Data Packet Format


Zeitkalibration

• Kalibrations-Zyklus komplett als Firmware realisiert

• initiert durch Software, z.B. 1 x pro Sekunde


Timing verification with flashers

1.74 ns rms

All 60 DOMs

{


Alte und neue Station (im Bau befindlich)


Polemarker

Documents

DESY Engineering Day, 2013-04 4/3/2015K.-H. Sulanke, DESY Zeuthen1 IceCube Detector Readout Karl-Heinz Sulanke EL-Gruppe DESY Zeuthen