LNL G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999 Sadirc2000 Proposta di esperimento al gr. 5 - Risultati principali esperimento SADIRC - Programma approvato per il Sadirc sezioni INFN e partecipanti - attivita nel attivita nel Richieste finanziarie

LNL G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999 Obiettivi di Sadirc - Sadirc e stato proposto e approvato come esperimento biennale (1997 e 1998) per lo studio di reti a commutazione da utilizzare come event builder veloci nei sistemi di acquisizione dati negli esperimenti di fisica delle alte energie e di fisica nucleare. La proposta Sadirc e nata come esigenza comune di persone che afferivano ad esperimenti di fisica diversi: CMS, Euroball ed Icarus. - Altri obiettivi di Sadirc sono stati: - progettazione di controllori intelligenti di I/O veloci - realizzazione di micro sistemi di acquisizione dati per il test di rivelatori sia in laboratorio che sotto fascio.

LNL G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999 Il problema dellevent Builder nei moderni esperimenti di fisica 40 MHz 10 5 Hz 10 2 Hz 100 Tbyte/s 100 Gbyte/s 100 Mbyte/s Level 1 Trigger Event Manager Detector Frontend Event Builder Computing Services Controls Readout Filter Collision rate40 MHz Level-1 Maximum trigger rate100 kHz Average event size1 Mbyte No. of In-Out units ( byte/event)1000 Event builder ( switch) bandwidth500 Gbit/s Event filter computing power MIPS Data productionTbyte/day No. of readout crates250 No. of electronic boards10000 Collision rate40 MHz Level-1 Maximum trigger rate100 kHz Average event size1 Mbyte No. of In-Out units ( byte/event)1000 Event builder ( switch) bandwidth500 Gbit/s Event filter computing power MIPS Data productionTbyte/day No. of readout crates250 No. of electronic boards10000 Units

LNL G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999 Reti a commutazione studiate da Sadirc Sadirc ha studiato le seguenti reti a switch: - ATM (155 Mbit/s) - Fibre Channel Standard (1 Gbit/s) - GigaEthernet (1 Gbit/s) - Myrinet (TriDAS/CMS Cern) (1 Gbit/s) I risultati piu incoraggianti sono venuti da GigaEthernet e Myrinet.

LNL G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999 GigaEthernet Tests GE Switch READOUT UNIT READOUT UNIT SFI EVENT MANAGER LV-1 LV-2 Farm Request SFI READOUT UNIT SFI READOUT UNIT GE Switch - A GigaEthernet based 4x4 Event Builder test bed has been set up - Both Ru and FU are based on PII MHz commodity PC - All the nodes run vxWorks Two 7 ports Intel Express Gigabit Switch are used - Intel Pro 1000 PCI/GE interfaces are used - Both RCN and FCN are implemented using GE itself (and exploiting its full duplex features) - A standard vxWorks driver has been implemented according to the Pro 1000 specifications - Optimised software for Event Manager, Readout Unit and SFI has been written.

LNL G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999 GigaEthernet: Event Builder Summary B C D A

LNL G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999 GigaEthernet: Point to Point 4x1x4 READOUT UNIT READOUT UNIT SFI READOUT UNIT SFI READOUT UNIT Test Point

LNL G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999 GigaEthernet: Event Builder Latency Time GE Switch READOUT UNIT READOUT UNIT SFI EVENT MANAGER LV-1 LV-2 SFI read Request SFI READOUT UNIT Event Builder Latency time Time is taken from the SFI event read Request to the completion of the building of the relative event into the same SFI READOUT UNIT GE Switch SFI

LNL G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999 Prima generazione IOP di Sadirc The i960RD IOP is based on: - a RISC core of 50 MIPS - 2 PCI bridges with DMA (33/32) - 1 PCI to PCI bridge - a local bus at 33 MHz It is I2O compliant. Primary PCI Local Memory i960RD PMC-1 PMC-2 Fast Ethernet CMS -IOP i960RD at 66 MHz 32 Mbyte EDO RAM Embedded FastEthernet 2 PMC slot available 2 form factor available: - standard PCI - VME/PMC to be connected to VME/RUM IOP DDU RUI RUM LV-1 I960 Test

LNL G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999 Seconda generazione IOP di Sadirc Local Bus PPC 860T CUSTOM FPGA MEMORY PLX 9054 Custom I/O or PCI2 PCI Host Bus ATX-CMS Standard PMC connectors for PCI Host Standard PMC connectors for Custom I/O or PCI2 - Form Factor PMC - CPU PPC 860T (Embedded Fast Ethernet) - Local Bus at 50 MHz - Memory - PLX 9054 PCI to Local Bus Bridge. I2O queues - FPGA for custom I/O (100 lines) or secondary PCI Status of the project - 3 prototypes exist (pre-production) - 1 board fully mounted and running (ethernet and pci test in progress) -vxWorks ported and running (no ethernet) This board has been designed by Atenix (Verona-Italy) under specification of TriDAS group. Some part of the project are developed in collaboration with LNL (secondary PCI, OS porting, etc.) PowerQUICC II MPC MHz EC603e core 3 FastEthernet embedded 32 bit PCI bus PowerQUICC II MPC MHz EC603e core 3 FastEthernet embedded 32 bit PCI bus PLX bit/66 MHz PCI chip Evolution

LNL G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999 I micro sistemi DAQ di Sadirc Level 1 Trigger Event Manager Detector Frontend Event Builder Computing Services Controls Readout Filter Units Readout Unit VME Readout Unit (OS vxWorks, Linux) PC Readout Unit (OS vxWorks, Linux) Filter Unit PC/WKS Filter Unit (OS Solaris, Linux) INPUT PCI MXI ETHERNET OUTPUT ETHERNET SCSI Run Control based on Web Analysis Storage PPCPPC VME ADCs TDCs Lv-1 PMCPMC PMCPMC Lv-2 Ethernet Events MXI TTL/NIM CAMAC Lv-1 Lv-2 Events MXI TTL/NIM PII Ethernet SCSI IDE - New Gasp - Prisma - CMS muon chamber - Icarus 60 t

LNL G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999 Estensione dellattivita al PC Pentium III 500 MHz6 Ml 4 PC PIII Dual Proc/Dual Bus 24 Ml 8 Interfacce GigaEthernet 12 Ml _________ Totale (con IVA) 51 Ml 4 PC Pentium III 500 MHz6 Ml 4 PC PIII Dual Proc/Dual Bus 24 Ml 8 Interfacce GigaEthernet 12 Ml _________ Totale (con IVA) 51 Ml Configurazione di Test GigaEthernet Switch a bcdefgh EVM Readout Units (standard Desktop running vxWorks) Switch Farm Interfaces (Dual Proc/Dual Bus PCs running vxWorks) Sub-Farm PCs (standard Desktop running Linux) - I PC Readout unit ed EVM vengono recuperati dal prototipo funzionante e presentato in questa nota - Si comprano 4 PC standard desktop - Si comprano 4 PC dual proc/dual bus per provare la distribuzione degli eventi alle subfarm - Lo switch a 17 porte viene fornito dalla Intel sotto accordo beta site approvato. - I PC Readout unit ed EVM vengono recuperati dal prototipo funzionante e presentato in questa nota - Si comprano 4 PC standard desktop - Si comprano 4 PC dual proc/dual bus per provare la distribuzione degli eventi alle subfarm - Lo switch a 17 porte viene fornito dalla Intel sotto accordo beta site approvato. 45 Ml

LNL G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999 La proposta Sadirc2000 La proposta Sadirc2000 si articola nel seguente modo: –Anno 2000 : Testare GigaEthernet 1000 Base T. GigaEthernet su cavi cat. 5 (1000 Base T) e stato approvato recentemente come standard internazionale. Per fine anno 1999 ci saranno i primi prodotti. I prezzi saranno competitivi con fastethernet. GigaEthernet a 100$ a porta potrebbe essere la soluzione per i grossi esperimenti con event builder a migliaia di nodi Base T usa gli stessi chip di interfaccia dellattuale GE in fibra. Ci aspettiamo quindi medesime prestazioni, ma prezzi, a regime, anche 10 volte inferiori. Realizzare un dimostratore di event building 16x16 (16 sorgenti e 16 destinazioni) basato su 1000 Base T. Questo dimostratore estende i test positivi effettuati su GE in fibra (8x8), ne puo dimostrare la scalabilita, diventa un test significativo per verificare i simulatori (che poi scaleranno i risultati a 512x512 nodi). Il prezzo, se comparato al caso in fibra, e contenuto. Realizzazione di sub-farm basate su Linux seguendo lo stesso schema del 1999, ma utilizzando uno switch giga/fastethernet –Anno 2001 : Studio di sistemi dedicati allIO molto efficienti che potrebbero sostituire i nodi Readout Unit e SFI. Seguire lo sviluppo tecnologico sulle nuove architetture di macchine con particolare riferimento a NGIO e Future IO. Realizare dei prototipi di readout unit e sfi basati su queste tecnologie

LNL G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999 Nuove Architetture di IO Ci sono almeno 2 iniziative promosse da grandi ditte produttrici di PC che sembrano molto interessanti per i nostri event filter. Queste iniziative hanno lo scopo di disegnare una nuova architettura di macchina nel tentativo di superare il bottleneck rappresentato dal modello a bus di IO condiviso (PCI). Queste iniziative si chiamano Next Generation IO (NGIO promosso da Intel, Sun, Dell, Hitachi, NEC e Siemens) e Future IO (promosso da Adaptec, Compaq, HP, IBM e 3COM) Le due proposte, a parte anche sostanziali differenze implementative, sono dal punto di vista architetturale molto simili Mem Cntrl Mem Channel Adapter Switch IO Cntrl IO Cntrl CPU Channel Adapter Il Bus di IO diventa uno Switch Il Bus di IO diventa uno Switch Non ci sono piu slot, ma links Il bridge di IO diventa un DMA Engine

LNL G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999 Partecipanti a Sadirc2000 Laboratori Nazionali di Legnaro –Luciano Berti (50%) –Michele Gulmini (50%) –Gaetano Maron (50%) –Nicola Toniolo (50%) –Gabriele Vedovato (50%) –XiaoQing Yang (50%) Sezione di Padova –Marina Passaseo (30%) –Donatella Pascoli (25%) –Sandro Ventura (25%)

LNL G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999 Richieste Finanziarie 2000 Laboratori Nazionali di Legnaro Inventario: 4 PC dual bus/dual processor24 Ml 12 PC standard36 Ml totale (con IVA) 72 Ml Consumo 32 interfacce GE Base T 32 Ml 8 hard disc per macchine Linux 4 Ml totale (con IVA) 44 Ml Trasferte Estero (3 persone equivalenti) 30 Ml Trasferte Interno 4 Ml 150 ML Sezione di Padova Inventario: 1 Swtich Ge/FastEthernet 8 Ml 1 Switch Ge72 Ml totale (con IVA) 96 Ml Consumo varie 4 Ml totale (con IVA) 4 Ml Trasferte Estero (0.5 persone equivalenti) 5 Ml Trasferte Interno 1 Ml 106 ML

LNL G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999 Richieste Finanziarie 2001 Laboratori Nazionali di Legnaro Prototipi Readout Unit basati su NGIO 50 Ml Sezione di Padova Prototipi SFI basati su NGIO 50 Ml