Studio preliminare di IMAP e stato dei servizi di posta A cura del gruppo Mailing INFN CCR, 31 maggio 2007 Hanno contribuito a questo lavoro: Roberto Cecchini, Mirko Corosu, Domenico Diacono, Marco Esposito, Antonio Forte, Ombretta Pinazza, Alessandro Spanu

I. parte Definizioni, IMAP, formati mailbox, FS IMAP = Internet Message Access Protocol IMAP è un protocollo di comunicazione per la ricezione di protocollo di comunicazione permette ad un client (o a più client simultaneamente) di accedere, leggere, cancellare le da un server, in modalità online o offline Versioni opensource analizzate in questa fase della ricerca: Cyrus Courier IMAP Dovecot UW IMAP Altri IMAP server Binc IMAP, Citadel/UX, CommuniGate Pro, FirstClass Server, IBM Lotus Domino Server, Kerio MailServer, MailEnable, Merak Mail Server, MDaemon, Mirapoint Appliance, Microsoft Exchange Server

Formati delle mailbox tre tipi di mailbox tre tipi di mailbox Ci sono tre tipi di mailbox : tre tipi di mailbox 1.ogni mailbox è costituita da un unico file, nel quale i messaggi sono separati da un carattere o una stringa 2.ogni mailbox è una directory (o struttura di directory) e ogni messaggio è un file singolo 3.una mailbox è un database UW IMAP CyrusCourierDovecot MBOX (1)XX Mbx (1)XX Mix (1)X Maildir (2)XX Cyrus (3)X Dbox (1-2)X

Caratteristiche principali delle mailbox maildir –è nato per superare i problemi dovuti a MBOX. I singoli messaggi sono salvati in file separati, con un meccanismo che li rinomina opportunamente. –Pregi: più processi possono accedere a maildir in contemporanea; funziona su NFS; è adatto a mailbox dinamiche. –Difetti: le prestazioni dipendono dal client usato; le mailbox sono difficilmente portabili o archiviabili. MBOX –è il formato tradizionale nei sistemi UNIX. I singoli messaggi sono concatenati fra loro in un unico file, separati da un marker. Un solo processo può accedere al file mbox in modo read/write ed è attivo un meccanismo di locking. –Pregi: self-consistenti, è il formato adatto per l’archiviazione delle cartelle. –Difetti: non adatto a filesystem distribuiti o su NFS, problemi di scalabilità, difficoltà a gestire messaggi voluminosi. cyrus –è simile a maildir: i singoli messaggi sono salvati in file separati, in più sono presenti due file di indice/cache simili a un database. –Pregi: più processi possono accedere a maildir in contemporanea; funziona su NFS; è adatto a mailbox dinamiche. Buone prestazioni, scalabilità. –Difetti: non standard, mailbox difficilmente portabili o archiviabili. MBX –Versione avanzata di MBOX: la mailbox è ancora un singolo file e richiede locking, ma i messaggi sono separati da un record di metadati che agevola la ricerca. DBOX (in sviluppo) –formato proposto da dovecot, disegnato per alte prestazioni: i messaggi sono salvati in uno o più file MIX –Nuovo formato di UW- IMAP 2006 ad alte prestazioni, in cui le mailbox possono essere salvate su più file, indicizzati.

Benchmark IMAP/mailbox/filesystem Sono stati pubblicati alcuni interessanti confronti fra server IMAP, formati di mailbox e diversi filesystem: 1. IMAP Benchmark: 2. Benchmarking Isode vs other IMAP: 3. Benchmarking mbox versus maildir: Alcuni risultati: –con il crescere del numero di messaggi, delle dimensioni degli attachment e quindi delle mailbox, i formati maildir o cyrus mostrano prestazioni molto migliori di MBOX; sembra interessante anche il nuovo mix di UW-IMAP –i filesystem indicizzati contribuiscono ad aumentare le prestazioni; il migliore sembra essere reiserfs (in particolare disabilitando atime update); buoni anche XFS e EXT3 se opportunamente configurati: –ext3: deve avere il kernel configurato per l’indicizzazione del filesystem –Xfs: la velocità di accesso può migliorare configurando il parametro logbufs al montaggio del filesystem

II. Parte: Censimento I sistemi di posta all’interno dell’INFN Alla fine di Aprile è stato inviato a tutte le sedi un questionario relativo ai sistemi di posta Grazie a *TUTTI* gli amici e colleghi delle sedi che hanno contribuito alla raccolta delle informazioni!!

Lavori in corso Prime osservazioni: Molte sedi stanno lavorando per migliorare i servizi di posta Il servizio di posta è considerato un servizio critico, che impegna risorse umane e hardware Molte sedi progettano sistemi in HA per garantire la continuità del servizio

Le “dimensioni” dei servizi di posta

Hardware utilizzato nelle sedi INFN Server IMAP: –Server biprocessori (88%) –Intel Xeon (69%) –RAM media 2.2 GB Server MTA: –Spesso la stessa macchina che fa da IMAP server, o una identica, ma in generale si dedicano piu risorse al server IMAP

Server IMAP: OS e FS Quasi tutti utilizzano Linux (diverse distribuzioni) con diversi tipi di filesystem Ci sono ancora 3 siti che utilizzano Digital Unix, ma li stanno gradualmente sostituendo

Software: IMAP e MTA Il server IMAP più utilizzato è UW IMAP (10 MBOX, 1 mbx) I sistemi installati più di recente usano cyrus e dovecot (3 con MBOX, 1 con maildir) Il software MTA più utilizzato è sendmail I sistemi installati più di recente usano postfix

Il problema (?) dello SPAM e l’antivirus centralizzato tutte le sedi hanno implementato sistemi antispam che giudicano efficaci quasi tutte utilizzano antivirus sul mailserver

“Accessori”: webmail e mailing lists

III parte: il gruppo Mailing Il gruppo Mailing raccoglie dati ed esperienze per contribuire all’ottimizzazione e allo sviluppo dei servizi di posta Attività del gruppo Mailing: –Studio dei sistemi IMAP: lo studio IMAP sta continuando e sarà orientato soprattutto ai nuovi formati scalabili e all’importanza del filesystem –Il censimento ha permesso di raccogliere una gran mole di informazioni per definire il punto di partenza dello studio IMAP –Script per monitoraggio e raccolta dati: il software di monitoraggio delle macchine di posta deve essere mirato a evidenziare i punti critici del sistema, altrimenti diventerà uno fra i tanti tool di monitoraggio… Antispam? Sendmail e configurazioni di sicurezza? Whitelist? Continuità e garanzia del SERVIZIO

Criticità Le mailbox sono in continua crescita, nel numero ma soprattutto nella dimensione; si osservano problemi di performance per IMAP SERVER IMAP e FILE SYSTEM La posta è un servizio CRITICO, tutti cerchiamo metodi per garantire la continuità e l’affidabilità del servizio HA, (ridondanza, backup, virtualizzazione, …)

Tendenze Le nuove installazioni vanno verso postfix e dovecot (più semplici da gestire?!) HA: 2 sedi hanno già implementato servizi di posta in alta affidabilità, 11 (o più) vorrebbero seguire la stessa strada Virtualizzazione: una sede ha virtualizzato sia il server IMAP che il server MTA, un’altra il server MTA, altre si stanno attrezzando.

Futuro (prossimo) del gruppo Mailing Il personale dei SCR è impegnato su moltissimi fronti: –Oggi non ci sono (credo?) problemi urgenti o gravi che richiedano la definizione di nuovi progetti –Centralizzazione dei servizi: Solo se ci fossero sedi che ne esprimessero la necessità –Il gruppo resta sempre in standby, nel caso si presentassero nuovi problemi, e offrire consulenza e collaborazione tramile la lista mail Per gli sviluppi dei sistemi di posta attuali: –Continua lo studio di IMAP, mailbox e filesystem Sperimentazione? –… intreccio con AAI –… intreccio con il gruppo di lavoro HA –… intreccio con il gruppo di lavoro webtool –… intreccio con il gruppo Security