Studio preliminare di IMAP e stato dei servizi di posta A cura del gruppo Mailing INFN CCR, 31 maggio 2007 Hanno contribuito a questo lavoro: Roberto Cecchini,

Presentazione sul tema: "Studio preliminare di IMAP e stato dei servizi di posta A cura del gruppo Mailing INFN CCR, 31 maggio 2007 Hanno contribuito a questo lavoro: Roberto Cecchini,"— Transcript della presentazione:

1 Studio preliminare di IMAP e stato dei servizi di posta A cura del gruppo Mailing INFN CCR, 31 maggio 2007 Hanno contribuito a questo lavoro: Roberto Cecchini, Mirko Corosu, Domenico Diacono, Marco Esposito, Antonio Forte, Ombretta Pinazza, Alessandro Spanu

2 I. parte Definizioni, IMAP, formati mailbox, FS IMAP = Internet Message Access Protocol IMAP è un protocollo di comunicazione per la ricezione di e-mailprotocollo di comunicazionee-mail permette ad un client (o a più client simultaneamente) di accedere, leggere, cancellare le e-mail da un server, in modalità online o offline Versioni opensource analizzate in questa fase della ricerca: Cyrus Courier IMAP Dovecot UW IMAP Altri IMAP server Binc IMAP, Citadel/UX, CommuniGate Pro, FirstClass Server, IBM Lotus Domino Server, Kerio MailServer, MailEnable, Merak Mail Server, MDaemon, Mirapoint Email Appliance, Microsoft Exchange Server

3 Formati delle mailbox tre tipi di mailbox tre tipi di mailbox Ci sono tre tipi di mailbox : tre tipi di mailbox 1.ogni mailbox è costituita da un unico file, nel quale i messaggi sono separati da un carattere o una stringa 2.ogni mailbox è una directory (o struttura di directory) e ogni messaggio è un file singolo 3.una mailbox è un database UW IMAP CyrusCourierDovecot MBOX (1)XX Mbx (1)XX Mix (1)X Maildir (2)XX Cyrus (3)X Dbox (1-2)X

4 Caratteristiche principali delle mailbox maildir –è nato per superare i problemi dovuti a MBOX. I singoli messaggi sono salvati in file separati, con un meccanismo che li rinomina opportunamente. –Pregi: più processi possono accedere a maildir in contemporanea; funziona su NFS; è adatto a mailbox dinamiche. –Difetti: le prestazioni dipendono dal client usato; le mailbox sono difficilmente portabili o archiviabili. MBOX –è il formato tradizionale nei sistemi UNIX. I singoli messaggi sono concatenati fra loro in un unico file, separati da un marker. Un solo processo può accedere al file mbox in modo read/write ed è attivo un meccanismo di locking. –Pregi: self-consistenti, è il formato adatto per l’archiviazione delle cartelle. –Difetti: non adatto a filesystem distribuiti o su NFS, problemi di scalabilità, difficoltà a gestire messaggi voluminosi. cyrus –è simile a maildir: i singoli messaggi sono salvati in file separati, in più sono presenti due file di indice/cache simili a un database. –Pregi: più processi possono accedere a maildir in contemporanea; funziona su NFS; è adatto a mailbox dinamiche. Buone prestazioni, scalabilità. –Difetti: non standard, mailbox difficilmente portabili o archiviabili. MBX –Versione avanzata di MBOX: la mailbox è ancora un singolo file e richiede locking, ma i messaggi sono separati da un record di metadati che agevola la ricerca. DBOX (in sviluppo) –formato proposto da dovecot, disegnato per alte prestazioni: i messaggi sono salvati in uno o più file MIX –Nuovo formato di UW- IMAP 2006 ad alte prestazioni, in cui le mailbox possono essere salvate su più file, indicizzati.

5 Benchmark IMAP/mailbox/filesystem Sono stati pubblicati alcuni interessanti confronti fra server IMAP, formati di mailbox e diversi filesystem: 1. IMAP Benchmark: http://www.decisionsoft.com/pdw/mailbench.htmlhttp://www.decisionsoft.com/pdw/mailbench.html 2. Benchmarking Isode vs other IMAP: http://www.isode.com/whitepapers/mbox-benchmark.htmlhttp://www.isode.com/whitepapers/mbox-benchmark.html 3. Benchmarking mbox versus maildir: http://www.courier-mta.org/mbox-vs-maildir/http://www.courier-mta.org/mbox-vs-maildir/ Alcuni risultati: –con il crescere del numero di messaggi, delle dimensioni degli attachment e quindi delle mailbox, i formati maildir o cyrus mostrano prestazioni molto migliori di MBOX; sembra interessante anche il nuovo mix di UW-IMAP 2006. –i filesystem indicizzati contribuiscono ad aumentare le prestazioni; il migliore sembra essere reiserfs (in particolare disabilitando atime update); buoni anche XFS e EXT3 se opportunamente configurati: –ext3: deve avere il kernel configurato per l’indicizzazione del filesystem –Xfs: la velocità di accesso può migliorare configurando il parametro logbufs al montaggio del filesystem

6 II. Parte: Censimento I sistemi di posta all’interno dell’INFN Alla fine di Aprile è stato inviato a tutte le sedi un questionario relativo ai sistemi di posta Grazie a *TUTTI* gli amici e colleghi delle sedi che hanno contribuito alla raccolta delle informazioni!!

7 Lavori in corso Prime osservazioni: Molte sedi stanno lavorando per migliorare i servizi di posta Il servizio di posta è considerato un servizio critico, che impegna risorse umane e hardware Molte sedi progettano sistemi in HA per garantire la continuità del servizio

8 Le “dimensioni” dei servizi di posta

9 Hardware utilizzato nelle sedi INFN Server IMAP: –Server biprocessori (88%) –Intel Xeon (69%) –RAM media 2.2 GB Server MTA: –Spesso la stessa macchina che fa da IMAP server, o una identica, ma in generale si dedicano piu risorse al server IMAP

10 Server IMAP: OS e FS Quasi tutti utilizzano Linux (diverse distribuzioni) con diversi tipi di filesystem Ci sono ancora 3 siti che utilizzano Digital Unix, ma li stanno gradualmente sostituendo

11 Software: IMAP e MTA Il server IMAP più utilizzato è UW IMAP (10 MBOX, 1 mbx) I sistemi installati più di recente usano cyrus e dovecot (3 con MBOX, 1 con maildir) Il software MTA più utilizzato è sendmail I sistemi installati più di recente usano postfix

12 Il problema (?) dello SPAM e l’antivirus centralizzato tutte le sedi hanno implementato sistemi antispam che giudicano efficaci quasi tutte utilizzano antivirus sul mailserver

13 “Accessori”: webmail e mailing lists

14 III parte: il gruppo Mailing Il gruppo Mailing raccoglie dati ed esperienze per contribuire all’ottimizzazione e allo sviluppo dei servizi di posta Attività del gruppo Mailing: –Studio dei sistemi IMAP: lo studio IMAP sta continuando e sarà orientato soprattutto ai nuovi formati scalabili e all’importanza del filesystem –Il censimento ha permesso di raccogliere una gran mole di informazioni per definire il punto di partenza dello studio IMAP –Script per monitoraggio e raccolta dati: il software di monitoraggio delle macchine di posta deve essere mirato a evidenziare i punti critici del sistema, altrimenti diventerà uno fra i tanti tool di monitoraggio… Antispam? Sendmail e configurazioni di sicurezza? Whitelist? Continuità e garanzia del SERVIZIO

15 Criticità Le mailbox sono in continua crescita, nel numero ma soprattutto nella dimensione; si osservano problemi di performance per IMAP SERVER IMAP e FILE SYSTEM La posta è un servizio CRITICO, tutti cerchiamo metodi per garantire la continuità e l’affidabilità del servizio HA, (ridondanza, backup, virtualizzazione, …)

16 Tendenze Le nuove installazioni vanno verso postfix e dovecot (più semplici da gestire?!) HA: 2 sedi hanno già implementato servizi di posta in alta affidabilità, 11 (o più) vorrebbero seguire la stessa strada Virtualizzazione: una sede ha virtualizzato sia il server IMAP che il server MTA, un’altra il server MTA, altre si stanno attrezzando.

17 Futuro (prossimo) del gruppo Mailing Il personale dei SCR è impegnato su moltissimi fronti: –Oggi non ci sono (credo?) problemi urgenti o gravi che richiedano la definizione di nuovi progetti –Centralizzazione dei servizi: Solo se ci fossero sedi che ne esprimessero la necessità –Il gruppo resta sempre in standby, nel caso si presentassero nuovi problemi, e offrire consulenza e collaborazione tramile la lista mail Per gli sviluppi dei sistemi di posta attuali: –Continua lo studio di IMAP, mailbox e filesystem Sperimentazione? –… intreccio con AAI –… intreccio con il gruppo di lavoro HA –… intreccio con il gruppo di lavoro webtool –… intreccio con il gruppo Security