Servizio posta Situazione al 27/09/2012 Marco De Rossi Marco Esposito Antonio Forte

Sommario Situazione al 09/05/2012 − Panoramica − SMTP − IMAP Situazione al 22/07/20120 − Panoramica − SMTP Situazione attuale − Panoramica − IMAP − Caratteristiche del nuovo servizio IMAP − Dovecot: vantaggi e svantaggi − Attività di migrazione − Procedure backup e restore Attività e sviluppi futuri 2

Situazione al 09/05/2012 Panoramica postino3 / postino4 (alias smtp.roma1.infn.it) − MX di dominio − SMTP in ingresso e in uscita + antispam/antivirus − milter greylist mailbox − IMAP webmail − macchina virtuale Xen sul cluster RH in produzione − interfaccia web servizio IMAP lists − macchina virtuale Xen sul cluster RH in produzione − gestione mailing list 3

Situazione al 09/05/2012 SMTP 1/2 postino3 hardware − HP Proliant DL380 G4 (fuori manutenzione) − 2 processori Intel Xeon 3.40 GHz − 4 GB di RAM software − Scientific Linux 5.0 − PureMessage 5.6  Centralized Server Manager (CSM): quarantena, regole antispam, white/black lists  Edge Server − milter greylist  difesa dallo spam: consegna ritardata della posta − Sendmail  SMTP in ingresso (MX per il dominio)  SMTP in uscita non autenticato dall’interno del dominio autenticato con certificato X.509 da fuori domino 4

Situazione al 09/05/2012 SMTP 2/2 postino4 hardware − HP Proliant DL380 G4 (fuori manutenzione) − come postino3 software − Scientific Linux 5.0 − PureMessage 5.6  Edge Server − milter greylist  come postino3 − Sendmail  come postino3 5

Situazione al 09/05/2012 IMAP mailbox hardware − HP Proliant DL380 G4 (fuori manutenzione) − 2 processori dual-core AMD 2.40 GHz − 8 GB di RAM − HBA dual-port verso SAN software − Scientific Linux bit − modulo Qlogic per gestione HBA − UW IMAP 2007f  folder IMAP in formato MBX  folder IMAP  file contenente tutte le  IMAP su SSL − folder IMAP su filesystem ext3 − procmail per la consegna della posta (INBOX/SPAM) − backup su sanbackup basato su rsync 6

Situazione al 22/07/2012 Panoramica postinoauth1 (alias smtp.roma1.infn.it) − SMTP in uscita  non autenticato dall’interno del dominio  autenticato con username/password oppure con certificato X.509 da fuori domino postino3 / postino4 − SMTP solo in ingresso (MX per il dominio) − aggiornamento a PureMessage 6.0 mailbox (invariata) − IMAP webmail (invariata) − interfaccia web servizio IMAP lists (invariata) − gestione mailing list 7

Situazione al 22/07/2012 SMTP 1/3 postinoauth1 (alias smtp.roma1.infn.it) hardware − E4 (?) (fuori manutenzione) − 1 processore dual-core Intel Xeon GHz − 4 GB di RAM software − Scientific Linux 5.8 − Sendmail − milter greylist 8

Situazione al 22/07/2012 SMTP 2/3 autenticazione dall’esterno LAN: − certificato personale INFN-CA:  porta STARTTLS + No authentication − username e password kerberos:  porta STARTTLS + Normal password  porta SSL/TLS + Normal password (vecchi client) − possibilità di utilizzare combinazioni di cui sopra (certificato + username e password) autenticazione dall’interno LAN: − nessuna: porta 25 (traffico in chiaro) − tutte quelle supportate dall’esterno LAN 9

Situazione al 22/07/2012 SMTP 3/3 certificato rilasciato da COMODO per smtp.roma1.infn.it principali modifiche in /etc/mail/sendmail.mc configurazione RELAY in /etc/mail/access 10

Situazione attuale Panoramica postinoauth1 (invariata) − SMTP in uscita autenticato postino3 / postino4 (invariata) − MX di dominio − SMTP in ingresso + antispam/antivirus − milter greylist mailshell − Hypervisor Xen mailboxvm (alias mailbox.roma1.infn.it) − Macchina virtuale Xen − IMAP webmail (invariata) − interfaccia web servizio IMAP lists (invariata) − gestione mailing list 11

Situazione attuale IMAP 1/2 mailshell macchina fisica hardware − HP Proliant DL360 G5 (fuori manutenzione) − 2 processori quad-core Intel Xeon 2.66 GHz (8 CPU) − 8 GB di RAM − HBA dual-port verso SAN software − Scientific Linux bit − modulo DM-Multipath per gestione HBA − Xen Hypervisor

Situazione attuale IMAP 2/2 mailboxvm (alias mailbox.roma1.infn.it) hardware − macchina Xen paravirtualizzata  3 cpu virtuali  6 GB di RAM software − Scientific Linux bit − Dovecot 2.1 − Procmail per la consegna della posta (INBOX/SPAM) − folder IMAP su file system ext3 13

Caratteristiche del nuovo servizio IMAP 1/3 Dovecot 2.1 Folder IMAP in formato Maildir++ − 1  1 file − un folder può contenere sia che subfolder − ogni folder utente contiene 3 directory: cur, new, tmp folder tmpnewcur 14

Caratteristiche del nuovo servizio IMAP 2/3 tmp − contiene i messaggi appena consegnati dal MTA new − dopo la consegna i messaggi vengono spostati da tmp in new tramite hard-link cur − quando il MUA si collega i messaggi vengono spostati in cur 15

Caratteristiche del nuovo servizio IMAP 3/3 Organizzazione dei folder sul file system INBO X foo bar1 bar /var/imap/ /cur /var/imap/ /new /var/imap/ /tmp /var/imap/ /.foo/cur /var/imap/ /.foo/new /var/imap/ /.foo/tmp /var/imap/ /.foo.bar1/cur /var/imap/ /.foo.bar1/new /var/imap/ /.foo.bar1/tmp /var/imap/ /.foo.bar2/cur /var/imap/ /.foo.bar2/new /var/imap/ /.foo.bar2/tmp 16

Dovecot: vantaggi e svantaggi Vantaggi − 1 mail  1 file: migliorate performance I/O e performance dell’intero servizio IMAP; load average < 0,7 − soluzione scalabile: più server IMAP contemporanei utilizzando clustered filesystem (nostro test con OCFS2) − backup differenziale più efficiente: meno dati da trasferire − macchina virtuale semplice da migrare su altro hardware (rottura macchina fisica, cluster) Svantaggi − non consentito carattere “.” nei nomi dei folder; eventuali “.” creano sottofolder (v. slide predecente)  in fase di migrazione convertiti tutti i “.” in “_” nei nomi folder − restore da nastro più lento: necessità di leggere molti file 17

Attività di migrazione 1/2 Installazione mailshell − configurazione DM-Multipath − creazione volumi su SAN − configurazione Xen con esportazione volumi a vm Installazione mailboxvm − configurazione utenti posta elettronica (NIS) − configurazione e test di Dovecot 18

Attività di migrazione 2/2 Migrazione − rinominato nel DNS mailbox in mailboxold − mailbox diventa alias di mailboxold − modifica userdb su postino3/4 per consegnare posta su mailboxold e mailboxvm − stop imap su mailboxold e mailboxvm (no lettura mail) − stop sendmail su mailboxold e mailboxvm (no delivery mail) − conversione folder utenti tramite script uw2dovecot.pl (MBX  Maildir++) − verifica esito conversione (conteggio mail su mailboxold e mailboxvm) − ripristino sendmail su mailboxold e mailboxvm − mailbox diventa alias di mailboxvm − ripristino imap su mailboxvm Post-migrazione − test nuovo sistema in produzione (eventuale ripristino di mailboxold) − aggiornamento procedure di backup − spegnimento di mailboxold (21/09/2012) − ripristino userdb su postino3/4 per consegnare posta su mailbox 19

Procedure di backup e restore Problemi con procedura backup − lentezza compressione file (oltre ) Nuova procedura backup − eliminazione compressione file − eliminazione rotazione giornaliera backup − backup su sanbackup in /backup/posta/mailboxvm/current − rsync differenziale giornaliero di “current” (con Maildir++ meno dati da trasferire) − backup di “current” su Bacula Nuova procedura restore − restore veloce da “current” (solo giorno precedente) − restore da Bacula per giorni precedenti − procedura da rivedere su wikisicr 20

Attività e sviluppi futuri implementare vacation eliminare vecchio SPAM dai folder utente attivare SPAM con digest e gestione quarantena eliminare forward mail su userdb di postino3/postino4 (31 casi) virtualizzazione postino3/postino4/postinoauth1 cluster (dedicato?) per il servizio di posta − mailboxvm − postino3 − postino4 − pstinoauth1 − webmail − lists spostamento filesystem folder utenti su nuovo storage DELL altro? 21