Teoria dell’Informazione (Classica)

Presentazione sul tema: "Teoria dell’Informazione (Classica)"— Transcript della presentazione:

1 Teoria dell’Informazione (Classica)
Andrea G. B. Tettamanzi Università degli Studi di Milano Dipartimento di Tecnologie dell’Informazione

2 Lezione 10 11 novembre 2002

3 Decodifica CANALE Decodifica Regola di decisione

4 Caso più semplice Se ricevo che cosa sarà stato inviato?

5 Criterio di massima verosimiglianza
Per la regola di Bayes: Nel caso di distribuzione uniforme di X

6 Errore con Criterio di M.V.

7 Distanza di Hamming e C.M.V.
CANALE diminuisce al crescere di Quindi, il C.M.V. dice: prendi la w più vicina.

8 Richiami di Algebra Gruppi Gruppi ciclici Sottogruppi Laterali
Anelli, ideali, classi di resto Campi

9 Gruppi è un gruppo sse 1 2 3 Abeliano sse

10 Tabella di Cayley - Ogni riga o colonna contiene tutti gli elementi del gruppo - Se il gruppo è abeliano, la tabella è simmetrica

11 Periodo di un elemento Se il gruppo è finito, Periodo di un elemento:

12 Gruppi ciclici Gruppo ciclico: elementi sono tutti potenze di qualche elemento. Ogni gruppo ciclico è abeliano. Infatti, Inoltre, tutti i gruppi ciclici dello stesso ordine sono isomorfi. gruppo astratto di ordine p

13 Sottogruppi Soddisfa gli assiomi di gruppo Sottogruppo normale sse
Ogni sottogruppo di un gruppo abeliano è normale

14 Laterali di un gruppo Rappresentante del laterale

15 Teorema di Lagrange L’ordine di ogni sottogruppo H di un gruppo finito G è un divisore dell’ordine di G. Espansione di G nei laterali di H: Ma non viceversa! Se H è normale, i laterali di G rispetto ad H formano un guppo detto quoziente

16 Anelli anello sse gruppo abeliano rispetto a + e 1 2 3 Commutativo sse

17 Ideali sottogruppo (ideale destro) (ideale sinistro)
Un ideale è un sottogruppo normale

18 Classi di resto Le classi di resto di un anello su un ideale sono a loro volta un anello: l’anello delle classi di resto

19 Ideali e classi di resto sugli interi
Un insieme di numeri interi è un ideale sse costituito da tutti i multipli di un intero n; allora si denota con (n) Ogni classe di resti costruita sull’ideale (n) contiene 0 o un intero minore di n. Tutti i numeri da 1 a n – 1 sono in classi di resto distinte, 0 è un elemento dell’ideale.

20 Campi Un anello con elemento neutro 1 rispetto al prodotto e inverso:
Dato un numero primo p, è un campo Esiste solo un campo di ordine 2 ed è denotato GF(2)

21 Teorema di Fermat p primo a non divisibile per p divisibile per p
Dimostrazione tutti diversi tra loro Uguali a meno di permutazioni c.v.d.

22 Lezione 11 14 novembre 2002

23 Elementi di Algebra Polinomiale
Polinomi come generalizzazione della rappresentazione posizionale dei numeri Polinomi con coefficienti su GF(2) Algebre lineari associative Ampliamento algebrico di GF(p) Radici di polinomi Scomposizione in fattori

24 Polinomi come generalizzazione della rappresentazione posizionale dei numeri
N-uple di cifre binarie Polinomi con coefficienti in GF(2)

25 Polinomi con coefficienti su GF(2)
Polinomio di grado Polinomio irriducibile Numero primo Somma Prodotto È un anello!

26 Proprietà dell’anello dei Polinomi con coefficienti in GF(2)
Un insieme di polinomi è un ideale sse è costituito da tutti i multipli di un polinomio. Ogni classe di resto dell’anello dei polinomi, costruita sull’ideale (g(x)), con g(x) di grado n, contiene o 0 o un polinomio di grado minore di n. Tutti i polinomi di grado minore di n stanno in classi di resto distinte.

27 Algebra lineare associativa
…su un campo F, è un anello X tale che,

28 Algebre Lineari Associative
L’anello dei polinomi g(x) di grado n, è un’algebra lineare associativa di dimensione n sul campo F, ove si definisca Dimostrazione (che la dimensione è n): sono lin. indipendenti (una base) Perché questo polinomio è di grado minore di n e quindi non sta nella classe di resto di 0!

29 Ampliamento algebrico di GF(p)
Da irriducibile su Si ottiene costruendo le classi di resto sull’ideale di g(x) Esempio:

30 Radici di polinomi di grado n irriducibile su
I p – 1 elementi non nulli di GF(p) sono tutte le radici di

31 Scomposizione in fattori
sse n divisibile per m divisibile per Ogni p(x) di grado m irriducibile su GF(p) è un fattore di Un polinomio irriducibile appartiene all’esponente e sse tutte le sue radici hanno periodo e. Un polinomio è primitivo se è irriducibile di grado m con coefficienti su GF(p) e ammette come radice un elemento primitivo del campo ampliamento.

32 Lezione 12 25 novembre 2002

33 Codici a rivelazione e correzione di errori
Sorgente . . . Blocchi di lunghezza l codifica Lunghezza n > l parità

34 Codificazione Tasso di trasmissione:
Scelta di M parole tra le 2n possibili Parole di codice | Parole vuote

35 Rivelazione e correzione d’errore
Codice Rivelazione di errore: Correzione di errore:

36 Codici lineari (1) spazio vettoriale a n dimensioni
linearmente indipendenti Il codice lineare è il sottospazio vettoriale con base e distanza di Hamming d. Matrice generatrice:

37 Codici lineari (2) Peso di Hamming di w: numero di “1”. … sempre!
Teorema:

38 Codifica e Decodifica H matrice di parità
Si consideri la matrice identità di ordine k, Ciascuna riga della matrice identità corrisponde a un simbolo sorgente. Codifica: H matrice di parità Decodifica:

39 Codici sistematici Messaggio sorgente Controllo
Per i codici sistematici, si ha:

40 Esempio: codice lineare (7, 4)

41 Sindrome Parola ricevuta Parola inviata Errore Tabella di decodifica:
Correzione, secondo il Criterio di M.V.: . . . . . . Rappresentanti dei laterali

42 Lezione 13 28 novembre 2002

43 Codici di Hamming un codice in GF(2), detto di Hamming,
La matrice di parità ha come colonne tutte le m-uple non nulle. Codici lineari accorciati: sopprimere r righe ed r colonne della matrice generatrice.

44 Codici di Reed e Muller sono le righe di una matrice che ha per
colonne tutte le possibili m-uple di 0 e 1. di ordine r

45 Probabilità di errore residua
probabilità di commettere i errori capacità di correzione di errori Probabilità di errore residua per un codice

46 Codici ciclici Sottoclasse dei codici lineari
facile ed economica implementazione di codifica e decodifica buona capacità di rivelazione e correzione d’errore a distribuzione casuale a pacchetto elevato grado di utilizzabilità con tecnologia moderna (microprocessori, VLSI, ecc.).

47 Definizione di codice ciclico
Un codice lineare K è ciclico sse implica che tutti i vettori ottenuti da w per rotazione ciclica appartengono a K. Esempio:

48 Rotazione ciclica modulo

49 Teorema V ideale: V ciclico:
Un sottospazio V di un’algebra lineare associativa A modulo un polinomio di tipo è ciclico sse è un ideale. V ideale: V ciclico: E quindi V è un ideale di A

50 Teorema con Se allora l’ideale generato da g(x) ha k dimensioni.
Dimostrazione: è una base dell’ideale: infatti, perché è di grado n – 1.

51 Codici ciclici e codici lineari
Qualunque sottospazio ciclico di un’algebra lineare associativa modulo un polinomio ciclotomico è un codice ciclico. Sono codici ciclici gli ideali di un’algebra modulo polinomi ciclotomici Polinomio generatore di un codice ciclico Matrice generatrice di un codice lineare Esempio:

52 Costruzione di codici ciclici
Costruzione di un codice ciclico Scomposizione divisibile per sse n divisibile per m Ogni p(x) di grado m irriducibile su GF(p) è un fattore di p(x) irriducibile Codici ciclici accorciati: sopprimere r righe ed r colonne della matrice generatrice (si ottiene un codice “pseudociclico”).

53 Codici ciclici e radici del polinomio generatore
polinomio minimo di In altre parole, è l’ideale generato da e quindi

54 Calcolo della matrice di parità
Vettori a p componenti Codice con radici

55 Teorema BCH (Bose - Chauduri - Hocquengem)
La distanza di Hamming di un codice ciclico generato dal polinomio g(x) è maggiore del più grande numero di radici consecutive di g(x). Dimostrazione (traccia): 1. Un codice K ha distanza non minore di d sse ogni insieme di d – 1 colonne di H è linearmente indipendente. 2. La distanza di un codice K è pari al più piccolo insieme di colonne di H la cui somma sia nulla. Quindi occorre dimostrare che il determinante di qualunque insieme di d – 1 colonne di è diverso da zero.

56 Codici BCH Codici ciclici il cui polinomio generatore è scelto in modo
da avere il massimo numero di radici consecutive per un grado assegnato.

57 Lezione 14 2 dicembre 2002

58 Errori a pacchetto Errori solo a pacchetto: - Nastri magnetici
- Dischi magnetici - RAM - ... Errori casuali e a pacchetto: - Doppino telefonico - Cavi coassiali - Microonde - ... Codici progettati per errori casuali inefficienti per errori a pacchetto

59 Errori su supporti magnetici

60 Errori sulle linee di trasmissione
Rumore termico: “rapporto segnale/rumore” fruscio Rumore da impulso: “… click ...” 10 ms Distorsione: Crosstalk: interferenze Ritardi, eco, equalizzazione

61 Errori di trasmissione
Studio commissionato da AT&T, Linee a bassa ed alta velocità Esempio di risultati: 15 byte/s start bit stop bit Frequenze per byte 1% delle comunicazioni contiene il 90% degli errori Ma, dato empirico, per le linee telefoniche

62 Pachetti di errori (burst)
trasmissione + parola di errore burst

63 Teorema Un codice ciclico (n, k) può rivelare tutti i pacchetti di
errori di lunghezza al più n – k. Dimostrazione: sindrome Ma se e non sono multipli di

64 Limite di Reiger Un codice a correzione di errori a pacchetto può correggere tutti i pacchetti di lunghezza b o meno a patto che il numero di simboli di controllo soddisfi la diseguaglianza Dimostrazione (traccia): i burst di lunghezza 2b devono essere diversi da qualsiasi parola di codice... Efficienza di un codice a correzione di errori a pacchetto:

65 Alcuni c.c. per la correzione di burst
(7, 3) (15, 9) (19, 11) (27, 17) (34, 22) (38, 24) (50, 34) (56, 38) (59, 39) ... 2 3 4 5 6 7 8 9 10 ... 11101 . . .

66 Codici di Fire irriducibile di grado primi tra di loro
è il polinomio generatore di un codice di Fire di lunghezza Corregge pacchetti fino a lunghezza b rivela pacchetti fino a lunghezza d

67 Tecniche di interlacciamento
Interlacciatore Deinterlacciatore canale

68 Codici Interlacciati grado di interlacciamento Corregge fino
a d errori casuali Corregge fino a d errori casuali Corregge errori a pacchetto fino a lunghezza id

69 Esempio Codice (15, 9) con interlacciamento di grado 5:
6 11 16 21 26 31 36 41 46 51 56 61 66 71 2 7 12 17 22 27 32 37 42 47 52 57 62 67 72 3 8 13 18 23 28 33 38 43 48 53 58 63 68 73 4 9 14 19 24 29 34 39 44 49 54 59 64 69 74 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 simboli di messaggio simboli di controllo

70 Lezione 15 5 dicembre 2002

71 Cenni di Teoria della Trasmissione
Trasmissione fisica di segnali Analisi di Fourier Segnali a banda limitata Campionamento Velocità massima di un canale

72 Trasmissione fisica di segnali
segnale ricevuto segnale inviato tensione linea di trasmissione dati segnale campionato

73 Funzioni periodiche n-esimo armonico periodo continua e integrabile
Serie di Fourier Frequenza fondamentale n-esimo armonico

74 Analisi di Fourier

75 Domini del tempo e delle frequenze

76 Esempio Trasmettere il carattere ASCII “b”: 1 Segnale:

77 Esempio (segue)

78 Banda Trasmissione a b bit/s di l bit: frequenza fondamentale
frequenza dell’n-esimo armonico filtro “passabasso”

79 Esempio: linee telefoniche
3000 Hz 0 Hz 3000 Hz 0 Hz [bit/s] [ms] [Hz] 300 600 1200 2400 4800 9600 19200 38400 26,67 13,33 6,67 3,33 1,67 0,83 0,42 0,21 37,5 75 150 300 600 1200 2400 4800 80 40 20 10 5 2 1

80 Campionamento segnale originale segnale campionato
Nyquist (Teorema del campionamento): permette di ricostruire completamente il segnale originale.

81 Velocità massima Nyquist (1924): limite fondamentale per la velocità di segnalazione in un canale senza rumore. Per un segnale a V livelli discreti, Shannon (1948), per canale con rumore:

82 Lezione 16 9 dicembre 2002

83 Criptologia Crittografia Criptanalisi Metodi e tecniche di
cifratura di messaggi Metodi e tecniche per decifrare codici cifrati Steganografia Metodi e tecniche per l’occultamento di messaggi

84 Applicazioni Diplomatiche / militari (fino alla II^ Guerra Mondiale)
Spionaggio / controspionaggio industriale Pay TV (via cavo / etere / satellite) Electronic Banking (carte di credito, bancomat, trasferimenti) Protezione della privacy Home banking Commercio elettronico

85 Modello generale Sorgente del messaggio intrusione passiva intrusione
attiva Destinazione testo in chiaro testo in chiaro canale cifratura decifrazione testo cifrato testo cifrato Sorgente della chiave

86 Cifratura e decifrazione
Sistemi simmetrici Sistemi asimmetrici

87 Criptanalisi Attacco basato solo su testo cifrato
Analisi della struttura del testo cifrato Caratteristiche statistiche del testo Trovare la chiave Attacco basato su testo noto Criptanalista è riuscito a penetrare nel sistema Utente malizioso del sistema Attacco basato su testo scelto Situazione più favorevole Sistemi di cifratura per word processor (es.)

88 Il fattore tempo Cifratura di dati statici Cifratura di trasmissioni

89 Ermeticità Ricerca per tentativi del messaggio in chiaro impossibile in tempi utili anche usando il calcolatori più rapidi (ermeticità computazionale) Impossibilità di tipo operativo Impossibile significa sufficientemente difficile Ipotesi: “la parte avversa conosce il sistema utilizzato” pessimistica sicura realistica a lungo andare

90 Sistemi di cifratura Cifratura a blocco - Cifratura continua
Tecniche fondamentali per la cifratura a blocco: Sostituzione: A B C D E F G H I L M N O P Q R S T U V Z Z V U T S R Q P O N M L I H G F E D C B A Es.: LATTACCOINIZIERAALLEDIECI NZDDZUUIOLOAOSFZZNNSTOSUO Trasposizione: LATTA CCOIN IZIER AALLE DIECI TAALT OCNCI IZRIE LAEAL EIIDC Es.: 32514

91 Codice di Cesare A Z B Y C X C D B E D F A W G E Z H V Y F I U X J G W
T K H V L S I U M T N J R O S Q R Q P K P L O N M

92 Sostituzione generalizzata
A B C D E F G H I J K L M N O P Q R S T U V W X Y Z B D G K P V C L U E Q A Z H Y J M X O W T S R N I F Parola mnemonica: “PORK E CINDY” A B C D E F G H I J K L M N O P Q R S T U V W X Y Z P O R K E C I N D Y A B F G H J L M Q S T U V W X Z Oppure: P O R K E C I N D Y A B F G H J L M Q S T U V W X Z A B C D E F G H I J K L M N O P Q R S T U V W X Y Z P A T O B U R F V K G W E H X C J Z I L N M D Q Y S

93 Sostituzione polialfabetica
ABCDEFGHIJKLMNOPQRSTUVWXYZ BCDEFGHIJKLMNOPQRSTUVWXYZA CDEFGHIJKLMNOPQRSTUVWXYZAB DEFGHIJKLMNOPQRSTUVWXYZABC EFGHIJKLMNOPQRSTUVWXYZABCD FGHIJKLMNOPQRSTUVWXYZABCDE GHIJKLMNOPQRSTUVWXYZABCDEF HIJKLMNOPQRSTUVWXYZABCDEFG IJKLMNOPQRSTUVWXYZABCDEFGH JKLMNOPQRSTUVWXYZABCDEFGHI KLMNOPQRSTUVWXYZABCDEFGHIJ LMNOPQRSTUVWXYZABCDEFGHIJK MNOPQRSTUVWXYZABCDEFGHIJKL NOPQRSTUVWXYZABCDEFGHIJKLM OPQRSTUVWXYZABCDEFGHIJKLMN PQRSTUVWXYZABCDEFGHIJKLMNO QRSTUVWXYZABCDEFGHIJKLMNOP RSTUVWXYZABCDEFGHIJKLMNOPQ STUVWXYZABCDEFGHIJKLMNOPQR TUVWXYZABCDEFGHIJKLMNOPQRS UVWXYZABCDEFGHIJKLMNOPQRST VWXYZABCDEFGHIJKLMNOPQRSTU WXYZABCDEFGHIJKLMNOPQRSTUV XYZABCDEFGHIJKLMNOPQRSTUVW YZABCDEFGHIJKLMNOPQRSTUVWX ZABCDEFGHIJKLMNOPQRSTUVWXY Quadrato di Vignère Chiave: PIPPERO P I P P E R O L A T T A C C A I I I E T Q O I N I Z E R D Q C X D V C A A L L E D I P I A A I U V E C I T K X

94 Sistemi a trasposizione
Suddivisione in blocchi e permutazione: LATTA CCOIN IZIER AALLE DIECI TAALT OCNCI IZRIE LAEAL EIIDC Interlacciamento: LATTA CCOIN IZIER AALLE DIECI LCIADACZAITOILETIELCANREI Due trasposizioni bustrofediche, orizzontale e verticale: LATTA NIOCC IZIER ELLAA DIECI LNIEDILZIATOILECAECTACRAI

95 Cifratura continua T E S T O I N C H I A R O + V E R M E =
T E S T O C I F R A T O Esempio: … L A T T A C C O I N I Z I E R A A L L E D I E C I … F B Q C G Q N Q R M C L M T F I S O Q E V A G H F

96 Lezione 17 12 dicembre 2002

97 Informazione e sicurezza
Messaggi in chiaro Messaggi cifrati Chiavi

98 Equivocazioni Equivocazione della chiave: Equivocazione del messaggio:
Dati il messaggio cifrato e la chiave, il messaggio in chiaro è determinato:

99 Equivocazione di apparenza della chiave
Dimostrazione:

100 Dilemma Punto di vista dell’utente:
Incertezza sulla chiave dato il messaggio in chiaro e cifrato… Meglio se alta! Incertezza sul messaggio in chiaro dato il messaggio cifrato… Deve essere massima! Obiettivi conflittuali

101 Informazione mutua Punto di vista dell’utente: rendere l’informazione mutua tra M e C la più piccola possibile... Situazione ideale: Il testo cifrato non dà nessuna informazione sul testo in chiaro Sistema crittografico assolutamente sicuro

102 Teorema Dimostrazione: siccome
Per l’equivocazione di apparenza della chiave, Per definizione, La tesi segue dalla definizione di

103 Lunghezza del testo cifrato
Più lungo è il testo cifrato, più alta è la probabilità di trovare la chiave Messaggio cifrato di lunghezza L

104 Teorema Sia r il numero di simboli diversi in un messaggio. Allora,
con ridondanza assoluta. Dimostrazione:

105 Distanza di unicità Quindi, in media,
Distanza di unicità: lunghezza minima di testo cifrato necessaria per poter trovare la chiave

106 Lezione 18 16 dicembre 2002

107 Tecniche crittografiche moderne
Data Encryption Standard (DES) Crittografia a chiave pubblica Algoritmo RSA

108 Data Encryption Standard (DES)
Sviluppato dall’IBM Adottato nel gennaio del 1977 dal Governo degli USA come standard ufficiale per informazioni non classificate Implementato in hardware Versione originale a 128 bit (chiave a 128 bit) Versione a 64 bit (chiave a 56 bit) su richiesta NSA (!)

109 DES: schema dell’algoritmo
Blocco di l bit “in chiaro” chiave di k bit Trasposizione (P-box) 1° stadio Sostituzione (S-box) sotto-chiave 1 ... Trasposizione (P-box) n° stadio Sostituzione (S-box) sotto-chiave n Blocco di l bit “in cifra”

110 P-box 7

111 S-box P-box 3 : 8 8 : 3

112 trasposizione iniziale
Algoritmo DES testo in chiaro 64 bit trasposizione iniziale iterazione 1 . . . chiave 56 bit iterazione 16 scambio a 32 bit inversione testo in cifra 64 bit

113 Itarazione i-esima 32 bit 32 bit

114 32 bit 48 bit 56 bit 8x6 bit S S S S S S S S 8x4 bit 32 bit P

115 Stabilire una comunicazione sicura
Pippo Gigi

116 Crittografia a chiave pubblica
(Diffie e Hellman, 1976) Algoritmo di cifratura Algoritmo di decifrazione 1 2 È estremamente difficile calcolare da 3 E è resistente a un attacco con testo in chiaro noto chiave pubblica

117 Protocollo “ti devo dire un segreto” “ho capito!” Pippo Gigi

118 Algoritmo RSA Rivest, Shamir, Adleman (1978) 1 Scegliere due primi 2 3
Scegliere d primo rispetto a z 4 Trovare