La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

Informatica Umanistica C Docente: Roberto Zamparelli Un corso di introduzione alla codifica digitale dei testi.

Presentazioni simili


Presentazione sul tema: "Informatica Umanistica C Docente: Roberto Zamparelli Un corso di introduzione alla codifica digitale dei testi."— Transcript della presentazione:

1 Informatica Umanistica C Docente: Roberto Zamparelli Un corso di introduzione alla codifica digitale dei testi.

2 Orari Due orari in alternativa (a scelta libera, salvo sbilanciamenti) 1.Giovedi, (C1) 2.Venerdì, (C2) Ricevimento studenti: giovedì Esercitazioni nel laboratorio informatico (3 orari a scelta)

3 Ricevimento studenti Presso gli uffici di via Sighele 7, (Lufficio è sul lato sin. del palazzo arrivando da via Sighele)

4 Esercitazioni Lab 1 Lun 14:00-16:00, lab multimediale 1 (docente: Paolo Massa; calendario: 25/02-05/05, eccetto periodo pasquale) Lab 2 Mar 10:00-12:00, lab multimediale 1 (docente: M.Grosselle; calendario: 26/02-6/05, eccetto periodo pasquale) Lab 2 Gio 10:00-12:00, lab multimediale 1 (docente: M.Napolitano; calendario: 28/02-13/03, 03/04-24/04, 08/05-22/05)

5 Contenuti del corso (1) Testi, da ASCII a UNICODE: Codifica di basso livello (gio28/02+ven) 1.Dagli editor di testo alla codifica di alto livello (gio6/03+ven) 2.Marcatura XML: aspetti generali (gio13/03+ven) 3.Marcatura XML: DTD (gio03/04+ven) 4.Marcatura XML: esempi (gio10/03+ven)

6 Contenuti del corso (2) 6.Da definire (gio17/4+ven) 7.Altri formati di presentazione del testo (PDF, ecc.) (gio24/4+ven) 8.Compressione e criptazione (gio01/05,ven) 9.Testi on-line: basi dati e ricerche (gio8/05,ven) 10. Aspetti sociali del web (gio15/05,ven) (NB: i contenuti possono essere soggetti a variazioni)

7 Esame Esame: date e modalità sono nel sito Frequentanti: orale con discussione di un progetto xml/xsl Non frequentanti: orali con discussione di un progetto HTML e qualche domanda teorica. N.B. La scelta di presentarsi allesame come frequentanti o non frequentanti riguarda i corsi B e C in blocco (niente frequenze miste)

8 Testi per preparare lesame Queste note (scaricabili da Didattica on Line e dalla pagina web )Didattica on Line Lenci, Montemagni e Pirrelli, Testo e Computer: Elementi di Linguistica Computazionale, Carocci, 2005, cap. 1,2,3

9 Testi di riferimento (utili per la preparazione dei progetti) Guide allXML (per frequentanti) on-line oppure (vedi anche )http://www.dit.unitn.it/~poesio/Teach/IU/materiale-online.html Off line: Devan Shepherd, XML guida completa, Apogeo, 2002 (cap. 1, 2, 3, 4, 7, 8, 9, 10, 14, 16). Guide allHTML On-line: vedi url dei lab (per lanno 05/06 Off line: F. Comolli, Laboratorio di HTML, Apogeo, Shelly, Cashman, Woods, HTML: Imparare per progetti, Apogeo, AA.VV., XHTML, Addison Wesley, Altro:

10 Lezione 1 Testi, da ASCII a UNICODE: Codifica di basso livello

11 Diapositive adattate da: Lenci, Montemagni, Pirrelli Testo e computer – Carocci 2005, Cap.2: La codifica digitale del testo loriginale (qui modificato) è alla URL mputer/home.htm (materiali did. cap.2) mputer/home.htm

12 La codifica digitale del testo I computer memorizzano ed elaborano dati sotto forma di sequenze di due soli simboli 0 e 1 (cifre binarie) Ogni tipo di informazione deve essere codificata in cifre binarie codificare informazione = associare a ciascuna unità di informazione un codice (sequenza di cifre binarie) che la identifica in maniera univoca I testi per essere elaborati o trasmessi da un programma devono avere una rappresentazione (codifica) binaria Rappresentazione del testo su supporto digitale in un formato leggibile da un computer: Machine Readable Form (MRF)

13 La codifica digitale del testo che tipo di rappresentazione digitale del testo?

14 La codifica digitale del testo Il testo e la sua organizzazione titolo capitolo testo intestazione

15 La codifica digitale del testo Il testo e la sua struttura linguistica frase relativa tutti = soggetto sintagma nominale articolo indefinito femminile singolare stanza come luogo V andare pass. rem. 3 sing. stanze = oggetto di riscaldare

16 La codifica digitale del testo Le avventure di Pinocchio Capitolo I Come andò che Maestro Ciliegia, falegname, trovò un pezzo di legno, che piangeva e rideva come un bambino. C'era una volta... - Un re! - diranno subito i miei piccoli lettori. - No, ragazzi, avete sbagliato. C'era una volta un pezzo di legno. Non era un legno di lusso, ma un semplice pezzo da catasta, di quelli che d'inverno si mettono nelle stufe e nei caminetti per accendere il fuoco e per riscaldare le stanze. Non so come andasse, ma il fatto gli è che un bel giorno questo pezzo di legno capitò nella bottega di un vecchio falegname, il quale aveva nome mastr'Antonio, se non che tutti lo chiamavano maestro Ciliegia, per via della punta del suo naso, che era sempre lustra e paonazza, come una ciliegia matura. Il testo come sequenza di caratteri Ciascun carattere alfanumerico, di punteggiatura o di controllo che compone il testo deve essere rappresentato nei termini di un codice binario

17 La codifica digitale del testo Il testo come sequenza di caratteri Surrogato parziale del testo originario completa equivalenza solo dal punto di vista dei caratteri che lo compongono perdita di informazione linformazione implicitamente veicolata dalla formattazione del testo relativa a: le coordinate meta-testuali il nome dellautore, il titolo, ecc. la struttura e organizzazione testuale la suddivisione logica in sezioni, capitoli, paragrafi, ecc. nessun guadagno di informazione linformazione sulla struttura linguistica rimane implicita e nascosta (come nel testo originale)

18 La codifica digitale del testo Due livelli di codifica del testo digitale codifica di basso livello (codifica di livello 0) riguarda la rappresentazione binaria della sequenza ordinata dei caratteri codifica di alto livello arricchisce il testo codificato al livello zero con informazione relativa a dimensioni strutturali organizzazione del testo in strutture macrotestuali articolazione del testo in strutture linguistiche La codifica di alto livello permette di rendere esplicita qualsiasi interpretazione, anche di tipo linguistico- letterario, si voglia associare al testo

19 La codifica di livello 0 Il testo come sequenza di caratteri dietro le quinte…

20 La codifica di livello 0 caratteri e numeri A carattere 65 codice (decimale) del carattere codifica binaria del codice del carattere I computer elaborano internamente solo sequenze di bit (0,1) MAESTRO CILIEGIA

21 Numeri e numeri Sistema binario vengono usate due cifre (0 e 1) per rappresentare un numero problema: i numeri binari sono estremamente lunghi Sistema esadecimale ogni numero è rappresentato con 16 cifre (0,1,2,3,4,5,6,7,8,9,A,B,C,D,E,F) i numeri sono più corti di quelli binari estrema facilità di conversione tra binario ed esadecimale in una sequenza binaria, ogni stringa di 4 bit corrisponde ad una cifra esadecimale numero binario (6) (15) (6) 6 F 6 numero esadecimale numero X 10 A 1010 rappresentazione di un numero

22 Come rappresentare i caratteri? Quali caratteri scegliere? un insieme di caratteri (es. A, a, !, à, P, ecc.) i caratteri sono entità astratte, da non confondersi con il modo in cui sono realizzati tipograficamente (glifi) Uno stesso carattere può variare nella resa grafica in varie dimensioni: 1.Serie (o font): AGKpqt, AGKpqt, AGKpqt, … 2.Peso: AGKpqt, AGKpqt 3.Inclinazione: AGKpqt, AGKpqt 4.Punti: AGKpqt, AGKpqt, AGKpqt, AGKpqt AGKpqt, 5.Altri effetti: AGKpqt, AGKpqt, AGKpqt, AGKpqt, AGKpqt

23 Come rappresentare i caratteri? Distinzioni distintive e non distintive Differenza tra MAIUSCOLE e minuscole in tedesco Blau (nome) vs blau (agg.), in Windows: (Prova.txt, PROVA.TXT, prova.txt sono lo stesso file) La stessa realizzazione grafica può corrispondere a caratteri diversi (es. A latina e A cirillica e A greca)

24 Come rappresentare i caratteri nel computer? Come creare la corrispondenza? (il codice) una tabella che definisce una corrispondenza biunivoca (1-a-1) tra un repertorio di caratteri e un insieme di numeri interi non negativi a ogni carattere è assegnato un codice numerico (punto di codice / code position) Come codificare il carattere? algoritmo che determina come i codici dei caratteri vadano rappresentati in sequenze di bit (byte). Il problema è reso non banale dalla necessità di separare i caratteri: = (4)(34)(56) (4)(3)(4)(56)

25 Il codice ASCII (American Standard Code for Information Interchange) Primo standard per lassegnazione di codici a caratteri (dal 1963) set di caratteri riconosciuto da tutti i computer conosciuto come ASCII Standard o ISO-646 Codifica 7 bit ciascun punto di codice è rappresentato con il numero binario corrispondente di 7 bit in realtà 1 byte = 8 bit di cui un bit non è usato per la codifica (bit di parità) 7 bit = 2 7 punti di codice = 128 caratteri rappresentati Sufficiente per rappresentare linglese mancano i caratteri accentati, umlaut, ecc. per rappresentare altri alfabeti occidentali

26 ASCII Standard decimale ed esadecimale

27 ASCII: Caratteri stampabili e di controllo I primi 32 caratteri dellASCII sono caratteri funzionali (non necessariamente stampabili) Cf.

28 Caratteri di controllo Si ottengono premendo una lettera mentre si tiene premuto il tasto Cntl. A volte Control viene scritto ^ o Ctrl- (Control-A = Ctrl-A = ^A) Compiono funzioni specifiche ai vari programmi. Corrispondono al carattere non stampabile che nellASCII si trova 64 posizioni indietro rispetto al codice della lettera maiuscola premuta insieme con Ctrl. Esempio: G = ASCII 71 Control-G = = 7 = codice BELL (rappresentato dal suono beep del computer) Cf. ASCII ASCII ASCII è completato da uno standard per la interpretazione dei caratteri di controllo, (ANSI X3; per approfondimenti vedi )

29 Caratteri di controllo: esempio del fine riga Può corrispondere a: Carriage Return, (CR, lo spostamento alla prima colonna, carattere 13, o Ctrl-M del ASCII), Line Feed, spostamento alla riga sottostante, senza cambiare colonna (LF, carattere n.10, Ctrl-J) Scelte differenti nei vari sistemi operativi: Windows/DOS: CR+LF (entrambi i caratteri necessari) Mac: solo CR (fino al System X, poi solo LF) Unix/Linux: solo LF

30 File binari e file ASCII I file possono essere di tipo ASCII o di tipo binario. I primi contengono solo caratteri stampabili contenuti nel codice ASCII ristretto (dal 32 al 127), i secondi usano l'intero spazio dei valori possibili per il byte (256). Un file binario non può essere in genere visualizzato sullo schermo dai comandi di base del sistema operativo stesso (p.es. type) ma solo da programmi specifici per quel tipo di file binario (niente resa grafica standard)

31 File binari e file ASCII I file eseguibili (windows.exe,.com, …), le immagini (.jpg,.gif,.png,.tif, …) e tutti i file compressi (.zip,.gz, …) sono in genere in formato binario Il protocollo dell può solo trasmettere file ascii Con allegati (attachment) binari, necessità di ricodifica in ASCII crescita di dimensioni attorno al 40%

32 Il set di caratteri ISO-Latin-1 ASCII Standard Caratteri di controllo ISO-Latin-1 (ISO o ASCII esteso) unica estensione standard di ASCII 1 byte = 8 bit = 2 8 punti di codice = 256 caratteri rappresentati sufficiente per lingue europee occidentali (italiano, francese, ecc.)

33 La famiglia di caratteri ISO set di caratteri standardizzati da ISO (International Standard Organization) Codifica: 1 byte = 256 caratteri rappresentati da ciascun set Soprainsiemi dei caratteri ASCII Standard punti di codice (parte comune) ASCII punti di codice codici di controllo (non corrispondono a caratteri grafici) punti di codice (parte variabile) caratteri aggiuntivi per greco, cirillico, lingue slave, arabo, ebraico, ecc. I set di ISO-8859 sono tutti reciprocamente incompatibili Punto di codice 232 ISO (Latin-1) = è ISO (Cyrillic) = ш ISO-8859 non copre lingue come giapponese, cinese, ecc.

34 La famiglia di caratteri ISO ISO-Latin-1

35 The Universal Character Set UNICODE (ISO-10646) Standard internazionale che si prefigge di rappresentare qualsiasi tipo di carattere appartenente ai sistemi grafici esistenti Sistemi di scrittura di tutte le lingue europee, asiatiche, africane, ecc., sia antiche che moderne. Sistemi di caratteri basati sui fonemi (p.es. italiano), sulle sillabe (p.es. Thai), su ideogrammi (p.es. Cinese), geroglifici, braille, ecc. Sistemi di simboli tecnici e scientifici (p.es. matematica, logica) Punteggiatura e segni diacritici (p.es. accenti) Risolve i problemi di incompatibilità dei sistemi ISO-8859 estende linsieme dei caratteri supportati permette la realizzazione di documenti multilingui

36 The Universal Character Set UNICODE (ISO-10646) Circa caratteri grafici rappresentati (Unicode v. 4.0) … ma i punti di codice disponibili sono più di 1 milione (4 byte)!! I primi caratteri (2 16 ) costituiscono il Basic Multilingual Plane (BMP), primo di 17 piani in cui è diviso UNICODE. Nel BMP, 6500 punti di codice sono riservati per usi privati (loghi, trademarks…)

37 The Universal Character Set UNICODE (ISO-10646) I punti di codice sono rappresentati con U+numero esadecimale, ed hanno un nome standard: A U+0041 = Latin Capital Letter A (decimale 65) ω = U+03C9 = Greek Letter Omega I primi 256 caratteri sono identici al set di caratteri Latin-1, a sua volta un soprainsieme dell' ASCII.

38 UNICODE: composizione dei caratteri C aratteri complessi (p.es. u con umlaut) possono essere rappresentati in due modi: Come elementi precostituiti (codice U+00FC,ü) Come elementi composti, formati da un carattere di base quale u (U+0075) ed uno o più caratteri che non introducono spaziatura (non spacing), che vengono quindi sovrascritti al precedente, in questo caso ¨ (U+0308) Problema dellordinamento alfabetico (come decomporre caratteri complessi)

39 Codifica dei caratteri Vari tipi di codifica: UCS-2 (tutti i caratteri a 2 byte) UCS-4 (tutti i caratteri a 4 byte) UTF-8 (caratteri con 1 byte, oltre 2, 3 o 4 byte) UTF-16, ecc. Codifica più comune: UTF-8

40 Blocchi di codice I vari alfabeti sono divisi in gruppi detti blocchi di codice (code blocks) Si è tuttavia cercato di non duplicare i caratteri di lingue diverse. Non esiste p.es. una A italiana, una A norvegese. Anche le migliaia di ideogrammi comuni alla scrittura cinese, giapponese e coreana (che discendono tutti da una scrittura comune) sono unificati.

41 The Universal Character Set UNICODE (ISO-10646)

42 Caratteri e computer Ab bkйd من٦و ds kjdks kdsk sybco oθδjpjp Unicode ISO-Latin Ab bk ƛ d ƛƛƛƛ ds kjdks kdsk sybco o ƛƛ jpjp

43 Caratteri e computer Risoluzione dei problemi Analisi dei caratteri nel testo individuare il set di caratteri con cui è scritto il documento: ASCII Standard, Unicode, ISO-8859, ecc. individuare il set di caratteri accettati dal programma con cui si deve elaborare il testo. verificare leventuale esistenza di caratteri composti. Eventuale sostituzione dei caratteri sostituzione dei caratteri non appartenenti al set accettato dal programma buona parte del sw. accetta solo ASCII attenzione alla perdita di informazione!! è = e š s Muenich M ünich


Scaricare ppt "Informatica Umanistica C Docente: Roberto Zamparelli Un corso di introduzione alla codifica digitale dei testi."

Presentazioni simili


Annunci Google