I VERBI che ci accompagneranno COMUNICARE IMPARARE STRUTTURARE CORREGGERE COMPRENDERE PARLARE

STRUTTURARE – Il Corpus La costruzione di un corpus serve principalmente a fornire una base documentale per la definizione di una o più Knowledge Base dinamiche di dominio (siano esse sotto forma di ontologia, database relazionali o reti semantiche) contenente le informazioni necessarie per fornire un numero quanto più alto possibile di output validi in funzione delle soluzioni informatiche alla base dei servizi che un sistema implementa, come ad esempio motori di ricerca semantici, QuestionAnwsering in prospettiva Customer Care, Chat-Bot specializzati, etc. Ma il corpus è utile non solo per la costruzione della Knowledge Base ma anche per fornire materiale valido agli algoritmi di ML, cosi da generare modelli predittivi specifici per i processi NLP. Ma prima di arrivare ai modelli è indispensabile strutturare il corpus per fornire ai testi un’adeguata annotazione.

CoNLL [Computational Natural Language Learning] STRUTTURARE – CoNLL CoNLL [Computational Natural Language Learning] E’uno standard il cui scopo è fornire un metodo di annotazione universale che consenta la descrizione di un testo in maniera rigorosa e soprattutto strutturata, cosi da poterla adoperare nei processi di machine learning. # text = Tutti gli esseri umani sanno di poter essere più di ciò che sono. 1 Tutti tutto DET T Gender=Masc|Number=Plur|PronType=Tot 3 det:predet _ _ 2 gli il DET RD Definite=Def|Gender=Masc|Number=Plur|PronType=Art 3 det _ _ 3 esseri essere NOUN S Gender=Masc|Number=Plur 5 nsubj _ ExtraSubj=Yes 4 umani umano ADJ A Gender=Masc|Number=Plur 3 amod _ _ 5 sanno sapere VERB V Mood=Ind|Number=Plur|Person=3|Tense=Pres|VerbForm=Fin 0 root _ _ 6 di di ADP E _ 9 mark _ _ 7 poter potere AUX VM VerbForm=Inf 9 aux _ _ 8 essere essere AUX V VerbForm=Inf 9 cop _ _ 9 più più ADV B _ 5 xcomp _ _ 10 di di ADP E _ 11 case _ _ 11 ciò ciò PRON PD Gender=Masc|Number=Sing|PronType=Dem 9 obl _ _ 12 che che PRON PR PronType=Rel 13 nsubj _ _ 13 sono essere VERB V Mood=Ind|Number=Plur|Person=3|Tense=Pres|VerbForm=Fin 11 acl:relcl _ SpaceAfter=No 14 . . PUNCT FS _ 5 punct _ _

STRUTTURARE – CoNLL Lo standard CoNLL si articola su 10 colonne, ciascuna delle quali ha un suo preciso significato. ID: E’ l’indice delle parola all’interno della frase. FORM: E’ la parola all’interno della frase. LEMMA: Lemma della parola. UPOS:  Tag che rappresenta Universal Part Of Speach POS (parte del discorso). XPOS: Tag che specifica la Part Of Speach specifica per la lingua corrente. FEATS: Lista di features morfologiche generali o specifiche per la lingua corrente. HEAD: Rappresenta l’indice della parola (head) cui quella corrente è associata, 0 indica una root. DEPREL:  Indica la relazione di dipendenza della parola con la sua head. DEPS: Grafico delle dipendenze migliorato sotto forma di un elenco di coppie head-deprel. MISC: Annotazione libera. https://universaldependencies.org/format.html

STRUTTURARE – CoNLL L’annotazione nel formato CoNLL consente una rappresentazione grafica del testo da cui è possibile cogliere immediatamente le dipendenze tra le parti del discorso e quindi il ruolo di ogni vocabolo all’interno della frase. Tutti gli esseri umani sanno di poter essere più di ciò che sono. https://arborator.ilpga.fr/q.cgi https://universaldependencies.org/conllu_viewer.html

STRUTTURARE – Il ruolo del linguista La costruzione del corpus è un procedura lunga e articolata. E’ indispensabile assicurare un giusto equilibrio tra documenti generici e quelli specifici di dominio; e una volta individuata la giusta proporzione, procedere all’annotazione dei testi, il fine è l’attivazione di un processo di apprendimento automatico supervisionato (Machine Learning), basato sul corpus annotato. Una parte del quale costituirà il training set, il rimanente sarà il test set; secondo lo schema dell’apprendimento supervisionato. Dopo le iterazioni necessarie per addestrare e raffinare i risultati ottenuti, si perviene al modello finale. Dal modello scaturisce l’implementazione di una IA capace di analizzare la frase in autonomia. I software di questo tipo si chiamano PARSER e la loro capacità comprende tra le altre: L’individuazione delle parti del discorso (POS Tagging) Il riconoscimento del lemma della parola (Lemmatizzatore) La tracciatura delle dipendenze che legano le differenti parti del discorso (Parser sintattico)

STRUTTURARE – I PARSER Esistono diversi software che permettono l’analisi sintattica di una frase a partire da un modello generato mediante algoritmi di machine learning, ne indichiamo alcuni per eventuali approfondimenti. SyntaxNet: https://github.com/tensorflow/models/tree/master/research/syntaxnet OpenNLP: https://opennlp.apache.org/ TreeTagger: http://www.cis.uni-muenchen.de/~schmid/tools/TreeTagger/ TINT: http://tint.fbk.eu/

STRUTTURARE – Dizionari Elettronici I dizionari elettronici sono dei database lessicali destinati esclusivamente ad applicazioni informatiche. La loro natura è articolata su tre caratteristiche principali: Completezza (non possono trascurare informazioni) Esplicitazione Codificazione Le dimensioni e la complessità dei dizionari elettronici, sono maggiori rispetto a quelle delle controparti cartacee. Ciò accade perché non è sufficiente che tali risorse siano digitalmente accessibili; affinché siano utilizzabili per il trattamento automatico del linguaggio devono contenere machine-readable data. Il trattamento del corpus contribuisce ad aumentare la base del dizionario generico, ed è compito del linguista arricchire la voce che corrisponde a un nuovo vocabolo di tutte le informazioni che la rendono completa, esplicita e codificata.

STRUTTURARE – Dizionari Elettronici Una forma possibile per una voce di dizionario elettronico potrebbe assumere un aspetto simile a quello riportato sotto per il vocabolo mangiate: "num" : "p",  "tense" : "",  "verbNum" : "",  "gen" : "f",  "POS" : "N",  "pers" : "",  "lemma" : "mangiata",  "token" : "mangiate",  "ti" : "",  "aux" : "",  "SEM" : "+FLX=N41+" "num" : "p",  "tense" : "",  "verbNum" : "",  "gen" : "f",  "POS" : "A",  "pers" : "",  "lemma" : "mangiato",  "token" : "mangiate",  "ti" : "",  "aux" : "",  "SEM" : "+FLX=N88+DRV=ISSIMO:N88+" "num" : "",  "tense" : "PR",  "verbNum" : "p",  "gen" : "",  "POS" : "V",  "pers" : "2",  "lemma" : "mangiare",  "token" : "mangiate",  "ti" : "t",  "aux" : "a",  "SEM" : "+FLX=V4+DRV=RI+DRV=BILE:N79+" "num" : "",  "tense" : "S",  "verbNum" : "p",  "gen" : "",  "POS" : "V",  "pers" : "2",  "lemma" : "mangiare",  "token" : "mangiate",  "ti" : "t",  "aux" : "a",  "SEM" : "+FLX=V4+DRV=RI+DRV=BILE:N79+" "num" : "p",  "tense" : "",  "verbNum" : "",  "gen" : "f",  "POS" : "V",  "pers" : "",  "lemma" : "mangiare",  "token" : "mangiate",  "ti" : "t",  "aux" : "a",  "SEM" : "+FLX=V4+DRV=RI+DRV=BILE:N79+PP+" "num" : "",  "tense" : "IMP",  "verbNum" : "p",  "gen" : "",  "POS" : "V",  "pers" : "2",  "lemma" : "mangiare",  "token" : "mangiate",  "ti" : "t",  "aux" : "a",  "SEM" : "+FLX=V4+DRV=RI+DRV=BILE:N79+"

STRUTTURARE – Lemmatizzazione L’utilità dei dizionari si lega anche al concetto di lemmatizzazione. La lemmatizzazione è il processo di riduzione di una forma flessa di una parola, alla sua forma canonica, detta lemma. In italiano si ha: VERBI: lemma è l’infinito presente (mangiare, pentire, ecc…) NOMI: lemma è il maschile singolare o femminile singolare (stazione, bicchiere, ecc) AGGETTIVI: distinguiamo quelli a due uscite o quattro uscite Due uscite: lemma è il singolare (utile, presente, ecc…) Quattro uscite: lemma è il maschile singolare (bello, rosso, ecc…) Per le preposizioni e gli articoli si può utilizzare il maschile singolare o lasciare la forma invariata. Il lemma è una delle informazioni che non possono mancare nelle voci di un dizionario elettronico

STRUTTURARE – Perchè è utile la lemmatizzazione La lemmatizzazione è utile perché riduce il numero di variabili su cui i processi lavorano e in sinergia con la corrispondente parte del discorso, garantisce una semplificazione della varietà linguistica; caratteristiche molto utili quando si intende applicare al testo un algoritmo di tipo inferenziale. Tutti gli esseri umani sanno di poter essere più di ciò che sono. Parola PoS Lemma esseri NOUN essere essere AUX essere sono VERB essere I lemmi delle tre parole possiedono la stessa grafia ma il significato è diverso; esseri è un nome quindi il suo lemma è maschile singolare: essere, che non è il verbo essere come negli altri due casi. Da un punto di vista statistico le tre parole potrebbero confluire in un’unica classe se questa tenesse conto solo della grafia, o in due classi distinte se vogliamo considerare anche la PoS.

STRUTTURARE – Riconoscimento Ortografico «Un sistema di riconoscimento o controllo ortografico è un automa capace di confrontare rapidamente un testo con un golden standard composto da vocaboli scritti correttamente (un golden standard di vocaboli corretti), la cui natura garantisce una base di confronto certa per rivelare la presenza di un errore di ortografia; il quale, una volta riconosciuto e localizzato nella frase, può lasciare il posto al vocabolo corretto.» Frase: Lacqua score verso il basso Correzione: L’acqua scorre verso il basso