INFORMATICA UMANISTICA B

INFORMAZIONE NON STRUTTURATA:

ARCHIVI DI TESTI

ARCHIVI DI IMMAGINI

CONTENUTI DI QUESTA LEZIONE

Informazione non strutturata Archivi di testi e Information retrieval Il modello vettoriale di ricerca informazioni Espressioni regolari Archivi di immagini ed image retrieval

INFORMATICA ED ARCHIVI

Una delle funzioni principali dell’informatica e’ la creazione ed utilizzo di archivi elettronici: Di testi Di immagini

Questi archivi contengono informazione NON STRUTTURATA nel senso che non e’ organizzata secondo un modello concettuale predefinito, a differenza delle basi di dati

ARCHIVI ELETTRONICI Collezioni di testi:

Articoli scientifici: e.g., ACL Archive http://ucrel.lancs.ac.uk/acl/

Libri: Project Gutenberg: http://www.gutenberg.org/ LiberLiber: http://www.liberliber.it/ Google Books: http://books.google.it/

Collezioni di documenti storici Il Web (da cercare via Google)

Collezioni di immagini: http://www.iccrom.org/eng/lib/photo.htm Il Web (da cercare via Google Image)

5

DATI NON STRUTTURATI (TESTI) E STRUTTURATI (DB) NEL 1996

0

20

40

60

80

100

120

140

160

Data volume Market Cap

UnstructuredStructured

Lucido di Hinrich Schuetze

6

DATI NON STRUTTURATI (TESTI) E STRUTTURATI (DB) NEL 2006

0

20

40

60

80

100

120

140

160

Data volume Market Cap

UnstructuredStructured

Lucido di Hinrich Schuetze

ALCUNI USI DI QUESTI ARCHIVI

Per chi fa ricerca: facilitano la DISTRIBUZIONE di documenti e/o articoli

Facilitano anche la RICERCA di documenti rilevanti

Permettono di condurre analisi Dell’uso del linguaggio (analisi linguistica /

letteraria / storica) Storiche / filosofiche / etc.

RICERCA DI TESTI: RUDIMENTI DI INFORMATION RETRIEVAL

Information retrieval e’ il nome dell’area dell’Informatica che si occupa del ritrovamento di documenti

Idea fondamentale: estrarre automaticamente dai testi informazioni (INDICI) che ne permettano il ritrovamento

Richiede metodi per INDICIZZARE i documenti Analizzare la ‘query’ Cercare i documenti piu’ rilevanti alla query

DOCUMENTI COME INSIEME DI PAROLE

broad tech stock rally may signal trend - traders.

technology stocks rallied on tuesday, with gains scored broadly across many sectors, amid what some traders called a recovery from recent doldrums.

broadmay rallyralliedsignal stockstocks techtechnology traderstraders trend

DOCUMENTINDEX

RICERCA DI ARCHIVI TESTUALI: GOOGLE

Il Web e’ un enorme archivio elettronico che contiene sia documenti quanto informazioni di ogni tipo

Usato estesamente nelle aree umanistiche per facilitare l’accesso a documenti

I motori di ricerca come Google permettono di ritrovare documenti rilevanti usando PAROLE CHIAVE (KEYWORDS)

RICERCA AVANZATA IN GOOGLE

Immagini digitali

“immagini digitali”

albergo Trento OR Rovereto

RICERCA AVANZATA IN GOOGLE: OR

albergo Trento OR Rovereto

RICERCA AVANZATA IN GOOGLE: -

albergo Trento OR Rovereto –”Hotel Verona”

RICERCA AVANZATA IN GOOGLE

Enrico Salerno

+la morte +e +la fanciulla

Enrico * Salerno

ESPRESSIONI REGOLARI

Le espressioni per la ricerca avanzata in Google sono una versione semplificata di un linguaggio per la ricerca chiamato ESPRESSIONI REGOLARI

Le espressioni regolari sono alla base delle capacita’ di analisi dei testi in linguaggi di programmazione come Java o Perl (e nel motore di ricerca Google)

ESPRESSIONI REGOLARI

/agnolotti|ravioli/

/a[b|bb]ecedario/

/ab+ecedario/

ESPRESSIONI REGOLARI

/[0-9]+/

\d, \w, \s

/[^246]/

USI DI ESPRESSIONI REGOLARI: TROVARE GLI INDIRIZZI DI POSTA ELETTRONICA

asmith@mactec.com, foo12@foo.edu, bob.smith@foo.tv

Ma non: asmith, @mactech.com, a@a

^([a-zA-Z0-9_\-\.]+)@((\[[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.)|(([a-zA-Z0-9\-]+\.)+))([a-zA-Z]{2,4}|[0-9]{1,3})(\]?)$

INDICI E RITROVAMENTO

1 if play contains word, 0 otherwise

Antony and Cleopatra Julius Caesar The Tempest Hamlet Othello Macbeth

Antony 1 1 0 0 0 1

Brutus 1 1 0 1 0 0

Caesar 1 1 0 1 1 1

Calpurnia 0 1 0 0 0 0

Cleopatra 1 0 0 0 0 0

mercy 1 0 1 1 1 1

worser 1 0 1 1 1 0

Brutus AND Caesar but NOT Calpurnia

SOMIGLIANZA IN UNO SPAZIO VETTORIALE

kj

kj

qd

qd *cos

θ

dj

qk

N

i ij

N

i ik

N

iijik

jk

ww

wwdqsim

1

2,1

2,

1,,

,

ALTRI MODI PER ‘STRUTTURARE’ DATI NON STRUTTURATI

Per certi tipi di informazione altri modi di strutturazione sono piu’ appropriati

Molta ricerca corrente si occupa del problema di estrarre automaticamente informazioni che permettano di strutturare diversamente i testi

RICERCA PER ENTITA’

ORGANIZZAZIONE TEMPORALE

LIVEMEMORIES

ANALISI LESSICOGRAFICA DEI TESTI

Tipi di analisi: Concordanze Frequenze Collocazioni

Applicazioni: Lessicografia Analisi dello stile Identificazione degli autori

(Vedi anche modulo D)

ANALISI LESSICOGRAFICA DI TESTI

Identificazione delle parole che occorrono in un testo

Costruzione di INDICI Calcolo delle loro FREQUENZE Costruzione di CONCORDANZE

liste ordinate di parole che si trovano in un testo con il contesto

Identificazione di COLLOCAZIONI “corpo contundente”

CONCORDANZE

1   1,    1    |    uomini, sono stati e sono o repubbliche o principati. È principati 2   2,    1    |    indrieto el ragionare delle repubbliche, perché altra volta ne ragionai 3   5,    2    |  assicurarsi di loro. Ma nelle repubbliche è maggiore vita, maggiore 4   8,    1    |    dove si trattassi delle repubbliche. Questi sono quando, o per 5  12,    3   |     vede a' principi soli e repubbliche armate fare progressi grandissimi, 6  13,    6   | Alessandro Magno, e come molte repubbliche e principi si sono armati 7  15,    1   |       molti si sono immaginati repubbliche e principati che non si

COLLOCAZIONI

NOTTE FONDA, LUNA PIENA, ALTA STAGIONE, CORPO CONTUNDENTE

COLLOCAZIONE: sequenza di due o piu’ parole caratterizzate da un forte legame di associazione

TIPI DI COLLOCAZIONI

TERMINI TECNICI: sistema operativo, corte d’Assise

VERBO SUPPORTO: fare attenzione, prendersi un caffe’, dar manforte

COSTRUZIONI IDIOMATICHE: tagliar la corda, tirare le cuoia

PER SAPERNE DI PIU’…

Modulo D

ANALISI STILISTICA AL COMPUTER

Analisi dello stile di uno scrittore Esempi:

“corpo contundente”: tipico burocratese “broken twig” in James Fenimore Cooper Uso dei colori (specialmente rosso) in “Red

Badge of Courage”

IDENTIFICAZIONE DI AUTORI

Identificazione dell’autore di testi storici / testi anonimi Autori dei libri della Bibbia Autori dei Federalist Papers Autore di “Primary Colors”

ARCHIVI NON TESTUALI:IMMAGINI & MULTIMEDIA

Applicazioni: beni culturali, archeologia, storia dell’arte, film ….

Archivi di immagini Ricerca di immagini Analisi statistica di immagini

IMAGE RETRIEVAL

Ricerca di immagini: Usando didascalie od indici costruiti a mano

(LABELS) Usando indici derivati automaticamente

RITROVAMENTO DI IMMAGINI USANDO DIDASCALIE

CONTENT-BASED IMAGE RETRIEVAL

Estraendo automaticamente tratti dall’immagine (CONTENT-BASED IMAGE RETRIEVAL) Ricerca usando immagini ‘simili’ Vettori di tratti visivi (colore, etc)

Esempi: Retrievr

http://labs.systemone.at/retrievr Image Miner (Uni Bremen / IBM) VIPER (Universita’ di Ginevra) http://viper.unige.ch/

CONTENT-BASED IMAGE RETRIEVAL

RISULTATI

CREAZIONE DI ARCHIVI DI TESTI

La creazione di un archivio di testi richiede l’uso di una grande varieta’ di tecniche informatiche: Possibilmente SCANNERIZZAZIONE ‘Ripulitura’ Trasformazione in un formato STANDARD (XML /

TEI) Sviluppo di metodi di RICERCA

BIBLIOTECHE DIGITALI

Sempre piu’ spesso archivi, biblioteche e musei utilizzano tecniche per la digitalizzazione e la preservazione di documenti in formato digitale

Biblioteche digitali vanno oltre archivi di testi ed immagini in quanto documenti contengono METADATI che forniscono informazioni bibliografiche e collegamenti

DIGITALIZZAZIONE E CONSERVAZIONE Ora che la memoria sta

diventando sempre piu’ economica, e con lo sviluppo di metodi piu’ sofisticati di scannerizzazione delle immagini, e’ pensabile creare versioni elettroniche di documenti antichi e fragili per permetterne l’accesso senza danneggiarli

Esempio: progetti della British Library

PRINCIPALI AREE DI RICERCA NELLE BIBLIOTECHE DIGITALI

Preservazione digitale Metadati:

Text Encoding Initiative (prossima lezione) DUBLIN CORE

Infrastruttura: Open Archival Information System (OAIS)

RIASSUNTO DELLE IDEE PRINCIPALI

Modello vettoriale per la ricerca di informazioni non-strutturate

Espressioni regolari (e versione semplificata per Google)

LETTURE ED APPROFONDIMENTI

Tomasi, capitoli 7 e 9 Google search:

Google search basics: http://www.google.com/support/websearch/bin/answer.py?answer=136861

http://en.wikipedia.org/wiki/Google_search GriseldaOnline: http://www.griseldaonline.it/ Robert Harris,

The Personal Computer as a tool for literary analysis