SILVIO SALZA - Università di Roma “La Sapienza” – 1

CENTRO DI ECCELLENZA ITALIANO SULLA CONSERVAZIONE DIGITALE

Conformità allo standard OAIS: criticità e soluzioni applicative

MARIA GUERCIO

Università degli Studi di Roma “La Sapienza”

CINI- Consorzio Interuniversitario Nazionale per l’Informatica

maria.guercio@uniroma1.it

Work supported by the European Community under the

Information Society Technologies (IST) program of the 7th FP for RTD

project APARSEN, ref. 269977

SILVIO SALZA - Università di Roma “La Sapienza” – 2

LICENZA DI DIRITTO D’AUTORE

Questo materiale è rilasciato sotto licenza Creative Commons CC BY-NC-ND

Questa licenza implica che:

• È possibile copiare e distribuire liberamente questo materiale, a patto che non vengano apportate modifiche e che vengano mantenute le indicazioni di chi è l'autore dell'opera.

• Ciò è però consentito esclusivamente quando avvenga per scopi non commerciali.

• Non è consentito di distribuire opere derivate, cioè contenenti qualsivoglia modifica rispetto al materiale originale.

Per maggiori dettagli si rimanda direttamente alla licenza:

• Riassunto della licenza: http://creativecommons.org/licenses/by-nc-nd/3.0/it/deed.it

• Licenza completa: http://creativecommons.org/licenses/by-nc-nd/3.0/it/legalcode

le sezioni

1. Contesto originario ed evoluzione dello standard

2. La fortuna di OAIS

3. OAIS: le informazioni sulla conservazione

4. Applicare OAIS: la proposta di Archivematica

5. OAIS in Italia: lo standard UNISINCRO

6. OAIS in Italia: la proposta di regole tecniche sulla conservazione digitale

Sezione 1

Contesto originario, evoluzione e fortuna dello standard

la natura dello standard OAIS a fini operativi

• Il contesto di sviluppo storico di OAIS e la sua evoluzione successiva sono rilevanti al fine di gestire con (maggiore) efficacia l’utilizzo dello standard in ambito applicativo

• La mancata comprensione di tale aspetto e delle motivazione all’origine dello standard non ha facilitato un’applicazione adeguata rispetto alle potenzialità di OAIS

– lo standard si sviluppa nella metà degli anni Novanta con il supporto degli specialisti di ICT (NASA) e delle istituzioni che conservano memorie digitali (NARA, RLG) al fine di assicurare l’interoperabilità dei dati nella rete indipendentemente dalle architetture e soluzioni HW e SW

– la tempistica dello sviluppo del modello e l’apertura dello standard hanno costituito elementi cruciali per il suo successo e per il suo futuro sviluppo: era indispensabile disporre di un vocabolario condiviso e convincente e di un’architettura modello in grado di garantire coerenza e sistematicità e il superamento di concetti abusati quali metadati e archiviazione.

la prima fase di applicazione nei sistemi documentari

• Consortium Research Libraries - CURL, CEDARS Project (UK)

• Dspace

• Fedora

• US National Archives

• InterPARES

• Library of Congress – METS

• Library of Congress - PREMIS

• Nedlib (British Library)

• Pandora (Australia)

concetti fondamentali per gli sviluppi applicativi

• Comunità di riferimento: un gruppo ben individuato di potenziali utenti che dovrebbero essere in grado di comprendere un particolare insieme di informazioni. Le sfide riguardano:

– assicurare che le informazioni digitali conservate siano comprensibili e utilizzabili in modo indipendente dalle piattaforme tecnologiche (auto-contenute) e dalla presenza di persone esperte compatibilmente anche con il fatto che la base di conoscenza della comunità sia dinamica

• Il ruolo delle informazioni sulla rappresentazione: le informazioni che associano un oggetto-dati a concetti più significativi in modo che i bit conservati siano restituiti adeguatamente, utilizzati e compresi

la nuova versione dello standard (2012): le modifiche principali - 1

• Informazioni sui diritti di accesso (access rights information): sono previste come un nuovo elemento della Preservation Description Information da regolare nelle condizioni di versamento (Submission Agreement); includono

– le informazioni sulle restrizioni all’accesso dell’utente (consumer)

– i permessi per le operazioni di conservazione, fruizione e uso del contenuto informativo

la nuova versione dello standard (2012): le modifiche principali - 2

• Emulazione: la strategia era sottovalutata nella precedente versione (rispetto alle scelte di migrazione); il nuovo capitolo 5 tratta l’emulazione in quanto strategia per conservare i servizi di accesso o mantenere l’aspetto originario (look and feel) e analizza le diverse modalità di gestire l’emulazione in relazione al modello OAIS

• Pianificazione della conservazione: il ruolo della pianificazione è cresciuto rispetto alla precedente versione (con riferimento alle attività di monitoraggio e di analisi dei rischi, alla definizione di raccomandazioni per l’aggiornamento di AIP)

la nuova versione dello standard (2012): le modifiche principali - 3

• Autenticità e proprietà informative di trasformazione: si aggiunge (grazie al progetto CASPAR e alla riflessione condotta dall’Università di Urbino anche in relazione ai requisiti di InterPARES) la definizione di autenticità (il grado con cui una persona o un sistema considera un oggetto con riferimento a ciò che presume di essere: l’autenticità è valutata sulla base della capacità di darne prova); le modalità per provare l’autenticità sono supportate dal nuovo concetto di transformational information properties

– un esempio riguarda il caso di migrazione di contenuti informativi per i quali sia previsto la modifica dei bit e/o della PDI di un AIP: si tratta di un’operazione rischiosa che implica la possibilità di perdere informazioni rilevanti contenute in un AIP

– la definizione di transformational information properties implica la definizione precoce di quali proprietà debbano essere conservate dopo le modifiche: il mantenimento di tali proprietà costituisce un contributo operativo al mantenimento dell’autenticità o meglio della possibilità di verificarla

– Il concetto di transformational information properties deve essere confrontata con quello di significant properties al fine di superarne le ambiguità

la nuova versione dello standard (2012): le modifiche principali - 3

• Preservation perspectives: il capitolo affronta un tema rilevante ai fini della concreta implementazione dello standard ovvero la distinzione tra AIP version e AIP edition

– una nuova versione di AIP si determina nel caso in cui il contenuto informativo di un AIP o il relativo PDI abbiano subito una modifica (transformation) destinata a gestire la sostituzione di un AIP originario oggetto di migrazione digitale e

– l’edizione di un AIP si determina nel caso in cui il contenuto informativo di un AIP o il relativo PDI acquisiscano nuove informazioni di miglioramento (upgraded or improved) non a fini di conservazione del contenuto ma di gestione dell’AIP: in questo caso l’AIP non è il risultato di una migrazione

Indicazioni bibliografie e siti web

• Reference Model for an Open Archival Information System (OAIS), CCSDS 650.0-B-1 (2002),

– http://public.ccsds.org/publications/archive/650x0b1.pdf, traduzione italiana a cura di G. Michetti, Open Archival Information System/Sistema informativo aperto per l’archiviazione, Iccu, Istituto di studi per la tutela dei beni archivistici e librari dell’Università degli studi di Urbino, Roma, 2007; Consultative Committee for Space Data Systems. (2012), Reference Model for an Open Archival Information System (OAIS), CCSDS 650.0-B-2 (2012), nuova edizione, http://http://public.ccsds.org/publications/archive/650x0m2.pdf

• DPC Technology Watch Report on the OAIS model by Brian Lavoie (2004)

– http://www.dpconline.org/docs/lavoie_OAIS.pdf

• Interagency Science Working Group, National Archives and Records Administration (NARA), Establishing trustworthy digital repositories: a discussion guide based on the ISO Open archival information system (OAIS) standard reference model, January 2011

– http://www.archives.gov/records-mgmt/toolkit/pdf/ID373.pdf

• D. Giaretta, Advanced digital preservation, Springer, Verlag, Berlin, Heidelberg, 2011

30/12/2014 13

Sezione 2

La fortuna di OAIS

OAIS standard di riferimento dei principali progetti internazionali

• Tutti i progetti europei di seconda generazione (2006-2013) si basano sullo standard OAIS

• PLANETS, CASPAR, ENSURE, APARSEN, SCIDIP-ES (i principali progetti europei sulla conservazione digitale) hanno OAIS tra gli obiettivi di sviluppo operativo

• La call europea sull’eArchiving (2012) identifica OAIS come il modello di riferimento per lo sviluppo di infrastrutture di conservazione

• Gran parte dei progetti nazionali sulla conservazione digitale (inclusi i progetti sviluppati dai poli regionali italiani Parer e DAX) utilizzano il modello OAIS

• PREMIS è sviluppato nella forma di un dizionario coerente con OAIS

Restano aperti gli interrogativi sui modi per assicurare e verificare la conformità allo standard

le ragioni del successo di OAIS - 1

• Flessibilità e apertura del deposito

– modello open perché interoperabile con qualunque tipo di archivio

– modalità open di rappresentazione dell’informazione se formalizzata e adatta alla comunicazione, interpretazione e trattamento anche in modalità automatiche

– definizione flessibile di conservazione a lungo termine (“l’azione di mantenimento delle informazioni in una forma corretta e comprensibile in maniera autonoma e in grado di sostenere la verifica dell’autenticità per un intervallo di tempo sufficientemente ampio da dover considerare l’impatto prodotto sulle informazioni conservate da cambiamenti delle tecnologie”)

• flessibilità nella individuazione dei termini della conservazione: decenni, secoli ma anche pochi anni

• la specificità degli interventi conservativi è demandata alla comunità di riferimento (“un gruppo ben individuato di potenziali utenti in grado di comprendere un particolare insieme di informazioni”, definita dal deposito OAIS in modalità da consentire modifiche nel tempo ed eventualità verifiche)

le ragioni del successo di OAIS - 2

• Flessibilità e categorizzazione nella gestione dei metadati

– I metadati, espressi nella forma di RepInfo per gestire gli oggetti-dati o in quanto informazioni sulla conservazione (PDI), sono riconducibili ad alcune macro categorie finalizzate a gestire:

• la comprensione dei dati e la loro interpretazione (RepInfo): possono avere qualunque tipo di forma e natura (annotazione, dati strutturati o testuali)

• le origini (chi), il contesto (perché) e i controlli (come) (PDI: provenance context, reference, fixity, rights)

• il modo in cui i dati e i metadati sono raggruppati basati su una tassonomia delle informazioni di impacchettamento (SIP, AIP, DIP)

le ragioni del successo di OAIS - 3

Ricorsività e granularità– Le informazioni sulla rappresentazione (RepInfo) possono essere a loro

volta interpretate da altre RepInfo (reti di rappresentazione o Representation Information) e possono essere raggruppate per tipologie (strutturali, ad esempio in relazione ai formati; semantiche, ad esempio in relazione alle ontologie e ai dizionari utilizzati e altro ancora)

le ragioni del successo di OAIS - 4

• Un esempio di ricorsività per descrivere il formato FITS (in D. Giaretta, Advanced Digital Preservation, Springer 2010, pp. 55-56)

– un file in formato FITS è facilmente utilizzabile da chi conosce il formato (un astronomo che opera negli anni 1990-2015), ma non necessariamente da un esperto di altri settori o uno scienziato tra qualche decennio. In questo secondo caso per interpretare correttamente i dati è necessario aggiungere RepInfo relativa allo standard FITS:

• file pdf che descrive lo standard

• Acrobat reader per leggere il pdf oppure

• software FITS e software Java

• specifiche di dizionario FITS in XML

• specifiche di dizionario in unicode

• …

le ragioni del successo di OAIS - 5

• solido rapporto con gli standard, tra cui ad esempio:

– standard di interfaccia tra archivi OAIS

– standard per la metodologia di versamento (submission): PAIMAS, UN/CEFACT BRS, UniSincro

– standard per l’uso di ‘metadati’ relativi ai processi: ISO 23081

– standard per l’identificazione persistente di risorse digitali (cfr APARSEN, WP 22)

– standard per l’uso dei formati: PRONOM

– standard per la gestione di documenti: RM 15489

– standard per l’accreditamento: ISO 16363

Sezione 3

OAIS: le informazioni sulla conservazione

centralità delle informazioni sulla conservazione

• Le informazioni sulla conservazione sono organizzate in 5 categorie, di cui quella sui diritti di accesso è stata creata nell’ultima versione di OAIS

• In alcuni casi le informazioni sono dipendenti dal dominio, in altri sono trasversali

• Si tratta comunque di informazioni cruciali e costituiscono il nucleo di informazioni che ogni SIP e ogni AIP devono includere perché garantiscono self-documentation nei sistemi di conservazione: in particolare ogni SIP o AIP deve includere informazioni sulla conservazione (PDI) adeguate e sufficienti

• Meritano un approfondimento anche a fini di verifica della conformità a OAIS

PDI: informazioni sull’integrità (fixity)

• Sono le informazioni che documentano i meccanismi di autenticazione e forniscono le chiavi di validazione utilizzate per evitare alterazioni non documentate– L’integrità è rilevante all’interno del deposito o in fase di trasferimento

ma non è facilmente garantita nel lungo periodo a causa dell’obsolescenza tecnologica

– Gli algoritmi utilizzati (checksum, hash, object digest) sono di varia natura (SHA, CRC-32, ecc.) e diversamente sicuri, ma in ogni caso vulnerabili

– Si tratta di informazioni indipendenti dai domini disciplinari cui appartengono i contenuti informativi

– L’integrità in ambito digitale non può essere intesa in quanto conservazione integra di bitstream originali: perdite e modifiche sono inevitabili e devono essere documentati

PDI: informazioni di identificazione (reference)

• Si tratta delle informazioni che individuano univocamente e possibilmente in modo persistente gli oggetti digitali (contenuti informativi, RepInfo, ecc.) e, se necessario, descrivono uno o più meccanismi di attribuzione di identificatori.

• Possono consentire a sistemi esterni di riferirsi in maniera non ambigua al contenuto informativo (ad esempio un codice ISBN o un codice DOI)

• In un sistema OAIS si tratta di informazioni spesso replicate nelle informazioni descrittive messe a disposizione degli utenti per avere accesso ai contenuti richiesti

• Gli identificatori devono essere persistenti (persistent identifier), unici, in grado di localizzare univocamente gli oggetti digitali e/o una copia di riferimento/sostitutiva (PID)

• E’ opportuno al fine di valutare la qualità di depositi OAIS compliant che le diverse categorie di identificatori siano interoperabili e standard

– si veda l’analisi condotta da APARSEN (WP 22) finalizzata a fornire un quadro complessivo dei sistemi in uso e criteri di valutazione e a disegnare un modello di riferimento che garantisca l’interoperabilità tra i sistemi e un modello di integrazione

PDI: informazioni sul contesto (context)

• Sono le informazioni che documentano le relazioni del contenuto informativo con l’ambiente di riferimento (originario o di ri-uso), ivi incluse le modalità di formazione e le forme in cui si definiscono le relazioni con altri contenuti esistenti anche in sistemi diversi

• Il termine è definito in modo generico da OAIS che di fatto affida al concetto di RepInfo e ai pacchetti informativi il compito di specializzare le relazioni di contesto rilevanti a fini conservativi

• Un ulteriore elemento di ambiguità è determinato dal significato del termine provenienza non definito da OAIS con adeguata chiarezza e spesso sovrapponibile in tutto o in parte con il concetto di contesto e con i relativi metadati

• Si ritiene che i due termini possano essere disambiguati all’interno di ciascun dominio

PDI: informazioni sulla provenienza (provenance)

• Le informazioni che documentano la storia del contenuto informativo comprendono:

– origine o fonte

– cambiamenti avvenuti

– storia e responsabilità della custodia

• Sono molteplici le modalità per rappresentare la provenienza sia dal punto di vista dei dizionari da utilizzare:

– PREMIS (per la conservazione: event, agent, object, right)

– CIDOC CRM (per la rappresentazione di relazioni semantiche)

• che dal punto di vista delle categorie di informazioni da descrivere:

– OPM – Open provenance model

– EAD/EAC (utilizzato non solo in ambito archivistico)

• L’interoperabilità è cruciale. Si tratta di informazioni che spesso è utile identificare con una propria RepInfo anche a fini di condivisione

PDI: informazioni sulla gestione dei diritti di accesso (access rights)

• Sono le informazioni che identificano i limiti di accesso al contenuto informativo, inclusa le restrizioni legali, i termini di licenza e i sistemi di controllo

• Includono le condizioni di accesso e disseminazione previste nell’accordo di versamento in relazione sia alla conservazione da parte del deposito OAIS sia all’uso da parte degli utenti finali

• Includono anche le specifiche per l’applicazione di misure gestionali in questo ambito

gestire l’autenticità in un ambiente OAIS: indicazioni di metodo

• Le informazioni e la documentazione che assicurano la verifica dell’autenticità sono sempre più rilevanti nella comunità di sviluppo di OAIS (grazie ai progetti CASPAR e APARSEN). Si riferiscono all’esigenza di:

– assicurare precocemente il tracciamento delle informazioni relative a identità e integrità (in base al modello concettuale di InterPARES)

– gestire le informazioni di rappresentazione (RepInfo) e le informazioni di descrizione dell’informazione (PDI) insieme ai contenuti informativi in modo da assicurare l’autonomia dei pacchetti informativi di archiviazione dalle specifiche soluzioni tecnologiche

gestire l’autenticità in un ambiente OAIS: suggerimenti operativi

• Definire schemi XML di riferimento per lo sviluppo di pacchetti informativi di archiviazione (AIP) (ad esempio lo schema utilizzato dallo standard UNISiNCRO per AIP e AIC relativi a volumi di documenti sottoscritti digitalmente ai sensi della normativa italiana sulla conservazione digitale)

• Utilizzare dizionari standard per le informazioni (metadati) di conservazione (ad esempio PREMIS) o per la modellazione dei dati di provenienza (ad esempio le raccomandazioni Open Model Provenance)

• Ricorrere a standard di dominio per i metadati descrittivi specifici (ISAD/ISAAR in ambito archivistico)

gestire l’autenticità in un ambiente OAIS: responsabilità e processi

• Poiché non è possibile conservare i bitstream originari e poiché la conservazione è un processo dinamico (che implica attività e persone responsabili) le attività che incidono sulla modifica dei flussi di bitstream originari e sulla catena della conservazione devono essere identificate, descritte e documentate.

• Si tratta di identificare e descrivere chi, quando, come è intervenuto sugli oggetti digitali conservati

• A fini di interoperabilità è opportuno gestire il tracciamento in forme normalizzate con riferimento a:

– linee guida sulla descrizione dei processi (vedi progetto APARSEN e progetto SCIDIP-ES)

– procedure e flussi documentati nonché sviluppo di softwaredi supporto (progetto Archivematica)

gestire l’autenticità in un ambiente OAIS: l’interoperabilità dei dati di provenienza

• I progetti europei APARSEN e SCIDIP-ES hanno disegnato strutture interoperabili di dati sulle attività di conservazione al fine di sviluppare un modello condiviso per documentare la catena della custodia con specifico riferimento agli eventi che incidono sull’integrità e identità (capture, aggregation, extraction, ingestion)

• Gli eventi rilevanti sono descritti in un Authenticity evidence record – AER (Aparsen) in grado di catturare e conservare in forma normalizzata le informazioni relative alle trasformazioni rilevanti

• Gli AER sono definiti mediante il data dictionary messo a disposizione dello standard PREMIS

• L’insieme degli AER costituisce l’Authenticity evidence history definito dal progetto APARSEN

• Documentare i processi sin dalla fase di formazione delle risorse digitali mediante workflow normalizzati e vocabolari condivisi e standardizzati è rilevante perché si garantisce l’interoperabilità, si favoriscono processi di automazione e si riducono i costi

riferimenti bibliografici e siti web

• APARSEN, deliverable 24.1 e 24.2 • Aparsen Project, Deliverable 24.1. Report on authenticity and plan for interoperable

authenticity evaluation system, 2012, http://www.alliancepermanentaccess.org/wp-content/uploads/downloads/2012/04/APARSEN-REP-D24_1-01-2_3.pdf.

• Aparsen Project: Deliverable 24.2, Implementation and testing of an authenticity protocol on a specific domain, 2012, http://www.alliancepermanentaccess.org/wp-content/uploads/downloads/2012/04/APARSEN-REP-D24_2-01-2_2.pdf

• Open Provenance Model – Core specification, – http://eprints.soton.ac.uk/271449

• PREMIS– www.loc.gov/standards/premis

• SCIDIP-ES– http://www.scidip-es.eu: intervento a cura di Luigi Briguglio, Mariella Guercio e

Silvio Salza (ECLAP 2013)

30/12/2014 32

Sezione 4

Applicare OAIS: la proposta di Archivematica

il progetto ARCHIVEMATICA

• È un sistema completo di conservazione digitale basato sugli standard internazionali e sui principi archivistici definiti nell’ambito del progetto InterPARES:

– “free and open-source digital preservation system that is designed to maintain standards-based long-term access to collections of digital objects”

• E’ sviluppato su base modulare al fine di fornire una suite integrata di strumenti open source che consentano ai depositi di gestire oggetti digitali di qualunque natura dalla fase di versamento a quelle di archiviazione e di distribuzione secondo il modello funzionale OAIS

http://www.archivematica.org

le finalità

• Lo scopo è quello di offrire agli archivisti e ai bibliotecari che dispongano di mezzi tecnici e finanziari limitati gli strumenti, la metodologia e la capacità operativa per affrontare nell’immediato la conservazione di oggetti digitali, sintetizzando i passi specifici del modello OAIS e sviluppandoli, se possibile, in strumenti software di facile utilizzo presenti all’interno del sistema.

• Qualora l’applicativo non supporti l’automazione delle fasi, “si possono incorporare e documentare i passaggi in una procedura manuale da realizzare a cura dell’utente finale”.

• In sostanza il sistema è concepito come “un insieme integrato di tecnologia, risorse umane e procedure e non soltanto come un insieme di strumenti software”

gli standard adottati

• Gli standard principali utilizzati sono:

– METS per la gestione dei pacchetti informativi su base OAIS

– PREMIS per i metadati di conservazione,

– Dublin Core per identificare e descrivere i singoli oggetti e le componenti digitali che li costituiscono e che formano i pacchetti di versamento e

– standard di metadati significativi per ciascun dominio (ad esempio lo standard EAD-EAC per descrivere archivi)

– standard per i formati sulla base di policy e dell’analisi di caratteristiche significative dei formati medesimi

come funziona - 1

• L’applicativo si basa sulla creazione e integrazione per la funzione conservativa di micro-servizi indipendenti ma interoperabili, facili da sviluppare, migliorare o sostituire.

• La struttura fisica di un pacchetto informativo può contenere qualunque tipo di oggetto (file, checksum, log, metadati XML).

• Il meccanismo operativo è semplice: ogni micro-servizio è descritto in un file di configurazione XML e associato ad una directory definita sulla base di una catena di conservazione conforme a OAIS ; quando un pacchetto informativo viene trasferito in quella specifica directory, si attivano le procedure incluse nel micro-servizio correlato cui seguono ulteriori azioni e altri micro-servizi in una sequenza progressiva che concatena le directory trasformandole in workflow personalizzati.

come funziona - 2

• E’ stato sviluppato un modello di base conforme a OAIS, ma gli utenti possono modificarlo in relazione alle loro specifiche esigenze.

• L’installazione dell’applicativo (open source e gratuito) può avvenire su qualunque tipo di macchina e di sistema operativo.

• Può limitarsi a una sola postazione o essere gestita in modalità distribuita anche per ambienti complessi.

la gestione dei formati

• Il sistema mantiene i formati originali di tutti i file acquisiti al fine di sostenere strategie diverse di migrazione o emulazione.

• Tuttavia la strategia principale utilizzata è basata sulla normalizzazione dei file originali migrati dopo il versamento in formati per la conservazione e la distribuzione, tutti conformi al requisito dei formati aperti.

• I formati sono raggruppati e gestiti per tipologia (testuale, audio, video, immagini vettoriali, ecc.).

• La scelta tiene anche conto delle buone pratiche specifiche di ciascuna comunità e delle caratteristiche peculiari di ogni categoria.

• L’obiettivo è di dar vita a un registro online di policy per la gestione dei formati, opportunamente strutturato e interoperabile con i registri dei formati esistenti (PRONOM e UDFR – Universal digital format registry).

Overview: INGEST

Ingest

• AD1 Receive SIP (PDF) (OpenDocument)

• AD2 Audit SIP (PDF) (OpenDocument)

• AD3 Accept SIP for Ingest (PDF) (OpenDocument)

• AD4 Generate AIP (PDF) (OpenDocument)

• AD5 Transfer AIP to Archival Storage (PDF) (OpenDocument)

Overview: STORAGE

Archival Storage

• AD6 Receive AIP (PDF) (OpenDocument)

• AD7 Store AIP (PDF) (OpenDocument)

• AD8 Provide AIP (PDF) (OpenDocument)

• AD9 Recover AIP (PDF) (OpenDocument)

Overview: DATA MANAGEMENT

Data Management

• AD10 Update Database (PDF) (OpenDocument)

• AD11 Query Database (PDF) (OpenDocument)

Overview: ACCESS

Access

• AD12 Request DIP (PDF) (OpenDocument)

• AD13 Deliver DIP (PDF) (OpenDocument)

• AD14 Provide Assistance (PDF) (OpenDocument)

• AD15 Collect Feedback (PDF) (OpenDocument)

Overview: ADMINISTRATION

Administration

• AD16 Update Archival Information (PDF) (OpenDocument)

• AD17 Activate Requests (PDF) (OpenDocument)

• AD18 Monitor Data Submission Schedule (PDF) (OpenDocument)

• AD19 Negotiate Submission Agreement (PDF) (OpenDocument)

Istruzione Directory Descrizione

Il produttore colloca il pacchetto di versamento (SIP) in una cartella condivisa (shared folder)(manuale)

[host]/sendSIP/ Il produttore colloca sul suo computer gli oggetti in una determinata cartella definita in modo da inviare automaticamente i suoi contenuti in una cartella condivisa inArchivematica.

Il SIP appare nella cartella condivisa di Archivematica (auomatico) /1-receiveSIP/ La cartella condivisa è 1-receiveSIP. Quando si opera sul SIP l’originale è lasciato in questa come backup in caso di possibili ripensamenti.

L’archivista copia il SIP nella cartella di revisione del SIP (SIP review folder) (manuale) /2-reviewSIP/

L’archivista riesamina il SIP (manuale) /2-reviewSIP/ Il SIP viene controllato per assicurarsi che sia conforme all’accordo di versamento. Se è incluso il file MD5checksum.txt, si clicca il testo destro del mouse e si seleziona VerifyMD5 checksum. In caso contrario Archivematica aggiunge il checksum alla directory SIPlog e verifica il checksum in varie occasioni nel corso del processo di versamento.

L’archivista aggiunge i metadati descrittivi (manuale) /2-reviewSIP/ Il SIP viene aperto. Si clicca con il tasto destro del mouse e si seleziona dal menu Add Dublin Core XML. Si seleziona con il tasto destro del mouse dublincore.xml per aprirlo conMousepad. Si aggiungono le informazioni descrittive appropriate e si salva il file.

L’archivista sposta il SIP nel settore di quarantena (manuale) /3-quarantineSIP/

Il SIP è in quarantena (automatica) /3-quarantineSIP/ Il SIP rimane nella cartella di quarantena per un periodo di tempo predefinito (ad esempio 30 giorni.

Si estraggono tutti i file incorporati e/o compressi (automatica) /3-quarantineSIP/

I caratteri non consentiti sono rimossi dalla cartella e dalle denominazioni dei file(automatica)

/3-quarantineSIP/ Archivematica rimuove gli spazi, le e commerciali e tutti i caratteri speciali dalla cartella e dai nomi dei file per consentire il trattamento in Linux. Viene generato un log di tutti icambiamenti di nome. Il log è aggiunto nella cartella ingestLogs.

Tutti gli oggetti SIP sono sottoposti all’analisi anti-virus (automatica) /3-quarantineSIP/

Ogni file infetto viene rimosso e inserito nella cartella possibleVirii (automatica) /SIPerrors/possibleVirii/ Qualora si individuino file infetti, si produce una notifica e i file infetti sono isolati. Il trattamento del SIP continua sui file rimanenti.

I contenuti del SIP sono identificati e validati utilizzando FITS (automatica) /3-quarantineSIP/ FITS identifica i formati dei file, li valida rispetto alle specifiche pubblicate ed estrae i metadati tecnici. Tutte le suddette informazioni sono memorizzate nella directory ingestLogse aggiunta al file METS.xml che descrive i contenuti dei pacchetti di archiviazione – AIP.

I file sono trasferiti nella cartella di valutazione del SIP (SIP appraisal) (automatica) /4-appraiseSIP/

L’archivista valuta il SIP (manuale) /4-appraiseSIP/ L’archivista ora ha accesso a tutti i metadati tecnici disponibili per completare la valutazione del SIP, ad esempio in termini di verifica della corrispondenza con l’accordo diversamento o per la selezione a fini storici, legali, ecc.

Se il SIP è rifiutato, l’archivista lo colloca nella cartella rejection folder (manuale) /SIPerrors/rejectedSIPs/ Se il SIP è rifiutato, l’archivista può notificare il risultato al produttore o intraprendere altre azioni previste dalla policy dell’istituzione.

Se il SIP è accettato, l’archivista trasferisce il SIP nella cartella di preparazione del pacchettodi archiviazione – AIP (AIP preparation folder) (manuale)

/5-prepareAIP/

30/12/2014 45

Sezione 5

OAIS in Italia: lo standard UNISiNCRO

standard e raccomandazioni: lo standard UNI SINCRO

• Lo standard SInCRO è stato elaborato dalla Commissione UNI-DIAM e in particolare dal comitato sulla gestione dei documenti e degli archivi per iniziativa di fornitori preoccupati per la qualità nel tempo dei servizi offerti

• Ha la finalità di definire nel rispetto del modello OAIS una struttura di dati in XML (una sorta di AIP o meglio AIC) che consenta di predisporre sia le informazioni identificative minime (previste dal legislatore) che una infrastruttura generale in grado di gestire tutte le informazioni archivistiche necessarie al processo di formazione e tenuta dei documenti digitali in modo da assicurare l’interoperabilità tra sistemi e la conservazione a lungo termine

• Il presupposto è il riconoscimento che l’ottimizzazione del processo di conservazione presuppone una corretta analisi archivistica dei documenti da digitalizzare e conservare e un adeguato sistema di tenuta dei documenti negli archivi correnti

lo standard UNISInCRO: le ragioni

• Le regole tecniche per la conservazione operative a partire dal 2004 (delibera Cnipa 11/2004) descrivono gli aspetti procedurali e indicano le responsabilità degli attori di questo specifico processo, ma non forniscono dettagli tecnici sullemodalità di rappresentazione dei dati e dei documenti oggetto di conservazione,e non contengono alcuna specifica disposizione mirata a conseguire o a promuovere forme d’interoperabilità sia delle informazioni di firma sia dei metadati di aggregazione logica dei documenti.

• Gli articoli 3 e 4 in particolare (dedicati alla conservazione sostituiva di documenti informatici ed analogici) si limitano a prescrivere

– l’uso della firma digitale e di un riferimento temporale per perfezionare il processo, – l’intervento del responsabile della conservazione eventualmente integrato o sostituito

da quello di un pubblico ufficiale.

• Tecnicamente l’obbligo è limitato alla apposizione della firma digitale e del riferimento temporale “sull’insieme dei documenti o su una evidenza informatica contenente una o più impronte dei documenti o di insiemi di essi”. I limiti sono:

– libertà troppo ampia e rischi di auto-referenzialità e perdita degli investimenti già nel medio periodo

• Manca(va) un modello di procedure e di flussi in grado di normalizzare le attività e assicurare la qualità delle informazioni da acquisire sia pure con il solo riferimento al nodo della integrità e della gestione dei dati relativi alla firma digitale di volumi di conservazione (fixity)

lo standard UNISInCRO: gli obiettivi

• La norma definisce la struttura dell'insieme di dati (PDI e RepInfo) a supporto del processo di conservazione previsto dalla normativa: in particolare, precisa e integra alcune disposizioni contenute nella deliberazione CNIPA 19 febbraio 2004, n. 11, individuando gli elementi informativi necessari alla creazione dell'Indice di Conservazione (il cosiddetto "file di chiusura") e descrivendone sia la semantica sia l'articolazione per mezzo del linguaggio formale XML, di fatto (anche se non esplicitamente) ‘sostanzialmente’ coerente con il modello OAIS.

• L'obiettivo della norma è di consentire agli operatori del settore di utilizzare una struttura-dati condivisa al fine di raggiungere un soddisfacente grado d'interoperabilità nei processi di migrazione, grazie all'adozione dello schema XML appositamente elaborato che tiene conto, soprattutto, della necessità di formare sia in sede di versamento che in sede di conservazione e tenuta nei depositi pacchetti informativi auto-sufficienti.

• Lo standard ha influenzato il successivo sviluppo della regolamentazione

lo standard UNISInCRO: i vantaggi

L’adozione di questo standard nello sviluppo di sistemi di conservazione “anticipata” è finalizzato a favorire:

• l’interoperabilità nei sistemi attivi tra produttori diversi e a fini di esibizione (quindi anche nell’interoperabilità con gli sviluppi tecnologici futuri)

• l’aggiornamento grazie alla presenza di uno schema di metadati aperto alle integrazioni nelle fasi successive di gestione

E’ indipendente dal fornitore e dall’applicazione

Rispecchia lo standard OAIS anche se:• il riferimento non è esplicitamente dichiarato

• i pacchetti informativi di versamento e di archiviazione non sono necessariamente costituiti con tutte le necessarie informazioni di conservazione (PDI)

• non si distingue chiaramente i singoli AIP da collezioni di AIP (AIC)

Utilizza (anche in questo caso non esplicitamente) concetti dello standard PREMIS (elaborato in

conformità con lo standard OAIS) e adotta una parte del data dictionary

lo standard UNISInCRO: gli elementi

1. Agent (chi interviene nel processo)2. Agent_ID3. AgentName4. AttachedTimeStamp5. CreatingApplication6. Description (tipologia del volume)7. DetachedTimeStamp (data e ora del volume)8. EmbeddedMetadata9. ExternalMetadata10. File (indicazioni sul formato)11. FileGroup (criteri logici di aggregazione)12. FirstName13. FormalName14. Hash15. ID (identificatore univoco)16. IdC (indicazione dei contenuti in modo

indipendente dal supporto)17. IdC_ID18. Label19. LastName

20. LawAndRegulations (norme applicate)21. MoreInfo22. Name23. NameAndSurname24. Path (localizzazione)25. PreviousHash (catena delle impronte)26. Process27. Producer28. SelfDescription29. SourceIdC30. SourceVdC31. TimeInfo (data di realizzazione dell’indice)32. TimeReference33. VdC34. VdCGroup35. Version

lo standard UNISInCRO: gli attributi

1. CanonicalXML2. Encoding3. Extension4. Format 5. Function6. Language7. Normal8. OtherRole9. OtherScheme10. RelatedIdC11. RoleScheme12. Scheme13. Type14. Url15. Version16. XMLScheme

lo schema XML in UNISInCRO

30/12/2014 53

Sezione 6

OAIS in Italia: le regole tecniche sulla conservazione digitale

i principi generali della regolamentazione sulla conservazione ai sensi dell’art. 71

Parole chiave: responsabilità, coordinamento, sistema• identificazione circostanziata dei compiti e delle responsabilità del

responsabile della conservazione che includono la realizzazione secondo principi di sicurezza documentati di un vero e proprio sistema di conservazione relativo ai documenti digitali

• definizione e gestione degli aspetti organizzativi, con specifica attenzione alla tipologia dei documenti da conservare, alle copie di sicurezza e all’eventuale delega di funzioni a terzi: si ribadisce, in sintonia con il nuovo CAD ma anche con le indicazioni degli standard internazionali e con l’architettura definita da OAIS, il ruolo centrale delle responsabilità e di una catena della custodia in termini di depositi accreditati e di responsabili formalmente individuati che tra l’altro include la cooperazione con il responsabile del sistema di gestione dei documenti

il sistema delle regole tecniche e la conservazione

• regole tecniche sul sistema di conservazione ai sensi degli articoli 44 e 44 bis del CAD

• Allegati: glossario, specifiche tecniche del pacchetto di archiviazione, metadati, linee guida per l’accreditamento e la certificazione, definizione dei formati da utilizzare, identificazione degli standard rilevanti

http://www.digitpa.gov.it/codice-amministr-digitale/attuazione-del-cad

punti di forza: la coerenza del quadro di riferimento

• Inserimento nel glossario di tutte le definizioni necessarie e individuazione (negli allegati) delle specifiche rilevanti per l’interoperabilità tra sistemi sia per i sistemi di conservazione che per la formazione e gestione di sistemi documentari correnti:

– ad esempio nel caso dei pacchetti di archiviazione si stabiliscono (in allegato alle regole) specifiche della struttura dei dati in grado di assicurare la reciproca interoperabilità (in coerenza con OAIS)

– si definisce il sistema di conservazione: insieme delle regole, dei processi, delle procedure e delle tecnologie utilizzate per le attività finalizzate ad assicurare l'autenticità, l’integrità, l'affidabilità e la consultabilità dei documenti informatici e delle loro aggregazioni, in tutte le fasi di gestione dell'archivio a garanzia della permanenza di tali qualità, salvaguardando le relazioni di contesto

• Si riconosce in questa definizione l’influenza dei progetti internazionali (InterPARES, CASPAR e APARSEN) e degli standard (OAIS in particolare)

punti di forza: il riferimento agli standard

• Riferimenti nell’allegato 3 agli standard esistenti:

– ISO 14721:2002 OAIS

– standard UNI SInCRO che era stato sviluppato proprio con l’obiettivo di superare i limiti concettuali e strutturali della delibera 11/2004 e garantire l’interoperabilità dei volumi/lotti di conservazione coerentemente con i modelli internazionali (lo standard è pianificato sulla base del modello OAIS)

punti di forza: il riferimento al modello OAIS - 1

Coerenza con il modello standard ISO 14721 OAIS adottato come riferimento logico e per lo sviluppo dell’architettura generale del sistema di conservazione:

– gli oggetti della conservazione sono organizzati a fini di trasferimento, tenuta nel deposito e consultazione inpacchetti informativi (di versamento, archiviazione e distribuzione)

punti di forza: il riferimento al modello OAIS - 2

Articolo 4. Oggetti della conservazione

1. Gli oggetti della conservazione sono trattati dal sistema di conservazione in pacchetti informativi.

2. I pacchetti informativi trattati dal sistema di conservazione si distinguono in pacchetti di versamento, pacchetti di archiviazione e pacchetti di distribuzione.

3. Ai fini dell’interoperabilità tra i sistemi di conservazione, i soggetti che svolgono attività di conservazione dei documenti informatici adottano le specifiche della struttura dati contenute nell’allegato 4, almeno per la gestione dei pacchetti di archiviazione”

i pacchetti informativi: regole tecniche

• Pacchetto informativo: contenitore che racchiude uno o più oggetti da conservare (documenti informatici, fascicoli informatici, aggregazioni documentali informatiche), oppure anche i soli metadati riferiti agli oggetti da conservare

• Pacchetto informativo di versamento: pacchetto informativo inviato dal produttore al sistema di conservazione secondo un formato predefinito e concordato descritto nel manuale di conservazione (a fini di trasferimento nell’archivio di conservazione)

• Pacchetto informativo di archiviazione (allegato 4): specifiche tecniche coerenti con lo standard UNI SInCRO Conservazione e nel Recupero degli Oggetti digitali (UNI 11386:2010) per la creazione di insiemi di dati a supporto della conservazione (volumi/lotti a fini di conservazione)

• Pacchetto informativo di distribuzione: pacchetto informativo inviato dal sistema di conservazione all’utente in risposta ad una sua richiesta (a fini di consultazione)

i limiti della regolamentazione«vorrei ma non posso»

• Nelle specifiche disposizioni e nello stesso glossario lo standard OAIS non è citato esplicitamente anche se nella denominazione dei pacchetti informativi si utilizzano i termini relativi con un buon grado di precisione

• La descrizione del pacchetto di archiviazione (allegato 4) non utilizza né la terminologia di OAIS né la terminologia di UNISiNCRO

• La definizione dello schema XML non esplicita con sufficiente chiarezza la necessità che le informazioni di descrizione della conservazione (PDI) siano connesse intrinsecamente ai contenuti informativi in modo da garantire l’autonomia nella gestione conservativa dei pacchetti rispetto alle soluzioni tecnologiche

• I limiti ora ricordati rischiano di influenzare negativamente le regole e le modalità per l’accreditamento dei depositi di conservazione, lasciando ampi margini di ambiguità e, quindi, limitando nei fatti la scelta originaria di standardizzazione