FIRB 2001 - Progetto Grid.IT

45
FIRB 2001 - Progetto FIRB 2001 - Progetto Grid.IT Grid.IT WP 7 – Grid Portals Responsabile Prof. Giovanni Aloisio ISUFI / CACT Università degli Studi di Lecce TB members Massimo Cafaro Italo Epicoco Pisa, 27-28 Maggio 2003

description

ISUFI / CACT Università degli Studi di Lecce. FIRB 2001 - Progetto Grid.IT. WP 7 – Grid Portals Responsabile Prof. Giovanni Aloisio. TB members Massimo Cafaro Italo Epicoco. Pisa, 27-28 Maggio 2003. Obiettivi del WP 7. WP8. Utenti. WP7. WP5. Servizi. Grid-Aware Application. - PowerPoint PPT Presentation

Transcript of FIRB 2001 - Progetto Grid.IT

Page 1: FIRB 2001 - Progetto  Grid.IT

FIRB 2001 - Progetto FIRB 2001 - Progetto Grid.ITGrid.IT

WP 7 – Grid PortalsResponsabile Prof. Giovanni Aloisio

ISUFI / CACTUniversità degli Studi di Lecce

TB membersMassimo Cafaro

Italo Epicoco

Pisa, 27-28 Maggio 2003

Page 2: FIRB 2001 - Progetto  Grid.IT

Pisa, 27-28 Maggio 2003 2 di 49

CACTUniversità di Lecce

WP 7Resp. Prof. G.

Aloisio

Obiettivi del WP 7Obiettivi del WP 7

Utenti WP8

WP7 WP5

Servizi

Page 3: FIRB 2001 - Progetto  Grid.IT

Pisa, 27-28 Maggio 2003 3 di 49

CACTUniversità di Lecce

WP 7Resp. Prof. G.

Aloisio

A grid-aware application is one that at runtime can identify Grid characteristics and then dynamically reconfigure resource requirements and/or application structure to maintain desired application-level performance.

Grid-Aware Application

Page 4: FIRB 2001 - Progetto  Grid.IT

Pisa, 27-28 Maggio 2003 4 di 49

CACTUniversità di Lecce

WP 7Resp. Prof. G.

Aloisio

Ken Kennedy Director Linda Torczon , Executive Director

Project PIs Ken Kennedy, Rice University Francine Berman, UCSDAndrew Chien, UCSD Keith Cooper, Rice University Jack Dongarra, University of Tennessee Ian Foster, University of Chicago Dennis Gannon, Indiana University S. Lennart Johnsson, University of Houston Carl Kesselman, ISI-USC John Mellor-Crummey, Rice University Daniel Reed, UIUC Linda Torczon, Rice University Richard Wolski, University of Tennessee

Page 5: FIRB 2001 - Progetto  Grid.IT

Pisa, 27-28 Maggio 2003 5 di 49

CACTUniversità di Lecce

WP 7Resp. Prof. G.

Aloisio

Page 6: FIRB 2001 - Progetto  Grid.IT

Pisa, 27-28 Maggio 2003 6 di 49

CACTUniversità di Lecce

WP 7Resp. Prof. G.

Aloisio

The run-time system will dynamically adapt the application to a changing Grid environment via a closed execution loop

At the heart of the GrADSoft architecture is an enhanced execution environmentThis execution system continually adapts the application to changes in the Grid resources, with the goal of maintaining overall performance at the highest possible level

Page 7: FIRB 2001 - Progetto  Grid.IT

Pisa, 27-28 Maggio 2003 7 di 49

CACTUniversità di Lecce

WP 7Resp. Prof. G.

Aloisio

Investigate a number of key areas: • Grid software architectures that facilitate information flow and resource negotiation among applications, libraries, compilers, linkers, and runtime systems;

• Base software technologies, such as scheduling, resource discovery, and communication tools, to support the development and execution of performance-efficient Grid applications; • Policies and software mechanisms that support performance analysis, the exchange of performance information, and performance contract brokering;

• Languages, compilers, environments, and tools supporting the creation of applications for the Grid and the solution of problems via the Grid;

• Mathematical and data-structure libraries for Grid applications, including numerical methods for controling accuracy and latency tolerance;

• System software and communication libraries for aligning distributed computer collections as unified computing configurations;

• Simulation and modeling tools to enable systematic, scientific study of the dynamic properties of Grid middleware, application software, and configurations

Page 8: FIRB 2001 - Progetto  Grid.IT

Pisa, 27-28 Maggio 2003 8 di 49

CACTUniversità di Lecce

WP 7Resp. Prof. G.

Aloisio

Obiettivi del WP 7Obiettivi del WP 7

Progettazione e sviluppo di un portale per l’accesso Progettazione e sviluppo di un portale per l’accesso trasparente alla grid nazionale sviluppata in Grid.Ittrasparente alla grid nazionale sviluppata in Grid.It

Sviluppo di servizi di base ed high-level per l’accesso trasparente alle risorse della grid

Sviluppo di un’interfaccia GUI, modulare e semplicemente configurabile per soddisfare le esigenze degli utenti applicativi

Page 9: FIRB 2001 - Progetto  Grid.IT

Pisa, 27-28 Maggio 2003 9 di 49

CACTUniversità di Lecce

WP 7Resp. Prof. G.

Aloisio

Base & High-Level servicesBase & High-Level services

User’s Profile High Performance file/directory transfer Authentication / Authorization Information Servers Querying Resource Management (Brokering) Job Submission Job Monitoring

Il Portale fornirà i seguenti servizi grid di base

Page 10: FIRB 2001 - Progetto  Grid.IT

Pisa, 27-28 Maggio 2003 10 di 49

CACTUniversità di Lecce

WP 7Resp. Prof. G.

Aloisio

User’s ProfileUser’s Profile Gestione della lista delle risorse computazionali fruibili

dall’utente– Inserimento nuove risorse– Modifica o Cancellazione

Gestione della lista delle risorse software utilizzabili dall’utente– Inserimento di nuove applicazioni– Modifica o Cancellazione– Sottomissione di un nuova istanza dell’applicazione

Gestione della lista dei jobs sottomessi dall’utente– Eliminazione– Richiamo dei parametri di sottomissione relativi a jobs già

sottomessi

Page 11: FIRB 2001 - Progetto  Grid.IT

Pisa, 27-28 Maggio 2003 11 di 49

CACTUniversità di Lecce

WP 7Resp. Prof. G.

Aloisio

High Performance file/dir transferHigh Performance file/dir transfer

Autenticazione/Autorizzazione basata su Globus GSI

Parallel data transfer Third-party transfer Partial file transfer

Page 12: FIRB 2001 - Progetto  Grid.IT

Pisa, 27-28 Maggio 2003 12 di 49

CACTUniversità di Lecce

WP 7Resp. Prof. G.

Aloisio

Authentication/AuthorizationAuthentication/Authorization

Autenticazione basata su GSIAutorizzazione tramite Access Control ListDelega delle credenzialiSingle Sign-on tramite l’utilizzo di

MyProxy server e cookies sicuri

Page 13: FIRB 2001 - Progetto  Grid.IT

Pisa, 27-28 Maggio 2003 13 di 49

CACTUniversità di Lecce

WP 7Resp. Prof. G.

Aloisio

Information ServersInformation Servers

Servizi di White pagesServizio Yellow pagesInterrogazione di servers GRIS / GIIS

Page 14: FIRB 2001 - Progetto  Grid.IT

Pisa, 27-28 Maggio 2003 14 di 49

CACTUniversità di Lecce

WP 7Resp. Prof. G.

Aloisio

Sottomissione di un JobSottomissione di un Job

Single Job– Batch– Interactive– Support for X-Window GUI

Parameter Sweep Job Data-Flow Job Staging dei files necessari per la sottomissione

– File eseguibile– File(s) di dati di input– File(s) di dati di output

Page 15: FIRB 2001 - Progetto  Grid.IT

Pisa, 27-28 Maggio 2003 15 di 49

CACTUniversità di Lecce

WP 7Resp. Prof. G.

Aloisio

Resource Management (Brokering)Resource Management (Brokering)

Resource Discovery– Requirements hardware del job– Requirements di costo imposti dall’utente– Disponibilità della risorsa

Resource Selection & PoolingJob submission on behalf of the user

Page 16: FIRB 2001 - Progetto  Grid.IT

Pisa, 27-28 Maggio 2003 16 di 49

CACTUniversità di Lecce

WP 7Resp. Prof. G.

Aloisio

Job Monitoring e ControlJob Monitoring e Control

Monitoring di Jobs sottomessiTracking dei trasferimenti di filesCancellazione di un jobAutomatic job re-submit in caso di failure

Page 17: FIRB 2001 - Progetto  Grid.IT

Pisa, 27-28 Maggio 2003 17 di 49

CACTUniversità di Lecce

WP 7Resp. Prof. G.

Aloisio

Interfaccia UtenteInterfaccia Utente

Per ogni servizio verrà sviluppata una GUI che nasconda i dettagli del servizio e semplifichi l’utilizzo da parte dell’utente

Utilizzo di Portlets per rendere i moduli di interfaccia facilmente configurabili e riutilizzabili

Page 18: FIRB 2001 - Progetto  Grid.IT

Pisa, 27-28 Maggio 2003 18 di 49

CACTUniversità di Lecce

WP 7Resp. Prof. G.

Aloisio

Interfaccia UtenteInterfaccia Utente

Recenti specifiche (OASIS)– WSRP (Web Services for Remote Portlets)– WSIA (Web Services for Interactive Apps)

Consentono l’integrazione di contenuti remoti ed application logic in un portale tramite portlets

Lo scopo di queste specifiche e’ permettere di scegliere da una vasta gamma di “compliant remote content and application providers”, ed integrare questi contenuti senza alcuno sforzo di programmazione

Page 19: FIRB 2001 - Progetto  Grid.IT

Pisa, 27-28 Maggio 2003 20 di 49

CACTUniversità di Lecce

WP 7Resp. Prof. G.

Aloisio

Attività del primo anno (work in progress)Attività del primo anno (work in progress)

Il primo anno sia sostanzialmente dedicato:– all’analisi dei requisiti, alle specifiche ed al design del portale

(secondo quanto emerso dall’interazione con i gruppi applicativi, con quelli tecnologici e con quelli dell’area3)

– all’implementazione dei moduli per la gestione dello user profile e del trasferimento files ad alte prestazioni

– all’implementazione delle relative interfacce utente

Saranno pertanto verificate le strategie di sviluppo dei servizi di grid, in accordo a quanto emerso dalla collaborazione con i WP tecnologici di area 1

Page 20: FIRB 2001 - Progetto  Grid.IT

Pisa, 27-28 Maggio 2003 21 di 49

CACTUniversità di Lecce

WP 7Resp. Prof. G.

Aloisio

Attività del secondo annoAttività del secondo anno

Il secondo anno sara' sostanzialmente dedicato:– alla realizzazione degli Information Servers estesi e dei moduli

relativi per l’accesso

– alla realizzazione dei moduli per la sottomissione dei diversi tipi di jobs (interattivi, batch, parameter sweep e data flow)

– all’implementazione delle relative interfacce utente

Si perfezionerà inoltre lo sviluppo dei servizi di accesso alla grid secondo quanto stabilito con i WP tecnologici di area 1 e con quelli dell’area 3, e si comincerà a meglio specializzare il portale per le esigenze dei WP applicativi.

Page 21: FIRB 2001 - Progetto  Grid.IT

Pisa, 27-28 Maggio 2003 22 di 49

CACTUniversità di Lecce

WP 7Resp. Prof. G.

Aloisio

Attività del terzo annoAttività del terzo anno Il terzo anno sarà dedicato:

– al completamento dei servizi (monitoraggio dei jobs) ed all’implementazione delle relative interfacce utente

– al raffinamento del portale in funzione della integrazione dei risultati prodotti dai WP tecnologici con quelli prodotti dai WP dell’area 3

– al test sulla grid nazionale sui casi di studio prodotti dai WP applicativi

Impiego delle strategie per la scelta ottimale delle risorse, degli strumenti/infrastrutture di supporto alle strategia di scelta delle risorse e degli algoritmi/strategie di allocazione e co-allocazione di risorse

Page 22: FIRB 2001 - Progetto  Grid.IT

Pisa, 27-28 Maggio 2003 23 di 49

CACTUniversità di Lecce

WP 7Resp. Prof. G.

Aloisio

Schedulazione Attività WP 7Schedulazione Attività WP 7

Page 23: FIRB 2001 - Progetto  Grid.IT

Pisa, 27-28 Maggio 2003 24 di 49

CACTUniversità di Lecce

WP 7Resp. Prof. G.

Aloisio

FinanziamentiFinanziamenti

Il quadro dei finanziamenti complessivi che con contratto ASI saranno trasferiti all’ISUFI/CACT è di 366 K di cui

– 196 K per il WP7

– 170 K per il contributo di Lecce al WP11

Il contratto ASI non comprenderà la quota per giovani ricercatori (171 K) che per semplificarne la gestione è stato deciso di far gravare completamente all’ASI.

Page 24: FIRB 2001 - Progetto  Grid.IT

Pisa, 27-28 Maggio 2003 25 di 49

CACTUniversità di Lecce

WP 7Resp. Prof. G.

Aloisio

FinanziamentiFinanziamenti

In particolare, il complessivo sui tre anni del contratti ASI pari a 366 K è suddiviso come di seguito

Spese di personale (dipendente, borsisti e contattisti afferenti all’ISUFI/CACT) = 135.84 K

Spese personale (70% n. 1 contratto Co.co.co per tre anni) = 32.54 KTotale Spese personale = 168.38 KSpese generali (compreso il 30% n. 1 contratto Co.co.co per tre anni) = 101.03 KMissioni e stages = 97.70

KConsulenze e simili (41 m.u. contratti alla Grid S.r.L-Lecce) = 134.75 K

Page 25: FIRB 2001 - Progetto  Grid.IT

Pisa, 27-28 Maggio 2003 26 di 49

CACTUniversità di Lecce

WP 7Resp. Prof. G.

Aloisio

FinanziamentiFinanziamenti

La tabella relativa al personale impegnato ed ai costi relativi è riportata in Allegato 1.

E’ riportata la Tabella 1.5 richiesta dal MIUR, in particolare per l’UO ISUFI/CACT sono state completate le Tabelle 1.5.2., 1.5.5 e 1.5.7.

Il personale è impegnato al 50% sul WP7 e al 50% sul WP11.

Page 26: FIRB 2001 - Progetto  Grid.IT

Pisa, 27-28 Maggio 2003 27 di 49

CACTUniversità di Lecce

WP 7Resp. Prof. G.

Aloisio

DeliverablesDeliverables Documento sull’analisi dei requisiti, delle specifiche e del design del

portale

– Previsto per Dicembre 2003 Software relativo al modulo di gestione dello User profile

(inserimento, modifica, cancellazione e visualizzazione dinamica delle risorse) e relativa interfaccia utente

– Previsto per Dicembre 2003 Software relativo al modulo di trasferimento files ad alte prestazioni

(trasferimento “Third party” di singoli files ed intere directories) e relativa interfaccia utente

– Previsto per Dicembre 2003

Page 27: FIRB 2001 - Progetto  Grid.IT

Pisa, 27-28 Maggio 2003 28 di 49

CACTUniversità di Lecce

WP 7Resp. Prof. G.

Aloisio

Componenti gruppo di ricercaComponenti gruppo di ricercaN. COGNOME E NOME Qualifica Facoltà Dipartimento

1 Cafaro Massimo Ricercatore Ingegneria DII

2 Epicoco Italo Ricercatore Ingegneria DII

3 De Paolis Lucio Ricercatore Ingegneria DII

4 Mongelli Antonio Ricercatore Ingegneria DII

5 Fiore Sandro Dottorando Ingegneria ISUFI

6 Tana Marco Dottorando Ingegneria ISUFI

7 Daniele Lezzi Dottorando Ingegneria ISUFI

8 Quarta Gianvito Dottorando Ingegneria ISUFI

9 Cartenì Gabriele Dottorando Ingegneria ISUFI

10 Mirto Maria Dottoranda Ingegneria ISUFI

11 Blasi Euro Contrattista Ingegneria ISUFI

12 Mocavero Silvia Dottorando Ingegneria ISUFI

13 Zuccalà Alfonso Dottorando Ingegneria ISUFI

14 Provenzano Luciana Dottoranda Ingegneria DII

15 Gian Paolo Marra Dottorando Ingegneria DII

16 Barba Cristina Contrattista Ingegneria ISUFI

17 Pati Serena Contrattista Ingegneria ISUFI

Page 28: FIRB 2001 - Progetto  Grid.IT

Pisa, 27-28 Maggio 2003 29 di 49

CACTUniversità di Lecce

WP 7Resp. Prof. G.

Aloisio

TecnologieTecnologie

I servizi grid saranno basati su– Globus Toolkit ver. 2.4 (fase I)– Globus Toolkit ver 3.0 (fase II)

Interfaccia GUI– Portlets– Applets– Dynamic HTML

Page 29: FIRB 2001 - Progetto  Grid.IT

Pisa, 27-28 Maggio 2003 30 di 49

CACTUniversità di Lecce

WP 7Resp. Prof. G.

Aloisio

Web ServicesWeb Services

Goal: switch from people users to software application users

How: WEB technologies + Service-Oriented Computing (e.g. CORBA, RPC, RMI)

Accessing: through HTTP/HTTPS, using XML for data exchange

Page 30: FIRB 2001 - Progetto  Grid.IT

Pisa, 27-28 Maggio 2003 31 di 49

CACTUniversità di Lecce

WP 7Resp. Prof. G.

Aloisio

Web ServicesWeb Services

UDDIRegistry

WSDL

WebService SOAP

ServiceConsumer

Redirect to description

Redirects to service

Service description

SearchService

XML based Messaging

Page 31: FIRB 2001 - Progetto  Grid.IT

Pisa, 27-28 Maggio 2003 35 di 49

CACTUniversità di Lecce

WP 7Resp. Prof. G.

Aloisio

Grid ServicesGrid Services

In the previous vision of the grid the attention was focused on the protocols needed to provide interoperability among VO components.

OGSA now shifts the attention to services as

follows: the grid becomes an extensible set of Grid Services that may be aggregated to provide new capabilities

Page 32: FIRB 2001 - Progetto  Grid.IT

Pisa, 27-28 Maggio 2003 36 di 49

CACTUniversità di Lecce

WP 7Resp. Prof. G.

Aloisio

Grid ServicesGrid Services

Grid services, as envisioned, retain several features of the Web Services framework; for instance it is highly desirable to retain service description and discovery, and binding of service descriptions to wire protocols

“A (potentially transient) stateful service instance supporting reliable and secure invocation (when required), lifetime management, notification, policy management, credential management, and virtualization"

Page 33: FIRB 2001 - Progetto  Grid.IT

Pisa, 27-28 Maggio 2003 37 di 49

CACTUniversità di Lecce

WP 7Resp. Prof. G.

Aloisio

Grid ServicesGrid Services

transient services in the grid environment besides persistent services as provided by the Web Services framework

This in turn implies the need for interfaces able to manage:– Service lifetime– Policies– Credentials– Support for notification

Page 34: FIRB 2001 - Progetto  Grid.IT

Pisa, 27-28 Maggio 2003 38 di 49

CACTUniversità di Lecce

WP 7Resp. Prof. G.

Aloisio

Grid ServicesGrid Services

Virtualization of resources is a natural consequence of the adoption of Service-Oriented computing: computational resources, storage, networks, applications, archives etc. are all presented as Grid Services

Page 35: FIRB 2001 - Progetto  Grid.IT

Pisa, 27-28 Maggio 2003 39 di 49

CACTUniversità di Lecce

WP 7Resp. Prof. G.

Aloisio

Grid ServicesGrid Services

OGSA specifies a number of interfaces, some of these are:

– factory

– mapper

– registry

Page 36: FIRB 2001 - Progetto  Grid.IT

Pisa, 27-28 Maggio 2003 40 di 49

CACTUniversità di Lecce

WP 7Resp. Prof. G.

Aloisio

Grid ServicesGrid Services

Factory Interface– allows for creation of new grid service

instances, in particular reliable creation with once and only once semantic.A Grid Service Handle (GSH) is returned: this is a globally unique identifier (a URL) based on the name of a home mapper service

Page 37: FIRB 2001 - Progetto  Grid.IT

Pisa, 27-28 Maggio 2003 41 di 49

CACTUniversità di Lecce

WP 7Resp. Prof. G.

Aloisio

Grid ServicesGrid Services

Mapper Interface– is in charge of converting the GSH to a Grid

Service Reference (GSR), i.e., the WSDL document actually needed to invoke the service.

Registry Interface– returns a WSIL document containing the GSHs

of a set of Grid services.

Page 38: FIRB 2001 - Progetto  Grid.IT

Pisa, 27-28 Maggio 2003 42 di 49

CACTUniversità di Lecce

WP 7Resp. Prof. G.

Aloisio

Grid ServicesGrid Services

Other interfaces provide support for

– Lifetime management

– Discovery

– Notification

– Authorization

Page 39: FIRB 2001 - Progetto  Grid.IT

Pisa, 27-28 Maggio 2003 43 di 49

CACTUniversità di Lecce

WP 7Resp. Prof. G.

Aloisio

PortletsPortlets

Portlets lays the foundation for a new open-standard for Web portal development frameworks.

Portlets define an API for building atomic, composable visual interfaces to Web content or service providers

A portlet provides a “mini-window” within a portal page. Multiple portlets can be composed in a portal page.

Page 40: FIRB 2001 - Progetto  Grid.IT

Pisa, 27-28 Maggio 2003 44 di 49

CACTUniversità di Lecce

WP 7Resp. Prof. G.

Aloisio

PortletsPortlets

Still waiting for standardized Portlet API but implementations already exist:– Jakarta Jetspeed– IBM WebSphere– Oracle i9AS Portal– BEA WebLogic Portal– GridSphere…

Page 41: FIRB 2001 - Progetto  Grid.IT

Pisa, 27-28 Maggio 2003 45 di 49

CACTUniversità di Lecce

WP 7Resp. Prof. G.

Aloisio

PortletsPortlets Portlets define how to

construct and deliver Web content as modular components within a Web page.

Portlets can be “maximized” or “minimized” within a Web page.

Portlets support various modes– View, Edit, Help, Configure

Users can chose to which portlets they want to be “subscribed”.

Grid.IT Portal

Page 42: FIRB 2001 - Progetto  Grid.IT

Pisa, 27-28 Maggio 2003 46 di 49

CACTUniversità di Lecce

WP 7Resp. Prof. G.

Aloisio

GridSphere Portlet InterfacesGridSphere Portlet Interfaces

Portlet, PortletAdapter, AbstractPortlet– All portlets implement the

portlet interfaces that define portlet lifecycle methods

PortletConfig– Provides portlet with its initial

configuration

PortletSettings– Provides dynamic configuration

information

PortletRequest– Encapsulates a request sent by

client PortletResponse

– Represents response to client PortletContext

– Defines portlets view of the portlet container in which portlet is runninng

Page 43: FIRB 2001 - Progetto  Grid.IT

Pisa, 27-28 Maggio 2003 47 di 49

CACTUniversità di Lecce

WP 7Resp. Prof. G.

Aloisio

PortletRequest additionsPortletRequest additions

PortletData– Contains user-specific

persistent data PortletSession

– Holds user-specific information needed to provide personalized view

PortletWindow– Defines “window” in

which portlet is displayed

PortletMode– Defines “mode” in which

portlet is operating Client

– Defines the client device connecting to the portal.

User– User defines the logged in

user

Page 44: FIRB 2001 - Progetto  Grid.IT

Pisa, 27-28 Maggio 2003 48 di 49

CACTUniversità di Lecce

WP 7Resp. Prof. G.

Aloisio

Portlets ModesPortlets Modes View

– The standard view of a portlet on a Web page Edit

– Allows portlet to capture user-specific parameterization, which leads to personalized view of the portlet

Help– A portlet should provide online-help with this mode

Configure– Allows a portlet to display its own configuration mode if

required

Page 45: FIRB 2001 - Progetto  Grid.IT

Pisa, 27-28 Maggio 2003 49 di 49

CACTUniversità di Lecce

WP 7Resp. Prof. G.

AloisioPortlet Example - Portlet Example - http://my.yahoo.comhttp://my.yahoo.com