Architetture Parallele e Distribuite 2008-09 1. ASSIST: cenno 2. Grid Computing 3. Adattività

Architetture Parallele e Distribuite2008-09

1. ASSIST: cenno2. Grid Computing

3. Adattività

Livelli e moduli

Firmware

Hardware

Applicazioni

Processi

Assembler

Applicazione sviluppata con strumenti user-friendly

Programma parallelo(processi comunicanti e/o

oggetti condivisi)

compilata / interpretata in

compilato / interpretato in un programma

parallelo eseguibile su

Firmware Uniprocessor di vari tipi

Multiprocessor di vari tipi e con vari processori

Cluster di vari tipi e con vari processori

Architettura 1Architettura 2

Architettura 3

Architettura X

indipendente dal concetto di processo

indipendente dall’architettura

supporto diverso per ogni architettura

Un ambiente di programmazione per macchine parallele e Next Generation Grid

Projects:• ASI-PQE2000• CNR Agenzia 2000• MIUR-CNR Strategic Programmes• MIUR-FIRB Grid.it• SFIDA-PMI• BEInGRID• In.Sy.Eme

Implementations:• Heterogeneous Cluster/Beowulf• CORBA, WS interoperability• Grid version (on top of Globus 4)• Component-based Grid-aware version• CELL version, on top of LC• ASSISTANT for Mobile Grid

Department of Computer Science, University of Pisa

ASSISTA Programming Environment for High-performance Portable Applications on

Clusters, Large-scale Platforms, and Grids

The parmod construct

i n p u t s e c t i o n

Shared state

o u t p u t s e c t

Multiple input and output typed data streams Set of Virtual Processors (VP) executing user codeVPs have assigned topology for naming (one, none, arrays)

Shared state

o u t p u t s e c t

distribution and collection strategiesmulticast, scatter, on-demand, scheduled;

gather from all, from any, reduce

input and output sections can also host arbitrary user code

Shared state

o u t p u t s e c t

VPs host several user functions, activation can be data-driven(CSP-like nondeterministic execution, guarded channels)

VPs share data structures (run-time provides consistency)

Partitioning rules, replication

Architetture Parallele e Distribuite2008-09

Grid Computing: Stato e Prospettive

Le piattaforme abilitanti distribuite

• Cluster omogenei, in generale con nodi paralleli SMP / NUMA

Cluster eterogenei Virtual Private Networks, su scala LAN, MAN, WAN

2100 2100 2100 2100

Linux / Intel

2100 2100 2100 2100

Power PC / MacOS

2100 2100 2100 2100

SUN / Solaris

Dominio amministrativo

Dom. amm.

2100 2100 2100 2100

Dom. amm.

Middleware

2100 2100 2100 2100

Esempi di scenari di applicazioni su Grid:

• Singoli job lanciati su singoli nodi

• Job paralleli lanciati su più nodi, con co-allocazione statica

• Job paralleli su più nodi con esecuzione e co-allocazione dinamica e adattiva

Dalla tecnologia Grid corrente a Next Generation Grid

Data Storage

Mainframe

Cluster

Data SourceData Source

Grid locale su Rete Fotonica

Grid locale

2100 2100 2100 2100

Esecuzione di un singolo job (sequenziale o parallelo) su un singolo nodo

Risorse di esecuzione candidate e selezione

codice, locale o remotodati

• Scheduling statico• Spesso, esecuzione

Batch (code)• Trasferimento dati via

File Transfer• Possibilità di

pianificare più fasi sequenziali utilizzando risorse diverse e File Transfer

2100 2100 2100 2100

Esecuzione di un job parallelo su più nodi, con co-allocazione statica

Risorse di esecuzione candidate e selezione

dati• Scheduling statico e co-

allocazione• Esecuzione on demand,

interattiva, (batch),…• Parallelismo intra- e inter-

nodo: non solo task indipendenti

• Dati comunicati via files, virtualizzazione storage, e data-streaming

• Forme di parallelismo sensibili alla banda, latency-hiding

codice, locale o remoto

2100 2100 2100 2100

Esecuzione di un job parallelo su più nodi, con co-allocazione ed esecuzione dinamica e adattiva

Fase iniziale di co-allocazione statica, ed esecuzione sulla configurazione iniziale

In seguito ad eventi legati a emergenze, malfunzionamenti, esigenze di più elevata performance (Qos):riallocazione e ristrutturazione dinamica di codici e dati (replicazione, partizionamento, bilanciamento)

in modo da rispettare un determinato “contratto di performance”

Grid Computing

Piattaforma Grid: • “ Distributed computing infrastructure for

• coordinated resource sharing • coordinated problem solving

• in dynamic, multi-institutional Virtual Organizations (VO),

• able to guarantee planned level of performances ”

Grid Computing: una nuova tecnologia nata dalla convergenza di tecnologie

Distributed/Web Computing: Objects / Component Software Technology

High-performance Computing, Cluster Computing

Mobile Device Technology, Pervasive & Ubiquitous Computing

Knowledge Management and Data Intensive Computing

Applicazioni Grid-aware• Gestione rischi ed emergenze• Telecomunicazioni• Wearable computing• e-business, Filiere e distretti industriali (PMI), Digital Business

Ecosystems• Beni culturali• Progettazione cooperativa• Sanità, medicina• Biotecnologie• Robotica• Tutte le scienze computazionali• ecc.

“Non solo calcolatori”: tecnologia pervasiva e “ubiqua”, dispositivi mobili

• Dispositivi mobili, PDA Miniaturizzazione, embedding

Wearable Computing

Fonte: EuroTeCH Group, Udine

Tecnologia Grid: “person-centric”

• Piattaforme facili da usare– “People are nodes”

• Paradigma “Anytime - Anyhow - Anywhere”– Esempi: e-Work, e-Health, …– Nuovi supporti a Risk Management

Grid = Milioni di nodi di elaborazione eterogenei, interconnessi e cooperanti dinamicamente

Applicazioni naturalmente distribuite, eterogenee, dinamiche e adattive

Middleware minimale: servizi base(ricerca di risorse, prenotazione, trasferimento dati, lancio

esecuzione, ecc.)

• Grid Middleware “base”: standard• Globus 2.x, 4.x, …, UNICORE, …• Global Grid Forum (GGF): standardizzazione• Open Grid Service Architecture (OGSA)

– dai Web Services ai Grid Services• …..

• Non sono strumenti di sviluppo applicazioni.• Non sono adatti ad applicazioni caratterizzate da alta

eterogeneità, dinamicità, mobilità.

Grid nella loro interezza: NEXT GENERATION GRID

Per applicazioni industriali– in molti casi, anche per il calcolo scientifico

le caratteristiche di– Eterogeneità,– Dinamicità e adattività (“autonomicità”),– Capacità di usare in parallelo un numero qualsiasi, e

variabile, di risorse,– Security consistente con la tecnologia Grid,– Gestione conoscenza Grid-wide,

sono irrinunciabili per un deciso miglioramento rispetto alle attuali tecnologie IT e Web.

100000

200000

300000

400000

500000

600000

700000

800000

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

Stream elements

Current Service Time

Average Service Time

Maximum Service Time

specified in the contract

4 processors

Perturbation : newapplications are created

5 processors

8 processors

ADATTIVITÁ della configurazione alle prestazioni: esempio (ASSIST)

Evolution of computation

100000

120000

1 3 5 7 9 11 13

Trascorrere dell'elaborazione complessiva (min)

Virtual Memory DataSize per Process

Esecuzione con modalità FARM e 5 worker

Esecuzione con modalità MAP e 5 worker

Adattività in ASSIST:stesso modulo autoriconfigurante (farm / map) per il controllo

dell’occupazione di memoria

Dimensione di N = 5000 interi Occupazione N² = 25M interi

~ 95 MB

Riconfigurazione delle prestazioni

Migrazione su nodi diversi

Modalità MAP 10 worker

1 3 5 7 9 11 13

Trascorrere dell'elaborazione complessiva (min)

Tempo Medio di Serviziodi Presenta

Adattività in ASSIST:stesso modulo autoriconfigurante (farm / map) per il controllo del

tempo di servizio

Dimensione di N = 5000 interi Occupazione N² = 25M interi

~ 95 MB

Caso iniziale con modalità FARM e 1 worker

Modalità FARM e 5 worker

Modalità MAP e 5 worker

Riconfigurazione delle funzioni

Modalità MAP e 10 worker

Contratto di QoS: variato dinamicamente il massimo Tempo di Servizio consentito

Riconfigurazione delle prestazioni

Progetto In.Sy.Eme(Integrated Systems for Emergency)

Mobile GridConcetto di Grid Computing applicato in

contesti pervasivi, mobili ed estremamente dinamici

(WorkPackage 3)

Cluster

Data & Knowledge ServerCluster

Workstation

WorkstationWorkstation

WorkstationPDA

PDAPDA

vari tipi di reti fisse, mobili, ad hoc

PDAPDA

Piattaforma distribuita In.Sy.EmeIntegrazione ELABORAZIONE +

COMUNICAZIONEper Modelli di Previsione,Supporto alle Decisioni,

Gestione della Conoscenza, …

Sistema UNICO di risorse hw e sw, centrali e decentrate, generali ed embedded, fisse e mobili, …

MOBILE (PERVASIVE) GRID: gestione

globale,

adattiva e context-aware,

per il controllo dinamico della

Qualità del Servizio (QoS)

delle applicazioni

Esempio: gestione delle inondazioni fluviali

soccorritori, sovraintendenti, autorità, …, altri sistemi, …

livello acqua, morfologia terreno, …

Post-elaborazione (non banale)

sul percorso del fiume, …

precipitazioni nel tempo e nello spazio, …

da satellite, da radar meteo, da rilevatori pluviometrici, … (es:

ALADIN)

Modello previsionale idrologico, idrodinamico Data Mining

Flood Forecasting Model

Modello idrologico

Esempio: MIKE 21

Equazioni differenziali della massa e momento

Sistemi tridiagonali di grandi dimensioni

Data- & compute- intensive

Modelli di previsione: quando e come eseguirli?

• Nella struttura piramidale dell’organizzazione per la gestione delle emergenze, ogni soggetto (“utente”) ha propri interessi ed esigenze.

• Diverse modalità per utilizzare, e interagire con, il sistema di gestione delle emergenze.

• Modelli a medio-lungo termine– offline

• Modelli a breve termine e in real-time– on demand

Elaborazioni a medio-lungo termine, offline

PDAPDA

Workstation

Cluster

Workstation

Elaborazione “di routine” e operatività normale

elaborazione modelli

visualizzazione

Elaborazioni offline vs on demand

• Offline: – Definizione di strategie (GIS, Meteo, modelli, DSS, Data

Mining), alte prestazioni (data, computation)– Problematica tecnologicamente avanzata, ma con

alcuni risultati scientifico-tecnici noti in letteratura

• On demand: Adattività e Context-Awareness– Problematica sostanzialmente nuova– Il sistema deve essere capace di adattare

dinamicamente le applicazioni alle caratteristiche ed ai requisiti degli utenti e del contesto (QoS)

Applicazioni Adattive e Context-Aware

PDAPDA

Workstation

Cluster

Workstation

(Potenziale) emergenza e operatività normale

visualizzazione

PDAPDA

Workstation

Cluster

Workstation

Emergenza e operatività ridotta Gestione dinamica QoS-aware di risorse molto eterogenee di calcolo + comunicazione: uso ottimale delle risorse disponibili.Recovery delle informazioni.

Modifica dinamica di programmi (modelli) e di dati (informazioni disponibili / da inferire):modelli predittivi.

elaborazione modelli e visualizzazione

visualizzazione

PDAPDA

Emergenza e operatività ridotta

elaborazione modelli e visualizzazione

Gestione dinamica QoS-aware di risorse molto eterogenee di calcolo + comunicazione: uso ottimale delle risorse disponibili.Recovery delle informazioni.

Modifica dinamica di programmi (modelli) e di dati (informazioni disponibili / da inferire):modelli predittivi.

High-Performance Computing (HPC)

• Diverse elaborazioni hanno caratteristiche DATA-& COMPUTE-INTENSIVE– Modelli previsionali, DSS, GIS, METEO, modelli predittivi, strategie di networking, …

• Vari tipi di risorse per HPC, con tecnologie sia tradizionali che innovative:

ClusterData & Knowledge

Server

PDAPDA

L1 cache

P P P P

L1 cache

P P P P

L2 cache

On-chip Multicore Technology

• Diverse elaborazioni hanno caratteristiche DATA-& COMPUTE-INTENSIVE– Modelli previsionali, DSS, GIS, METEO, modelli predittivi, strategie di networking, …

• Vari tipi di risorse per HPC, con tecnologie sia tradizionali che innovative:

Embedding in dispositivi mobili / indossabili

Programmabilità + Portabilità ?

First experiment

Forecasting

module

Generator

module

Client

module

input data

interface

(from sensors,

services, etc.)

visualization

(to operator’s PDA,

services, etc.)

input data stream:

tuple of scalar

parameters

output data

stream:

solution matrix

Experiment: flood forecasting

Fx and Fy

From sensors and monitoring, for each point:

position (x,y)water depth (H)water surf. Elevation (ξ)depth av. Velocity (u,v)

We can obtain different qualities with different samplings in

spaceand time

tridiagonal system solving

Mass and momentum partial differential equations

Large tridiagonal systems

Data- & compute- intensive

Computing and communication resources

Features of a pervasive distributed platform

Central ServersMonitoring areas: decentralized Interface Nodes connecting wireless networks for sensors and mobile devices (PDA) to fixed networks and servers

Adaptivity and Context-Awareness

ClusterData & Knowledge

Server

HPC application, suitable for central servers(performance, data size, precision, …)

PDAPDA

Dynamic restructuring, suitable for decentralized / embedded / mobile nodes (trade-off: performance, memory, precision, fault-tolerance, energy saving, …), and dynamic deployment

PDAscentral server

interface node

communication network 1

communication network 2

Experiment: adaptivity and context-awareness

Forecasting model: version 0

data streaming control and network interfaces

C lient - visualization

Context events

Dynamic transitions between alternative

versions :RECONFIGURATION

and DEPLOYMENT

Experiment: configuration

Multicore-based (CELL)

data streaming control and network interfaces

C lient - visualization

PDA net

Interf. node

Central server

Operations: adaptive versions of the same module

OP0 OP1

Central server is no more available and/or network has low QoS:• switch to OP1,• deployment of

application state onto Interface Node Client achieves low QoS for

visualization, PDA resources are available :• switch to OP2,• deployment of

application state onto PDA network

Central Server is again available and network is able to guarantee the requested QoS :• switch to OP0 again,• deployment of

application state onto Central Server

+ other transitions between versions

according to contex events and system state

Events, adaptivity, and targetsEvents related to:• Network and monitoring

– Availability– Connectivity– Bandwidth, Performance– Load, …

• Energy consumption• Requests for better QoS

– Response/completion time– Precision– Client load balancing /

priority, …

Adaptivity actions:• Increase QoS of current

operation– parallelism degree – data size

• Switch to a different operation with the required QoS or the best possible QoS– algorithm– parallelism paradigm – memory management– power consumption

Different resources42

Reconfiguration and deployment

Cachen-1Cache0

LOGICALLY SHARED REPOSITORY(modules, operations, state, channels, run-time support, managers cooperation)

. . .Central Server

Interface Node

OP1: processors and other resources allocation

(parallelism construct)

Start deployment

Working set of OP1

• State consistency• Checkpointing

• Active redundancy of operations

da ASSIST …

In_Sect Out_SectVP

External Objects

parmod

… a ASSISTANT

• Manager come parte integrante (elemento primitivo) del Parmod• Programmabile: formalismo opportuno facente parte di ASSISTANT• Politiche di adattività e context-awareness• Rete di Manager

In_Sect Out_SectVP

Context

MANAGERRete di

ManagerStream:anche da/verso sensori, attuatori

ASSISTANT: adaptive and context-aware module

InSyEme Programming Model (ASSISTANT)

Computational view of information flows:parallel and distributed composition of application modules

Managers: • adaptivity, context-

awareness• dynamic

reconfiguration and deployment

• QoS control

Context interfaces:devices , nodes and networks monitoring

Context information

Management information

Experiment: module structure

Functional Logic

Control Logic

Generator Module

Functional Logic

Control Logic

Flood Forecasting Module

Functional Logic

Control Logic

Client Module

Context interface

Network monitoring

Performance profiling

Context interface

GREEN: Context

BLUE: Manager

RED: Information flows

ASSISTANT application

REDBLUE

Experimental results

0 2 4 6 8 100

scalability

Cluster 8MCell 8MCluster 32MCell 32M

parallelism degree

Experimental Results

0 2 4 6 8 10

service time (sec)

Cluster 8MCell 8MCluster 32MCell 32M

parallelism degree

Low cost, low consumption, good performance solutions for decentralized services

Localized computational power: aggregate performance and scalability > (>>) central servers

The application as a whole requires the cooperation of

BOTH centralized AND decentralized services in an ADAPTIVE way.

Decentralized HPC services are technologically feasible and valuable to optimize QoS.

Architetture Parallele e Distribuite 2008-09 1. ASSIST: cenno 2. Grid Computing 3. Adattività

Documents

Transcript of Architetture Parallele e Distribuite 2008-09 1. ASSIST: cenno 2. Grid Computing 3. Adattività

Listino prezzi Volkswagen Nuova Passat · 2016. 5. 31. · Antifurto volumetrico WD4! 311,48 380,00 Safety Pack Dynamic Light Assist, Lane Assist, Side Assist Plus e Blind Spot Detection

Breve cenno della psicofisica - centropiaggio.unipi.it · Breve cenno della psicofisica •Il termine psicofisica, coniato dal fisico e filosofo tedesco Gustav Theodor Fechner(1801-1887)

€¦ · Descrizione Profilo Cognome Nome Pref. 2 Pref. 3 Pref. 4 3 AA ASSIST. AMM.VO 1 VOLPI LETIZIA 99,95 Q 3 AA ASSIST. AMM.VO 2 PERRONE MARIA LORENA 57,15 Q R 3 AA ASSIST. AMM.VO

6-Basi di dati distribuite - unina.stidue.netunina.stidue.net/Basi di Dati 2/Materiale/Libri,Appunti,Slides... · 1 Basi di dati II 6 – BASI DI DATI DISTRIBUITE 2 Paradigmi per

ASSIST n. 13 2011/2012

2602 VARSPO 01-10 - pallacanestrovarese.it · Con i baschi chiude la stagione con 7,7 punti, 1,2 assist e 1,2 rimbalzi in 37 partie di Liga ACB e con 10 punti, 2,4 assist e 1,6 rimbalzi

28/03/2007 Cinzia Bocchi 1 Architetture distribuite I Web Server.

1 Memorie Condivise Distribuite Prof.Roberto Baldoni, Ing. Alessia Milani.

PRESENTAZIONE ASSIST - Assist2gether · Presentazione ASSIST •Obiettivi •Background •Consortium •Attività (piano di ... Progetti EU Serenade e EPEE 2012 creazione del gruppo

7. Progetto di Applicazioni Distribuite - UniCam Ingegneria del Software Corso di Laurea in Informatica (Ingegneria del Software) 7. Progetto di Applicazioni Distribuite 1 / 35 ...

Architetture distribuite per progetti di eGovernmentarchive.forumpa.it/convegni/egovmilano/alessandroMi2marzoW.pdf · Architetture distribuite per progetti di eGovernment Alessandro

11. Basi di dati distribuite ed architetture client-serverunina.stidue.net/Basi di Dati 2/Materiale/Corso...Basi di Dati Distribuite ed Architetture Client-Server Michele Nasti 11.

CENNO STORICODELL’ISOLA DEL GIGLIO

Presentazione Assist

ASSIST n 7 2010/2011

ASSIST e Programmazione Grid Marco Vanneschi Dipartimento di Informatica Università di Pisa.

Bedienungsanleitung IT 101206 - Gruber Assist motore per ... · 4.1 Accensione del Motore On / Off ... • GRUBER Assist non ha un limitatore di velocità a 25 km/h e quindi non è

Audi Q3 Libretto AllService web€¦ · Audi side assist, sensore luce/pioggia € 804 Fino a '14 Con climatronic a regolazione aria dinamica, Audi side assist, ensore luce/pioggia,

Architetture Distribuite per Basi di Datiangelo.montanari/bdDistri.pdf · Basi di Dati • Introduzione • Architettura client-server (richiami) • Basi di dati distribuite •

Applicazioni distribuite con Symfony2