Tipologia del contributo: Rapporto di valutazione BOZZA

 

 

L’esperienza  dello  sviluppo  rurale  nella  valutazione  delle  politiche  di  pre-­‐adesione:  il  programma  IPARD  in  Serbia   Roberto Cagliero , Simona Cristiano

Introduzione  Il presente contributo ha l’obiettivo di presentare i principali risultati del processo di valutazione ex-ante del Programma di sviluppo rurale nell'ambito IPARD 2014-2020 della Repubblica di Serbia, sia in termini di attività svolte sia in termini di costruzione di una governance di valutazione. Come noto, attraverso interventi propri dello sviluppo rurale attivabili sulle linee di assistenza preadesione (IPA), i paesi candidati possono essere assisiti attraverso un particolare strumento chiamato IPARD - Strumento di assistenza preadesione in sviluppo rurale. La struttura di tale assistenza è complessa e prevede il coinvolgimento di diversi attori, dalle Autorità di Gestione, alla Commissione Europea, ai singoli e diversi paesi donatori. In questo senso le procedure di valutazione ex ante presentano una complessità maggiore rispetto ai PSR degli Stati già membri, dovendo tenere in debito conto tali caratteristiche sia in termini di condizioni di partenza sia in termini di ambiente relazionale e di committenza. Inoltre, la presenza di un rilevante operatore intermedio, il soggetto che coordina e gestisce in generale tutte le attività di assistenza e non solo quelle dello sviluppo rurale (in questo caso il PPF5), genera in termini di governance un livello in più e lo sviluppo di rapporti valutativi più complessi. Il quadro di coerenza esterna ed interna dei programmi, ad esempio, comporta un approccio plurivello di possibile elevata criticità. In questo senso, le sfide proposte si possono leggere come in linea con quanto richiesto dai documenti comunitari in merito alle attività di valutazione per lo sviluppo rurale. Tuttavia, alcune differenze si possono già osservare nella definizione puntuale dei task richiesti, in quanto le linee guida, e il regolamento, di IPARD avanzano richieste sensibilmente differenti e facenti riferimento ad approcci valutativi che si possono considerare, sotto diversi aspetti, oggi superati nelle politiche della DG AGRI. Molta enfasi in particolare viene data agli aspetti di redazione dei fabbisogni settoriali e della capacità futura del Programma di potere operare, anche in termini di reale capacità amministrativa di tutti i soggetti coinvolti. Il processo di valutazione è stato condotto in modo fortemente partecipato sia con la committenza, in questo caso direttamente i servizi della Commissione (DG AGRI, DG Enlargement e rappresentanza in Serbia), sia con l’Autorità di Gestione, l’Organismo Pagatore, sia, e soprattutto, con i soggetti di rappresentanza e l’agenzia PPF5.

L’iniziativa  IPARD  2014-­‐20  in  Serbia  IPARD (Instrument for Pre-Accession Assistance in Rural Development) è un programma di pre-adesione all’Unione europea focalizzato sullo sviluppo rruale e sugli strumenti tipici di queste politiche. Si tratta di una parte integrante di IPA (Instrument for Pre-accession Assistance), i cui obiettivi principali sono per sostenere i paesi candidati, o potenziali candidati, nel processo di armonizzazione e applicazione dell'acquis comunitario e per la preparazione all'utilizzo dei futuri fondi UE. Per facilitare i negoziati di adesione, l'intero quadro normativo dell'Unione europea è diviso in diversi capitoli, corrispondenti ciascuna ad un settore politico. Il Capitolo 11 copre gli aspetti del settore sviluppo agricolo e rurale. La realizzazione, la gestione e il controllo della Politica Agricola Comune (PAC) richiedono ad esempio la creazione, la modifica e il rafforzamento di adeguate strutture amministrative (ad esempio una agenzia di pagamento e il sistema IACS). L’accesso alle politiche di pre-adesione risulta, quindi, condizionata ad alcuni vincoli, che per lo sviluppo rurale si possono riassumere in aspetti economici e, soprattutto, in aspetti legati alla applicazione delle norme comunitarie. Sotto il primo aspetto, le condizioni riguardano l'esistenza di un'economia di mercato funzionante, sulla base di chiari diritti di proprietà, e la capacità di far fronte alle pressioni e alla competizione di mercato all'interno dell'Unione. Relativamente al secondo aspetto, che si ricorda assume un peso preponderante, i punti centrali sono una adeguata capacità amministrativa (formulazione della politica agricola, analisi, implementazione, supporto e controllo), l'allineamento legislativo e l'istituzione di meccanismi di mercato. L'obiettivo di IPARD è duplice: fornire assistenza per l'applicazione della politica agricola comune e contribuire ad un adeguamento sostenibile del settore agricolo e delle zone rurali. Questi obiettivi devono essere raggiunti con l'attuazione delle 9 misure previste sotto 3 assi prioritari. Asse 1 - miglioramento dell'efficienza del mercato e raggiungimento degli standard comunitari:

• Investimenti nelle aziende agricole per la ristrutturazione e l'aggiornamento a norme UE (IAH) • Investimenti nella trasformazione e commercializzazione dei prodotti agricoli e di prodotti della pesca per la

ristrutturazione e l'aggiornamento a norme UE (IPM) • Sostegno alla costituzione di associazioni di produttori

Asse 2 - Azioni preparatorie per l'attuazione delle misure agroambientali e leader: • Preparazione per l'attuazione delle azioni in materia di ambiente e il paesaggio (AEC) • Preparazione e attuazione di strategie locali di sviluppo rurale (LEA)

Asse 3 - Sviluppo dell'economia rurale: • Miglioramento e sviluppo delle infrastrutture rurali • Sviluppo e diversificazione delle attività economiche rurali • Formazione • Assistenza tecnica (TA)

Nel gennaio 2015 La Commissione Europea ha adottato il Programma, che supporterà azioni di sviluppo rurale in Serbia, nell’ottica di pre- adesione, nel periodo 2014-20. Il programma IPARD II definito dalla repubblica di Serbia prevede di attivare un monte di supporto pubblico attorno ai 300 Meuro, con una quota di cofinanziamento comunitario di circa 175 Meuro. Il peso principale in termini di allocazione è dato alle misure con carattere di investimento (IAH 44%; IPM 36%, DIV 10%), mentre rilevanza nettamente inferiore è data alle misure di carattere agroambientale (4%) e all’approccio leader (3%). L’assistenza tecnica riceve il 3% della dotazione complessiva. Il Programma prevede di attivare subito le misure volte a sostenere gli investimenti, anche per permettere alle imprese beneficiarie di irrobustirsi e di raggiungere soglie di standard minimi, per poi attivare successivamente, e con migliori prospettive di successo, le misure di carattere ambientale e quelle rivolte a stimolare lo sviluppo locale territoriale.

Tabella  1  –  Piano  finanziario  per  misura,  2014-­‐2020  (euro)  Cod    Total  public  aid       %    EU  contribution      National  contribution    IAH   101.386,67   44%   76.040,00   25.346,67  IPM   82.946,67   36%   62.210,00   20.736,67  AEC   10.294,12   4%   8.750,00   1.544,12  LEA   5.833,33   3%   5.250,00   583,33  DIV   23.333,33   10%   17.500,00   5.833,33  TA   6.176,47   3%   5.250,00   926,47  

 TOTAL   229.970,59   100%   175.000,00   54.970,59  

Fonte: Ministry of Agriculture and Environmental Protection Republic of Serbia, 2014

Figura  1  –  Budget  finanziario  per  misura  e  per  anno  di  erogazione  stimata,  2014-­‐20  (euro)  

 Fonte: Ministry of Agriculture and Environmental Protection Republic of Serbia, 2014

Il  disegno  di  valutazione  La valutazione ex-ante (VEXA) del Programma IPARD 2014-2020 è stata effettuata nel periodo giugno-luglio 2014 da un gruppo di valutazione di esperti internazionali . La strutturazione del Programma IPARD II seguiva all’IPARD I, che nel 2013 non era stato approvato dalla CE per la mancanza di adeguatezza delle strutture di gestione e pagamento del programma, oltre che di incoerenza delle scelte di investimento rispetto all’analisi di contesto. Questa situazione ha rappresentato un punto focale della valutazione ex ante di IPARD II e ha indotto il team di valutatori non soltanto a prestare particolare attenzione all’analisi della governance e alla definizione di indicatori idonei a monitorare e verificare le perfomance del Programma. La metodologia utilizzata segue le procedure proposte da parte della Commissione Europea ("Strumento di assistenza preadesione per lo sviluppo rurale 2014-2020: Progetto di orientamenti per la valutazione ex ante" (DG Agri, 2014) e le indicazioni derivanti dalle linee guida proposte dalla DG AGRI in merito a "Come ottenere il massimo dal vostro RDP: Linee guida per la valutazione ex ante del PSR 2014-2020 "(EENRD 2014). Inoltre, una serie di ulteriori studi rilevanti e altri documenti sono stati usati quali riferimenti durante il processo di valutazione.

Il team ha deciso, inoltre, di implementare un approccio generale partecipativo che favorisse, da una parte, le strutture di governance nella comprensione e nella riflessione sui cambiamenti da attuare ai fini della buona esecuzione di IPARD II; dall’altra l’attuazione di un percorso di confronto delle stesse con il territorio e i portatori d’interesse del programma (stakeholders). Il team, in questo modo, ha potuto accompagnare quotidianamente la Autorità di gestione (MA) nel percorso di definizione di IPARD II e supportarla nel dialogo con la Commissione per le modifiche richieste ai fini dell’approvazione del programma. La valutazione è stata effettuata in stretta collaborazione con Autorità di gestione e il processo è stato aperto e franco. La MA, così come l'agenzia di pagamento IPARD (PA), è stata completamente cooperativa in termini di fornitura dei dati e di consultazione e ha accolto con favore le raccomandazioni proposte al Programma in via di redazione. Inoltre, sono stati coinvolti i soggetti che svolgevano attività di assistenza tecnica, in particolare sui temi della analisi di contesto e di definizione degli interventi, all’interno di un progetto di twinning a rafforzare le capacità della Serbia per l'utilizzo dei fondi di sviluppo rurale dell'UE. La valutazione ex-ante è stata condotta utilizzando approcci diversi tra cui l’analisi della letteratura, l’analisi e il confronto tra le successive bozze del programma e di tutti i documenti che, direttamente o indirettamente contribuiscono alla strategia IPARD; particolare importanza è stata rivolta alla collaborazione attiva con la MA, attraverso numerose sessioni di lavoro comune tra il gruppo di valutazione e i soggetti coinvolti nel processo di sviluppo del Programma. Tutte le attività del team sono state inoltre discusse, condivise e coordinate con i servizi della Commissione, sia la Rappresentanza in Serbia sia con la DG Allargamento, con il PPF5, titolare della valutazione, e con il SEIO. La condivisione del disegno di valutazione ha rappresentato inoltre la fase in cui è avvenuta una chiara identificazione degli interlocutori istituzionali del team di valutazione, che avrebbero dato seguito alle raccomandazioni emergenti nel corso della valutazione stessa.

Tabella  2  –  I  principali  soggetti  coinvolti  nel  processo  di  valutazione  ex  ante  Cod    Struttura       Funzioni    MA   Ministry  of  Agriculture  and  Environmental  Protection     Autorità  di  gestione  PA   IPARD  Agency   Organismo  pagatore  

PPF5   Project  Preparation  Facility   Rafforzamento  delle  capacità  della  amministrazione  per    attuazione  IPA  

SEIO   Serbian  European  Integration  Office   Coordinamento  pianificazione  e  utilizzo  fondi  UE  EVAL   Eval  Team   Valutazione  (team  esperti)  TWI   Ministry  of  Agriculture  –  team  di  esperti   Progetto  di  twinning  DG  AGRI   European  Commission,  DG  AGRI  

Mandatario  del  processo  di  valutazione  e      DEL   Agriculture  and  Environment  at  EU  Delegation  to  Serbia  

Fonte: nostre elaborazioni Gli obiettivi centrali del progetto di valutazione secondo le linee guida comunitarie, e in linea con i task contrattuali, sono: a) la valutazione dell'analisi SWOT relativa al programma e delle esigenze individuate; b) la valutazione degli obiettivi del programma IPARD; c) la valutazione degli impatti attesi; d) la valutazione delle procedure di attuazione proposte, tra cui il monitoraggio, la valutazione e la gestione finanziaria. Il ruolo del valutatore ex ante in merito al primo obiettivo, relativo alla analisi SWOT e l’individuazione dei fabbisogni, è quello di garantire che il Programma segua un’impostazione logica e chiara e che sia giustificato dall’analisi del

contesto: le priorità, gli obiettivi, le misure e le dotazioni dovranno essere adeguate alle esigenze evidenziate. Sulla SWOT in particolare, la VEXA fornisce un giudizio sulla coerenza e completezza e sulla corretta capacità di identificare i principali fabbisogni. Uno degli obiettivi della VEXA è di valutare se un programma è adeguato a conseguire gli obiettivi definiti dalla strategia di intervento, e quindi i risultati attesi, e di stabilire se i presupposti della logica di intervento possono essere verosimilmente raggiunti. Il cuore della logica di intervento, infatti, dovrebbe essere il cambiamento che il programma intende realizzare nella area di azione, Stato o regione. In questo senso, si fa generalmente riferimento a indicatori (espressi come risultati o impatti previsti), che dovrebbero seguire e stimare gli effetti generati dalle operazioni di intervento. Con riferimento ai documenti di programmazione, a precedenti esperienze e o anche a studi e valutazioni relative ad altre situazioni comparabili, la VEXA è chiamata a esaminare le ipotesi formulate e se queste presumibilmente possono condurre ai risultati e agli eventuali impatti desiderati. L’ultimo obiettivo proposto per la VEXA è di carattere più operativo e riguarda sostanzialmente la capacità dell'Autorità di Gestione, e degli altri organismi competenti per l'attuazione come l’Agenzia di Pagamento o i soggetti preposti alla sorveglianza o alla comunicazione, di realizzare concretamente il Programma, anche alla luce della adeguatezza del sistema di erogazione e del sistema di controllo. Questo obiettivo comprende almeno due temi di valutazione: (i) le risorse umane e la capacità amministrativa per la gestione complessiva del programma; (ii) gli aspetti di delivery e le procedure per il monitoraggio e la raccolta dati.

Figura  2  –  Il  flusso  e  le  aree  del  processo  di  valutazione    ex  ante  

Fonte. EENRD, 2014 Secondo gli orientamenti comunitari, la valutazione ex ante è stata strutturata, quindi, intorno a tre fasi principali del processo di programmazione (figura 1 e 2), durante le quale il team di valutazione ex ante è stato coinvolto nella progettazione del programma e i feedback e le raccomandazioni sono state utilizzate, e in alcuni casi integrate, nel processo di definizione e aggiustamento del Programma: Fase 1: l'analisi SWOT e la valutazione delle necessità (task specifici di IPARD a); Fase 2: la logica di intervento e gli obiettivi (task specifici di IPARD b e c);

Fase 3: la governance, gestione e sistemi di delivery (task specifici di IPARD c). Il progetto di valutazione è stato redatto in una fase relativamente precoce del processo, ma la definizione finale è stata presentata alla MA, e a tutti i soggetti coinvolti, e finalizzato in occasione kick off meeting della valutazione. Questo documento di partenza contiene: l'approccio di valutazione, il flusso di lavoro in fasi, le domande di valutazione (EQ) per ogni fase, il calendario e le relazioni di valutazione.

Figura  3  –  Il  percorso  di  valutazione  ex  ante  in  relazione  allo  sviluppo  del  Programma  

Fonte: nostre elaborazioni Un aspetto centrale è stata al definizione delle domande di valutazione, anche alla luce del fatto che le linee guida per la valutazione ex ante di IPARD non proponevano differenza dell’approccio previsto per i PSR, un set comune di orientamento. L’identificazione di quesiti è stato quindi un processo partecipato tra il team di valutazione e la MA, nonché gli altri soggetti portatori di interesse, con particolare coinvolgimento dei servizi della Commissione, in quanto committenti finali della valutazione. A titolo esemplificativo si riporta un esempio di tabella delle EQs per la fase I – Analisi SWOT.

Tabella  3  -­‐    Esempio  di  quesiti  valutativi  proposti  (FASE  1)  Step Evaluation questions

Step A Completeness of the SWOT

In how far does the SWOT reflect all relevant issues of the current situation, leaving no important aspect aside? How plausibly are the items placed under the four categories?

In how far are the issues prioritized and the cross-links underlined?

Step B Indicators framework

How does the use of context indicators can justify the findings of the SWOT analysis? To which extent the Context indicators are "SMART" and they are used with spatial or temporal benchmarks?

Step C SWOT as the base of the needs assessment

To which extent does the SWOT constitute the base for the needs assessment? To which extent the needs identified are placed in order of importance and in relation to each other? The needs are identified in sufficient detail or they are too general?

Step D Stakeholder’s involvement

In what way and how stakeholders are involved? Which stakeholders are involved in the process of identification of needs? The needs analysis reflects the opinions and the observations made by stakeholders?

Fonte: nostre elaborazioni

Ex  ante  assessment    processus

Feedback  (D0)

Feedback  (SWOT)

 Feedback  (D1)

Feedback  (D2  and  D3)

Eval  Report

IPARD  draft  June  23

IPARD  draft  June  26

IPARD  draft  July  7

Proramme  processus

Programme

Un  percorso  di  valutazione  condiviso  La valutazione ex-ante formalmente iniziato con un kick off meeting nel Giugno 2014 a Belgrado. La iniziale condivisione e discussione del disegno di valutazione è servita a far bene comprendere alle istituzioni coinvolte gli obiettivi e i contenuti della valutazione e, soprattutto, è senz’altro servita a definire le condizioni, le modalità e i temi che sarebbero stati necessari per il confronto e il miglioramento del disegno del programma entro i tempi stabiliti dalla Commissione. Questo incontro ha introdotto i valutatori alla Autorità di Gestione serba e alla agenzia di pagamento IPARD e ha stabilito il primo punto di condivisione del disegno di valutazione. In questa sede i valutatori hanno richiesto la messa a disposizione di una serie di documenti necessari ad avviare il processo, come la bozza del Programma, il memorandum di accordo tra la MA e la PA, le liste degli indicatori previsti, le bozze delle schede di misura, nonché la valutazione ex ante del precedente Programma (mai approvato), le analisi di settore, il Serbia Strategy Paper (2014-2020); il Framework Agreement e altri documenti, in relazione soprattutto agli aspetti di coerenza del Programma. Una relazione iniziale (D0), che stabilisce il programma di lavoro di valutazione concordato, è stato fornito alla MA, anche per tener conto dei cambiamenti nei tempi del processo di elaborazione IPARD. La struttura del disegno di valutazione è stato quindi presentato in una fase relativamente precoce del processo di valutazione. A questo scopo, molto spazio è stato destinato ai primi incontri per la definizione del disegno di valutazione, poi articolato per fasi e per deliverable, al crono programma e alla qualità delle informazioni raccolte, specialmente nella discussione in merito al sistema degli indicatori. I valutatori, che hanno fondamentalmente lavorato sul campo, hanno attivato un fitto programma di confronto diretto e di incontri mirati, costruendo una sorta di percorso comune all’Autorità di Gestione di scrittura e di valutazione del Programma. In questo senso si è dovuto anche fare ricorso, e profilare con diversi aggiustamenti, ad approcci di valutazione più adeguati allo specifico contesto di lavoro, come l’uso di tecniche di SWOT relazionali o di workshop, al fine di comporre il quadro analitico e di giudizio. Una lettura critica preliminare dell'analisi di contesto e della SWOT è stata immediatamente avviata dopo il primo meeting di valutazione, con una puntuale presentazione dei principali riscontri sulla base a una nuova bozza di IPARD. Durante l'incontro, il valutatore ha trattato principalmente la determinazione della SWOT, la valutazione dei fabbisogni e la struttura generale della logica di intervento, fornendo puntuali raccomandazioni iniziali. Inoltre, il valutatore ha fornito una valutazione, e un primo supporto, delle attività per la stima dei target a livello di intervento (misura). Questo percorso è stato completato da una serie di conversazioni informali e di scambi di informazioni. L'analisi SWOT e la determinazione dei fabbisogni sono stati modificati in linea con le raccomandazioni e gli indicatori di riferimento. Un primo report (D1) è stato redatto proprio sulla base di una revisione del Programma e sull’aggiornamento della documentazione disponibile. Questo documento è una prima descrizione del processo di valutazione e delle principali conclusioni e raccomandazioni (tabella allegata), al fine di porre in evidenza come i risultati della valutazione sono stati considerati nello sviluppo del Programma. Diversi feed back di valutazione, attraverso incontri informali ma basati su puntuali presentazioni e caratterizzati da un processo di confronto, ha interessato più nello specifico gli aspetti legati alla definizione della coerenza interna, alla complementarità con le misure finanziate da altre fonti, alla descrizione della struttura operativa e alla descrizione della struttura di gestione. Nel mese di luglio, il valutatore ha fornito due relazioni intermedie (D2 e D3), relativi alla fase 1 (analisi SWOT), 2 (logica di intervento), 3 (Governance e gestione). Tali documenti sono stati discussi e condivisi in diversi incontri ad hoc sia con la MA, che con i servizi della Commissione. Durante il processo di valutazione, un ulteriore rapporto è stato fornito, in vista della specifica esigenza della Autorità di Gestione di sviluppare un sistema di indicatori di programma (D2B).

Per ogni fase del processo, i valutatori hanno fornito una tabella relativa alla "Sintesi delle risposte alle domande di valutazione", che condensa i principali risultati della valutazione, dettagliato per singola fase e attraverso l'uso delle domande di valutazione, e una "Panoramica delle raccomandazioni, al fine di evidenziare il valore aggiunto valutativo. Infine, il Rapporto finale di valutazione è stato redatto alla fine di luglio. La relazione di valutazione è strutturata sulle domande di valutazione proposte e concordate con la MA. Durante tutto il processo di particolare attenzione è stata rivolta alla identificazione di una logica di intervento robusta e la presenza di una capacità di attuazione concreta. Tutti gli elaborati redatti nel processo di valutazione sono stati inseriti nella relazione di valutazione finale.

Tabella  4  –  Lo  sviluppo  del  processo  di  valutazione  EVALUATION STAGE Periods (weeks)

I II III IV V VI

24/06 29/06

30/06 06/07

07/07 13/07

14/07 20/07

21/07 27/07

28/07 31/07

Evaluation design

STAGE 1

STAGE 2

STAGE 3 Meeting X X X X X

Presentations X X X X

Reporting D 0 D 1 D2/ D2B D 3 REPORT

Fonte: PPF5, 2014

La  completezza  della  analisi  SWOT  e  il  sistema  degli  indicatori  La strategia di un programma deve essere basata su una completa e chiara analisi SWOT del territorio nel suo complesso e una valutazione dei fabbisogni da affrontare ben strutturata. Il compito della valutazione ex ante è di giudicare, quindi, la completezza della matrice SWOT risultante dal processo di diagnosi: l'analisi SWOT può essere riconosciuta completa solo se rappresenta una narrazione condensata del contesto, alla luce di tutte le potenzialità e le disparità. Il valutatore ha proceduto a osservare se tutti gli elementi a livello del territorio programma sono esplicitati nella matrice e se questi sono tra loro coerenti, vale a dire non contraddittori nella loro formulazione. L'analisi di contesto, così come l'analisi SWOT e la valutazione dei fabbisogni, non forniva in prima battuta un quadro completo ed esaustivo della zona di programmazione, ma durante le diverse versioni del programma la MA ha significatamene migliorato la fase di diagnosi, seguendo le raccomandazioni. In particolare, la analisi della situazione attuale, per quanto impostata in conformità con le linee guida dell'UE e altre analisi delle zone rurali in Serbia, mancava di una descrizione più mirata delle dimensioni cruciali dello sviluppo rurale in Serbia, come l'ambiente, l'economia rurale, la qualità della vita e LEADER, e soprattutto mancava di una approccio di confronto, necessario a determinare correttamente i fabbisogni di intervento. Nella redazione finale del programma tali carenze risultano risolte. Più nel dettaglio, la prima analisi SWOT presentata risultava del tutto carente nella capacità di offrire una sintesi chiara dei diversi temi affrontati. A titolo di esempio conteneva oltre 350 voci, distinte in 6 sub matrici, principalmente di carattere settoriale. In più casi, era assente nella parte di analisi una robusta giustificazione degli item, che spesso erano anche individuati in modo confuso e ridondante. La SWOT non permetteva una lettura per priorità e importanza dei temi, né forniva un quadro delle relazioni tra gli argomenti. Ne derivava, quindi, che la SWOT non era in grado di assolvere alle sue funzioni e si rilevava uno strumento non idoneo alla identificazione e giustificazione dei fabbisogni.

Il processo di valutazione, ma anche di suggerimento di soluzioni, è stato condotto alla luce di alcune domande chiave per item, al fine di seguire un percorso lungo sei dimensioni principali di giudizio: • La voce è giustificata nell'analisi del contesto? • La voce ha carattere generale o settoriale? • L'item descritto in modo appropriato? • La voce è necessaria o e può essere ricompresa in altre? • L'elemento è collocato nella categoria corretta? • La voce di un duplicato di altre questioni e può essere eliminata?

Figura  4  –  Esempio  di  processo  di  analisi  e  giudizio  della  matrice  SWOT  settoriale  sul  comparto  latte  

Fonte: nostre elaborazioni

STRENGHT WEEKNESESS OPPORTUNITIES THRETS

Large areas under meadows and pastures

Needed time for process ofeducation and change ofawareness of producers;

Quality and quantity of food for animals

Prevalence of elderly populationin rural areas

Separated systems of farms withown mixing facilities and industry ofanimal feed

Linking of systems-Subjects in foodchain

National rules and legal neglecting of area of animal feed

Traditional products, which arein connection with Serbiancultural heritage

Predominantly old population inrural areas

Utilization of available EU funds for precise definition and positioning of products with Serbian origin

There is no adequate legal protection and national standards for traditional products from milk origin

Existence of favorable regionsfor setting of organic production

In sufficient knowledge on ways and advantages of this type ofproduction

Utilization of available EU funds for the fact that it is all about real potential of Serbia

There is no adequate legal protection

Serbia is leader in the region innumber of milk head of cattle,production and surplus in exportof milk and milk products

Quality of milk produced in Serbia,is lagging behind the EU quality ofmilk (around 40% of milk is in extraor I class of quality, which isallowed in accordance with EUrules).

Measures of agrarian policy should be used to raise protection of consumers and accommodation to EU regulations, promotion of quality and food safety of raw milk

Time for education process and changes of producers awareness is needed

Despite the fact that the distributionof milk is done through the marketchains (around 51%), still thesignificant amount of milk is indirect flow (around 49%). However,although this milk is cheaper frommilk bought in shops, and more rich in milk fat, it is by the rule, a milk ofless quality regarding the hygieneand it use in un pasteurized state isoften causing diseases.

Strategic arrangement of market forpurchase of raw milk, but also anincrease of responsibility of primarymilk producers.

Time for education process on good hygiene practice and change of producer’s awareness is needed.

Existing of self sufficiency of milkindustry and successfulconnection with cooperatives/farmers

In sufficient linkage of regulations on animal welfare (including the hygiene of milking) and protection of environment

Restructuring of sector forpromotion of competitiveness

Impact of world market price ofmilk (uncertainty of price)

Existence of professional help tofarmers in dairy plants

Insufficient linkage of regulation on animal welfare and ways of breeding

Regionally recognized milkproducts

Lack of regulations (notharmonized with EU legislation)

Will of domestic consumers-advantage to domestic product

No competitiveness of smallproduction units

Possible increase of income byreduction of production costs.

Unfavorable economic structureand specialization for production

Utilization of available funds fromabroad

Lack of quality raw milk for the needof processing sector

Premium in accordance with milk quality

In sufficient level of education offarmers on medium and semi largefarms about the production andeconomic activities

LEGENDGeneral Not appropriate Merge

Not justified ok Change category

SWOT – MILK SECTOR

Measures of agrarian policy do notcover guidance of producers aboutpossibilities for more significantuse of grazing and productionbased on combine feed

Reduction of cost of production byintroduction of feed which is typicalfor areas of growing of milk head ofcattle

In un incontro specifico, il team di valutazione ha presentato i riscontri e le criticità (come esemplificato nella figura 4). In tale incontro si è sviluppato un confronto, anche serrato, che ha interessato la SWOT e anche la determinazione die fabbisogni e la loro categorizzazione. Il valutatore ha quindi suggerito sia raccomandazioni sia possibili soluzioni per rendere più adeguata questa parte del Programma e sostanzialmente la MA ha accolto tali indirizzi, introducendo una SWOT di sintesi iniziale per tutto il territorio oggetto del Programma e semplificando e rendendo più relazionali le matrici specifiche per settore e ambito. Anche la determinazione dei fabbisogni e quindi la strategia di intervento, di conseguenza, sono quindi state riviste e rese più coerenti e chiare.

Figura  5  –  La  matrice  SWOT  finale  di  sintesi  prevista  dal  Programma  

Fonte: Ministry of Agriculture and Environmental Protection Republic of Serbia, 2014 Uno dei task principali della valutazione ex ante è di giudicare se un programma sia in grado realmente di conseguire gli effetti attesi, vale a dire il cambiamento che il programma si propone di portare. Questo cambiamento è in genere espresso come risultati o impatti attesi e stimati. Con riferimento ai documenti di programmazione, a r precedenti

esperienze e ad altri studi e valutazioni, il valutatore ha esaminato le ipotesi formulate dal team di programmazione della MA. La prima osservazione è stata che nella bozza di Programma non si forniva una tabella riepilogativa della logica di intervento in mood da evidenziare chiaramente le relazioni tra le misure scelte per IPARD e gli obiettivi quantificati, in termini di indicatori comuni (versione Programma del 2014/07/07). Di conseguenza la raccomandazione è stata quella di rispettare le indicazioni di redazione del Programma e di predisporre la specifica tabella. La risposta della MA è stata rapida almeno in merito alla quantificazione degli output. Le fonti di informazione utilizzate sono risultate affidabili e provenienti da dati primari o da precedenti esperienze o da situazioni simili presso altri stati; il metodo e il percorso proposti per il calcolo è risultato sufficientemente coerente e basato su un insieme di informazioni condivise con l'agenzia IPARD e discusse in diverse riunioni di esperti. Dopo l'accettazione di queste prime raccomandazioni, è stato richiesto al team di valutazione un work shop specifico, al fine di definire una stima dei possibili indicatori di risultato e impatto, rivisti alla luce delle nuove bozze di Programma. A questo proposito, gli obiettivi si sono basati su un calcolo di costi unitari standard desunti da interventi precedenti o simili in diverse situazioni europee. Tuttavia, è stato necessario esprimere una forte avvertimento. Infatti, in relazione all'esperienza passata, non è sufficiente utilizzare un percorso, per quanto logico e appropriato, di quantificazione basato solo sui costi unitari di intervento, ma è necessario tener conto anche della dimensione effettiva del bacino di potenziali beneficiari, come una stima della domanda potenziale. Ciò è particolarmente vero negli interventi che richiedono la partecipazione dei beneficiari per investimenti. Il valutatore ha proposto da un lato di verificare il bacino realisticamente potenziale di intervento, dall'altro di individuare una serie di casi studi che potessero avvalorare le stime. Inoltre, sono stati suggeriti anche alcuni indicatori alternativi o complementari anche per la necessità di fornire indicatori non solo a livello di intervento, ma anche a livello di Programma, per tenere in conto le eventuali sinergia attivabili. Su questa base, la MA, quindi con un supporto metodologico attivo dei valutatori, ha fornito una nuova e completa versione del sistema degli indicatori, proprio sulla base di una stima concreta e condivisa dei potenziali beneficiari e su uno schema affidabile di distribuzione e implementazione dei vari tipi di operazioni per settore.

Tabella  5  –  Quantificazione  dei  target  (output)  per  la  misura    “Investimenti  nelle  aziende  agricole”  (draft  07.07.2014  vs  versione  finale)  

IPARD  draft      07/07/2014   IPARD  final  01/12/2014  Name  of  indicator   Target  value     Name  of  indicator   Target  value  

Total  number  of  projects  supported   6.505   Total  number  of  projects  supported   720  

Number  of  holdings  investing  in  livestock  management  in  view  of  reducing  N20  and  methane  emissions    

2.372  Number  of  holdings  investing  in  livestock  management  in  view  of  reducing  N20  and  methane  emissions    

120  

Total  investment  in  physical  capital  by  holdings  supported  in  EUR   155.979.487   Total  investment  in  physical  capital  by  

holdings  supported  (EUR)   168,977,778  

Number  of  projects  in  crops   468   Number  of  holdings  progressively  upgrading  towards  EU  standards   600  

Number  of  projects  in  fruits  and  vegetables   1.294   Number  of  holdings  performing  modernization  projects   380  

Number  of  projects  in    milk  production   3.003   Number  of  holdings  investing  in  renewable  energy  production   60  

Number  of  projects    in  production  of  meat   1.741          Fonte: nostre elaborazioni. In corsivo gli indicatori sostituti

Prime  conclusioni  In termini di risultati, e di uso degli stessi, il progetto ha ovviamente prodotto un rapporto complessivo di valutazione, che accompagna il Programma. Tuttavia, non è stato questo rapporto lo strumento più utilizzato e più efficace. I valutatori hanno prodotto diversi rapporti tematici intermedi, presentati e discussi di volta in volta con i referenti più interessati e coinvolti nelle specifiche tematiche, al fine di offrire riflessioni e raccomandazioni strettamente attinenti le singole parti di lavoro. Obiettivo era che tali indicazioni potessero essere condivise, o criticate, direttamente dai singoli operatori che le avrebbero affrontate. Questo processo si è anche appoggiato a una struttura di lavoro a workshop tematici, vale a dire a incontri di lavoro specifici su singoli temi, a cui hanno partecipato operatori diversi, e con obiettivi finali ben determinati e condivisi. Ad esempio il workshop specifico sul sistema degli indicatori aveva il preciso obiettivo di analizzare in modo critico la possibilità concreta di raggiungere da parte di IPARD i target proposti e di, soprattutto, in caso di valutazione critica, come avvenuto, di determinare una metodologia più corretta ed adeguata. Nello stesso modo il workshop sulla analisi di contesto ha permesso un chiaro confronto, non sempre facile, non solo con la MA, ma anche con i centri di ricerca coinvolti e con gli esperti del twinning di supporto attivo per IPARD. In questo contesto, il valutatore non è entrato nel dettaglio della validità delle analisi, ma ha offerto una lettura critica della capacità dei risultati di essere utilizzati in modo concreto nella definizione della strategia del programma. Sono stati affrontati e condivisi metodi diversi per sentenziare la importante e valida mole di informazioni, al fine di costruire una analisi SWOT che permettesse in modo logico, giustificato e immediato di identificare i fabbisogni e di attivare le linee di intervento. La scelta di una valutazione di tipo quasi residenziale, vale a dire in contatto quasi quotidiano con la MA, ha permesso una maggiore efficienza del processo valutativo, proprio perché legata di volta in volta a esigenze specifiche della fase di programmazione. Oltre al processo non mediato svolto dal valutatore, e volto a identificare e porre in marcata evidenza sia alla MA che ai servizi della Commissione, le concrete criticità del Programma, molta attenzione è stata rivolta alla stesura di raccomandazioni operative, ma anche alla spiegazione di come fosse possibile mettere in pratica i miglioramenti suggeriti. In questo senso il valutatore non si è fermato al giudizio e ha condiviso con la MA la ricerca delle possibili soluzioni. Del resto questo aspetto, particolarmente rilevante in un processo ex ante, era espressamente richiesto nei termini contrattuali e più volte ribadito dai servizi della Commissione nei diversi incontri avuti con il team di valutazione. In altri termini, al processo di valutazione più stretto, condotto in totale indipendenza dal valutatore anche nella definizione delle raccomandazioni, si è accompagnato un processo di dialogo attivo rivolto al recepimento chiaro dei risultati della VEXA e alla condivisone di percorsi per integrare tali risultati nel programma, a fine di renderlo più efficiente ed efficace. In questo senso, proprio la struttura del lavoro di valutazione per step ricorsivi si è rilevata una scelta corretta che ha permesso un attivo utilizzo dei risultati proposti dal team di valutazione e anche un significativo miglioramento di tutto il processo di valutazione. Un'unica critica può, tuttavia, riguardare i tempi di un approccio di quasi affiancamento tra programmazione e valutazione, infatti il processo di scrittura di IPARD ha subito una accelerazione forte nei mesi in cui il valutatore è stato presente in Serbia e si può dire che il programma è stato riscritto in due mesi. Diversamente una condizione simile sarebbe difficile da gestire nel caso di un percorso di scrittura di programma sull’ordine di diversi mesi. In questo senso, potrebbe essere rilevante comprende quando attivare la presenza costante del valutatore e quando no, come potrebbe essere in buona parte delle attività propedeutiche alla redazione del programma. Un importante contribuito all’efficacia della valutazione ex ante, intesa come supporto al buon disegno del programma e all’utilizzo dei suoi risultati, è stato in particolare rappresentato dalla iniziale condivisione e discussione del disegno di valutazione. Esse sono infatti servite a convenire sui ruoli e i compiti delle parti coinvolte rispetto al conseguimento dell’obiettivo finale di buona programmazione e messa a punto dei sistemi adeguati di governance che potessero essere approvati dalla Commissione. Questo ha significato anche, prendere atto tempestivamente delle inefficienze e

inadeguatezze esistenti, ad esempio nei processi di rilevazione e analisi dei fabbisogni del territorio, e di strutturazione organizzativa e funzionale delle autorità responsabili. È stato inoltre un momento acquisizione di consapevolezza, da parte della MA, dell’opportunità di dare efficacia alla valutazione, fornendo tempestivamente ogni informazione ad essa necessaria e raccoglierne senza remore i risultati delle analisi che sarebbero state condotte. In definitiva, si può senz’altro attestare che una siffatta conduzione della valutazione ha contribuito alla crescita delle capacità istituzionali di programmazione e attuazione delle politiche comunitarie. Questo aspetto di governo della valutazione può pertanto rivelarsi, ma in parte questo è già accaduto nella valutazione ex ante di alcuni PSR italiani, come un valore aggiunto anche nel quadro, per quanto più maturo e avanzato, delle politiche di sviluppo rurale in Italia.

 

Bibliografia  di  riferimento  

AESA Consortium (2013), Technical assistance for evaluation of agriculture and rural development sector implemented and financed by IPA programme and other donors in the Republic of Serbia

Argyris C., Schön, D.A. (1996), Organizational Learning II: Theory, Method and Practice. Reading, Mass.: Addison-Wesley

Bandstein S., Hedblom E. (2008), “SADEV Report - IFAD’s Management Response System - The Agreement at Completion Point Process”

Bezzi C. (2005), Rendiamo dinamica la SWOT, Rassegna Italiana di Valutazione, n. 31

Bezzi C. (2001), Il disegno della ricerca valutativa, Franco Angeli, Milano

Bezzi C. (2011), “Altre tecniche di valutazione” su www.valutazione.it

Brankovic S (2010), Negotiations for farmers in Serbia: lessons learnt from the previous EU accessions

Cagliero R., Cristiano S. (a cura di ) (2013), La politica di sviluppo rurale post 2013. Monitorare e valutare i programmi di sviluppo rurale: metodi e strumenti, INEA Studi e Ricerche, Roma

Cagliero R., Cristiano S. (2013) I principali indirizzi per la valutazione dei programmi di sviluppo rurale nel periodo 2014-2020, articolo in Agriregionieuropa anno 9, n°33/2013

Cagliero R., Cristiano S., Zanon D., (2013) La valutazione dello sviluppo rurale 2014-20: dal contesto ai fabbisogni, articolo in Agriregionieuropa anno 9, n°35/2013

COGEA – ISRI (2013), Proposta per lo sviluppo dell’analisi SWOT relazionale

CORNUEJOLS (2012), Support to IPARD On-going Evaluation. 2011 On-going Evaluation report

DARD (2006), Ex Ante Evaluation of Rural Development Programme 2007-2013

De Sanctis C., De Sanctis M., Minerva M.L., Tenna F., Torcia P. (2011), “L’utilizzo di tecniche partecipate e del contributo degli stakeholder per valutare la variazione della qualità della vita nelle aree rurali interessate dal programma di sviluppo (Psr 2007-2013). Impostazione e prime riflessioni”, in Rassegna Italiana di Valutazione - Anno XIV n° 48,

DG AGRI (2014), Draft Guidelines for Ex ante Evaluation (IPARD II), dated February 2014

DG AGRI (2014), Draft Template of Proposed structure of the content of an IPARD Programme

EENRD (2012), Newsletter of the Good Practice Workshop “Drafting Terms of Reference for ex ante evaluations” - Brussels, 1 March 2012

EENRD (2014), Getting the most from your RDP: Guidelines for the ex ante evaluation of 2014-­‐2020 RDPs, Brussels.

European Commission (2011), Instrument for Pre-Accession Assistance (IPA) Multi-Annual Indicative Planning Document (MIPD) 2011-2013 Multi-Beneficiary

European Commission (draft), Proposed structure of the content of an IPARD Programme. Draft Template

European Council (2013), Information Concerning the EU accession negotiating process

GHK and Technopolis (2011), Evaluation to support the preparation of pre-accession financial instruments beyond 2013. Final Report

IBF International Consulting (2011) Interim / strategic evaluation of EU IPA pre-accession assistance to Serbia 2010/231827 Final Report

International Bank for Reconstruction and Development and International Finance Corporation (2011), Country Partnership Strategy for the Republic of Serbia for the period Fy12–Fy152011

Martini A. (2004), “Come rendere la valutazione delle politiche meglio utilizzabile nel processo decisionale pubblico” Relazione presentata alla VII ConferenzaNazionale di Statistica, Roma 9-10 novembre 2004

Maxima Consulting (2014), Evaluation of effectiveness and efficiency of development assistance to the Republic of Serbia per sector

PPF5 (2012), National Priorities for International Assistance (Nad) 2014-2017

Patton M.Q. (2010), Developmental Evaluation: Applying Complexity Concepts to Enhance Innovation and Use

Provincia Autonoma di Bolzano - Alto Adige (2014), Valutazione ex ante e valutazione ambientale strategica del Programma di Sviluppo Rurale 2014-2020. Rapporto preliminare

RAVA (2014), Valutazione ex-ante del Programma di Sviluppo Rurale 2014-2020 della Regione Autonoma Valle d’Aosta

Regione Abruzzo (2012),Programma di Sviluppo Rurale 2007-13

Regione Calabria (2012),Programma di Sviluppo Rurale 2007-13

Regione Lombardia (2014), Programma di Sviluppo Rurale 2014-2020 della Regione Lombardia.

Regione Molise (2014), Programma di Sviluppo Rurale 2007-13

Regione Sardegna (2012),Programma di Sviluppo Rurale 2007-13

Regione Umbria (2014), Servizio di valutazione ex ante del PSR Umbria 2014-2020. Rapporto preliminare

Republic of Bulgaria (2007), Ex-ante Evaluation of the Bulgarian Rural Development Program 2007-2013 co-financed by the European Agricultural fund for Rural Development

Republic of Serbia (2011), Draft OPERATIONAL PROGRAMME FOR ECONOMIC DEVELOPMENT 2012 – 2013

Republic of Serbia (2011), Ex ante evaluation. Draft IPARD programme (dated 15th May 2011). Final

Republic of Serbia (2012), Memorandum of understanding Between the Managing Authority and Directorate for Agrarian Payments Concerning the IPARD Programme implementation

Republic of Serbia (2013), Final report. Self-assessment Audit of Directorate for Agrarian Payments

Republic of Serbia (2014), REPUBLIC OF SERBIA IPARD PROGRAM FOR 2014-2020, varie versioni

Republic of Serbia (2014), Sectorial analyses for CROPS, milk, meat and fruit and vegetables

Sanderson I. (2002), “Evaluation, Policy learning and evidence-based policy making”, Public administration 80: 1-22

Stame N. (2007) (a cura di), Classici della valutazione, Franco Angeli, Milano

ALLEGATO 1 Table: overview of the recommendations

Date Topic Recommendation IPARD The SWOT analysis, needs assessment

01/07 Provide a more comprehensive description of the programming area

The analyses should be better enhanced through focusing on crucial dimensions Provide a proper description of the disparities Enhance the context analysis through the use of core DF The sectorial analyses should be summarized

01/07 Provide a more appropriate use of context indicators

The whole list of CCI should be fully applied. Quantify those CCI which are still missing in the analysis and to better explain some that estimated by a proxy approach. Define a set of the most important specific indicators

01/07 Provide a more appropriate and comprehensive SWOT analysis

Check and provide that all of its items have a justification. Go towards a rationalization of the items: deleting the redundancies, re-classifying some items. Provide a representation of the linkages between items

01/07 Provide a consistent needs assessment

Estimate a ranking of 13 needs

Construction of the intervention logic

01/07 Provide a coherent strategy Set up of IPARD objectives framework Set up a "demarcation and complementary table" in cap. 10

13/07 Provide a coherent measure description

Avoid duplications and redundancies Provide a more clear description of linkages and demarcation Administrative procedure needs to be described more in depth

Establishment of targets, distribution of financial allocations,

13/07 Provide a robust quantification of targets

Define a realistic basin of potential beneficiaries Provide a set of appropriate result and impact indicators

13/07 Provide a coherent budgetary allocation

Provide an appropriate description of the implementation risk

Program implementing, monitoring, evaluation and financial arrangements

13/07 Provide a better description of the work-flow, roles and functions

Explain in a better way “what does who and when”, through the use of functional and work-flow chart Explain in a better way the governance on LEADER approach

13/07 Provide details on the human resources being involved

Detail the number of human resources working in the IPARD MA offices and the describe the activities conducted to enhance their competencies

13/07 Provide details the delivery system

The delivery system must be described more clearly

13/07

Provide a more comprehensive description of the financial arrangements and circuit

Describe the financial circuit and arrangements envisaged, possibly through the use of a financial flow-chart, and by identifying the operating bodies and their tasks

Other

13/07

Provide a more comprehensive description of the arrangements for effective and further involvement of the stakeholders

Provide information on further involvement of the stakeholders during the programming Clarify if and how the LAGs are considered as relevant Programme stakeholders Describe, where possible, the effective involvement of the stakeholders into the Programme design and implementation