SCOTTISH ENTERPRISE 

Economic Appraisal  Guidance Note  A Summary Guide to Developing the Economic Case  for a Project or Programme    Appraisal & Evaluation Team  1st November 2008     

Scottish Enterprise, 150 Broomielaw, Atlantic Quay, Glasgow, G2 8LU 

SCOTTISH ENTERPRISE ECONOMIC APPRAISAL GUIDANCE NOTE 

  RECORD OF CHANGES  Version 

Change Date 

Description 

1.0 

1 November 2008 

 

  

ii 

SCOTTISH ENTERPRISE ECONOMIC APPRAISAL GUIDANCE NOTE 

  CONTENTS  RECORD OF CHANGES ................................................................................................................................................................II  1  INTRODUCTION............................................................................................................................................................... 1  1.1  PURPOSE OF THIS GUIDANCE NOTE ....................................................................................................................................................1  1.2  WHO IS THIS GUIDANCE FOR?..........................................................................................................................................................1  1.3  RELATIONSHIP TO OTHER GUIDANCE ..................................................................................................................................................1  2  WHY DO APPRAISAL? ...................................................................................................................................................... 2  2.1  THE RATIONALE FOR APPRAISAL ........................................................................................................................................................2  2.2  WHERE DOES APPRAISAL FIT IN THE LIFE OF A PROJECT OR PROGRAMME?..................................................................................................2  2.3  DECIDING APPRAISAL LEVEL .............................................................................................................................................................3  2.4  THE MAIN ELEMENTS OF APPRAISAL ..................................................................................................................................................4  2.5  APPRAISAL ROLES AND RESPONSIBILITIES ............................................................................................................................................4  2.6  ECONOMIC APPRAISAL CONTACTS .....................................................................................................................................................5  2.7  ACTIONS: APPRAISAL WORKBOOK .....................................................................................................................................................5  3  OFFICIAL FRAMEWORKS THAT GUIDE APPRAISAL ........................................................................................................... 6  3.1  MAPPING THE FRAMEWORKS ...........................................................................................................................................................6  4  IDENTIFYING & QUANTIFYING MONETARY COSTS & BENEFITS OF OPTIONS.................................................................... 7  4.1  STATE TIME PERIOD FOR ASSESSMENT................................................................................................................................................7  4.2  ESTIMATING COSTS ........................................................................................................................................................................7  4.3  ESTIMATING THE VALUE OF BENEFITS .................................................................................................................................................7  4.4  WORKBOOK ACTION: RECORD MONETARY COSTS & BENEFITS ................................................................................................................8  4.5  ADJUSTING MONETARY BENEFITS FOR ADDITIONALITY ...........................................................................................................................9  4.6  WORKBOOK ACTIONS: RECORD ADJUSTED MONETARY BENEFITS .............................................................................................................9  5  ASSESSING RISK, UNCERTAINTY AND ADJUSTING FOR OPTIMISM BIAS ......................................................................... 11  5.1  SENSITIVITY ANALYSIS ...................................................................................................................................................................11  5.2  SCENARIOS .................................................................................................................................................................................11  5.3  OPTIMISM BIAS...........................................................................................................................................................................11  5.4  WORKBOOK ACTION: UNDERTAKE SENSITIVITY ANALYSIS, PRESENT SCENARIOS AND ADJUST FOR OPTIMISM BIAS .............................................12  6  DISCOUNTING & CALCULATING NET PRESENT VALUES .................................................................................................. 13  6.1  DISCOUNTING ILLUSTRATION ..........................................................................................................................................................13  6.2  WORKBOOK ACTIONS: USE COST‐BENEFIT TEMPLATE TO CONSIDER NET PRESENT VALUE OF OPTIONS ...........................................................13  6.3  ESTIMATING GROSS VALUE ADDED FROM THE NET PRESENT VALUE ........................................................................................................14  6.4  WORKBOOK ACTION: CALCULATE GROSS VALUE ADDED ......................................................................................................................14  7  CONSIDERING NON‐MONETARY COST AND BENEFITS ................................................................................................... 15  7.1  EXAMPLES OF WIDER BENEFITS ......................................................................................................................................................15  7.2  METHODS FOR ASSESSING NON‐MONETARY BENEFITS .........................................................................................................................16  7.3  ADJUSTING NON‐MONETARY BENEFITS: ADDITIONALITY ......................................................................................................................16  7.4  ESTIMATING GROSS VALUE ADDED FROM NON‐MONETARY BENEFITS.....................................................................................................16  7.5  WORKBOOK ACTION: LIST CRITICAL SUCCESS FACTORS AND UNDERTAKE WEIGHTING & SCORING .................................................................16  8  ESTABLISHING A MONITORING & EVALUATION FRAMEWORK ...................................................................................... 17  8.1  DEVELOPING A FRAMEWORK ..........................................................................................................................................................17  8.2  WORKBOOK ACTIONS ...................................................................................................................................................................17  9  FURTHER INFORMATION............................................................................................................................................... 18  APPENDIX 1 APPRAISAL WORKBOOK ....................................................................................................................................... 19  BACKGROUND INFORMATION ......................................................................................................................................................................19  STEP 1 EXPLAIN THE STRATEGIC CONTEXT ......................................................................................................................................................19  STEP 2 ESTABLISH THE NEED FOR EXPENDITURE ...............................................................................................................................................20  STEP 3 DEFINE THE OBJECTIVES ...................................................................................................................................................................20  STEP 4 IDENTIFY & DESCRIBE OPTIONS ..........................................................................................................................................................21  STEP 5 IDENTIFY & QUANTIFY MONETARY COSTS & BENEFITS OF OPTIONS ...........................................................................................................21  STEP 6 ASSESS RISK, UNCERTAINTY AND ADJUST FOR OPTIMISM BIAS ..................................................................................................................22  STEP 7 DISCOUNT & CALCULATE NET PRESENT VALUES.....................................................................................................................................22  STEP 8 CONSIDER NON‐MONETARY COSTS & BENEFITS ....................................................................................................................................23  STEP 9 ESTABLISH MONITORING & EVALUATION FRAMEWORK ...........................................................................................................................23  APPENDIX 2 COST‐BENEFIT TEMPLATE ..................................................................................................................................... 24  APPENDIX 3 COST‐BENEFIT CHECKLIST ..................................................................................................................................... 25  APPENDIX 4 MONITORING & EVALUATION CHECKLIST............................................................................................................. 26 

 

iii 

SCOTTISH ENTERPRISE ECONOMIC APPRAISAL GUIDANCE NOTE 

1

INTRODUCTION 

1.1

PURPOSE OF THIS GUIDANCE NOTE 

The  aim  of  this  guide  is  to  provide  a  practical  framework  for  completing  economic  appraisals  of  projects  and  programmes in order to allow decision‐makers in Scottish Enterprise to better identify and prioritise opportunities  for economic development interventions.  The detailed objectives of this guide are as follows:  • • •

•

1.2

To show how economic appraisal fits into the project development lifecycle, and development of the wider  business case;  To indicate the main official frameworks that relate to appraisal;  To Identify the main steps involved in economic appraisal, including;  o Indentifying and adjusting project costs and benefits;  o Accounting for project risk and uncertainties;  o Understanding the basic concepts and application of discounting; and  To explain the role of the Appraisal & Evaluation Team in supporting economic appraisal and other groups  that support other aspects of appraisal.  WHO IS THIS GUIDANCE FOR? 

This  note  is  intended  to  support  project  or  programme  owners  engaged  in  development  of  a  business  case,  specifically the economic case. It is noted that the approaches set out are valid for all levels of economic appraisal.  Guidance on choosing the appropriate level of appraisal can be found in this document.  Project owners are encouraged to consult with specialist appraisal and evaluation staff for support in applying this  guidance to their work.   Note for External Contractors: the approach set out in this note is also recommended for use by Scottish Enterprise  external contractors.  1.3

RELATIONSHIP TO OTHER GUIDANCE 

This note draws on and adapts other guidance and signposts to more detailed explanations are given at the end of  this note (see section 9).  This note supersedes all other previous SE guidance on economic appraisal (including that contained in ‘Appraisal  and Evaluation Guidance Modules’ 1  ‘A Positive Guide to Evaluation 2 ’, and the ‘Project Development Guidance 3 ’).   This  guidance  note  is  also  consistent  with  the  high  level  discussion  of  principles  and  best  practice  in  project  appraisal and evaluation as presented in HM Treasury (2003) The Green Book, Appraisal and Evaluation in Central  Government.   Economic  appraisal  is  an  important  component  of  preparing  a  business  case  for  approval.  Guidance  on  other  aspects  of  developing  a  business  case  is  available  from  the  Project  Lifecycle  intranet  site,  the  Regional  Support  Teams, or the Commercial Directorate (see contact details in section 2.6).   Estimating the additional benefits of an intervention is an important step in estimating the ultimate impact of an  intervention on the economy in terms of Gross Value Added. Detailed guidance on both these techniques is set out  in more detail in separate guidance (see http://www.scottish‐enterprise.com/sedotcom_home/about‐us/research‐ publications/evaluations‐impact.htm). 

                                                                  1

Scottish Enterprise (2004) Appraisal and Evaluation Guidance Modules, Scottish Enterprise: Glasgow 2 Scottish Enterprise (Undated) A Positive Guide to Evaluation, Scottish Enterprise: Glasgow 3 Scottish Enterprise (1996) Project Development Guidance, June, Various Volumes, Scottish Enterprise: Glasgow

Page 1 of 29 

SCOTTISH ENTERPRISE ECONOMIC APPRAISAL GUIDANCE NOTE 

2

WHY DO APPRAISAL? 

2.1

THE RATIONALE FOR APPRAISAL  The first question that needs to be asked when planning or starting appraisal is:   •

For what reasons are we undertaking the appraisal?  

The rationale for appraisal is set out by HM Treasury as follows:  All  new  policies,  programmes  and  projects,  whether  revenue,  capital  or  regulatory,  should  be  subject  to  comprehensive but proportionate assessment, wherever it is practicable, so as best to promote the public interest.  The Green Book presents the techniques and issues that should be considered when carrying out assessments (HM  Treasury 2003, p1).  Appraisal also allows project owners to demonstrate the Value for Money of their project, that is, how economic,  efficient and effective the planned intervention will be. Appraisal is critically important for any project, programme  or policy because it helps to judge whether the activity is worthwhile, whether it represents the best use of scarce  public resources.  2.2

WHERE DOES APPRAISAL FIT IN THE LIFE OF A PROJECT OR PROGRAMME?  Appraisal often forms a stage in a broad project, programme or policy cycle. This is sometimes called the ROAMEF  cycle (standing for Rationale, Objectives, Appraisal, Monitoring, Evaluation and Feedback).  

  Figure 2.1 ROAMEF Diagram  Appraisal  represents  an  assessment  of  an  intervention  before  resources  have  been  committed.  This  is  also  sometimes referred to as Ex Ante Evaluation.    

  Figure 2.2 Appraisal Terminology  Some points to note about appraisal include:  • •

Appraisals are often iterated a number of times before their proposals are implemented in full.   As the stages of an appraisal progress, data must be refined to become more specific and accurate.   Page 2 of 29 

SCOTTISH ENTERPRISE ECONOMIC APPRAISAL GUIDANCE NOTE 

•

The effort applied at each step should be proportionate to the funds involved, outcomes at stake, and the  time available. 

The  steps  outlined  in  this  guide  provide  the  main  elements  that  should  normally  be  undertaken.  These  are  provided in sequence, but it may be that project owners revisit different steps as their assessment of the proposed  intervention becomes clearer and/or new information becomes available. 2.3

DECIDING APPRAISAL LEVEL 

An  important  first  step  in  the  appraisal  process  is  deciding  an  appropriate  level  of  assessment.  This  will  vary  depending  on  a  number  of  factors  such  as  project  cost,  risk  and  whether  the  project  is  ‘mission  critical’  (see  Figure  2.3).  A  matrix  for  identifying  an  appropriate  level  of  appraisal  is  set  out  below.  Final  decisions  on  the  appropriate level and detailed content should be agreed by the project owner and the Regional Support Teams/or  Commercial Directorate. 

  Figure 2.3 Deciding Appraisal Level    Importance/  Priority  Risk 

Cost    

1

Level 1 Appraisal 

Level 2 Appraisal 

Level 3 Appraisal 

Not  mission  critical.  Outputs  do  not  directly  (on  their  own)  support  the  delivery of a major policy outcome 

Not  mission  critical.  Outputs  do  not  directly  support  (on  their  own)  the  delivery of a major policy outcome 

Mission  Critical.  Outputs  of  the  project/programme  directly  support  the delivery of a major policy outcome 

Low Risk  • a routine and well‐tested approach to  delivery;  • an experienced delivery team;  • clear  project  boundaries  with  little  or  no  interdependency  on  other  projects;  • minimal external impact on the public  and other organisations; or   • limited resource requirements. 

Medium Risk  • a  previously  tested  approach  to  delivery;  • a structured delivery team with some  relevant experience;  • a  well  defined  project  with  clear  and  uncomplicated boundaries;  • some  impact  on  the  public  and  other  organisations;  • an important but non‐critical business  support  function  and/or  some  political sensitivity; or  • some  degree  of  resource  commitment. 

High Risk  • a  novel  or  untested  approach  to  delivery;   • lack  of  experience  of  similar  project  delivery;   • a  complex  matrix  of  project  interdependencies;  • a significant impact on the public and  other organisations;   • a  business  criticality  and/or  political  sensitivity; or a   • significant resource commitment.