KATHOLIEKE  UNIVERSITEIT LEUVEN

 

 

    How effective are performance audits?  A multiple case study within the local audit office of Rotterdam        Paper for the 5th International Conference on Accounting, Auditing & Management in  Public Sector Reforms    Amsterdam, 3‐5 September 2008   

             

    Katrien Weets  K.U.Leuven – Public Management Institute                This text is based on research conducted within the frame of the Policy Research Centre on Governmental  organization in Flanders (SBOV II ‐ 2007‐2011), funded by the Flemish government. The views expressed herein are  those of the author(s) and not those of the Flemish government. 

How effective are performance audits? A multiple case study within the local audit office of Rotterdam

1. Introduction     Performance audits can be broadly described as audits that focus on the efficiency, the effectiveness and  the economy of public sector activities.1 As such they go further than the more traditional types of audit,  like financial audits, whereby the truthfulness of financial accounts is investigated, and compliance audits,  whereby  the  conformity  of  financial  and  operational  controls  and  activities  with  the  prevailing  laws,  directives, procedures and standards is verified. Furthermore, performance audits are quite public sector  specific, in that an equivalent for them does not exist in private sector, commercial auditing. In addition to  this, as a rule, they are conducted by auditors of Supreme Audit Institutions (SAIs) and so they take place  within a very specific institutional context (Pollitt et al., 1999).     Although thus far only few academic studies were conducted in which the effectiveness of performance  audits  has  been  examined,  it  is  often  contended  that  they  impact  upon  and  contribute  to  the  effectiveness,  the  efficiency  and  the  accountability  of  public  sector.  Frequently  claims  are  made  that  performance audits support parliamentary democracy by assisting the legislative power in controlling the  executive.  Moreover,  the  information  they  produce  would  inform  citizens  about  the  ins  and  outs  of  government.  Despite  the  limited  evidence  of  these  beneficial  effects,  a  large  number  of  governments  heavily  invest  in  the  development  and  expansion  of  their  performance  audit  functions.  Therefore  it  is  remarkable that the question whether or not performance audits are truly effective thus far only received  limited attention from the academic world (Morin, 2004). As Bowerman et al. (2000) stated earlier:     “In analysing the shape and scale of the ‘audit society’ , it is a striking paradox that the process of audit itself  has been audited or evaluated in only  limited ways.” 

  Within this general framework our explorative research had three main ambitions. Firstly, we sought to  explore the extent to which performance audits are truly effective. Secondly, we aimed at uncovering the  various  factors  that  impact  upon  and  provide  an  explanation  for  the  degree  of  effectiveness  of  a  performance  audit.  Thirdly,  and  no  less  important,  we  wanted  to  reopen  the  debate  on  performance  audit effectiveness on the one hand and on the way in which it should be measured on the other.     With these ends in mind, we first undertook an extensive review of the existing literature on the use, the  impacts and the effects of performance audits on the one hand and policy evaluations on the other hand.  Thereby we identified various factors that, according to literature, foster performance audits’ success. The  results of this review are described in the following section. The third paragraph then sheds more light on  some  performance  audit  effectiveness  measures  and  particularly  on  the  more  comprehensive  measurement model we used in order to assess the degree of effectiveness of three performance audits  conducted  by  the  local  audit  office  of  Rotterdam,  the  so‐called  ‘Rekenkamer  Rotterdam’.  Subsequently  the results of the research are presented and discussed in the fourth section. The article concludes with  an  enumeration  of  limitations  to  the  performance  audit  effectiveness  measurement  model  used  in  this  study and to research dealing with the effectiveness of performance audits in general. Based upon these  limitations, areas for further research are identified.   1

 There is however no general consensus about the proper role and scope of performance audit in the field of state  audit. For a review of the different definitions of performance audit and a mapping of the frontiers of the practice of  performance  audit  with  some  of  the  neighbouring  concepts  like  for  instance  financial  audit,  evaluation  &  private  audit,  see  Pollitt  et  al.  (1999).  Next  to  this  Pollitt  (2003)  has  also  stated  that  in  practice  the  most  commonly  used  criterion in performance audits tends to be some notion of good management practice/good administration instead  of  one  of  the  so‐called  three  E’s.  Moreover  earlier  research  on  a  transnational  level  has  shown  that  various  SAIs  interprete the concept of performance audit in different ways. As a result performance audits conducted by different  Supreme Audit Institutions (SAIs) are not at all similar (Put, 2005). For all of these reasons it can be stated that there is  not really one correct and generally accepted definition of performance audit. Performance audit should conversely  be seen as an umbrella term that encompasses different types of audit activities.

Katrien Weets 

1

How effective are performance audits? A multiple case study within the local audit office of Rotterdam

2. Literature review    As only few academic studies deal with the impacts and effects of individual performance audits and as  the practice  of performance  audit  shares a lot  of  characteristics with the  field  of  policy evaluation2,  we  decided to broaden our literature review to include some basic concepts and findings brought to the fore  by  the research  on the  utilisation  of policy  evaluations.  These are  briefly set out  in  the  first part  of  this  paragraph. Thereupon the second part presents an overview of the specific literature on the impacts and  effects of performance audits. Finally, the  third part  deals with potential side effects  of  the practice of  performance auditing. The paragraph is rounded off with a conclusion.  

2.1.  Some  basic  concepts  and  findings  from  the  research  on  the  utilisation  of  policy  evaluations    Already in 1979 Weiss introduced the so‐called enlightenment model of research utilisation. By referring  to this model, she called attention to the fact that the concept of research utilisation does not necessarily  have to relate to a directly assignable and instrumental use of research results. After all, research results,  theoretical perspectives and conceptions can also permeate the policy‐making process in an indirect and  diffuse  way,  by  the  influence  they  exert  on  the  views,  the  ideas,  the  beliefs  and  the  attitudes  of  civil  servants, politicians, etc. As such it is possible that their administrative or political views on certain policy  issues change, without them being aware of this influence (Weiss, 1979).    In ‘Social science research and decision‐making’ Weiss & Bucuvalas (1980) presented the results of their  study  on  the  usefulness  of  social  science  research  for  decision‐makers.  Of  the  255  interviewees,  which  were  all mental health decision makers at  federal, state  and  local  levels, a  large  majority  reported  high  levels of research use. They did not only claim to read a good deal of research but they also considered  that their knowledge of research did have an impact upon their work. Weiss & Bucuvalas concluded that  the use of social science research in policy making particularly depends on two factors: the receptivity and  openness  of  decision  makers  for  social  science  research  on  the  one  hand  and  the  frames  of  references  decision‐makers use with regard to research on the other hand. They described these so‐called frames of  references  as  implicit  filters  that  are  used  by  decision‐makers  to  screen  the  research  that  they  read  or  hear  about,  in  order  to  handle  the  information  overload  they  are  confronted  with  on  a  daily  basis.  By  means of a factor analysis the authors succeeded to derive an understanding of the frames of references  that decision makers use in screening research.    

2

 There has been a lot of discussion and even controversy about the transferability of policy evaluation approaches  and  techniques  to  the  field  of  performance  audit  (see  for  example  Pollitt  &  Summa,  1996  &  1997;  Gunvaldsen  &  Karlsen, 1999; Pollitt, 2003). Yet it is recognized that with the rise of performance audit over the last fifteen to twenty  years there has been a shift towards a more evaluative stance within SAIs. Pollitt et al. (1999) for example stated that  certainly auditors in some countries (particularly the Netherlands, Sweden, the USA & the UK) are showing an explicit  interest in evaluation. As our research was conducted within a Dutch local audit office, the ‘Rekenkamer Rotterdam’,  where  the  auditors’  work  is  strongly  inspired  by  evaluation  methodologies  and  approaches,  we  believed  including  findings and concepts placed in the forefront by the research on the utilisation of policy evaluations, would not only  be useful but also enriching to our analysis. 

Katrien Weets 

2

How effective are performance audits? A multiple case study within the local audit office of Rotterdam

According to Weiss & Bucuvalas the criteria that are employed by decision‐makers to describe and judge  studies, are the following:   • relevance to issues their office deals with;  research quality: the technical quality, objectivity and cogency of a study;  • • conformity  with  user  expectations:  its  plausibility  given  their  prior  knowledge,  values  and  experience;  • action orientation: the explicit guidance it provides for feasible implementation;  • challenge to the status quo: its challenge to existing assumptions, practice and arrangements.    Next to this it is worth mentioning that the political acceptability of research results only correlated to a  lesser  degree  with  the  interviewees’  assessments  of  the  usefulness  of  a  study  than  was  assumed  in  advance  by  the  authors.  However,  this  view  was  contested  in  later  years  by  Korsten  (1983)  who  stated  that the political context of a research actually is a factor of great importance in explaining its use.     Leviton & Hughes (1981) drew in their work on the distinction between the instrumental, the conceptual  and  the  persuasive  use  of  evaluation  research.  The  concept  of  instrumental  use  alludes  at  a  direct  and  assignable processing of the research results. Hence, policy makers are aware of the fact that they used a  specific  study  to  support  the  policy  process,  for  instance  in  order  to  formulate  different  policy  alternatives. That is not usually the case when research results are used in a conceptual manner, for then  ideas, conceptions, and theoretical perspectives affect the policy‐making process only in an indirect way  (cfr.  supra).  At  last,  contrary  to  the  two  previous  categories,  the  persuasive  use  of  evaluation  research  implies interpersonal influence. This kind of use may for instance occur when one has to defend a political  decision that was already made before or when one wants to bring others to take up a certain political  stand. Academic studies are then employed as political munition, what eventually may lead to a selective  use of research results.    Besides all this, the authors identified five clusters of variables that according to them encourage the use  of evaluation research by policy makers:   • the relevance of an evaluation to the needs of potential users: with respect to the content as well as  with regard to the timing of the evaluation;  direct  and  flexible  communication  between  the  potential  users  and  the  producer(s)  of  the  • evaluation;  • clear  and  accessible  communication  of  the  research  results  to  policy  makers  (translation  of  evaluations into their implications for policy and programs);  a positive perception of the credibility of the evaluator by policy makers;   • commitment and advocacy by certain individual users in the policy making process.   •   Finally, in a more recent work Karen Kirkhart (2000) brought to the fore a so‐called ‘integrated theory of  influence’. In doing this she proposed a radical rethink of the concept of ‘use of evaluation information’,  for, in her opinion, the earlier conception of ‘use’ was too limiting and lacking in theoretical basis. Kirkhart  therefore  argued  for  a  change  in  focus  from  ‘use’  to  ‘influence’.  She  proposed  this  change  in  focus  in  order  to  broaden  the  framework  and  to  move  away  from  the  unidirectional,  episodic,  intended  and  instrumental  connotations  of  the  term  use.  Hence,  within  this  context  the  concept  of  ‘influence’  is  considered  as  less  oriented  towards  the  direct  results  of  evaluation  studies  and  viewed  as  a  more  continuous  process  than  the  concept  of  ‘use’.  Next  to  this,  Kirkhart  also  advanced  an  integrated  theoretical framework. As such, Kirkhart reconceptualised the findings of past research and developed a  more coherent picture of the impact of evaluation studies (Cummings, 2002).   

Katrien Weets 

3

How effective are performance audits? A multiple case study within the local audit office of Rotterdam

According  to  Kirkhart  (2000)  then, three  different  dimensions  have to  be  studied in  order  to determine  the influence of evaluation research: • source (impacts may arise as a consequence of the process of evaluating on the one hand and as a  consequence of the results of an evaluation on the other hand);  • time  (impacts  can  occur  during  the  evaluation  process  (immediate  impacts),  at  the  end  of  an  evaluation cycle (end‐of‐cycle impacts) and in the long term (long‐term impacts));  • intention (an evaluation research can have both intended and unintended consequences).     It is important to mention that these categories are not mutually incompatible. Hence they do not exclude  each other.  

2.2. Literature on the impacts & effects of performance audits    Pollitt  et  al.  (1999)  devoted  a  chapter  of  their  book  to  the  impact  of  the  performance  audit  work  undertaken by five European SAIs (the Dutch Algemene Rekenkamer, the French Cour des Comptes, the  UK  National  Audit  Office,  the  Swedish  Riksrevisionsverket  and  the  Finnish  Valtiontalouden  tarkastusvirasto). In this chapter they considered amongst other things what SAIs themselves stated with  regard  to  the  impact  of  their  performance  audit  work,  whether  and  how  SAIs  measure  their  impacts,  which  efforts  SAIs  make  to  enhance  the  impact  of  their  work,  if  there  any  negative  (side)  effects  to  performance audit work, etc. In seeking for answers to their questions, the authors were able to bring a  number of interesting findings to the fore. Altogether their evidence suggested that performance audits  do  have  an  impact.  After  all,  in  each  of  the  countries  they  examined,  performance  audits  did  led  to  changes to government activities. In many cases the reactions to auditors’ recommendations also led to  substantial savings in public funds.     In  addition,  the  authors  drew  attention  to  the  possibility  that  performance  audits  also  produce  a  deterrent effect arising simply from the fact that they exist, as well as a more general educational impact  on the audited organisations and on public sector in general.     Furthermore the authors gave a rough sketch of a number of changes that were implemented by some  national SAIs  in  the past  so  as  to raise  the impact  of  their performance audits: the  introduction  of  new  methods  and  techniques,  the  recruitment  of  staff  with  new  skills,  the  development  of  better  planned  studies,  longer  term  audit  strategies,  efforts  to  work  more  closely  with  auditees,  the  development  of  greater publicity for reports, the move from consolidated reports to single, stand‐alone publications and  efforts to obtain broader and deeper rights of access to bodies spending public money. Finally, Pollitt et  al. stated that the impact of a performance audit report is largely determined by environmental factors,  which cannot be easily altered by SAIs. The following environmental factors were briefly discussed:   • the political context in which auditors work;  • the means a SAI has at its disposal;  • the way in which auditees react on a performance audit report;   • the interests of the auditees;   • the reaction of the public opinion on a performance audit report;   the reaction of the parliament on a performance audit report;   • luck (for example with regard to the timing of publication).   •   In  one  of  his  more  recent  works  Pollitt  (2006)  made  an  analysis  of  the  existing  literature  on  the  use  of  performance information by ministers, parliamentarians and end users. He concluded that,  in spite of the  big statements that are generally made about the importance of performance information for democracy,  there is few evidence that these end‐users do indeed use this type of information. On the contrary, the  patchy  evidence  that  is  available  seems  to  indicate  that  they  only  rarely  make  use  of  the  volumes  of  performance  information  now  thrust  upon  them.  Hence  the  author  argued  for  a  broader  definition  of  performance  information  use,  so  that  it  would  not  only  encompass  the  direct  and  instrumental  use  of 

Katrien Weets 

4

How effective are performance audits? A multiple case study within the local audit office of Rotterdam

performance information, but it also would cover other kinds of uses, like for example conceptual use (cfr.  supra). Besides this, Pollitt referred to the possibility that the existence of performance information also  has a preventive effect. Thereby he argued that the regular production of reports is more important than  their regular consumption, for the need to ‘keep public servants honest’ does not require everything to be  read and digested in order to achieve its effect.     Johnsen et al. (2001) for their part examined whether and in what way performance audits contributed to  performance  improvement  in  Finnish  and  Norwegian  local  governments.  Based  on  nine  interviews,  the  authors  concluded  that  the  practice  of  performance  audit  served  two  functions.  On  the  one  hand,  the  process of performance audit appeared to be effective in identifying those organisational areas that were  in need of review. On the other hand in general local civil servants and politicians did seem to act upon  the  auditors  reports  and  recommendations.  Furthermore  the  authors  stated  that  the  information  included in the reports was especially used to develop management systems and to improve the quality of  the municipal budget.     According  to  a  number  of  Scottish  auditors,  who  where  interviewed  by  Lapsley  &  Pong  (2000),  performance  audits  are  indeed  useful,  particularly  with  regard  to  the  management  of  public  organisations. The benefits were generally said to be of an operational nature, rather than of a strategic  nature. The auditors referred for example to the improvement of systems and processes, the adoption of  best  practices,  the  identification  of  redundant  jobs  and  the  improvement  of  risk  management  within  audited organisations.       In  his  doctoral  thesis  Vanlandingham  (2006a)  examined  the  strategies  that  were  employed  by  US  legislative oversight offices in order to stimulate the use of their research results in the legislative process.  The  author  distinguished  between  two  overall  strategies:  developing  strong  networks  with  decision  makers  and  astute  marketing  of  research  products.  He  particularly  examined  how  key  stakeholders  utilised  and  assessed  the  audits  conducted  by  legislative  oversight  offices,  and  to  what  extent  their  assessments  cohered  with  the  network‐  &  marketing  initiatives  taken  by  these  offices.  His  research  indicated firstly that offices located within a legislative unit were more effective in promoting use of their  work  than  offices  located  within  an  auditing  unit.  Secondly  it  showed  that  offices  that  had  adopted  research standards which stress utility to stakeholders were more successful than offices conforming to  the  Government  Auditing  Standards,  which  strongly  emphasize  organisational  independence  (Vanlandingham, 2006b).     Torgler  &  Schaltegger  (2006)  examined  how  audit  courts  and  local  autonomy  affect  political  discussion.  The  goal  of  their  research  was  to  explore  to  which  extent  citizens’  level  of  discussion  depends  on  institutions, focusing specifically on audit courts and local autonomy in Switzerland. Their results indicated  that a higher audit court competence and a lower level of centralisation correlated with a higher level of  political  discussion.  According  to  these  authors,  the  results  in  Switzerland  suggest  that  such  institutions  help improve citizens’ willingness to acquire information costs and discuss political matters. Furthermore,  Torgler  (2005)  found  that  in  the  Swiss  case  higher  audit  court  competences  had  a  significantly  positive  effect  on  tax  morale.  He  suggests  that  these  help  improve  taxpayers’  tax  morale  and  thus  citizens’  intrinsic motivation to pay taxes.     Eichenberger  &  Schelker  (2007)  considered  in  their  research  the  Swiss  local  finance  commissions  as  elected competitors to government. The authors particularly analysed to what extent the power of local  finance  commissions  affected  the  tax  burden  and  the  public  expenditures  within  26  different  Swiss  cantons.  On  the  basis  of  an  econometrical  analysis  they  found  that  the  power  of  a  local  finance  commission did have an economically relevant, statistically significant and robust negative effect on the  tax burden and on public expenditures within a canton.  The  first  study  ever  in  which  the  economic  effects  of  SAIs  were  assessed  on  a  cross  country  basis  was  conducted  by  Blume  &  Voigt  (2007).  These  authors  particularly  estimated  the  effect  of  SAIs  on  three 

Katrien Weets 

5

How effective are performance audits? A multiple case study within the local audit office of Rotterdam

groups  of  variables,  namely  fiscal  policy,  government  effectiveness  and  productivity.  Two  surveys  (one  from the World Bank / OECD, the other one from INTOSAI) were used to generate a number of variables  that proxy for various aspects of the institutional and organizational structure of SAIs. The variables that  were used to proxy for the independence, the mandate, the transparency and the stylized model of the  SAIs did not display any significant impact on the economic variables  mentioned above. There was only  one exception to this general rule: the perceived levels of governments’ graft were significantly higher if  SAIs  were  structured  along  the  court  model  of  auditing.  Problematic  to  this  study  however  is  that  the  authors only made use of indicators that cover the legal situation of SAIs. Hence, as is acknowledged by  the authors, they did not any include information on the factual situation of SAIs.     In  the  middle  of  the  eighties  the  U.S.  General  Accounting  Office  (U.S.  GAO)  was  very  successful  with  regard  to  the  number  of  recommendations  adopted  by  audited  organisations.  Aiming  at  advising  evaluation  bodies  in  order  to  raise  their  effectiveness,  Johnston  (1988),  relying  on  organisation  theory  literature,  sorted  out  some  possible  explanations  for  the  success  of  this  ‘congressional  watchdog’.  The  author successively distinguished between three explaining variables that according to him possibly could  account  for  the  success  of  the  U.S.GAO:  the  types  of  change  the  U.S.GAO  put  forward  in  its  recommendations, its role as an external evaluator, and the activities set up by the U.S. GAO in order to  promote its work.     Regarding  the  types  of  change  the  U.S.  GAO  put  forward  in  its  recommendations,  Johnston  stated  that  these  were  for  the  greater  part  intended  to  act  upon  the  behaviour  and  the  rules  within  the  audited  organisations. Based on organisation theory literature he concluded that such proposals for change are in  general more easily accepted than recommendations directed at affecting the goal or the structure of an  organisation. Concerning the role of the U.S.GAO as an external evaluator, the author indicated that this  position offered it a certain flexibility in associating with other organisations. Besides this he pointed out  that the U.S.GAO had good relations with the congress and the media, which put pressure on the audited  organisations  to  adopt  its  recommendations.  At  the  same  time  the  activities  set  up  by  the  U.S.GAO  in  order  to  promote  its  work,  like  for  example  follow‐up  activities  and  a  utilisation  tracking  system,  contributed, according to Johnston, to the success of this audit office.     Van der Meer  (1999)  for his  part endeavoured to  answer  the  following  research  question:  “When,  how  and  what  do  government  agencies  learn  from  evaluations?”  To  that  end  he  developed  a  structural  constructivist  theoretical  framework  and  applied  it  to  two  performance  audits  both  conducted  by  the  Dutch  ‘Algemene  Rekenkamer’.  The  author  focused  in  his  research  on  the  degree  to  which  learning  processes  were  generated  and  enhanced  in  the  audited  organisations  as  a  consequence  of  these  performance audits. So as to formulate his hypotheses he made use of the concept of ‘repertoire’, which  he defined as follows: “Repertoires are defined as stabilized ways of thinking and acting (on the individual  level) or stabilized codes, operations and technology (on other levels).”     It appeared that the performance audits had hardly any direct effect that could be unequivocally ascribed  to them. Rather they seemed to support or counteract debates, tendencies and options that were already  present, or ‘under construction’, in the interaction among the actors concerned. Van der Meer concluded  that the success of performance audits is dependent on the degree to which and the manner in which the  repertoires of the actors involved, in this context auditors and auditees, match. According to the author  one  of  course  has  to  take  into  account  that  a  performance  audit  takes  place  within  a  given  context,  whereby the success of an audit can also be influenced by the repertoires of other actors.  

Katrien Weets 

6

How effective are performance audits? A multiple case study within the local audit office of Rotterdam

Likewise,  de  Vries  (2000)  relied  on  a  structural  constructivist  approach  in  his  doctoral  study  on  the  impacts  of  two  performance  audits  of  the  Dutch  ‘Algemene  Rekenkamer’.  He  included  the  following  concepts in his multivariate explanatory model:   • cognitive coupling: the degree to which the recommendations of the auditor match the repertoires  of the auditees (cfr. Van der Meer);  • social  coupling:  the  social‐organisational  distance  between  the  auditor  and  the  auditees  and  the  extent to which the auditor is perceived as external by the auditees;   • embedment: the degree to which an audited organisation has “embedded” her repertoires, so that  she is not open to external impulses and influences;  multiplicity: on three different levels:   • o regarding the internal differences within an organisation;  o regarding a third actor which is considered important by the audited organisation;   o regarding the policy networks in which the audited organisation participates.   According to de Vries, a performance audit would be more successful if:   • the recommendations of an auditor match the repertoires of the auditees;  • the  social‐organisational  distance  between  auditor  and  auditees  is  smaller  and  the  auditor  is  perceived less as from the outside by the auditees;  • the repertoires of the auditees are less strongly embedded within the audited organisation and the  auditees are open to external impulses and influences;  the  repertoires  within  the  audited  organisation  are  more  diversified,  and  the  inclusions  in  the  • collective repertoire differ widely;   the  recommendations  of  the  auditor  match  the  repertoires  of  a  third  actor  which  is  considered  • important by the audited organisation;   the  recommendations  of  the  auditor  match  the  ‘ideas‐in‐construction’  of  a  number  of  actors  of  a  • policy network in which the audited organisation participates.     Van der Meer (1999) & de Vries (2000) both considered performance audits as social influence processes.  So did Morin (2001), who perceived a performance audit as a social influence process which takes on its  full  meaning  through  the  relationship  arising  between  the  source  of  influence,  i.e.  the  auditor,  and  the  target of influence, i.e. the auditee. By means of a multiple case study, in which the influence attempts in  six performance audits performed by the Auditor General of Quebec and the Auditor General of Canada in  1995  and  1996,  were  examined  closely,  and  using  qualitative  content  analysis  techniques,  Morin  could  identify fourteen performance indicators, which indicate whether  or not an influence attempt has been  more or less successful.     These were grouped into three categories:   • perceptions and reactions of auditees with regard to auditors’ influence attempts;  • impacts generated by the performance audit;  • the contribution of a performance audit to the public debate.  The performance indicators which were put in the forefront by Morin are listed in table 1. 

Katrien Weets 

7

How effective are performance audits? A multiple case study within the local audit office of Rotterdam

Table 1. Performance indicators for performance audits, according to Morin (2001)  Category  Performance Indicator  Auditees’ perceptions and  reactions with regard to  auditors’ influence  attempts 

• • • • •

Auditees’ feelings towards auditors  Sources of auditees’ dissatisfaction with regard to performance audit auditors’ work  Auditees’ reaction to auditors’ influence attempt: internalization  Cooperation offered by auditees to auditors (in auditors’ opinion)  Auditees’ misgivings of auditors’ influence attempt legitimacy 

Impact on the audited  organisation 

• • • • • • •

Auditees’ perception of added value of the performance audit  Auditees’ evaluation of auditors’ findings  Willingness of auditees to follow‐up on auditors’ recommendations  Evaluation by auditees of auditors’ overall performance  Auditees’ perception of the usefulness of the performance audit for the audited  organisation  Changes made by auditees to management practices  Auditees perceptions of the overall effect of the performance audit 

• •

Stimulation of debates in parliament  Coverage by the press 

Contribution to the public  debate 

  Besides this Morin also highlighted fifteen success factors in order to find out the reasons why influence  attempts either had succeeded or failed. These factors fell into two categories:   • factors linked to the performance audit process;   • factors linked to the existence of environmental conditions during the performance audit process.     The fifteen success factors that were provided by Morin are presented in table 2.     Table 2. Succes factors in influence attempts, according to Morin (2001)  Category  Success Factor 

Factors linked to the  performance audit process 

• • • • • • • • •

Factors linked to the  existence of environmental  conditions 

• • • • • •

Auditees’ perception of a participating leadership style in auditors  Auditees’ perception of a preference for collaboration on part of auditors  Auditees’ perception of power relations between auditors and auditees  Credibility of auditors in eyes of auditees  Auditees’ perception of connotation of auditors’ modes of influence and type of  message  Auditees’ degree of influenceability  Auditees’ level of commitment  Auditees’ level of tolerance to criticism  Degree of fluidity in communications between auditors and auditees  The will at staff level and in the central authority of the organisation being audited  Political will  Timing of the performance audit  Major reorganisation in the body being audited  Reform at the government level  Place of the activity audited and of the recommendations within the priority scale of  the audited organisation’s management 

  Morin concluded that four of the six performance audits studied, were not very successful. As a result of  this she pleaded in favour of a more sceptical attitude towards performance audits’ effectiveness.     However,  the  author  did  soften  her  findings  few  years  later  on  the  basis  of  a  survey  research  through  which she tried to measure the impact of performance audits, conducted between 1995 and 2002, on the  management of organisations in Quebec. Surveys were exclusively directed at the auditees. The number  of  respondents  amounted  to  a  total  of  99.  First,  the  impact  of  performance  audits  was  studied  in  ten 

Katrien Weets 

8

How effective are performance audits? A multiple case study within the local audit office of Rotterdam

possible  variations,  frequently  invoked  in  literature.  They  can  be  listed  as  follows:  value  added  by  performance audits, the relevance of the recommendations made by the auditors, the preventive effect  exerted  by  performance  audits  on  the  auditees,  the  influence  exerted  by  the  performance  audit  on  auditees’  management  practices,  the  influence  exerted  by  the  performance  audit  on  the  audited  organisation’s relations with interest groups, the perceived utility of auditor general reports, the concrete  actions taken by audited managers following a performance audit, organisational consequences of audits,  personal  consequences  of  audits  and  finally  the  global  impact  on  the  management  of  the  organisation  audited.     Morin’s  survey  research  indicated  that  the  influence  of  auditors  was  perceptible  for  all  of  these  ten  elements. She concluded that at least in part performance audits, as practised in Quebec governmental  organisations  from  1995  to  2002,  had  led  to  a  better  performance.  As  the  audited  managers  saw  it,  performance audits did in general have a positive influence on the management of their organisations.     Subsequently Morin tried to discover the  factors that determined the outcome of auditor’s attempts to  make  their  influence  felt.  The  research  indicated  that,  as  a  rule,  the  relations  that  auditors  established  with  the  managers  of  audited  organisations  during  a  performance  audit  seemed  to  strengthen  their  influence  significantly.  Furthermore,  it  seemed  that  environmental  conditions  also  exerted  a  favourable  impact on the work of auditors, with a positive effect ranging from minimal to relatively strong. Next to  this,  the  intervention  of  parliamentarians  did  not  seem  to  have  had  any  significantly  negative  effect.  Judging from auditees’ perceptions, the work of auditors was, on average, even favourably influenced by  the involvement of parliamentarians. Finally the effect of press coverage was present and was perceived  as contributing to auditors’ influence, but it registered only weakly.     Alon  (2007)  for  his  part  sought  to  determine  the  qualitative  and  quantitative  differences  between  the  outcome  of  investigative  journalism  and  the  outcome  of  state  audit’s  efforts.  His  research  focused  on  defects that have a substantial effect on a relatively large portion of the population. It indicated that 38  percent of the defects exposed by the media were completely rectified, in comparison with 46 percent of  the defects pointed out by the State Comptroller. On the other hand, the media was found to be  more  successful with respect to defects that the establishment completely ignored (31 percent vs. 24 percent).  Furthermore the author found that it took an average of 2.7 years to correct the defect in cases reported  by the media, compared to 3.8 years for defects exposed by the State Comptroller. In addition to this the  research showed that, of the defects exposed by the media that were ultimately rectified, sixty percent  were corrected within the first year after the publication, whereas this percentage only came to twenty  percent for the State Comptroller.  

2.3. Literature on potential side effects of performance audits  With regard to potential side effects of performance audits, Pollitt et al. (1999) noted that the presence of  auditors  may  considerably  enlarge  the  workload  of  audited  departments.  In  addition  to  this,  their  evidence suggested that some of the auditees, when informed about the possibility of being subject to an  audit in the near future, made themselves guilty to an hasty introduction of new management practices,  in anticipation of the auditor’s visit. Other  authors  (like for example Leeuw, 2006) have contended that  performance audits may impede innovation and renewal in government by the strong emphasis they put  on compliance with procedures (‘ossification’).     Another  possible  unintended  side  effect  of  performance  auditing  is  denoted  in  literature  by  the  term  ‘manualisation’.  It  refers  to  an  excessive  use  of  manuals  and  guidebooks  in  order  to  cope  with  the  recommendations  of  auditors  and  the  procedures  they  prescribe,  while  one  can  ask  oneself  if  such  an  approach  truly  leads  to  a  more  efficient  and  effective  public  sector.  Moreover  auditors,  overstressing  administrative  rationality,  would  sometimes  pay  too  much  attention  to  trivial  details,  and  thereby  lose  sight of truly significant inefficiencies.  

Katrien Weets 

9

How effective are performance audits? A multiple case study within the local audit office of Rotterdam

Furthermore report has it that performance audits can bring about tunnel vision. Tunnel vision relates to  the  situation  whereby  phenomena  that  are  quantified  and  measured  in  the  performance  measurement  system  are  overstressed  at  the  expense  of  the  unquantified  and  unmeasured  aspects  of  performance  (Smith, 1995; Dolmans & Leeuw, 1997). There are other concepts too, like for example audit society and  performance paradox, that allude indirectly to the statement that performance auditing does not always  result in a more efficient and effective policy, and that one also has to take into account the unintended  side  effects  of  performance  measurement.  After  all,  performance  measurement  on  itself  does  not  automatically result in a better policy and management. On the contrary, according to some authors, an  overload of performance auditing may eventually lead to a situation of ‘analysis paralysis’ within audited  organisations.     Subsequently it is claimed that overemphasizing the use of performance indicators may engender ‘short‐ termism’. Auditees then become inclined to focus primarily on achieving good results with regard to the  performance  indicators  established  in  their  organisation,  and  they  lose  sight  of  the  long‐term  policy  perspectives (Neely, 1999; Jackson, 2005).     Next to this certain authors contend that auditing is a real trust‐killer (Dolmans & Leeuw, 1997). According  to them, some auditors assume that they have to distrust auditees for it is plausible that these put their  own  interests  or  the  interests  of  their  organisation  first.  Therefore  they  would  consider  a  controlling  method  of  working  more  effective  than  a  method  of  working  which  is  based  on  mutual  trust.  By  using  ‘command  and  control  instruments’  one  of  course  punishes  the  auditees  that  do  act  for  the  common  good.  This  way  of  acting  would  then  decrease  instead  of  increase  the  degree  to  which  an  audit  is  effective. Elliott (2002) for example indicates that performance auditing may harm the basis for trust on  the  shop  floor,  and  in  that  way  can  be  contra  productive  for  an  organisation.  Apart  from  this  he  states  that a performance audit does not make a clear distinction between results on the one hand and effects  on the  other  hand,  and that it is  therefore  not  capable  of  fully  grasping  the complexity  of  the relations  between  activities  and  their  consequences.  Finally  Elliott  claims  that  performance  audits  do  not  sufficiently  take  into  account  time  and  context  of  audited  activities,  and  that  as  a  consequence  of  this  they do not offer a clear picture of the actual impact of certain practices. Other authors, like for instance  Shore  &  Wright  (1999),  even  contend  that  the  practice  of  performance  auditing  gradually  creates  ‘a  climate of fear and tension’, wherein ‘coercive accountability’ strongly predominates.     At last, according to some other authors, a potential macro level side effect of performance auditing is the  transfer of institutional power that takes place between legislative bodies and audit institutions as a result  of  performance  auditing.  By  means  of  performance  audits  audit  institutions  would  have  obtained  possibilities to take part in deciding about certain policy options, that are actually outside their scope, and  that go far beyond their legal audit mandate. Power (2005) for example qualified audit institutions as ‘de  facto  policy  makers’.  He  argued  that  SAIs,  in  spite  of  their  so‐called  independence,  continuously  contribute  to  public  sector  reforms  by  exerting  pressure  on  public  organisations  to  implement  new  systems through which they become more ‘auditable’.  

2.4. Review of the literature – conclusions    In conclusion of this  paragraph, table 3, that can be  found in appendix  A of this paper, summarizes the  factors that, according to the literature discussed above, have an impact upon the degree of effectiveness  of  a  performance  audit.  The  potential  side  effects  of  performance  audits  are  not  included  in  this  table,  although  it  is  acknowledged  that  they  too  eventually  could  exert  influence  on  the  extent  to  which  a  performance  audit  is  effective.  However,  contrary  to  the  factors  that  were  incorporated  in  the  table,  it  can  be  assumed  that  they  only  affect  the  degree  of  effectiveness  of  a  performance  audit  in  an  indirect  manner.  

Katrien Weets 

10

How effective are performance audits? A multiple case study within the local audit office of Rotterdam

The findings in the table set up the starting point for our study. After all, they were our main source of  inspiration  in  building  up  the  research  design  and  selecting  the  appropriate  research  techniques.  These  are both discussed in the next section.  

3. Research design and research method    This paragraph elaborates on the research design and the research method we used. In a first part some  commonly used performance audit impact and effectiveness measures are introduced and criticised. The  second  part  discusses  the  more  comprehensive  measurement  method  we  used  in  order  to  explore  performance audit effectiveness. Finally, the third part outlines the research method we applied.  

3.1. Measuring performance audit impacts   Pollitt  et  al.  (1999)  recognised  that  measuring  the  precise  scale  of  impact  of  a  performance  audit  is  difficult, if not impossible. According to these authors, the following means were most commonly used by  the five  SAIs in their study to determine the impact of their  performance audit work: changes made by  government (number of recommendations accepted by government and/or number of recommendations  acted  upon),  financial  savings  (amount  of  cost  savings  achieved),  impact  on  parliament  (amount  of  attention  a  performance  audit  gained  in  parliament)  &  internal  measures  (including  for  instance  comments from the audited body and the amount of press coverage a performance audit received).    All of these  indicators can  be criticised however for they only  offer a very limited view on performance  audit  effectiveness.  For  the  purpose  of  illustration,  we  will  apply  Kirkharts’  (2000)  ‘integrated  theory  of  influence’, which was outlined in paragraph 1, to the measures mentioned above.    Taking  a  close  look  at  the  first  indicator,  ‘changes  made  by  government’,  one  can  demonstrate  on  the  basis of Kirkharts’ framework that this indicator does not take fully into account the three dimensions that  should be studied in order to determine the impact of a performance audit. After all, he only partly grasps  the  dimensions  that  were  brought  to  the  fore  by  Kirkhart.  As  such,  he  provides  an  indication  for  the  impacts  that  arise  as  a  consequence  of  the  results  of  a  performance  audit,  that  occur  at  the  end  of  an  audit cycle and that were intended. Impacts that arise as a consequence of the process of performance  auditing,  during  the  evaluation  process  or  in  the  long  term,  or  unintended  impacts  are  on  the  contrary  fully  neglected  by  this  measure  for  performance  audit  effectiveness.  The  figure  below  represents  in  diagram form how this first indicator relates to the integrated theory of influence proposed by Kirkhart.    Figure 1. Relation between  the measure ‘changes made by government’ and the integrated theory of  influence (Kirkhart, 2000)   

Katrien Weets 

11

How effective are performance audits? A multiple case study within the local audit office of Rotterdam

As is shown in figure 1, by mapping the number of recommendations that were accepted by government  and/or  the  number  of  recommendations  that  were  acted  upon,  one  measures  performance  audit  effectiveness  only  in  a  very  limited  way.  Furthermore  by  using  this  particular  measure  one  exposes  oneself  to  the  risk  that  auditors  display  ‘gaming  behaviour’  while  conducting  an  audit.  After  all,  the  number of recommendations accepted by auditees can be quite easily manipulated by auditors (see for  example Johnston, 1988).     The same goes for the other indicators. Moreover they all give a very one‐sided representation of what  constitutes performance audit effectiveness. The amount of cost savings achieved for example does not  grasp  any  qualitative  improvements  that  were  brought  about  by  a  performance  audit.  In  addition  this  measure  does  not  sufficiently  take  into  account  the  specific  characteristics  and  needs  of  public  sector  organisations.  The  amount  of attention a  performance audit gained in parliament on  the one  hand  and  the amount of press coverage a performance audit received on the other hand can also be criticised for  these  indicators  only  focus  on  particular  aspects  of  performance  audit  effectiveness,  and  they  thus  are  very narrow in scope.  

3.2.  Towards  a  more  comprehensive  model  for  measuring  performance  audit  effectiveness    The literature review has shown that so far examining performance audit effectiveness is a still relatively  uncultivated  field.  The  academic  studies  that  do  exist  often  lack  a  sound  empirical  and  methodological  foundation. Moreover the available publications on potential side effects of performance audits are only  too frequently based on anecdotal evidence.     As was demonstrated above, a sound, valid, reliable and comprehensive measure for performance audit  effectiveness does not yet exist up to now. In order to measure performance audit effectiveness on the  one hand and to uncover the various factors that impact upon and provide an explanation for the degree  of effectiveness of a performance audit on the other hand, we opted for the method which was supplied  by Morin (2001) as the point of departure for our research. We preferred to use this method for several  reasons. Firstly, it takes into account both the impacts of the performance audit results as the impacts of  the  performance  audit  process  and  it  pays  attention  to  the  impacts  in  the  short  term  as  well  as  the  impacts in the long term. As such, it grasps two of the three different dimensions advanced by Kirkhart,  which  is  an  improvement  in  comparison  with  the  more  limited  indicators  discussed  above.  Secondly,  Morin succeeded in giving her study a sound scientific basis and in putting forth a structured framework  to examine performance audit influences on public administrations.     The research framework advanced by Morin was already discussed in the first paragraph of this paper. On  the one hand fourteen performance indicators, which indicate whether or not an influence attempt has  been more or less successful, were put in the forefront. On the other hand, Morin brought forward fifteen  success factors in order to find out the reasons why influence attempts have either succeeded or failed.  Inspired by Morin’s classification, we selected the following performance indicators for our research:   • auditees feeling towards auditors;   • auditees’ satisfaction with regard to the performance audit auditors’ work;  • cooperation offered by auditees to auditors (in auditors’ opinion);  • absence of doubts about the legitimacy of auditors’ influence  attempt;  auditees’ perception of added value of the performance audit;  • auditees’ evaluation of auditors’ findings;  • willingness of auditees to follow‐up on auditors’ recommendations;  • auditees’ perception of the usefulness of the performance audit for the audited organisation;  • changes made by auditees to management practices;  • auditees perceptions of the overall effect of the performance audit;  • stimulation of debates in parliament (in this context: the municipal council);  •

Katrien Weets 

12

How effective are performance audits? A multiple case study within the local audit office of Rotterdam

•

coverage by the press (in auditees’ perception). 

Conversely, we did not include the following two indicators in our research design:  • auditees’ reaction to auditors’ influence attempt: internalization;  evaluation by auditees of auditors’ overall performance.  •   Within the limited scope of our research, it was not feasible to develop a sound and valid measurement  for internalization. Next to this it can be assumed that the different performance indicators partly overlap,  so that this particular indicator is already covered to a certain degree by the others. The same goes for the  evaluation by the auditees of the auditors’ overall performance.     Furthermore we added two performance indicators to the framework which was advanced by Morin:   • attention from other institutions (like for example interest groups, universities).  • attention from the audited organisation    We included the first indicator primarily because of its relative importance in the Dutch context. Besides  this  we  aimed  at,  as  far  as  that  is  possible,  giving  readers  a  complete  picture  of  performance  audit  effectiveness. The same goes for the second indicator.     The success factors selected for our research were also mainly based on Morins’ work. They can be listed  as follows:   • auditees’ perception of a preference for collaboration on part of auditors;  auditees’ perception of power relations between auditors and auditees;  • credibility of auditors in eyes of auditees;  • auditees’ degree of influenceability;  • auditees’ level of commitment;  • auditees’ level of tolerance to criticism;  • degree of fluidity in communications between auditors and auditees;  • the will at staff level and in the central authority of the organisation being audited;  • political will;  • • timing of the performance audit;  • major reorganisation in the body being audited;  • reform at the government level;  • place  of  the  activity  audited  and  of  the  recommendations  within  the  priority  scale  of  the  audited  organisation’s management.    We did not include the following success factors advanced by Morin:   • auditees’ perception of a participating leadership style in auditors;  • auditees’ perception of connotation of auditors’ modes of influence and type of message.  Conversely, we replaced these indicators by one variable that focuses on:   • the role and function adopted by the auditors during the performance audit process3    

3

 See Pollitt et al. (1999) for an elaborate discussion of performance auditors’ roles.  

Katrien Weets 

13

How effective are performance audits? A multiple case study within the local audit office of Rotterdam

Finally, independently of Morins’ framework, five other variables of which is stated in literature that they  impact upon the degree of effectiveness of a performance audit, were included in our research:   • auditees’  perception  of  the  relevance  of  a  performance  audit  to  issues  the  audited  organisation  deals with;  • degree of cognitive coupling between auditors and auditees;  • auditees’ perception of the technical quality of a performance audit;  • challenge to the status quo: its challenge to existing assumptions, practice and arrangements;  • presence of potential side effects (ossification, tunnel vision, short termism, reduction of auditees’  motivation and disruption of the daily work scheme of the audited organisation).     Based on the variables mentioned in this paragraph, we developed an elaborate research questionnaire.4  

3.3. Research method    Our  research  applied  a  multiple  case  study  design.  This  methodology  permitted  us  to  disentangle  and  explore the different factors that have an impact on the effectiveness of performance audits (Yin, 1994).  Besides  this,  earlier  research  on  a  transnational  level  has  shown  that  performance  audits  conducted  by  different Supreme Audit Institutions (SAIs) are not at all similar (Put, 2005). Therefore, in our opinion, a  case study design can be considered as most appropriate.     In particular, three performance audits, which were all conducted by the local audit office of the city of  Rotterdam (“the Rekenkamer Rotterdam”), were selected for our research and were studied in depth. The  following criteria were used in order to select the cases:  • timing  of  the  performance  audit:  ideally  the  degree  of  effectiveness  of  a  performance  audit  is  examined  about  three  years  after  he  was  conducted.  After  all,  such  a  term  offers  a  reasonable  assurance  that  both  the  impacts  in  the  short  term  and  both  the  impacts  in  the  long  term  have  already occurred.   the subject of the performance audit: ideally an audit should deal with a topic of continuous policy,  • in  order  to  examine  its  degree  of  effectiveness.  Auditees  then  have  had  the  opportunity  to  implement the recommendations of the auditors, which is not always the case if an audit  concerns a  once‐only project.   • availability of the auditees: from a practical point of view it was important that a sufficient number  of  auditees  still  worked  for  the  audited  organisation.  Therefore  the  audit  should  not  have  been  conducted too many years ago.     Based on an explorative interview with an auditor of the ‘Rekenkamer Rotterdam’, we were able to select  three audits that met our selection criteria. For studying in depth the degree to which these performance  audits were effective,  we used different research techniques. Firstly, a documentary analysis was carried  out.  Secondly,  15  semi‐structured  interviews  were  set  up  with  both  auditors  (n=6)  and  auditees  (n=9).  These interviews were structured along established lines. First we requested the respondents to score a  certain item on a five point Likert scale. Next we invited them to motivate and/or to specify their answer.    

4

 To obtain this questionnaire, please contact the author of this paper: [email protected] 

Katrien Weets 

14

How effective are performance audits? A multiple case study within the local audit office of Rotterdam

Furthermore,  we  decided  to  interview  the  auditees  within  the  administration  (like  for  example  public  managers)  instead  of  the  auditees  within  the  political  system  (like  for  example  the  mayor  and  the  aldermen). This had several reasons:   • the  explorative  interview  with  the  auditor  of  the  ‘Rekenkamer  Rotterdam’  showed  that  in  general  the  auditors  within  this  local  audit  office  had  much  more  contacts  with  public  servants  than  with  politicians  during  the  performance  audit  process  (for  example  to  collect  data).  Since  Morin  considered a performance audit primarily as a social influence process,  the choice  for interviewing  the auditees within the administration arised logically from her approach;  • in addition, one has to take into account street‐level bureaucracy theory. After all, it is not because  the recommendations  of  auditors  were  adopted  at the  political  level that they actually permeated  within the shop floor practices of public organisations. Therefore we assumed that, interviewing the  people  who  are  closest  to  the  policy  implementation  process,  would  provide  a  more  complete  picture  of  performance  audit  effectiveness  than  interviewing  those  who  are  politically  responsible  for a certain policy area.  

 

4. Results    Table 4, which can be consulted in appendix B of this article, presents the average scores given by both  auditors and auditees to the different performance indicators which were advanced by Morin (2001), by  performance audit. The table shows that, when attributing the same weight factor to each performance  indicator,  performance  audit  2  was  most  effective,  performance  audit  1  came  off  second  best  and  performance audit 3 was least successful.     Furthermore the high scores that were assigned by the auditees to the performance indicator ‘absence of  doubts about the legitimacy of auditors’ influence  attempt’ immediately strike the eye. They lead us to  state that the greater part of the auditees considered the influence attempts of the auditors as legitimate.  Moreover  none  of  the  auditees  indicated  to  have  doubts  about  performance  audits’  legitimacy.  In  addition to this the semi‐structured interviews showed that a wide majority of the auditees supported the  idea of a local audit office.     The  three  performance  audits  also  achieved  moderately  positive  to  positive  scores  with  regard  to  the  attention they gained from the audited organisation and from the municipal council. A large majority of  the  interviewed  auditees  declared  that  the  performance  audits  indeed  were  considered  important  by  their organisations, especially because of the potential reprisals they could have for the audited divisions.  Only one auditee stated that the organisation he worked for had paid little attention to the performance  audit it was subject to. According to him this had several reasons. Firstly, he pointed to the fact that the  conclusions of the audit were not at all shocking. Secondly, he indicated that the bureaucratic structures  of the organisation he worked for did not allow a quick diffusion of the results of the performance audit. A  number of auditees also spontaneously relegated to the additional workload the performance audit had  caused.  Next  to  this,  one  can  contend  that  the  performance  audit  reports  also  gained  quite  a  lot  of  attention from the municipal council, for they all were discussed in one of the council committees as well  as in one of the plenary sessions of the council.     Another striking point of similarity between the three selected performance audits is the low score they  all got for the attention they gained from other institutions. During the interviews, the auditors referred  to their efforts to reach the general public by using diverse media. Yet they had to acknowledge that they  did  not  consciously  supplemented  these  with  an  active  communication  strategy  directed  towards  the  immediate stakeholders of the policy area subject to a performance audit.     With regard to the other performance indicators, it can be stated that their scores differ widely along the  three cases. Table 5 offers a global overview of the results by category of performance indicators.  

Katrien Weets 

15

How effective are performance audits? A multiple case study within the local audit office of Rotterdam

Table  5.  Global  overview  of  the  results  by  category  of  performance  indicators,  advanced  by  Morin  (2001)  Category of performance indicators  PA 1  PA 2  PA 3  Auditees perceptions and reactions with regard to  13.75/20.00  13.50/20.00  12.17/20.00  auditors’ influence attempts  Impacts generated by the performance audit  17.13/30.00  23.50/30.00  14.08/30.00  Contribution to the public debate  12.51/20.00  13.25/20.00  13.34/20.00  Total score  43.39/70.00  50.25/70.00  39.59/70.00  Based on these results, one could easily assume that the higher degree of effectiveness of performance  audit 2 directly follows from its relatively high score on the second category, ‘impacts generated by the  performance  audit  on  the  audited  organisation’.  However,  we  should  nuance  this  statement.  The  interviews  with  the  auditees  of  performance  audit  2  brought  to  the  fore  that  the  changes  made  to  the  policy process did not only result from the performance audit itself, but also from a wider range of public  management  reforms  that  were  already  going  on  for  a  longer  period  in  the  municipal  administration.  Consequently, the auditees looked upon the performance audit report as an external source of legitimacy  for the new line of policy that they were already following of their own accord.     Furthermore  it  is  important  to  mention  that  the  auditees  spontaneously  defined  the  concept  of  impact  very  widely.  Making  use  of  the  questionnaire  we  developed,  we  examined  whether  in  the  auditees’  perceptions the performance audit  made their organisation more cost efficient, whether it  helped their  organisation  to  reach  her  goals,  whether  it  helped  them  to  work  more  result‐oriented,  whether  it  contributed to  the computerization  within  their  organisation,  or whether  it  made  their policy  initiatives  more evidence‐based.     Although  some  auditees  had  indicated  that  the  performance  audit  did  have  an  impact  on  their  organisation,  they  assigned  only  low  scores  to  the  questions  dealing  with  the  topics  outlined  above.  During  the  semi‐structured  interviews  we  of  course  discussed  this  issue,  which  seemed  rather  contradictory  to  us  at  first  sight,  with  the  auditees.  The  greater  part  explained  their  seemingly  contradicting  behaviour  by  referring  to  the  positive  impact  the  performance  audit  had  had  on  their  awareness  of  the  new  public  management  reforms.  Although  they  acknowledged  that  these  reform  processes were already going on for a longer period, they pointed out that the performance audit for the  first time really confronted them in a direct way with its implications.     Finally,  as  table  6,  which  also  can  be  found  in  appendix  B,  strikingly  demonstrates,  wide  differences  existed between the responses of the audited organisations of performance audit 1. This was not the case  for the two other performance audits we studied.     Table 7, also added to appendix B of this paper, for his part presents the scores the auditees attributed to  the different success factors put forth by Morin (2001).     A  first  remark  should  be  made  with  regard  to  the  relatively  low  scores  the  auditees  assigned  to  the  success factor ‘credibility of the auditors’. The semi‐structured interviews revealed that the auditees did  not at all couple this success factor to the auditors’ professional competences. When assessing auditors’  credibility  they  rather  referred  to  other  qualities,  like  for  example  auditors’  empathy  with  the  specific  features of the audited organisations.     The main criticisms directed against the auditors were that they acted too much according to the letter of  the law, instead of according to its spirit. In the opinion of other auditees auditors could have presented  certain findings in their end report in a more positive way, if they had taken into account the context in 

Katrien Weets 

16

How effective are performance audits? A multiple case study within the local audit office of Rotterdam

which the audit took place. Finally, some auditees felt that the auditors did not pay enough attention to  changes the audited organisation had already made on its own initiative.     Next to this, the rather low scores for the success factor ‘auditees’ perception of power relations between  auditors and auditees (absence of struggle for power)’ immediately catch the eye. Although they create  the impression that the greater part of the auditees were convinced that there was a struggle for power  between themselves and the auditors, this conclusion should be softened somehow. After all, the scores  for  this  success  factor  did  not  only  vary  widely  between  the  different  cases,  but  also  between  the  different auditees of a same performance audit.     Furthermore  all  performance  audits  received  very  high  scores  for  the  success  factor  ‘auditees’  level  of  commitment’. In order to substantiate their point of view, the auditors referred to the openness and the  kind cooperation of the auditees and the fact that these actively thought along with them. Regarding one  of  the  cases  they  especially  pointed  to  the  time  and  energy  the  audited  organisations  invested  in  the  audit,  and  to  the  conversations  between  auditors  and  auditees,  which  in  fact  sometimes  became  quite  emotional.   Other striking points of similarity between the three selected performance audits are the high scores they  all gained on the success factors ‘timing of the performance audit’ and ‘place of the activity audited and of  the recommendations within the priority scale of the audited organisation’s management’. Regarding the  latter, all the auditees shared the same opinion, namely that the performance audit touched to the core  activities of their organisations. With respect to the former, the greater part of the auditees viewed the  timing of the three performance audits as contributing to their success. The argument most often used by  the  respondents  to  motivate  their  statements  that  the  performance  audits  came  at  the  right  moment,  was the fact that a new policy plan had to be drawn up shortly after the publishing of the performance  audit report, so that the results of the audit could serve as feedback for this new plan.     With regard to the other success factors, one can contend that their scores differ widely along the three  cases. Table 8 presents these results by category of success factors.   Table 8. Global overview of the results by category of success factors, advanced by Morin (2001)  Category of success factors  PA 1  PA 2  PA 3  Factors linked to the performance audit process  25.25/40.00  22.75/40.00  21.17/40.00  Factors linked to the existence of environmental  13.01/20.00  17.75/20.00  19.00/30.00  conditions  Total score  38.26/60.00  40.50/60.00  40.17/70.00  Based  on  these  findings,  we  can  identify  for  each  of  the  three  selected  performance  audits  the  factors  that fostered their success. Table 7 and 8 show that these varied strongly across the three performance  audits. In addition to this table 9 in appendix B shows that also with regard to their scorings of the success  factors wide differences existed between the different audited organisations of performance audit 1.      In general one can state, in accordance with Morins’ approach, that the factors linked to the performance  audit  process  and  the  factors  linked  to  the  existence  of  environmental  conditions  quite  equally  contributed to the effectiveness of performance audit 1. With regard to performance audit 2 and  3 the  environmental factors seemed to play a more important role. Especially in the case of performance audit  2 their contribution to its effectiveness is quite remarkable. Although performance audit 2 did not do very  well on the factors linked to the performance audit process itself, he came out as most effective thanks to  the favourable environmental conditions. The same can be said for performance audit 3, but in this case  the  factors  linked  to  the  existence  of  environmental  conditions  only  compensated  for  the  moderate  scores on the factors linked to the performance audit process to a lesser extent.    

Katrien Weets 

17

How effective are performance audits? A multiple case study within the local audit office of Rotterdam

By  way  of  recapitalising  our  results,  table  10  shows  the  total  scores  of  the  three  selected  performance  audits in accordance with Morins’ approach.  Table 10. Total scores of the performance audit in accordance with Morins’ approach  Total score on the performance  Total score on the success  Performance audit  factors (in %)  indicators (in %)  Performance audit 1  61.99  63.77  Performance audit 2  71.79  67.50  Performance audit 3  56.56  57.39    Finally, as  was  already  outlined,  independently  of  Morins’  framework,  we  also  registered the  scores for  five other variables, of which is stated in literature that they impact upon the degree of effectiveness of a  performance audit.  Table 11  in appendix  B  presents  the  scores  auditees and  /  or auditors attributed  to  these variables.   This table shows clearly that while performance audit 1 & 2 where deemed relevant by the auditees, this  was not at all the case for performance audit 3. The auditees of performance 3 motivated their answer by  stating that although they and the people within their organisation considered the audit very important,  for  example  because  it  touched  to  their  core  activities,  they  did  not  view  the  conclusions  and  recommendations  of  the  auditors  as  good  starting  points  to  improve  their  organisation  and  its  policy  initiatives. According to the auditees this was a consequence of the fact that auditees and auditors did not  agree  about  the  way  in  which  an  audit  should  be  conducted  and  the  way  in  which  policy  making  and  policy implementation should be organised. They particularly criticised the fact that the auditors focused  on the letter of the law, instead of safeguarding its spirit. Next to this they felt that the auditors laid too  much  emphasis  on  quantifying  goals,  what  according  to  them  was  simply  not  always  possible  for  the  policy areas in which their organisation was active.     As table 11 demonstrates, these confrontational views between the auditees and auditors of performance  audit 3 also manifested themselves in their scorings of the degree of cognitive coupling between auditors  and auditees.     The technical quality on the other hand was quite positively assessed by the auditees of all of the three  selected performance audits. However it is remarkable that, while performance audit 2 came out as the  most effective one according to Morins’ approach, he did not get the highest score on this feature. This  could  be  an  indication  that  the  technical  quality  of  a  performance  audit  is  indeed  not  an  important  determinant for its effectiveness. This view was confirmed by the statements of the auditees during the  interviews.  An  example  can  illustrate  this.  Although  the  auditees  of  performance  audit  2  were  very  positive about the conclusions of the auditors, they were not completely satisfied with the way in which  the audit was conducted. In addition to this they indicated that the performance audit only partly covert  the policy area in which their organisation was active, so that he could not grasp fully its complexity. The  auditees of performance audit 3 for their part acknowledged that the auditors were very competent and  very  professional.  In  their  opinion  however,  the auditors’  lack  of  empathy  did  do  harm  to the  technical  quality of the audit and to its conclusions.     Furthermore table 11 shows that the three performance audits are also quite similar in their scorings on  the degree to which they were seen as a challenge to the status quo by the auditees. The greater part of  the auditees of performance audit 1 and 2 reported that these audits had had a distinguishing effect on  the  existing  conceptions  and  assumptions  within  their  organisation.  In  order  to  substantiate  these  statements, they mainly referred to the public management body of thought that as a consequence of the  audit would have been incorporated more solidly within their organisations.    

Katrien Weets 

18

How effective are performance audits? A multiple case study within the local audit office of Rotterdam

Finally,  we  examined  to  what  extent  certain  potential  side  effects  (ossification,  tunnel  vision,  short  termism,  reduction  of  auditees’  motivation  and  disruption  of  the  daily  work  scheme  of  the  audited  organisation)  manifested  themselves  in  case  of  each  of  the  three  performance  audits  in  the  auditees’  perception.  The  results  in  table  11  indicate  that  side  effects  were  especially  present  in  the  case  of  performance  audit  3.  According  to  the  auditees  of  this  performance  audit  three  side  effects  appeared:  disruption  of  the  daily  work  scheme  of  the  audited  organisation,  ossification  and  tunnel  vision.  Quite  remarkable was their answer to our question regarding short‐termism. These auditees stated that thanks  to the performance audit they actually felt more inclined to pursue their long term goals and that thus the  opposite  of  short  termism  had  occurred.  According  to  them,  the  fact  that  they  had  had  to  defend  themselves  and  their  organisation  as  a  consequence  of  the  negative  criticisms  of  the  auditors,  had  stimulated them to formulate their goals in the longer term.  

5.  Limitations  to  the  research  method  and  to  research  dealing  with  performance  audit  effectiveness  in  general  –  directions  for  further  research  The results of our study seem to corroborate Morin’s (2001) findings. Of course this statement should be  put into perspective, for within the limited scope of our research we could only examine three cases.     While  conducting  this  research,  we  bumped  into  some  limitations  to  our  research  approach  and  to  research  dealing  with  performance  audit  effectiveness  in  general.  These  are  briefly  outlined  below,  because they could be useful as a starting point for further performance audit effectiveness measurement  attempts.     Firstly, readers should be aware that by using the research approach we proposed in this paper one does  not measure performance audit effectiveness in terms of a better policy and a better public management,  but rather in terms of the success of auditors’ influence attempts. It should be stated clear that our aim  was to examine the effectiveness of performance audits, and not the effectiveness of the policy measures  subject to these performance audits. As such, by using this research method, one cannot guarantee that  the implementing of the auditors’ recommendations truly contributed to the putting up of more efficient,  effective and transparent policy and management processes.     A second remark that should be made is that based on the research method we applied, one cannot state  for  sure  that,  when  auditors  in  a  performance  audit  end  report  had  recommended  to  make  certain  alterations, and the audited organisation had implemented these changes in the meantime, the audited  organisation  had  displayed  this  behaviour  solely  as  a  result  of  the  performance  audit.  During  the  semi‐ structured interviews, some auditees for example indicated that organisational reforms had been carried  through rather as  a consequence of  the  new  public  management  body  of  thought that was permeating  the municipal  administration, than as an  immediate result of  one  of  the performance  audits.  Regarding  public  management  reforms  one  of  course  cannot  create  a  laboratory  environment  and  in  that  way  eliminate  all  external  influences  that  distort  the  degree  of  effectiveness  of  a  performance  audit.  Nevertheless, it is important to take into account such methodological issues in the future if one wants to  make progress in studying and measuring performance audit effectiveness.     The following comments deal with some potential hiatuses in the research method we used. Firstly, our  approach fully disregarded institutional factors. Yet several authors contend that the institutional context  of an audit office at least partly determines the way in which it conducts performance audits, which for  his  part  can  be  supposed  to  have  an  impact  upon  performance  audits  effectiveness.  In  the  case  of  our  research,  this  lack  of  attention  for  institutional  factors  did  not  cause  any  problems,  for  we  chose  three  cases  that  took  place  within  the  same  institutional  environment,  namely  that  of  the  ‘Rekenkamer 

Katrien Weets 

19

How effective are performance audits? A multiple case study within the local audit office of Rotterdam

Rotterdam’.  We  thus  already  neutralised  the  institutional  context  in  advance  by  means  of  our  research  design.  Conversely,  scholars  that  aim  at  comparing  different  audit  bodies  should  include  these  institutional  factors  in  their  research  framework,  for  we  can  reasonably  assume  that  they  do  exert  influence upon performance audit effectiveness.     In addition to this, the research method we used does not rule out the possibility that next to the effect of  a  certain  single  performance  audit,  a  cumulative  effect  of  several  performance  audits  occurred.  This  possibility was precluded in case of our research, for the interviewed auditees did not have any previous  experiences with the ‘Rekenkamer Rotterdam’. However, in our opinion, further research should take into  account this possibility of performance audits producing cumulative effects, in order to paint an as correct  as possible picture of performance audit effectiveness.     Furthermore  one  should  be  careful  in  dealing  with  causality.  Often  literature  about  performance  audit  impacts  and  effects  assumes  linear  causal  relationships  as  a  given.  Consequently  other  possible  causal  relationships  are  already  precluded  in  advance.  However,  as  the  following  examples  strikingly  demonstrate,  by  using  such  a  unilateral  approach  towards  the  causality  concept,  one  bears  the  risk  to  misrepresent the extent to which performance audits are truly effective.     By  using  the  indicators  ‘the  amount  of  attention  a  performance  audit  gained  in  parliament  (here:  municipal  council)’  and  ‘the  amount  of  press  coverage  a  performance  audit  received’  one  for  instance  implicitly  assumes  that  the  more  effective  a  performance  audit  is,  the  more  attention  he  will  gain  in  parliament  and  the  more  press  coverage  he  will  get.  However,  this  reasoning  can  equally  well  be  reversed.  One  could  just  as  well  state  that  the  more  attention  a  performance  audit  gains  in  parliament  and the more press coverage a performance audit gets, the more effective he will be.     Next to this also circular causality could arise. We speak of circular causality when a factor A codetermines  the condition of a factor B, that for his part codetermines the condition of factor A. We can illustrate this  somehow  abstract  statement  with  an  example.  If  the  media  and  the  parliament,  for  instance  based  on  their previous experiences, expect that a performance audit will have a big impact, it is plausible that they  devote  more  attention  to  this  particular  audit  than  if  they  wouldn’t  have  these  expectations.  The  attention  gained  from  the  press  and  from  the  media  could  then  for  their  part  foster  the  performance  audit’s success, and as such enlarge its’ impact.     Moreover  the  possibility  that  third  factors  have  an  impact  upon  the  relations  between  certain  independent  variables  and  the  dependent  variable,  in  this  context  performance  audit  effectiveness,  cannot be precluded. It is for instance possible that media attention and/or attention from the parliament  on  itself  did  not  have  an  impact  upon  performance  audit  effectiveness,  but  that  these  factors  for  their  part stimulated the audited organisation in following up a performance audit closely, which in the end led  to a more effective audit. The attention a performance audit gained from parliament and/or media should  then be seen as an intermediary variable, that did not have an impact on performance audit effectiveness  in a direct way, but rather did exert influence in an indirect manner.     Besides all this, the nature of a causal relation can be quite complex in itself. An independent variable can  for instance either be a necessary and sufficient condition, either a necessary but insufficient condition,  either a sufficient but not necessary condition, or a contributing cause for an event to occur.     As was demonstrated extensively above, performance audit effectiveness research involves dealing with  complex  causal  relationships.  Therefore  in  our  opinion,  next  to  a  quantitative  research  component,  a  qualitative  research  component  is  essential  to  studies  attempting  to  examine  and/or  to  measure  performance  audit  effectiveness.  After  all,  qualitative  data  permit  us  to  disentangle  and  explore  the  different factors that impact upon performance audit effectiveness, to see precisely which events led to  which consequences, and to derive some fruitful understandings. They also help scholars to get beyond 

Katrien Weets 

20

How effective are performance audits? A multiple case study within the local audit office of Rotterdam

their initial conceptions and to generate new conceptual models (Miles & Huberman, 1994). These are, in  our opinion, necessary for making progress in studying performance audit effectiveness.     Finally, with regard to Morin’s (2001) approach, we are fully convinced about the surplus value it offers.  Based on our experiences we would however recommend to other scholars who are interested in using it,  to examine a larger number of cases. In that way, statistical techniques can be applied and the number of  success  factors  can  be  reduced  by  means  of  factor  analysis,  for,  while  conducting  our  research,  we  felt  that there existed some overlap between these factors. As such, the research method used in this paper  can be refined, and serve as a comprehensive model to measure performance audit effectiveness.    

6. Conclusion    Our  explorative  research  had  three  main  ambitions.  Firstly,  we  sought  to  explore  the  extent  to  which  performance audits are truly effective. Secondly, we aimed at uncovering the various factors that impact  upon and provide an explanation for the degree of effectiveness of a performance audit. Thirdly, and no  less important, we wanted to reopen the debate on performance audit effectiveness on the one hand and  on the way in which it should be measured on the other.     With  these  ends  in  mind,  we  undertook  an  extensive  review  of  the  existing  literature  on  the  use,  the  impacts and the effects of performance audits on the one hand and policy evaluations on the other hand.  This review showed that there is a dearth of research on performance audit effectiveness. Moreover the  few contributions that do exist tend to be very fragmented. Typically they only focus on particular aspects  of performance audit effectiveness and they often lack empirical evidence. In addition to this, using the  literature  review  as  a  starting  point  for  our  research,  we  identified  various  factors  that,  according  to  previous research, foster performance audits’ success.    Furthermore  we  argued  against  the  ‘popular’  indicators  that  are  nowadays  most  commonly  used  by  Supreme  Audit  Institutions  in  order  to  determine  the  impact  of  their  performance  audit  work,  for  they  only measure performance audit effectiveness in a limited way and they cannot fully grasp the complexity  of  the  causal  relations  involved.  Mainly  inspired  by  Morin’s  (2001)  approach  to  performance  audit  success, we selected three performance audits, all conducted by the Rekenkamer Rotterdam, and applied  the more comprehensive framework proposed by her to them.     Our  research  results  appeared  to  corroborate  Morin’s  (2001)  findings,  in  that  the  total  scores  for  the  performance  indicators  and  those  for  the  success  factors  seemed  to  correlate.  Besides  the  empirical  testing of Morin’s more comprehensive model, we identified for each of the three selected performance  audits the factors that fostered their success. The research showed that these varied strongly across the  three performance audits.  With regard to  one of the selected audits, these factors even varied  strongly  across the different audited organisations.  Furthermore, especially in  one case, so called environmental  conditions (like for example the timing of the performance audit, the importance of the audited subject  for the audited organization, etc.) seemed to affect the degree of effectiveness of a performance audit to  a large extent.     Based  on  the  results  of  our  research  and  on  our  own  experiences  we  brought  to  the  fore  a  number  of  limitations to the research method we used and to research dealing with performance audit effectiveness  in general. As such, directions for further research could be identified.           

Katrien Weets 

21

How effective are performance audits? A multiple case study within the local audit office of Rotterdam

References    Alon, G. (2007). State audit and the media as the watchdogs of democracy – a comparative view. Journal of the Office  of the State Comptroller and Ombudsman of Israel, 61, 55‐100.   Blume, L. & Voigt, S. (2007). Supreme Audit Institutions: Supremely Superfluous? ‐ A Cross Country Assessment. 25 p.  (http://papers.ssrn.com/sol3/papers.cfm?abstract_id=965434 or http://www.icer.it/menu/f_papers.html)  Bowerman,  M.,  Raby,  H.  &  Humphrey,  C.  (2000).  In  Search  of  the  Audit  Society:  Some  Evidence  from  Health  Care,  Police and Schools. International Journal of Auditing, 4, 71‐100.  Cummings, R. (2002). Rethinking Evaluation Use. Paper presented at the 2002 Australasian Evaluation Society  International Conference October/November 2002 – Wollongong Australia (www.aes.asn.au)..  Dolmans,  L.J.F.  &  Leeuw,  F.L.  (1997).  Performance  auditing.  Vraagtekens  bij  de  effectiviteit  van  een  onderzoekstraditie. NIVRA, Naar een doelmatiger overheid. Goed georganiseerd mensenwerk, 81‐88.  Eichenberger,  R.  &  Schelker  M..  (2007).  Independent  and  competing  agencies:  An  effective  way  to  control  government. Public Choice, 130(1), 79‐98.  Elliott, J. (2002). The impact of intensive ‘value for money’ performance auditing in educational systems. Educational  Action Research, 10(3), 499‐506.  Gunvaldsen, J.A. & Karlsen, R. (1999). The auditor as an evaluator. How to remain an influential force in the political  landscape. Evaluation, 5(4), 458‐ 467.  Jackson,  A.  (2005).  Falling  from  a  Great  Height:  Principles  of  Good  Practice  in  Performance  Measurement  and  the  Perils of Top Down Determination of Performance Indicators. Local Government Studies, 31(1), 21‐38.   Johnsen, A., Meklin P. & Vakkuri, J. (2001). Performance audit in local government: an exploratory study of perceived  efficiency of municipal value for money auditing in Finland and Norway. The European Accounting Review, 10(3),  583‐599.  Johnston,  W.P.  (1988).  Increasing  Evaluation  Use:  Some  Observations  Based  on  the  Results  at  the  U.S.  GAO.  New  Directions for Program Evaluation. 39, 75‐84.  Kirkhart,  K.E.  (2000).  Reconceptualizing  Evaluation  Use:  An  Integrated  Theory  of  Influence.  New  Directions  for  Evaluation, 88, 5‐23.  Korsten, A.F.A. (1983) Wat is goed genoeg? Benutting van onderzoek in overheidsbeleid, Amsterdam, Kobra, 68 p.  Lapsley,  I.  &  Pong,  C.K.M.  (2000).  Modernization  versus  problematization:  value‐formoney  audit  in  public  services.  The European Accounting Review, 9(4), 541‐567.  Leeuw, F.L.. (2006). Over impact en neveneffecten van performance monitoring en auditing. Vlaams Tijdschrift voor  Overheidsmanagement, 11(4), 37‐44.  Leviton, L.C. & Hughes, E.F.X. (1981). Research on the Utilization of Evaluations ‐ A Review and Synthesis. Evaluation  Review, 5(4), 525‐548.  Miles, M.B. & Huberman, A.M. (1994). Qualitative Data‐Analysis: An Expanded Sourcebook, 2nd ed., Thousand Oaks,  Sage, 338 p.  Morin,  D.,  Influence  of  Value  for  Money  Audit  on  Public  Administrations:  Looking  beyond  Appearances.  Financial  Accountability & Management, 17(2), 99‐118.  Morin,  D.  (2004).  Measuring  the  impact  of  value‐for‐money  audits:  a  model  for  surveying  audited  managers.  Canadian Public Administration, 47(2), 141‐164.  Neely,  A.  (1999).  The  performance  measurement  revolution:  why  now  and  what  next?  International  journal  of  operations & production management, 19(2), 205‐228.   Pollitt, C. & Summa, H. (1996). ‘Performance Audit and Evaluation: Similar Tools Different Relationships?’, in C. Wisler  (ed.) Evaluation and Auditing: Prospects for Convergence (special issue of New Directions for Evaluation 71(Fall)).  San Francisco, CA: Jossey‐Bass.  Pollitt, C. & Summa, H. (1997). Reflexive Watchdogs? How Supreme Audit Institutions Account for Themselves. Public  Administration, 75(2), 313‐36.  Pollitt, C., Girre, X., Lonsdale, J., Mul, R., Summa, H. & Waerness, M. (1999). Performance or compliance? Performance  Audit and Public Management in Five Countries, New York, Oxford University Press, 248 p. 

Katrien Weets 

22

How effective are performance audits? A multiple case study within the local audit office of Rotterdam

Pollitt, C. (2003). Performance Audit in Western Europe: Trends and Choices. Critical perspectives on accounting, 14,  157‐170.  Pollitt, C. (2006). Performance Information for Democracy. The Missing Link? Evaluation, 12(1), 38‐55.  Power, M. (2005). The Theory of the Audit Explosion, in E. Ferlie, L.E. Lynn & C. Pollitt (eds.), The Oxford Handbook of  Public Management, Oxford, Oxford University Press, 2005, 326‐344.  Put, V. (2005). Normen in performance audits van rekenkamers. Een casestudie bij de Algemene Rekenkamer en het  National Audit Office, Leuven, K.U.Leuven, 243 p. (Diss. Doc.).  Shore, C. & Wright, S. (1999). Audit Culture and Anthropology: Neo‐Liberalism in British Higher Education. Journal of  the Royal Anthropological Institute, 5(4), 557‐575.  Smith, P. (1995). On the unintended consequences of publishing performance data in the public sector. International  Journal of Public Administration, 18(2), 277‐305.   Torgler,  B.  (2005).  A  knight  without  a  sword  or  a  toothless  tiger?  The  effects  of  audit  courts  on  tax  morale  in  Switzerland. Working Paper No. 2004 – 06. Center for Research in Economics, Management and the Arts, 19 p.   Torgler, B. & Schaltegger, C.A. (2006). The Determinants of Political Discussion: How important are audit courts and  local autonomy?” in Berkeley Program in Law  & Economics, Working Paper Series, 198, Berkeley, University of  California, 26 p.  Van der Meer, F.B. (1999). Evaluation and the Social Construction of Impacts. Evaluation, 5(4), 387‐406.  Vanlandingham,  G.R.  (2006a).  A  Voice  Crying  in  the  Wilderness  –  Legislative  Oversight  Agencies’  Efforts  to  Achieve  Utilization, Florida, The Florida State University, 2006, 165 p. (Diss. Doc.)   Vanlandingham,  G.R.  (2006b).  A  Voice  Crying  in  the  Wilderness  –  Legislative Oversight  Agencies’  Efforts  to  Achieve  Utilization. New Directions for Evaluation, 112, 25‐39.  Vries,  G.J.  de  (2000).  Beleidsdynamica  als  sociale  constructie.  Een  onderzoek  naar  de  doorwerking  van  beleidsevaluatie en beleidsadvisering. Eburon Delft, 264 p.  Weiss, C.H. (1979). The many meanings of research utilization. Public Administration Review, 39(5), 426‐431.  Weiss,  C.H.  &  Bucuvalas,  M.J.  (1980).  Social  science  research  and  decision‐making,  New  York,  Columbia  University  Press, 332 p.  Yin, R.K. (1994). Case Study Research. Design and Methods. 2nd ed, Thousand Oaks, Sage, 171 p. 

                                             

Katrien Weets 

23

How effective are performance audits? A multiple case study within the local audit office of Rotterdam

Appendix A  Table 3. Factors that have an impact upon the degree of effectiveness of a performance audit  Author(s)  Factors 

Weiss & Bucuvalas  (1980) 

• receptivity and openness of decision makers for social science research   • frames of references of the decision‐makers   relevance to issues their office dealt with  research quality: the technical quality, objectivity and cogency of a study  conformity  with  User  Expectations:  its  plausibility  given  their  prior  knowledge,  values and experience  action orientation: the explicit guidance it provides for feasible implementation  challenge to the status quo: its challenge to existing assumptions, practice and  arrangements 

Leviton & Hughes  (1981) 

• the  relevance  of  an  evaluation  to  the  needs  of  potential  users:  with  respect  to  the  content as well as with regard to the timing of the evaluation  • direct and flexible communication between the potential users and the producer(s) of  the evaluation  • clear  and  accessible  communication  of  the  research  results  to  policy  makers  (translation of evaluations into their implications for policy and programs)  • a positive perception of the credibility of the evaluator by policy makers   • commitment and advocacy by certain individual users in the policy making process  

Johnston  (1988) 

• the types of change put forward in the recommendations  • role as an external evaluator  • activities set up in order to promote audit work 

Lonsdale  (1999) 

• factors regarding the organisation and the functioning of a SAI:   introduction of new methods and techniques   the recruitment of staff with new skills  the development of better planned studies  longer term audit strategies  efforts to work more closely with auditees  the development of greater publicity for reports  the  move  from  consolidated  reports  to  single,  stand‐alone  publications  efforts  to obtain broader and deeper rights of access to bodies spending public money   • environmental factors:   the political context in which auditors work  the means a SAI has at its disposal  the way in which auditees react on a performance audit report  the interests of the auditees  the reaction of the public opinion on a performance audit report  the reaction of the parliament on a performance audit report  luck (for example with regard to the timing of publication) 

Van der Meer (1999) 

• the  degree  to  which  and  the  manner  in  which  the  repertoires  of  the  auditors  and  auditees match  • context (for example the repertoires of other actors) 

Katrien Weets 

24

How effective are performance audits? A multiple case study within the local audit office of Rotterdam

de Vries  (2000) 

Morin  (2001) 

Morin  (2004)  Vanlandingham  (2006) 

Katrien Weets 

• • • •

degree of cognitive coupling between auditors and auditees  the degree of social coupling  the degree of embedment  the degree of multiplicity:   regarding the internal differences within an organisation  regarding  a  third  actor  which  is  considered  important  by  the  audited  organisation  regarding the policy networks in which the audited organisation participates  • factors linked to the performance audit process  auditees’ perception of a participating leadership style in auditors  auditees’ perception of a preference for collaboration on part of auditors  auditees’ perception of power relations between auditors and auditees  credibility of auditors in eyes of auditees  auditees’ perception of connotation of auditors’ modes of influence and type of  message  auditees’ degree of influenceability  auditees’ level of commitment  auditees’ level of tolerance to criticism  degree of fluidity in communications between auditors and auditees  • factors linked to the existence of environmental conditions  will at staff level and in the central authority of the organisation being audited  political will  timing of the performance audit  major reorganisation in the body being audited  reform at the government level  place of the activity audited and of the recommendations within the priority  scale of the audited organisation’s management  • • • •

relations between auditors and auditees  environmental factors  press coverage  attention from parliament 

• location of the audit institution: within a legislative unit  • research standards that stress utility to stakeholders  • active participation in networks with decision makers 

25

How effective are performance audits? A multiple case study within the local audit office of Rotterdam

Appendix B  Table  4.  Average  scores  given  by  auditors  and  auditees  to  the  performance  indicators  advanced  by  Morin (2001) by performance audit5  Performance indicator  auditees feeling towards auditors  auditees’ satisfaction with regard to the performance audit auditors’  work  3. cooperation offered by auditees to auditors (in auditors’ opinion)  4. absence of doubts about the legitimacy of auditors’ influence  attempt  5. auditees’ perception of added value of the performance audit  6. auditees’ evaluation of auditors’ findings  7. willingness of auditees to follow‐up on auditors’ recommendations  8. auditees’ perception of the usefulness of the performance audit   9. changes made by auditees to management practices  10. auditees perceptions of the overall effect of the performance audit  11. attention from the audited organisation  12. coverage by the press (in auditees’ perception)  13. attention from the municipal council  14. attention from other institutions  Maximum score  Total score (in absolute numbers)  Total score (in %)  1. 2.

PA 1  3.25 

PA 2  2.50 

PA 3  1.67 

3.25 

3.00 

2.33 

3.00  4.25  3.00  4.00  2.50  3.00  2.00  2.63  3.50  3.00  3.63  2.38  70.00  43.39  61.99 

4.00  4.00  4.00  4.00  4.25  4.00  3.75  3.50  3.75  3.25  4.00  2.25  70.00  50.25  71.79 

3.50  4.67  1.67  2.00  2.83  2.33  2.25  3.00  3.92  2.92  3.83  2.67  70.00  39.59  56.56 

5

  Average  scores  on  a  scale  ranging  from  1  to  5,  whereby  5  represented  the  best  result  and  1  the  poorest.  The  performance indicators evaluated by the auditees were 1, 2, 4, 5, 6, 8 & 10. Performance indicator 3 was scored by  the auditors. Both the perceptions of the auditees and the perceptions of the auditors were taken into account for  the following performance indicators: 7, 9, 11, 12, 13 & 14.  

Katrien Weets 

26

How effective are performance audits? A multiple case study within the local audit office of Rotterdam

Table  6.  Average  performance  indicator  scores  of  the  two  most  divergent  audited  organisations  of  performance audit 1 by audited organisation  Performance indicator  1. auditees feeling towards auditors  2. auditees’ satisfaction with regard to the performance audit auditors’ work  3. cooperation offered by auditees to auditors (in auditors’ opinion)  4. absence of doubts about the legitimacy of auditors’ influence  attempt  5. auditees’ perception of added value of the performance audit  6. auditees’ evaluation of auditors’ findings  7. willingness of auditees to follow‐up on auditors’ recommendations  8. auditees’ perception of the usefulness of the performance audit   9. changes made by auditees to management practices  10. auditees perceptions of the overall effect of the performance audit  11. attention from the audited organisation  12. coverage by the press (in auditees’ perception)  13. attention from the municipal council  14. attention from other institutions  Maximum score  Total score (in absolute numbers)  Total score (in %) 

Katrien Weets 

Audited  organisation X 

Audited  organisation Y 

1.00  1.00  3.00  5.00  1.00  5.00  1.50  1.00  2.00  1.00  3.75  3.25  3.25  1.75  70.00  33.50  47.86 

4.00  4.50  3.00  4.50  4.00  4.00  3.00  4.00  2.25  3.75  3.00  3.00  3.75  2.50  70.00  49.25  70.36 

27

How effective are performance audits? A multiple case study within the local audit office of Rotterdam

Table 7. Average scores given by auditors and auditees to the success factors advanced by Morin (2001)  by performance audit6  Success factor 

PA 1 

PA 2 

PA 3 

auditees’ perception of a preference for collaboration on part of auditors  auditees’ perception of power relations between auditors and auditees  (absence of struggle for power)  3. credibility of auditors in eyes of auditees  4. the role and function adopted by the auditors   5. auditees’ degree of influenceability  6. auditees’ level of commitment  7. auditees’ level of tolerance to criticism  8. degree of fluidity in communications between auditors and auditees  9. the will at staff level and in the central authority of the organisation being  audited  10. political will  11. timing of the performance audit  12. major reorganisation in the body being audited  13. reform at the government level  14. place of the activity audited and of the recommendations within the  priority scale of the audited organisation’s management  Maximum score  Total score (in absolute numbers)  Total score (in %) 

3.00 

1.50 

3.00 

2.25 

2.50 

1.33 

3.50  3.25  4.00  4.00  2.00  3.25 

2.50  1.50  3.50  4.00  4.00  3.25 

3.67  1.00  3.50  4.00  1.50  3.17 

2.75 

4.50 

3.00 

2.38  4.00  /  / 

4.50  4.00  /  / 

2.42  3.17  3.08  3.00 

3.88 

4.75 

4.33 

60.00  38.26  63.77 

60.00  40.50  67.50 

70.00  40.17  57.39 

1. 2.

6

 Average scores on a scale ranging from 1 to 5, whereby 5 represented the best result and 1 the poorest. The success  factors evaluated by the auditees were 1, 2, 3, 4 & 9 Success factors 5, 6 & 7 were scored by the auditors. Both the  perceptions  of  the  auditees  and  the  perceptions  of  the  auditors  were  taken  into  account  for  the  following success  factors: 8, 10, 11, 12, 13 & 14.  

Katrien Weets 

28

How effective are performance audits? A multiple case study within the local audit office of Rotterdam

Table 9. Average success factor scores of the two most divergent audited organisations of performance  audit 1 by audited organisation   Success factor 

Audited  organisation X  

Audited  organisation Y 

1.00 

5.00 

1.00 

3.50 

3.00  1.00  4.00  4.00  2.00  2.00 

4.50  5.00  4.00  4.00  2.00  3.75 

1.00 

4.00 

1.50  3.75  /  / 

2.75  4.25  /  / 

3.75 

3.75 

60.00  28.00  46.67 

60.00  46.50  77.50 

1. 2.

auditees’ perception of a preference for collaboration on part of auditors  auditees’ perception of power relations between auditors and auditees  (absence of struggle for power)  3. credibility of auditors in eyes of auditees  4. the role and function adopted by the auditors   5. auditees’ degree of influenceability  6. auditees’ level of commitment  7. auditees’ level of tolerance to criticism  8. degree of fluidity in communications between auditors and auditees  9. the will at staff level and in the central authority of the organisation being  audited  10. political will  11. timing of the performance audit  12. major reorganisation in the body being audited  13. reform at the government level  14. place of the activity audited and of the recommendations within the  priority scale of the audited organisation’s management  Maximum score  Total score (in absolute numbers)  Total score (in %) 

  Table 11. Average scores for other variables put forth in literature as having an impact upon the degree  of effectiveness of performance audits  Variable  1. 2. 3. 4. 5.

auditees’  perception  of  the  relevance  of  a  performance  audit  to  issues the audited organisation deals with  degree of cognitive coupling between auditors and auditees  auditees’ perception of the technical quality of a performance audit  challenge  to  the  status  quo:  its  challenge  to  existing  assumptions,  practice and arrangements  presence  of  potential  side  effects  (ossification,  tunnel  vision,  short  termism,  reduction  of  auditees’  motivation  and  disruption  of  the  daily  work  scheme  of  the  audited  organisation)  according  to  the  auditees 

Average  score PA 1  (in %) 

Average  score PA 2  (in %) 

Average  score PA 3  (in %) 

70.00 

80.00 

43.40 

60.00  85.00 

55.00  67.50 

20.00  63.33 

54.38 

60.00 

41.67 

59.00 

54.00 

70.67 

   

Katrien Weets 

29