Template Info:  EVAL‐03  Version 2.2 

Good Start Breakfast Club External Evaluation Brief

Program name    Strategic Alignment 

Good Start Breakfast Club  Strategic Goal Four:  Advance the health, wellbeing and resilience of individuals, families and  communities made vulnerable by dispossession, migration,  displacement, illness or disadvantage  Strategic Outcomes:  People made vulnerable by migration can access services, housing and  resources to support their health and well‐being. 

Link to other programs 

FoodREDi (formerly Food Cents), Food security 

Program Location(s) 

Schools across all States and Territories 

Expected Program Duration 

Ongoing 

Key Contact 

Helen Barnard – National Coordinator, Food Security 

Prepared by: Helen Barnard 

Date: 1500915 

Version Number: 1.0 

1. Background and Context Red  Cross  has  been  supporting  breakfast  clubs  in  Australia  since  1991.  In  2003  Sanitarium  became  a  national  partner and together with Red Cross created The Good Start Breakfast Club (GSBC) program.  The program is part  of Red Cross’ work to address food insecurity in Australia, in a socially inclusive, child development framework.     Food Security is about making sure people have enough of the right type of food every day to keep them healthy.   Evidence  indicates  that  up  to  34%  of  children  from  socially  disadvantaged  households  experience  some  level  of  food  insecurity  (insufficient  food)  and  that  those  children  in  food‐insecure  households  are  more  likely  to  experience multiple challenges in their lives and adverse health, social and development outcomes such as days  away from school and atypical emotional symptoms and behavioural difficulties. Food security responses need to  responsive to the whole child, which upholds their dignity and supports their future development.     Red  Cross  coordinates  breakfast  clubs  in  schools  around  the  country,  helping  primary  school  children  to  get  a  healthy start to the school day by providing a nutritious breakfast to children who may otherwise go without.  Based  on  community  development  principles,  the  program  strives  to  work  in  partnership  with  schools  and  communities  to  build capacity  and  sustainability.    Children  are  supported  to  learn daily  life  routines  and habits,  including hand washing, dental hygiene, sitting down to eat together and how to prepare their own breakfast.  The  program also aims to deliver nutrition information to families and the community, helping them to make healthier  food choices for their children and families.    Red  Cross  was  for  a  long  time  the  largest  school  breakfast  program  provider  nationally.  Over  recent  years  the  external  landscape  of  breakfast  programs  has  changed,  with  a  range  of  new  organisations  emerging  whose  mandate  is  simply  to  provide  food  to  schools  and  in  some  instances  offer  breakfast  clubs  and  /  or  nutrition  programs. These range from large national initiatives such as Foodbank, to state‐based initiatives such as Ardoch  Youth Foundation, Kick Start 4 Kids, and smaller community based responses.    In particular Foodbank have been increasing their delivery of breakfast clubs in Western Australia, South Australia  and more recently Victoria.  With a high public profile and links to the corporate sector, they have been successful  in  attracting  significant  corporate  sponsorships  and  Government  grants,  including  a  $13.7  million  (AUD)  commitment by the Victorian Government to Foodbank Victoria to fund school breakfasts.    To that end Red Cross is no longer the largest national provider of breakfast clubs and in many instances we are  not only competing with Foodbank, we are also duplicating the provision of a breakfast clubs to schools.  Efforts 

Page 1 of 8

Template Info:  EVAL‐03  Version 2.2  have been made to either partner with or work alongside Foodbank, which in some states works well but this has  not yet occurred at a National level.  1.1

Description of the program

Goal  To  improve  the  health,  learning  and  developmental  outcomes  of  vulnerable  school  aged  children  through  improved  nutrition and social relationships.    Program Outcomes:  1. School aged children start the day nourished by a healthy breakfast  2. Educational participation of schools aged children is increased  3. School aged children have knowledge of healthy eating choices    Intermediate Outcomes:  i. Capacity Building: Schools & community groups have increased capacity to deliver breakfast programs where  they are needed  ii. Quality Service Delivery: Areas of focus and priority for Red Cross have quality Good Start Breakfast Clubs in  operation  iii. Humanitarian Response (Supply Only): Schools experiencing vulnerability have access to healthy food  Red Cross’ approach to addressing food (in) security is built on three pillars: ‘Food Availability’; ‘Food Access’ and ‘Food  Utilisation’, which form the basis of food security.   Food availability ‐ ensuring there are sufficient culturally appropriate, nutritious foods consistently available.    Food  access  ‐  ensuring  that  people  have  the  right  resources  to  obtain  food  for  a  nutritious  diet.  This  can  include access to transport sufficient income and also depend on the food production and distribution system.    Food  utilisation  ‐  ensuring  that  people  have  the  knowledge  and  skills  to  make  healthier  food  choices  and  prepare meals and store food appropriately.    The GSBC program aims to address issues around the access and utilisation pillars by providing a healthy breakfast and  promoting  healthy  eating  messages,  and  works  to  develop  long  term  sustainable  solutions  to  food  problems  in  disadvantaged areas. The GSBC program incorporates 4 different models of delivery which cater to the capacity and  needs  of  the  school  and  Red  Cross’  capacity  to  support  the  school.  Using  a  community  development  approach  Red  Cross  works  closely  with  schools  and  communities  to  build  the  knowledge,  skills  and  capacity  of  the  school  and  community to be able to manage the club on their own with locally based partnership. As this is achieved, Red Cross  employs a staged exit strategy in agreement with the school.    The  GSBC  program  is  predominantly  funded  through  Red  Cross  internal  funds. States  and  Territories  are  allocated  a  program budget for the implementation of the program at local level.  The program is also supported by a corporate  donation from Sanitarium who has been in partnership with the Red Cross to deliver the program for over 10 years.  Sanitarium provides a cash donation and a selection of food products including breakfast cereals, soy milk and spreads.   Currently  the  GSBC  program  is  delivered  by  approximately  1200  volunteers  in  177  schools  across  metropolitan,  regional  and  remotes  areas of  Australia.   The  GSBC  provides  breakfast  for close  to 5000  school  kids  each year, with  over 600,000 breakfasts provided. 

1.2

Rationale for the evaluation

The Australian Red Cross Board have asked for a Program Effectiveness Review (PER) of all programs, with a number of  programs being nominated for external impact evaluations. The key priority of the PER is to inform executive decision  making regarding programs and program support costs including such considerations as whether to improve, scale  up/down, replicate or cease programs and whether program support costs are appropriate. Secondary priorities of the  PER include supporting accountability and decision making, informing learning and feeding into advocacy efforts.     

Page 2 of 8

Template Info:  EVAL‐03  Version 2.2  1.3

Stakeholders 



 



Schools:  o Students; Principals / Teachers;  auxiliary staff; school based volunteers and parents  o Responsibility  for  all  coordination  and  supervision  of  the  breakfast  club  including  encouraging,  supporting, and working with students, volunteers, and parents.   Financial corporate partners  o Sanitarium, Trusts and Foundations: Ronwynne Trust (SA), Ernest Heine (NSW)  o Provision of financial, product and in‐kind support    Partner agencies  o Foodbank, Second Bite, Oz Harvest, Service clubs, local businesses and local community organisations  o Provision of cheap or free food, logistical support, Volunteers and program support  Wider community  o Parents, community organisations, service clubs and groups  o Donations  of  support  including  resources  (time,  financial  and  material),  volunteering.  They  also  provide increased leverage for government engagement, advocacy and PR initiatives  Red Cross staff and volunteers  o Food Security staff in state and territory offices ‐ are the frontline of service delivery and therefore  any  recommendations  arising  from  the  evaluation  will  be  implemented  by  them  and  will  have  the  greatest direct on their roles and the role of volunteers.  o Executive  Directors  ‐  are  responsible  for  the  delivery  of  quality  programs  and  services  within  their  jurisdiction, including GSBC  o MF&C  –  marketing  and  fundraising,  media,  social  and  digital  media,  communications,  contract  /  relationship management with Corporate partners and potential partners 

  2. Terms of Reference 2.1 To determine the relevance and appropriateness of the program in the context of Red Cross’ Strategy 2020.    To what extent are GSBC delivered in areas of locational disadvantage?    To what extent are we meeting current needs and what are the opportunities to deliver the program in  alternative settings or with other population groups?   To what degree are stakeholders involved in program planning, implementation and review activities?  (link to community voice outcomes)   2.2 To determine the extent to which the GSBC program is achieving its defined (and other less defined)  intermediate and program outcomes.   To what extent have children increased their knowledge of healthy eating and what activities have  significantly contributed to this outcome?   Have there been any unintended outcomes of this program?    2.3 To what extent has the program been an entry point into local communities and contributed to building the  capacity of schools and communities to address local food security issues?  2.4 To examine the internal and external factors that impact on the programs efficiency and  effectiveness to  inform decisions regarding the future of the program.   What is the likelihood that individual children, families, schools and communities would be able to access  healthy food if the program did not exist?    Does the Red Cross breakfast club program offer a valuable point of difference to other organisations,  and if so, how can we market this to strengthen and increase our reach and influence?   3. Deliverables/ Activities 3.1 Deliverables

Page 3 of 8

Template Info:  EVAL‐03  Version 2.2  

A written report will be provided covering:   Analysis of relevance, appropriateness, effectiveness and where possible impact, of program   Analysis of identified / unmet food security need in Australian communities   An analysis of GSBC operations in each S/T, detailing good practice and areas for improvement   Discussion / analysis of the current market landscape and opportunities for Red Cross   Recommendations for the future strategic direction of GSBC with specific focus on possible intended  outcomes, activities, measures and data collection instruments.   A presentation inclusive of the following content: evaluation purpose, scope, methodology including  limitations, and findings and recommendations of the evaluation.   An article (based on the evaluation methodology/findings) for submission to a credible peer‐reviewed journal. 

3.2 Activities #

Task

Time

1.

  Establish a project reference group (including terms of reference for the group)  

Early – mid October 2015 

2.

  Develop and submit a Human Research Ethics committee application for the 

Late October 2015 

evaluation (as appropriate)  3.

  Appoint Evaluation consultant (as project commences) 

 October 2015 

4.

  Review existing program documentation (reviews, evaluations, reports etc.) 

November 2015 

5.

  Evaluation consultant to develop a detailed project plan, to be reviewed and 

Mid‐November 

agreed to by the project reference group, including data collection templates.  6.

  Identify sample size and recruit staff, volunteer and internal / external key 

Mid‐November 

stakeholders  for interviews and/or focus group discussions  7.

  Conduct staff, volunteer and internal / external key stakeholder  interviews 

Late Nov / Early December 2015 

and/or focus group discussions (as appropriate)  8.

  Undertake analysis of quantitative and qualitative data 

December‐ January 2016 

9.

  Submit draft report to project reference group for review 

End January 2016 

10.   Reference group to have comments back to evaluator 

Mid February 2016 

11.   Finalise report and other deliverables 

Late February 2016 

12.   Submit final report 

29 February 2016 

4. Managing the evaluation 4.1 Reference Group membership1 Members of the reference group will include (all ARC staff):    Helen Barnard, National Coordinator, Service Support   Holley Jones, National Senior Project Officer, Service Development   Lynn Arvanatakis, Team Leader, Community Services Victoria  Kate Baker, Program Officer Food Security, Community Services Victoria  1

see Information note: Evaluation Reference Group Terms of Reference for advice on the role of a Reference Group

Page 4 of 8

Template Info:  EVAL‐03  Version 2.2   

Mandy Ferguson, Senior Project Officer Food Security, New South Wales   Program Coordinator Evaluation, Program Effectiveness, Accountability and Learning team 

An invitation to participate will be sought from: (no more than 4)       

1 x Red Cross GSBC volunteer (location to be determined)  1 x teacher from a Metropolitan GSBC school  1 x teacher from a Regional / remote GSBC school  1 x GSBC coordinator from a GSBC school (location to be determined)  1  x volunteer from a Metropolitan GSBC school (Red Cross or School based volunteer)  1 x volunteer from a Regional / remote GSBC school (Red Cross or School based volunteer) 

Administrative support for the Reference Group will be provided by the Senior Program Officer Service  Development 

4.2 Meeting schedule and frequency Meeting schedule

Expected date or frequency

Reference Group 

Monthly (or more frequently, or as required) 

Evaluation Manager and Evaluator 

Fortnightly, or as required 

4.3 Evaluation Manager Helen Barnard  National Coordinator Service Support  (08) 8100 4571 or 0466 549 059  [email protected]      4.4 Accountable Manager Kerry McGrath  Head Community Programs/Acting Director Planning and Reporting  (03) 8327 7728 or 0439 862 742  [email protected]  

5. Methods and sources of data collection Suggested sample   Metropolitan, Regional and Remote schools across all 4 models of GSBC operation   Schools that have exited the program    Suggested Methods:   Analysis of program documentation including reports and surveys    Telephone and face to face interviews / survey or focus groups – Red Cross staff, school representatives,  Volunteers and students, parents and community members, local business and service clubs   Observations of selected sample of GSBCs in operation   Focus discussion groups with children attending a selected / representative sample of participating schools in  GSBC 

Page 5 of 8

Template Info:  EVAL‐03  Version 2.2   

Activity evaluation sheet for children to complete in GSBC time  Evaluation sheet to be sent home for parents / carers to complete 

  Sources of data:   Red Cross GSBC Strategy Paper 2007   Red Cross Food Security Internal Review ‐ Final Report 2011   Red Cross GSBC National Reflection 2012    Red Cross Program Effectiveness Review 2014   Evidence Review ‐ Good Start Breakfast Club Program. Lisa Clark, Food Security Australian Red Cross – 2014   Red Cross GSBC Rapid Review 2015   Red Cross volunteer engagement survey 2015   National board KPI report ‐ December 2014, March 2015 and June 2015 

6. Budget and timeframe Budget (ex GST):   

 

 

To be determined 

Time frame for commencement:   

19th October 2015 

Time frame for completion:  

29th February 2016 

 

7. Key risks and mitigation strategies 7.1 Risks This evaluation will require ethics approval by a Human Research Ethics Committee due to the involvement of service  recipients, including primary school aged children and staff members in interviews, observations and/or focus groups.    Potential Risk 

Mitigation strategy 

Parents may not give consent for child 

Provide a hard copy evaluation / activity sheet  for children to  complete in GSBC time 

involvement in interviews or observations  sessions  Identification of individuals who participate in  interviews and/or focus groups  Difficulty recruiting sufficient participants for  interviews and/or focus groups   Involvement in the evaluation may increase  anxiety amongst evaluation participants  regarding Red Cross’s staff regarding future  intent in relation to GSBC program 

Review past qualitative data from previous reviews / reports  Interview a small sample to clarify the analysis of that data.  De‐identification of all interview and focus group transcripts.  Aggregated reporting of data. Use of composite case studies (if  applicable).  Review past qualitative data from previous client satisfaction  surveys and interview a small sample to clarify the analysis of  that data.  Development and implementation of a communication  strategy to ensure that participants are informed of the  purpose of the evaluation.  Participants to be given opportunity to withdraw their consent  at all stages of their involvement in the evaluation.  A summary of the evaluation findings will be made available to  participants and other interested parties. The full report will  also be available to staff via the ARC Research Register. 

Page 6 of 8

Template Info:  EVAL‐03  Version 2.2  Time frames for data collection and analysis are  exceeded  Staff are unwilling to speak openly to inform the  evaluation 

Delays incurred as a result of the Human  Research Ethics approval process 

Project management plan to be developed with identified key  milestones. Project steering committee to have oversight of  project progress. Performance targets to be written into the  evaluation contract.  All interviews to be conducted in confidence by the evaluators,  at a time and in a location where staff are able to talk openly  with the evaluator (including phone interviews). Methodology  for ensuring that staffs are unable to be identified to be  outlined by the evaluator(s) to staff prior to their participation  in interviews. Staff to retain the right to withdraw their  consent at any stage during the evaluation. All data to be de‐ identified for reporting purposes and “composite” quotes  (which cannot be attributed to any individual) to be used as  examples, where relevant.  Careful preparation of all documentation and evidence for  review by a Human Research Ethics Committee.  Desktop activities (e.g. literature search, review of previous  Volunteer Engagement and Client Satisfaction surveys, plus  data collection templates) can be completed while ethics  process is completed (if a delay in approval occurs).  Scaling back of the number of interviews and focus groups to  be conducted for the evaluation may be required if a  significant delay occurs.   

7.2 Limitations Potential Limitation 

Description 

Program logic outcome “ Educational  participation of school aged children is  increased” not included in the evaluation scope 

There is recognition that this outcome is not necessarily  reflective of what the current program activities can achieve,  or contribute to achieving. This will need to be considered as  part of the future program recommendations.  

Financial constraints 

May limit the extent of the evaluation and key stakeholder  involvement 

Sample may not be representative of the diverse  range of program locations, participants, and  beneficiaries and communities 

May limit or bias the feedback received / evaluation outcomes 

Vulnerable participants 

Limited literacy / educational attainment levels may impact on  some participants’ ability to respond to or participate in  written evaluation activities. 

Sample size 

Time and funding constraints are likely to limit the sample size  available for the purpose of this evaluation, which may result  in under‐representation of particular groups. (If this occurs  then the final report should document this limitation and  findings may be “qualified” as a result). 

Bias 

The schools we have stronger relationships with are most likely 

Page 7 of 8

Template Info:  EVAL‐03  Version 2.2  to participate in the evaluation and may bias results 

8. Expressions of Interest 8.1 Due Date  Expressions of Interest addressing the Brief should be forwarded to Mohita Roman [email protected].   Expressions of Interest must be received by 5pm (Eastern Daylight Time) on 8 October 2015.  Proposals submitted  after this time will not be accepted unless prior permission has been given in writing.  Hard copy/facsimile proposals  will not be accepted.    8.2 Contact Person for Further Information  For further information regarding this call for expressions of interest please contact:    Helen Barnard  National Coordinator Service Support  (08) 8100 4571 or 0466 549 059  [email protected]      8.3 Response format  In responding to this call for expressions of interest evaluators are to outline:  

An evaluation methodology which includes the data collection tools and approaches that the evaluator  proposes to use in collecting data. 



Identifying information 



Name of Legal Entity  ACN (if a company)  Registered address or address of principal place of business  Business Name  ABN    Contact Person details 



Proposed timeline for the evaluation 



A detailed budget for the proposal including  Estimated time for each person involved in the evaluation  Per day costs for each person involved in the evaluation  Travel costs for each trip that is proposed as part of the evaluation    A statement of the insurance coverage that is provided 



For each member of the evaluation project team a table outlining their 

o o o o o

o o o o

o o o o o

Name  Role or title  Qualifications  Description of what this researcher will do in this evaluation  Brief summary of relevant experience.  

 

Page 8 of 8