National 2012 Summer of Service Program Evaluation Report

National 2012 Summer of Service Program Evaluation Report July 2013 Nicole Tysvaer Sarah Rutherford National 2012 Summer of Service Program Evaluat...
Author: Cori Cross
1 downloads 0 Views 1MB Size
National 2012 Summer of Service Program Evaluation Report

July 2013 Nicole Tysvaer Sarah Rutherford

National 2012 Summer of Service Program Evaluation Report

Innovations In Civic Participation 1776 Massachusetts Ave, Washington DC 20002 Suite 100

Authors Nicole Tysvaer, Senior Research Fellow Sarah Rutherford, Service Fellow Design Katie Scott, Communications Intern

Innovations in Civic Participation ICP facilitates the generation of opportunities for young people to change their communities for the better and build essential skills for future success through civic engagement. We work with individuals and organizations around the globe to support the development of innovative approaches to two civic participation strategies: national youth service and service-learning.

Table of Contents Executive Summary I. Introduction Why Middle School Why Summer Why Service Learning History of SOS Initiative

II. Study Overview SOS Program Model Program Participants

III. Evaluation Results Academic Enrichment Literacy and Communication Skills Research and Critical Thinking Skills Academic Soft Skills Pathways to College and Careers Social Development Team Building Collaboration Leadership Community Connections Civic Development Civic Skills Social Responsibility Civic Knowledge and Awareness Future Civic Involvement Participant Satisfaction

IV. Why it Works V. Recommendations VI. References VII. Appendices Appendix A: Site Descriptions and Project Highlights Appendix B: Nine Elements for Quality SOS Programming Appendix C: SOS Program Logic Model Appendix D: Evaluation Model

VIII. Acknowledgements

1 3 3 3 4 4

7 8 9 11 11 11 13 15 15 16 16 17 19 20 20 21 23 24 25 27 29 31 33 33 36 38 39 41

Executive Summary

          According to participant interviews, only one‐ quarter of SOS youth enrolled out of a desire to  serve the community.    Data collected via surveys and interviews with  staff and youth provide compelling evidence of  the academic, social and civic benefits associated  with summertime service‐learning. Many youth,  who initially had not been motivated to serve,  expressed a strong commitment to civic engage‐ ment by the end of the program. Nearly all par‐ ticipants (98%) reported growth in one or more  civic skill areas such as the ability to identify com‐ munity problems, speak publicly on issues, and  articulate the action steps necessary to complete  a service project. More than 80% of participants  planned to continue volunteering in the school  year. One hundred percent of youth interviewees  reported that they would recommend the pro‐ gram to a friend. When asked what their recruit‐ ment pitch would be, the majority of participants  highlighted having a chance to serve the commu‐ nity and working to “change the world” as key  selling points of the program.    In addition to civic development, staff and youth  also observed growth in participants’ skills re‐ lated to team management and interpersonal/ group dynamics. SOS projects required youth to  work in cohesive and cooperative teams to ac‐ complish real‐world tasks. Through everyday as‐ signments and intentional training opportunities,  youth were able to learn new strategies for re‐ solving conflicts respectfully, motivating each  other to stay on task, and exercising leadership  skills. SOS staff shared stories of personal trans‐ formations as some youth, who had previously  been labeled as disciplinary problems, excelled  

        In the summer of 2012, Innovations in Civic Par‐ ticipation (ICP) partnered with The AfterSchool  Corporation (TASC), Earth Force, and City of Seat‐ tle Department of Parks and Recreation to imple‐ ment Summer of Service (SOS) programming in  sites across New York, New Mexico, North Caro‐ lina, South Carolina and Washington. Each SOS  site integrated community service projects with  fun and engaging “summer‐style” enrichment to  help bolster participants’ academic, social and  civic skills. ICP collected evaluation data from  eight SOS sites over the course of the summer  and presents its findings in this report.    The Summer of Service model engages youth as  community problem‐solvers in several weeks of  activities including civic involvement, creative  expression through the arts, recreation, and aca‐ demic skill‐building activities. The SOS long‐term  goal is to cultivate the next generation of civically ‐empowered citizens with the skills, interests and  expertise to actively participate in civic and politi‐ cal affairs throughout their lives. Participants  built community gardens, analyzed pollution lev‐ els, advocated for clean drinking water, and  launched peer‐to‐peer anti‐bullying campaigns.      SOS programs operated in some of the most un‐ der‐resourced communities across the country  recruiting a diverse group of middle schoolers  from economically disadvantaged backgrounds.  Many youth had no prior experience with volun‐ teerism or leadership development, and they  represented a wide range of in‐school achieve‐ ment. The vast majority of participants came to  the program to avoid being bored at home, as  more than 70% of youth had no structured alter‐ natives for summer outside of the SOS program.  

1

All of the SOS sites worked to align their curricula  with core quality standards developed by ICP. Four  of these quality standards appeared to be particu‐ larly important in enabling sites to meet their  goals: a positive youth development approach, an  emphasis on youth voice, the incorporation of  thematic learning, and a focus on demonstrable  results for youth projects.      Based on these evaluation results, ICP provides  recommendations for expanding and refining the  SOS Model. These suggestions include linking SOS  programs’ goals more directly to common core  competencies; increasing youths’ attention to po‐ litical engagement; providing additional opportu‐ nities for service; and expanding research and  evaluation efforts.   

celled in their roles as team leaders and commu‐ nity contributors.  Survey results related to partici‐ pants’ self‐assessment of their teamwork skills  also showed statistically significant increases over  the summer.      Furthermore, SOS programs were successful in  creating contexts where youth could practice and  refine their academic skills, particularly in the ar‐ eas of literacy, verbal communication, research  methods, and critical thinking. SOS staff noted  youths’ high levels of engagement in a number of  academically‐related tasks such as conducting  background research, analyzing data, reflecting on  service in journals and roundtable discussions,  and engaging multiple perspectives on the issues  they confronted. Programming also aligned with  standards for 21st Century Learning (P21 Frame‐ work Definitions, 2009), as youth produced and  repackaged information using digitized multime‐ dia technology.                                                

2

I. Introduction

        much as 1‐3 months of instructional knowledge  and skills during the summer in a phenomenon   referred to as "summer learning loss" (Cooper,  Nye, Charlton, Lindsay & Greathouse, 1996). This  trend is especially worrisome for disadvantaged  youth, as cumulative losses have been found to  contribute significantly to the achievement gap  (Alexander, Entwisle & Olson, 2001). Fortunately,  research shows that youth development pro‐ grams with academic enrichment activities can  make a significant impact on preventing summer  learning loss (Cooper, Charlton, Valentine,  Muhlenbruck & Borman, 2000). In fact, some of  the most promising out‐of‐school time literacy  programs do not involve classroom‐style instruc‐ tion, but rather weave fun and engaging enrich‐ ment activities with academic supports (Moje &  Tysvaer, 2010).    Despite the importance of summertime program‐ ming for middle‐school youth, this age group of‐ ten has the fewest opportunities for academic  enrichment, summer and out‐of‐school time pro‐ gramming. There are few public funding streams  dedicated to summer programming, with even  less resources available for middle school youth  (Fairchild, Smink & Stewart, 2009). Working fami‐ lies may also be hard pressed to pay for adult  supervision for young teenagers during the sum‐ mer months and after school, while many pub‐ licly‐funded childcare programs only serve  younger children. However, this age group is too  young to work and be involved in other opportu‐ nities, such as AmeriCorps. As a result, most  young people transitioning from middle to high  school have few organized activities during peri‐ ods when they are out of school, and many are  left unsupervised and therefore are at a higher  risk of engaging in potentially negative behaviors. 

  The Summer of Service (SOS) initiative1 is de‐ signed to address the lack of constructive oppor‐ tunities for middle school youth from vulnerable  backgrounds during the critical months of the  summer. Employing a service‐learning methodol‐ ogy, SOS engages youth in 6‐8 week programs  that integrate community service projects with  out‐of‐school enrichment. In this way, SOS fills  the gap in summertime programming, supporting  youths’ academic, civic, and social development  and paving the way for success in high school and  beyond.   

Why Middle School? Summertime interventions that target middle‐ school youth are particularly important, as re‐ search shows that students’ early educational  performance influences their future academic  success. For example, higher education aspira‐ tions in middle school and achievement in the  eighth grade are strong predictors of post‐ secondary success (Kuh, 2007; Somers, Cofer &  VanderPutten, 2002; Trusty, Robinson & Plata,  2000). Other research has shown that behaviors  associated with the decision to drop out of  school occur starting in sixth grade (Jerald, 2006).  Furthermore, a review of research on middle to  high school transitions found that young people  who succeed in school are not only strong aca‐ demic achievers, but also demonstrate key social  and emotional assets (Grossman & Cooney,  2009).   

Why Summer? The summer months, with the absence of school  or other constructive opportunities, can create  an environment where young people wallow in  mind‐numbing down time or become exposed to  risky behaviors. As such, it is a critical time for  youth to be engaged in positive activities. Re‐ search shows that young people stand to lose as  

1.The Summer of Service initiative was rebranded in July, 2013. It is now referred to as SummerTrek  (http://www.icicp.org/summer‐trek).   3

Why Service Learning?

groups. However, without continued guidance  from caring and trusted adults, such an intense  time of change can also leave youth particularly  vulnerable to negative choices, as evidenced by  statistics showing that middle schools have  higher average incidences of violence and bully‐ ing than elementary and high schools.  (Juvonen,  Le, Kaganoff, Augustine & Constant, 2004)  

The Summer of Service initiative employs a ser‐ vice‐learning framework to support the develop‐ ment of middle school youth and fill this gap in  productive summertime programming. Although  not mainstream, service‐learning as an educa‐ tional tool has gained traction in American class‐ rooms since the later part of the 20th century.  The National Youth Leadership Council defines  service‐learning as a “multifaceted teaching and  learning process” whereby service projects are  imbedded within intentional learning goals and  designed to meet real community needs. A num‐ ber of studies have identified the benefits of ser‐ vice‐learning in terms of students’ personal  growth and development, academic develop‐ ment, and civic engagement. For example, re‐ search has found that youth participants of ser‐ vice‐learning activities demonstrate increased  empathy, a sense of social responsibility, in‐ creased likelihood to participate in future voting  and political activism, as well as an increase in  academic skills and standardized test scores  (Bradley, 2005; Shumer, 2005; Perry & Katula,  2001; Billig, 2000; Conrad & Hedin, 1991)     Research by developmental psychologists sug‐ gests that early adolescence may present a par‐ ticularly opportune time for engaging youth in  service‐learning activities (Wigfield, Byrnes &  Eccles, 2005). Documented changes in cognition,  social behaviors, and peer and parental relation‐ ships during the middle school years position  many adolescents at a crossroads. Changes in  cognitive function expand adolescents' ability to  suspend personal biases consider objective infor‐ mation and consequences of action, and incorpo‐ rate background knowledge to solve problems.  Adolescents increasingly begin to reflect about  their place in their world, their future, and their  relationships to others. An increased desire for  independence from parental guidance leads to  adolescents searching for a sense of belonging  and identity, often formed in relation to peer 

  This is especially true for young people from eco‐ nomically disadvantaged backgrounds, who are  unlikely to be presented with enough positive  choices to channel their increasing curiosities  about the world around them. Service‐learning  opportunities, such as Summer of Service, are  thus an important opportunity for disadvantaged  youth to explore the world around them and de‐ velop a positive role in their society.

History of the SOS Initiative ICP’s call for Summer of Service programming on  a national level began in 2005 with a study of  model summertime service‐learning programs  for middle schoolers, summarized in the publica‐ tion Summer of Service: A New American Rite of  Passage? . In 2008, ICP received a generous grant  from Lumina Foundation for Education to de‐ velop training, evaluation and technical assis‐ tance materials to help replicate the Summer of  Service model.   With the passage of the Edward  M. Kennedy Serve America Act of 2009, ICP  launched pilot SOS programming in several U.S.  cities in the summer of 2010.  The program was  defunded in 2011 at the federal level, and ICP  secured resources from the Walmart Foundation  to implement programs in 2012.    Early evaluations of SOS sites in 2010 demon‐ strated the potential of this model to support the  civic, social and academic development of middle  school youth. Analyses of pre/post participant  surveys revealed that 95% of the youth reported  gains in civic skills, including their verbal commu‐ 4

nication, service project implementation and time  management (Tysvaer, 2010 ). The vast majority of  youth interviewed (97%) responded that they felt  they made a difference by participating in SOS.  Youth demonstrated an increase in college aspira‐ tions, access to college preparation information,  and knowledge of college financing issues. SOS par‐ ticipants had multiple opportunities to refine their  literacy and critical thinking skills through print‐rich,  project‐based learning tasks. Furthermore, qualita‐ tive interviews showed a strong link between SOS  service and the development of environmental sci‐ ence content knowledge.       

5

6

II. Study Overview

          Goal 3: ACADEMIC DEVELOPMENT: SOS  will increase youth intellectual develop‐ ment including critical thinking, literacy  and academic content knowledge. ICP’s  Summer of Service sites will include ac‐ tivities that require the use of skills and  knowledge aligned to formal learning  standards.     As part of the national 2012 Summer of Service  (SOS) initiative, ICP administered surveys and  conducted interviews of participants and staff to  measure program processes and youth out‐ comes at eight sites (see Table 1). A description  of each site is provided in Appendix A.  The  evaluation was designed to obtain responses to  the following research questions:    What were the experiences of SOS partici‐ pants in these programs, including the  activities, routines, instruction, and  training processes?   To what extent did programming align with  the quality principles for SOS implemen‐ tation? Were there other aspects of pro‐ gram implementation that appeared to  support positive youth outcomes?  What did the youth take away from their  SOS participation in terms of skills,  knowledge, and resources?  To what extent does participation in the SOS  program appear to increase or enhance  youths’ civic, social and/or academic  development? 

    In Summer 2012, ICP received funding from The  Walmart Foundation to partner with three or‐ ganizations: The AfterSchool Corporation (TASC),  Earth Force, and City of Seattle Department of  Parks and Recreation to implement SOS pro‐ gramming in communities across the nation.     ICP evaluated eight of these sites which engaged  a total of 389 rising 6th through 9th graders in a  combination of leadership training, academic  enrichment, visual and performing arts, recrea‐ tional activities, and service projects that made  a positive impact on their schools and communi‐ ties. The programs worked to support three  goals for participant learning and development:  (see also Appendix C. SOS Program Logic  Model):    Goal 1: SOCIAL DEVELOPMENT: By en‐ gaging in service projects within their  communities, SOS will help youth  strengthen their collaboration skills and  networks of adults, peers and organiza‐ tions that provide young people with  productive opportunities outside of  school.     Goal 2: CIVIC PARTICIPATION: SOS will  assist youth in developing positive and  empowered identities with a sense of  strength and purpose regarding civic  work. Youth will become more aware of  community issues, become informed of  opportunities to get involved in commu‐ nity initiatives, and express more of an  interest in and commitment to civic par‐ ticipation.           

ICP received 245 completed and matched pre/ post participant surveys (out of 389 completers)  for an overall 63% response rate( See Table 1).  Pre/post and post‐only interviews were con‐ ducted with a convenience sample of 65 youth  and 15 staff across the sites. SOS staff also com  

7

SOS Program Model

pleted mid‐term and end‐of‐term survey question‐ naires designed to measure the extent to which  sites adopted program quality principles. Copies of  evaluation instruments are available on the ICP  website.    The following report provides a summary of the  quantitative and qualitative results from the  evaluation. Looking across multiple data sources,  including survey questionnaires and first‐hand ac‐ counts from youth and staff, this report provides  compelling evidence of the academic, social and  civic benefits associated with summertime service‐ learning participation. However, it is important to  note that the study was non‐experimental as it  lacked control and comparison groups, and there‐ fore is limited in drawing causal inferences. Addi‐ tionally, the report captures the evaluation results  from 8 of 11 SOS sites operating in 2012; three  sites were not included due to missing data. Also,  due to resource constraints, researchers were not  able to collect longitudinal data that would have  assessed program impact into the school year. Op‐ portunities for further research are discussed in  the concluding section of this report. 

SOS sites were coordinated by community‐based  nonprofits, schools, or local government agencies  operating within low‐income neighborhoods. All  sites maintained a low staff‐to‐student ratio of ap‐ proximately one adult counselor for every 10‐15  youth participants. Adult staff included K‐12 teach‐ ers, AmeriCorps members, college‐educated youth  development professionals, educational consult‐ ants, college students, and entry‐level Summer  Youth Employment Program workers.     SOS programs offered youth a mix of fun and en‐ gaging activities that promoted academic, social  and civic development. Curricula varied by site as  each program worked to tailor lesson plans to the  specific needs of their participants and communi‐ ties. However, each site worked to align their cur‐ riculum to the Nine Elements for Quality SOS Pro‐ gramming, a set of research‐ and practice‐based  principles designed to guide instructional content,  program structure, and participant and staff roles  (see Appendix  B). For more information on the  quality elements, see the Summer of Service Pro‐ gram Design Toolkit.          

Table 1. Response Rates by Partner Organizations SOS Partner

Youth Participants

Sites

Pre/Post Match Surveys

Response Rate

Youth Interviews

Staff Interviews

Earth Force Seattle Parks & Recreation

4

159

106

67%

21

4

5

45

30

71%

17

5

TASC

3

185

109

59%

27

6

389

245

63%

65

15

TOTALS

8

Program Participants

ICP surveyed site coordinators at program mid‐ point and end‐of‐term to assess the degree to  which programming was aligned with SOS qual‐ ity elements. Survey results indicate a high  adoption rate (80% or more of sites) for all qual‐ ity elements included on the survey such as de‐ signing service projects that meet authentic  community needs, leveraging youth leadership  roles, providing opportunities for youth to re‐ search issue areas, and incorporating activities  that build youths’ communication and leader‐ ship skills.     Most of the sites did not operate from a single,  scripted curriculum or set of lesson plans that  guided instruction day‐by‐day throughout the  summer. Rather, SOS coordinators assembled a  calendar of activities with weekly themes and  programming objectives that included struc‐ tured and unstructured time, excerpted lesson  plans from published curricula, and new or recy‐ cled lesson plans designed by on‐site counselors  and educational consultants. For example, Earth  Force sites utilized the standard Earth Force  Process curriculum, which guides youth through  a six‐step service‐learning process, but also sup‐ plemented this curriculum with activities tai‐ lored to the summer enrichment context.    Across all three sites, activities included commu‐ nity service projects, teambuilding workshops,  reflection through journaling and other types of  mixed media, creative expression through visual  and performing arts, physical education, and  recreational fieldtrips. Programming schedules  ran 4‐5 days per week for 6‐7 weeks. Youth com‐ pleted a minimum of 125 hours of service‐ learning over the course of the summer.  

SOS sites recruited youth participants in low‐ income neighborhoods through existing after‐ school programs, as well as through various out‐ reach efforts to the general student population  at partner schools and community‐based organi‐ zations. SOS programs were free to all partici‐ pants and provided healthy meals and snacks.  Program incentives varied by site and included  recreational fieldtrips, free tablet computers for  completers, and/or an end‐of‐term small cash  stipend. Each site had minimum attendance re‐ quirements, and youth were required to com‐ plete at least 125 hours of training and service  to be considered program completers.    A summary of participant demographics is pro‐ vided in Table 2. Across the sites, the average  age of youth participants was 12.3 years. One‐ third of the youth were rising 7th graders, fol‐ lowed by 32% rising 8th graders, 17% rising 6th  graders, and 15% rising 9th graders. Youth back‐ grounds were predominately African American  (42%) or Hispanic/Latino (23%) with 10% Cauca‐ sian and 11% multi‐racial. Less than 2% of the  participant population identified as Native  American, Asian American, or Hawaiian/Pacific  Islander.    According to participant pre‐program surveys,  about half of the youth had some prior experi‐ ence with volunteerism and/or service‐learning  coursework. During the prior school year, 46% of  youth reported that they had classes that in‐ cluded a community service project. Forty‐two  percent of youth reported volunteering an aver‐ age of one hour or more per week during the  past school year.  

9

However, most prior volunteer placements were epi‐ Table 2. Participant Demographics sodic, disconnected from any intentional learning goals,  and did not deliberately place youth in leadership roles.  Demographic Average Based on participant interviews, the majority of youth  Across Sites (63%) reported that they did not have any friends, out‐ side of SOS, who volunteered to help the community.  Average Age 12.3 About 58% of youth interviewees could name at least  one adult they knew—a parent, teacher, or other family  Grade member—who volunteered or worked in a service‐ Rising 6th 16.8% related field.  Rising 7th 33.7%   th Rising 8 31.9% The most common reasons that youth shared for joining  th Rising 9 15.1% SOS were to have fun, socialize with friends, and avoid  being bored or unsupervised at home. More than 70% of  Race/Ethnicity interviewees explained that if they were not participat‐ ing in SOS, their summers would be consumed with un‐ Alaskan or Native American 1.3% structured, idle time—at home watching television, play‐ Asian American 1.5% ing video games, or hanging out with friends. Only about  African American or Black 42.1% 26% of participant interviewees linked their motivation  Hawaiian or Pacific Islander 1.3% for joining SOS to an interest or desire to help the com‐ White or Caucasian 9.5% munity.  

 

10

Hispanic or Latino Multi-Racial Other

22.8% 10.8% 10.8%

Prior Service-Learning Coursework

46.3%

Prior Volunteer Experience

60.4%

One or more hours of volunteering per week

41.5%

III. Evaluation Results  

Academic Enrichment

  The following presents findings from a mixed  methods analysis of both program processes and  participant outcomes. Data is presented in aggre‐ gate across all eight sites and is organized into  three somewhat overlapping themes: academic  enrichment, social development and civic develop‐ ment.    For the purpose of this study, academic enrich‐ ment is defined as knowledge acquisition that is  relevant to school curricular standards such as digi‐ tal literacy, environmental science, and social/ environmental justice; the ability to make connec‐ tions between SOS content and in‐school learning;  and the ability to think critically about the issues  addressed through service activities— including  engaging multiple perspectives, considering pros  and cons, demonstrating socio‐political awareness,  using if/then propositions and considering alterna‐ tive strategies.    Social development is characterized in terms of  youths' connectedness to individuals and institu‐ tions in their communities; their collaboration and  team‐building skills; and their ability to act as lead‐ ers throughout the planning and implementation  of their service‐learning projects.     Civic development is defined in terms of youths’  sense of responsibility to act and bring about posi‐ tive change in society; their ability to take initiative  in voicing their opinions and assuming leadership  roles in the planning and implementation of their  SOS program; their commitment to future civic en‐ gagement activities; and their understanding of  what actions they can take to influence rules or  policies that affect their lives. 

Through community interviews, reflective journal‐ ing and career scavenger hunts, SOS sites provided  an academically enriching environment which en‐ abled youth to refine their literacy and communi‐ cation skills, practice research methods and critical  thinking, gain an appreciation for academic soft  skills, and become aware of pathways to college  and careers. By the end of the six‐week program,  youths’ average self‐assessment scores for skills  related to communication and literacy had in‐ creased, and they had developed strategies for ac‐ tive listening, time management, staying focused  and positive, and identifying colleges which they  aspired to attend. As one participant said, SOS  taught “how to be successful and how to be a good  student and always stay on the right path.”   

Literacy and Communication Skills SOS programs created print‐rich environments  where reading, writing, and public speaking were  required on daily basis to plan, implement and re‐ flect upon their service work. For example, investi‐ gations into community issues involved internet  research, drafting surveys and interview questions,  and canvassing the neighborhood to gather data.  Youth wrote letters, blog posts, video scripts, and  public messaging to disseminate on posters and  flyers. At some sites, youth practiced their multi‐ media literacy skills as they learned web develop‐ ment, graphic design, and film editing.  SOS Highlights: Digital Literacy  “We had a technology facilitator assigned to our  school for the summer, and she gave them the  training on how to write blogs and websites, as  that was one of the assignments, to blog about  the day. She taught them how to make a video  on the week and how to voice it over.”   ‐SOS Satff 

 

11

SOS staff shared how these research projects  expanded youths’ critical thinking skills by  prompting deeper discussions of issues affecting  their communities. For example at one site,  youth walked the streets of their neighborhood  and a nearby upper income community, compar‐ ing physical features such as the condition of  sidewalks, numbers of garbage cans and street  lights, and the presence of liquor stores and day  care centers. Youth found sharp contrasts in the  few blocks between the two neighborhoods,  which led to a dialogue about the unequal distri‐ bution of resources across the city. Another SOS  site mapped the challenges and resources of ur‐ ban gardening, which provided an opportunity  for youth to consider multiple perspectives on  poverty and hunger in America.   

Staff also referenced how youth practiced critical  thinking skills when designing, planning and re‐ flecting on service projects. In many cases, par‐ ticipants gathered multiple sources of back‐ ground information via the internet and by net‐ working with local experts on how to implement  a project. Based on their research, youth dis‐ cussed multiple strategies, considered the feasi‐ bility of various approaches, weighed pros and  cons, and identified courses of action. At one SOS  site, youth were exposed to diverse perspectives  through a series of reflective debates where  teams of participants conducted background re‐ search and presented opposing arguments on a  variety of social and political issues. A number of  the youth interviewees commented on how  group discussions exposed them to new knowl‐ edge, ideas and perspectives. 

  SOS Highlights: Links to Learning 

Youth Voice: Debating the Issues 

“You have to look into the background of why is the  garden  important,  why  is  special  food  important, 

“I really liked the experience and how much I learned 

what are the important issues of our environment, so 

from  the  program…  we were  learning  really  valuable 

the  kids  learn  about  the  background,  and  that  there 

life  skills  that  we  don’t  always  learn  in  school,  you 

are a lot of things that can be better nation‐wide.” 

know, they don’t always take the time to talk to you  about. You know like uncomfortable issues that aren’t 

‐SOS Staff 

always  addressed  in  our  society,  so  I  think  that  was  probably the best part of the whole program.”  ‐SOS Youth 

                     

12

     

Figure 1. Literacy and Communication Skills, Self-Assessed

3.1 2.3

2.9 2.1

3.3 2.6 0

0.5

1

1.5

2

End of Summer

2.5

3

3.5

4

Beginning of Summer

  For example, one site conducted a series of   interviews on urban gardening and created a  documentary to teach others about the benefits  of homegrown fruits and vegetables. SOS youth  at another site worked with the evaluation staff  at a large nonprofit organization to develop a  survey instrument, collect and analyze data,  graph their findings, and incorporate this infor‐ mation into a documentary about factors con‐ tributing to teen success.  

Research and Critical Thinking SOS programs worked to position young people  as investigators examining the strengths and  challenges of their own communities. Through  this process, youth were exposed to research  methodology skills such as survey design, data  collection, data analysis and reporting. At some  sites, findings were synthesized in multimedia  formats and shared with community members.     SOS Highlights: Research Methods  “They learned a lot about statistics, which would  be a form of math, of  course, and  they actually  learned how to do proper research…”  ‐SOS Project Director 

  13

                     

commented on how youth gradually became  more confident in their roles as community  spokespeople with the ability to advocate on be‐ half of their cause, respectfully discuss their  thoughts and opinions with adults and peers, and  ask “higher level questions” that delved deeper  into the issues facing their communities. Multiple  SOS staff commented on how in early weeks, staff  alone were holding students accountable for pro‐ fessional communication standards, for example,  by verbally correcting their grammar. By the end  of the summer, staff observed youth holding each  other accountable to these standards.       Based on participant end‐of‐term surveys, youths’  average self‐assessment scores for skills related to  communication and literacy increased over the six ‐week program. Youth assessed their competen‐ cies on a 4‐point scale with 1=not at all, 2=a little,  3=pretty well, and 4=very well. When asked to  rate their abilities to “talk or present to people  about a community issue,” average youth re‐ sponses demonstrated an increase from 2.3 to 3.1.  Similarly, youths’ self‐assessment of their abilities  to “make phone calls or do interviews to gather  information on community problems” increased  from 2.1 to 2.9. When asked to rate their abilities  to “use more than one source to gather informa‐ tion on a school or community problem,” re‐ sponses showed an increase from 2.6 pre‐ program to 3.3 post‐program. See Figure 1. 

Youth adopted professional‐level discourse while  assuming the responsibilities of service leaders,  including ways of speaking, acting, writing and  presenting themselves. SOS youth interviewed  members of the community, presented to public  officials, created documentaries and dramatic  skits, coordinated neighborhood events, and  served as tutors and mentors of younger children.      Through reflection activities, participants kept  journals and responded to thought‐provoking  questions on their service projects. Reflection also  included opportunities to verbally communicate  their knowledge, perspectives, and feelings on a  variety of relevant topics. Sites used debates and  roundtable discussions to encourage youth to  think critically about social and political issues, as  well as to provide a training ground for partici‐ pants to continually refine their public speaking  skills.     Several project directors offered examples which  suggested that participants increased their liter‐ acy and communication skills over the summer.  Staff at one site witnessed how youth who were  “writing 3 or 4 lines at the beginning of scrap‐ booking definitely took to writing a page and a  half” by the end of the summer. Another staff per‐ son explained that she observed literacy skills  “being strengthened” as youth initially grappled  with and then succeeded in drafting concise and  persuasive text and graphic design elements on  flyers urging residents to help save a community  garden.     Staff also observed the development of verbal  communication skills among participants. Staff  explained that over the course of the summer  youth became more open and coherent in sharing  their ideas within their groups. Directors also            

 

     

14

Academic Soft Skills

lot more focused than I was before I started the  program, and I feel like I can achieve more now.”      Other youth explained that the SOS focus on  teamwork gave them strategies that would “help  manage my time,” “bring people together,” and  “kind of make people friends even if people don’t  like each other” in school. Others spoke about an  increased sense of self‐efficacy: “[I learned] that  you could be anything that you want to be if you  keep your head up and do good in school,” and “I  learned that you need like a lot of tools to be suc‐ cessful, but if you want to be really successful  you got to be yourself.”   

Over the course of the summer, SOS programs  offered youth multiple opportunities to increase  their awareness of the behaviors, attitudes and  habits of successful students. Sometimes re‐ ferred to as “soft skills,” youth identified and  practiced strategies for active listening, time  management, staying focused and positive, and  maintaining good health. In some cases, these  lessons were intentionally built into the foci of  service projects. For example, one SOS site re‐ viewed research and conducted a community  survey on the factors contributing to “being a  successful teen.” After analyzing the data, these  SOS youth created a documentary of their find‐ ings which was shared with other teens in the  neighborhood. At another site, youth presented  original skits on making a successful transition to  middle school for an audience of rising sixth  graders. The skits offered practical advice to their  younger peers on how to “stay out of trouble,”  develop good study habits, and build relation‐ ships with teachers.     When asked if they learned anything in SOS that  would help them in school, more than half of the  youth interviewees referenced soft skills. For ex‐ ample, SOS participants told us, “I learned how  to be successful and how to be a good student  and always stay on the right path… always be  above the influence, don’t let nobody peer pres‐ sure you into doing something you’re not ready  to do.”     A focus on exercise and nutrition at some sites  also helped youth make connections between  healthy lifestyles and academic success: “[I  learned about] getting enough sleep so I won’t  be all sleepy in class. And getting a good break‐ fast and exercising so I can get…better grades in  general.” Another youth responded, “Well, my  concentration has really gotten better… I am a      

Pathways to College and Careers Many of the SOS sites reported implementing  activities focused on early college and career  planning for the middle school participants. At  one site, youth were divided into classrooms that  were each identified by a college or university  that they aspired to attend. They conducted  internet research on admission requirements,  academic programs, fees and funding opportuni‐ ties at their college namesakes and decorated  their rooms in school colors. In addition, multiple  SOS sites were staffed by current college stu‐ dents who offered advice on making the transi‐ tion to higher education.     SOS youth also participated in career scavenger  hunts where they investigated the educational  backgrounds of adult professionals encountered  during field trips. Project directors reported that  this process broadened youths’ perspectives  about future employment opportunities and the  schooling necessary to be successful. According  to one SOS staff, the participants were “shocked  to have discussions with the zoologist at the zoo  and finding out – what made you become a zoo‐ keeper? What was the schooling about? A lot of  the kids have these wonderful careers 

15

SOS sites also worked to create space where par‐ ticipants interacted with individuals from diverse  backgrounds to help youth witness firsthand   how people from all walks of life can learn from  each other and share an interest in making the  community a better place. SOS coordinators re‐ cruited youth from different racial and ethnic back  grounds, incorporated intergenerational service  projects, and designed activities that exposed  youth to people from a variety of socioeconomic  backgrounds. For example, participants visited sen‐ ior homes, interviewed low‐income immigrant  farmers, and coordinated projects for younger ele‐ mentary school children.     In addition to their collaborative service work, SOS  coordinators designed a number of structured ac‐ tivities and rituals to cultivate a culture of team‐ work among participants and staff. For example at  one site, youth worked in small groups each morn‐ ing to create original “Camp Spirit” songs that were  performed in a friendly competition with their  peers. Across the sites, intentional team‐building  training included icebreaker activities, ropes  courses, and recreational games. Frequent oppor‐ tunities to reflect on service work, such as weekly  “Straight Talk” sessions, provided space for youth  to share personal thoughts on their experiences,  debate issues, and learn ways to respectfully re‐ spond to diverse opinions and perspectives.    Based on end‐of‐term participant surveys, the aver‐ age youth self‐assessment rating of their ability to  “work on a team with other students to help solve  a community problem” increased from 2.6 at the  beginning of the summer to 3.4 at summer’s end,  based on a 4‐point scale (see Figure 2.). Of those  youth who demonstrated room for growth at the  beginning of the summer (rated 1‐3 on teamwork  skills), 77% reported increases in their teamwork  skills through the program.    Enhanced teamwork and interpersonal skills were  also among the most common benefits of  

   [in mind], and they didn’t know what it’s going to  take to reach those careers.”  Youth Voice: Career Planning  “I learned a lot about how to become a lawyer and  district attorney and judge. I learned what degrees  you need to have.”                                    ‐SOS Youth 

Social Development SOS youth participants developed socially as well,  reporting gains in team‐building, leadership, and  community connections as a result of collaborative  service projects, mentoring opportunities, and  community field trips. The majority of youth sur‐ veyed reported advancements in their teamwork  skills through the program. More than 80% of the  youth interviewed could identify one or more sub‐ stantive opportunities they had to serve as a leader,  and more than 98% of youth interviewees could  identify one or more community members they  had met over the course of the program. 

  Team-Building and Collaboration By design, SOS participation requires working in  cohesive and cooperative teams to accomplish real‐ world tasks. At some sites, teamwork began with  the community mapping process, as youth and  staff worked together to collect and analyze data.  As weeks progressed, choosing and planning ser‐ vice projects often evolved through group decision‐ making processes. Implementing service projects  was also a team‐dependent activity. At the service  site, groups of youth worked together on assign‐ ments that restored habitats, planted community  gardens, and facilitated activities for younger chil‐ dren—tasks that would have likely been impossible  to complete as individuals.   

16

Leadership

participation referenced by youth interviewees. SOS  youth spoke about gaining a deeper appreciation for  the value of teamwork (e.g. “I learned that by work‐ ing together you can get far with others.”), learning  how to compromise and respect others’ opinions  (e.g. “…so many people have so many different ideas,  and you have to sit down and work together to fig‐ ure this out…”), practicing patience and compassion  (e.g. “I learned many things, but number one… treat  others the way you want to be treated.”), and re‐ solving conflicts respectfully.    The constant dependency on collaborative work cre‐ ated a context in which youth had to adapt and ne‐ gotiate problems in real time, and interviewees pro‐ vided overwhelming evidence that participants were  successful in becoming cohesive and cooperative.  SOS youth shared stories about times when tensions  arose and how they developed strategies to “get  back to work” and “worry about personal problems  later.” One site designated a “vibes” role—which  rotated among the youth—that was responsible for  monitoring the social and emotional climate of the  group and ensuring that participants stay focused on  the task at hand. As one youth explained, there  were “…arguments, but in the end we were like one  little family.”     The development of youths’ collaboration skills was  also a prominent theme in end‐of‐term interviews  with SOS staff. One project director explained that  she saw “transformations” in several students over  the summer in terms of their abilities to “get along  well with others.” Project directors observed how  participants appeared to develop a better under‐ standing of group dynamics as youth learned “how  strongly their interactions can affect people and  how that can affect the whole group.” Another pro‐ ject director observed “communication skills im‐ proving” as youth became “cognizant of the fact  that they were talking over each other…” and ad‐ justed their discourse style to give each young per‐ son the opportunity to contribute their thoughts  and opinions.   

Each of the SOS sites worked to position youth as  leaders and key decision makers in their programs.  In some cases, youth leadership opportunities were  infused throughout each phase of the curriculum— from research through service design and imple‐ mentation. For example, participants at one site  chose to work on the conversion of an old water  treatment facility into a simulated archeological dig  site that would be used as a teaching tool by local  elementary and middle schools. For this project,  youth took responsibility for nearly all aspects of  organizing and completing the conversion, including  serving as the point of contact for the various agen‐ cies involved, leveraging donated resources such as  dump trucks, and maintaining a project manage‐ ment schedule.      SOS Highlights: Celebrating Success  “When  the  kids  took  a  step  back  and  saw  how  it  went  from  an  idea  on  paper  to  our  final  result‐‐  the kids did an entire project all on their own, that  was a great sense of accomplishment.”  ‐SOS staff  

  In other cases, leadership opportunities came pri‐ marily through the roles and responsibilities that  youth assumed while on site at the various service  projects. SOS youth served as teachers, mentors and  activity coordinators for their peers, adult members  of the community, and younger students. One such  activity involved presenting original skits and leading  discussions on how to make a successful transition  to middle school for incoming sixth grade youth.  Another project involved facilitating a puppet‐ making activity with elementary school children.  Other SOS youth recruited and organized adult com‐ munity volunteers for a project that rehabilitated a  community gardening site.  

  17

while SOS staff played a supportive role fetching  supplies and taking photographs. Several staff  also observed youth serving as motivators, inspir‐ ing their peers to stay on task. In addition, as  youth increasingly assumed leadership roles,  they became more comfortable in voicing their  opinions about the program and the issues they  were facing as community developers. Explained  one project director, “the first week I could make  those kids do anything on the schedule… but by  the third week [there] was a moment when they  started to challenge the process at which we  were going about program…you know, negotiat‐ ing... But I enjoy that. That’s when I know that  students are really owning up to it. It’s their pro‐ gram.”     Project directors relayed individual leadership  success stories, as well. At one site, SOS staff ob‐ served a young male participant who had mani‐ fested a “behavior problem” early in the program,  but once on site for the service project, “he just  kind of took charge of the group that he was  working with,” managing the project and teach‐ ing his peers how to install benches and garbage  cans as part of a park enhancement initiative.  The director credited this youth with being a  “significant part of the project being completed  on time” and called his demonstration of leader‐ ship the program’s “biggest accomplishment for  the whole summer.”      At another SOS site, the project coordinator  spoke about a rising seventh grader who the  principal recommended against enrolling in the  program. “[The principal] told me, you know, he  was going to be a big problem. He wouldn’t focus,  and he wouldn’t listen,” explained the SOS coor‐ dinator. In an interview, the youth also shared  that he had “attitude problems” in school. How‐ ever, staff observed him as a competent and mo‐ tivated participant in the SOS program, noting  several occasions when he led his peers during  small group work and contributed positively to 

SOS Highlights: Youth Leaders  “My  group  had  very  strong  personalities…  The  biggest aspect of leadership that I saw develop  was  their  ability  to  motivate  each  other.  There  were  smaller  ways  that  helped  me  allow  them  to  be  leaders,  like  tool  manager.  Through  the  second half of the project they got comfortable  with me coming and going to do other tasks.   ‐SOS Staff

  More than 80% of the youth interviewed could  identify one or more substantive opportunities  they had to serve as a leader during the program.  The youth discussed teaching other volunteers  how to properly use equipment, serving as  guides to showcase SOS accomplishments for  community members, mentoring younger chil‐ dren, and keeping their peers on task. For some  participants, they were trying out these influen‐ tial roles for the first time. “I wasn’t good before  at working in teams,” explained one youth, “but I  learned to kind of be able to get into the conver‐ sation and make myself heard.” Others found  that SOS participation helped refine some of  their existing leadership qualities as one youth  told us, “I always knew that I was a leader, but I  took it to the extreme this time.”     SOS staff also offered multiple examples where  they observed participants increasingly taking on  responsibility and initiative over the course of the  summer. As the weeks progressed, youth became  less dependent on staff to manage relationships,  maintain productivity, and oversee tasks. Staff at  one site described a “complete role reversal” by  the end of the program where youth assumed  full management of a Dream Big career develop‐ ment activity for elementary school students,  18

the tasks at hand. “Every time an opportunity  came up for him to do something, or come across  and give something, he was one of the persons  who gave the most,” reported the SOS coordina‐ tor.     SOS Highlights: Middle Schoolers Stepping Up  After completing a service project with elementary  school  students,  a  SOS  Staff  remarked:  “I  think  that’s  one  of  the  main  things  I’ve  learned  from  working  with  middle  schools  is  that  because  they’re  in  such  a  huge  transition  it  makes  it  so  much  more  difficult  to  connect  with  them.  And  I  feel  like  they  think  they  have  a  lot  to  prove  and  need  to  figure  out  how  to  do  it.  So  to  see  them  from  this  like  tough  face  that  they  put  on  to  this  really  sweet,  caring,  nurturing  leadership  role,  I  think  is  going  to  definitely  impact  them  in  their  future, in their everyday lives."

cials, community activists, local artists, zoologists,   and high school career counselors. Some projects   recruited additional adult volunteers to support  their service work, as was the case with a com‐ munity garden project. At another site, SOS  youth buddied up with younger students to men‐ tor them about middle school, and SOS staff ob‐ served some of these relationships continuing  into the school year.     On post‐program participant surveys, average  youth responses regarding their ability to  “identify people who need to be involved in a  community project” increased over the summer  from 2.2 to 3.0 on a 4‐point scale (see Figure 2.).  More than 98% of youth interviewees could iden‐ tify one or more community members they had  met during the program. According to staff and  youth interviews, these new contacts introduced  participants to additional community resources,  shared diverse opinions and perspectives on  community issues, and offered encouragement  and appreciation for the work of the SOS youth. 

Community Connections SOS coordinators structured a myriad of activities  where participants would meet new people and  learn about resources in their communities. In  some cases, such connections began during the  research phase as outside experts were brought  in to discuss relevant topics such as horticulture,  survey methodology, college planning, and nutri‐ tion. SOS fieldtrips and service projects created  additional opportunities for young people to con‐ nect to the recipients of their service, representa‐ tives from partner organizations, and other com‐ munity members recruited to volunteer along‐ side SOS youth.     During post‐program interviews, participants re‐ ported meeting librarians, directors of neighbor‐ hood associations, native seed specialists, law  enforcement and emergency workers, public offi‐

 SOS Highlights: Community Connections  “They were very happy with the gentleman  that’s the overseer of the local community  center. He was out there both days that we  were out there working, taking pictures of  them.  I think that that helped [the youth] to  be proud of [their service project] because  there was someone there showing their ap‐ preciation.”   ‐SOS project director 

19

One young person explained, “when we went  around the community and [told people] that we  were starting a community garden, a lot of people  were glad and happy because they were going to  have fresh food [in the neighborhood]...”  Another  youth commented that exposure to community  members brought a sense of interconnectedness:  “I met a lot of adults like people at the art center  and firefighters. People that I never really knew,  and I didn’t know how big of an influence they  could have on me.”  

to participate in your community so that your  community can prosper,” and 96% of SOS youth  expressed some interest in continuing to volun‐ teer during the following school year. 

Civic Skills SOS programs incorporated a number of activities  that worked to bolster youths’ communication,  research, and project management skills condu‐ cive to being active and engaged citizens. As sum‐ marized throughout this report, each site struc‐ tured multiple opportunities for youth to learn  civic skills through practice as participants took on  increasingly substantial roles serving in their com‐

Figure 2. Youth Social Development, Self-Assessed

3.4

2.6

3

2.2

0

0.5

1 End of Summer

1.5

2

2.5

3

3.5

4

Beginning of Summer

munities. SOS coordinators also organized weekly  and sometimes daily trainings and recreational  activities where youth practiced civic skills such as  team building, persuasive speech, and conflict  resolution. Furthermore, SOS participants had  opportunities to operationalize and reinforce  these skills through reflection and subsequent  presentation of their service work to audiences  that included public officials, community residents,  peers and younger children.     Developed by researchers at the Center for Youth  and Communities at Brandeis University, post‐ program participant surveys included 11 items  measuring youths’ self‐assessments of their abili‐

Civic Development The organization and completion of service‐ learning projects in their communities helped SOS  youth to develop civic skills, become more socially  responsible, gain civic knowledge and awareness,  and commit to future civic involvement. According  to post‐program surveys, almost all participants  (98%) reported growth in one or more civic skill  areaS, with almost half reporting growth in all 11  skill areas measured. Youths’ knowledge of the  “ways that young people can work to influence  the rules and laws that affect their lives” also in‐ creased significantly, as did their commitment to  their communities. Youth learned that “you need  20

 SOS Highlights: Increased Civic Awareness  “They’re going to know now to be a little more  invested in what’s going on around them, and I  ties to accomplish a variety of tasks related to  civic action and community development  (Melchior, 2011). These civic skills included ways  of communicating, gathering and processing in‐ formation, and developing strategies to complete  service‐related tasks. Youth were asked to reflect  on their skill level at the beginning and end of  summer. Responses were recorded on a 4‐point  scale (1=not at all, 2=a little, 3=pretty well, and  4=very well).      Nearly all survey respondents (98%) reported  growth in one or more civic skill areas. Almost  half of the SOS participants reported growth in  all 11 civic skill areas. Across all the skill items,  the average participant responses increased by  27% or more from beginning to end of term (see  Figures 5 and 6). The largest gains (increases of  35‐40%) were reported in five areas:    Identifying needs or problems impor‐ tant to your community    Making phone calls or interviews to  gather information on community prob‐ lem   Deciding what is important to think  about in choosing a community project   Setting up a timeline and action steps  for a community project   Identifying people who need to be in‐ volved in a community project    An additional pre/post survey item asked youth  to rate their agreement with the statement “I  know how to design and do a service project in  my community” on a 5‐point scale (1=strongly  disagree, 5=strongly agree). On average, survey  respondents demonstrated a small, but signifi‐ cant increase on this item (see Figure 4.). These  self‐reported gains in service project design and  implementation competency represented the  largest, statistically significant pre/post increases  on the survey.    Youth also discussed practicing and developing  their civic‐related skills during post‐program in‐ terviews. One youth explained that as a result of 

think this gave them the tools to learn how to be  involved in the community. I think SOS gave them  a couple of options to improve their own quality of  life and the way of life around them.”  ‐SOS Staff

SOS participation, “If I wanted to do something  with the environment, I know how to identify the  problem and strategize to make it not a problem  anymore.” Other participants shared that they  learned “how to manage your time,” “speak up  for myself,” and consider the “pros and cons” of  an issue.   

  Social Responsibility Pioneering service‐learning researchers Youniss  and Yates (1997) defined social responsibility as  feelings of obligation associated with taking ac‐ tions that address society’s problems, which they  argued reflect part of the “distinguishing ele‐ ments that mark mature social identity” (Youniss  & Yates, 1997). Youniss and Yates explained how  having a sense of agency, or a belief that actions  will meaningfully contribute to the common  good, serves as a foundational component of  social responsibility. Inherently tied to agency,  the SOS model also works to support youths’ de‐ veloping sense of civic efficacy, defined as having  confidence in one’s own ability (self‐efficacy)  and/or the abilities of a group one belongs to  (collective effective) to accomplish a goal or task.     In an effort to build pathways towards social re‐ sponsibility, SOS programs offered youth experi‐ ences where they could demonstrate a meaning‐ ful impact on the community. As a result of their  service, participating middle schoolers had the  opportunity to witness first‐hand a transformed  community garden, a repurposed water treat‐ ment facility, a grateful group of senior citizens,  or the smiling faces of elementary school chil‐ dren. 21

Through these accomplishments, SOS programs  hoped to boost youths’ confidence in their ability  to productively participate in civic action. Reflec‐ tive activities, such as journaling and producing  documentaries, were also designed to reinforce  youths’ sense of competency and motivation to  contribute to the common good.    Data collected via youth and staff interviews sug‐ gest that SOS sites were successful in organizing  service projects where participants could take ac‐ tions of consequence in their communities.  Among those interviewed, 97% of youth believed  they had “made a difference” by serving in SOS  over the summer. When asked how they made a  difference, many participants were able to share a  demonstrable outcome such as increasing the  availability of fresh produce in under‐resourced  neighborhoods, providing places for people to sit  and rest in a park, removing trash from public  spaces, and restoring natural habitats.  One staff  remarked, “When the kids took a step back and  saw how [the service project] went from an idea  on paper to our final result… that was a great  sense of accomplishment.” Another staff spoke  about the “visible gratification” youth received  from creating an “enormous, vivid, graphically  creative sign,” the crowning jewel of their sum‐ mer‐long project to rehabilitate a school garden.  A multitude of comments during youths’ post‐ program interviews suggested that SOS participa‐ tion strengthened youths’ commitment to and  confidence in their ability to engage in socially  responsible civic activities.    

 Youth Voice: Developing a Civic Identity   “The point is I can make a difference in my com‐ munity. I didn’t really want to do [service], but  once you start doing it you don’t want to stop do‐ ing it. You feel good that you did something.”  ‐SOS Youth 

When asked what they learned in the program,   youth responded, “…that you need to participate  in your community so that your community can  prosper,” “…no matter what we can always make  a change in our lives,” and to “get out there and  do something and not just sit around home, like  you got to make a difference no matter how old  you are, just get out there and help someone.”    Youth Voice: Building Compassion   SOS Youth: “[I learned] not to always think about  myself. There’s other people out there that have  worser lives, not saying I have a worse life, but  some people have good lives but not the best life  ever, and there’s other people whose lives are not  so great and you can always help somebody out.” 

Participant surveys from the beginning and end of  summer also tried to capture changes in youths’  sense of social responsibility, civic agency and effi‐ cacy. Several survey items asked youth to rate  their agreement (on a 5‐point scale) to statements  such as “it is my responsibility to work with others  in helping solve community problems.” Multiple  items of the social responsibility scale showed  small, but not statistically significant increases  over the summer. However, when limiting the  sample to the 49% of survey respondents who  rated the SOS program highest (scored “excellent”  on a 4‐point scale, see Figure 7), t‐tests produced  significant  increases related to their: (a) belief  

 Youth Voice: Showing Results  After completing a park restoration project, one  youth commented, “I do feel like I made a differ‐ ence and I think it’s also very noticeable to people  walking by. They can see that we have worked  really hard and done good.” 

22

youth had the opportunity to consider the needs  of others and incorporate this information into  their service work.     Data from post‐program staff interviews suggest  increases in youths’ civic knowledge and issue  awareness over the summer. One SOS staff ex‐ plained, “the kids became more aware of the  things around them‐‐ how government helps out  with school and how the government helps out  with their education...” Another staff com‐ mented that over the course of six weeks, the  youth “…understood what they were doing, and  they had a larger purpose than just doing  chores.”    Several staff pointed to examples when partici‐ pants, presented with new information about  community members, took into consideration  the needs of others when designing service pro‐ jects. Examples include a community garden res‐ toration in an area that lacked fresh fruits and  vegetable markets, or the installation of park  benches in shady places in response to the needs  of elderly park goers.   

that they can make a difference in the commu‐ nity, and (b) the importance they place on “doing  something that helps others.” This finding sug‐ gests an association between quality program  implementation, based on youths’ ratings, and  an increased sense of social responsibility.     

Civic Knowledge and Awareness SOS sites worked to expand youths’ knowledge  of government, community resources, and social  and political issues through a variety of mecha‐ nisms over the summer. Several sites used com‐ munity walks to map the resources and chal‐ lenges in their neighborhoods. Youth at one site  helped design a “public policy” scavenger hunt  where participants trekked through the streets  identifying people, places and things that were  funded, regulated or otherwise “touched” by the  government. Education on civic and political af‐ fairs was also integrated through group discus‐ sions where youth reflected on the connections  between service projects and larger issues of  poverty and equality in America. For example,  one SOS staff explained how a project to build a  middle school garden at a predominantly Latino/ a school led to a dialogue about the complex  meanings of citizenship from immigrants per‐ spectives. Another project documenting urban  gardens raised youths’ awareness of the  strengths and challenges of low‐income families  struggling to put food on the table. Other sites  focused on issues of environmental stewardship  such as linking a native tree restoration project  to the topic of global climate change.    In addition to mapping and dialogue activities,  SOS projects also worked to broaden youths’  awareness and understanding of community is‐ sues by connecting them to people from diverse  backgrounds. Visiting folks in a senior center,  mentoring younger students, and serving within   some of the most under‐resourced communities   in this country, SOS youth were exposed to life  circumstances that were sometimes different  from their own. Through these experiences, 

   Youth Voice: Serving as Mentors  When asked to describe the best things about SOS,  one youth explained, “Taking care of the kids. Well,  not taking care of the kids, but like showing them  different paths of what’s positive from negative…   we were talking to them about junior high, what  to do, what not to do… There are different places  in life. You got to know right from wrong because  some people don’t have anybody to tell them  what to do, and we took our time to come over  here to talk to them. That was one of the high‐ lights.”  

23

said definitively “yes” and 15% reported “maybe”  or “probably”). Among the more than 80% who  planned to volunteer in the fall, the majority could  identify structured opportunities that convened at  least once per week including after‐school pro‐ grams, community‐based internships, and city  government initiatives. Figures 3 and 4 depict the  potential change in service involvement among  participant interviews. Prior to SOS, about 60%  had prior volunteer experience, and only 40% vol‐ unteered on a weekly basis, compared to up to  96% expressing a desire for future civic involve‐ ment.     Participant comments regarding future political  engagement demonstrated a less enthusiastic re‐ sponse compared to community engagement.  While 81% of youth interviewees stated defini‐ tively that they were planning to vote after they  turn 18, only 50% expressed interest in a more   general question: “what about getting involved in  politics?” More than half of those interviewed  appeared to be lacking in background knowledge  and/or civics vocabulary to engage in a conversa‐ tion about what it means to be politically engaged.  Several youth asked, “What are politics?” Others  stated simply, “Politics? No. That’s just not my  thing at all.” Some participants failed to see links  

Based on pre/post participant surveys, youths’  knowledge of “ways that young people can work  to influence the rules and laws that affect their  lives” increased over the summer (see Figure 5.).  Analyses of youth interviews also support the  finding that youths’ civic knowledge and aware‐ ness of issues grew during the program. SOS  youth told us:  “I learned what it means to be a citizen, about  policies. I learned about ways I could vol‐ unteer in the community.”  “I  never  really  noticed  how  many  issues  the  town  had,  and  I  didn’t  know  that  youth  could fix that.”   “I learned a lot about being nice to the environ‐ ment because there is so much trash and  you don’t really think of putting the trash  down, or just doing random stuff, but you  can definitely tell when you are cleaning it  up.”   

Future Civic Involvement Eighty percent of youth surveyed reported they  would consider serving in another term of SOS.  Survey respondents also demonstrated an aver‐ age pre/post increase in their agreement with the  statement, “after this summer, I hope to continue  volunteering in the fall.” Of those participants in‐ terviewed, 96% expressed some interest in con‐ tinuing to volunteer during the school year (81%     Figure 3. Prior Volunteer Experience

Figure 4. Future Volunteering Aspirations

100

100 90

90 80 70

80 70

Prior Volunteer  Experience 

60 50

No Prior  Volunteer  Experience

40 30 20

60 50 40

No

30 20

Definitely 

Maybe 

10 0

10 0 Yes 

 

Yes

No 24

No

between political engagement and their career aspi‐ rations (e.g. “I don’t do politics…. I’m thinking about  being…  a  judge.”),  or  past  involvement  (e.g.  when  participating in a recent march to city hall to protest  cuts in after‐school funding).    For several youth, the term “politics” had negative  connotations. One youth told us, “I don’t like poli‐ tics. I think it’s kind of boring. It’s just too much  numbers, and I’m not good at math. And it’s too  much… too much stress for summer,” and “In my  opinion, I don’t really like politics because it always  leads to a lot of conflicts.”     Still, about 50% of the youth interviewed shared  some interest in political engagement. Some of  these youth required clarification on the terminol‐ ogy, but once prompted, expressed a desire to be  involved. For example, when the interviewer ex‐ plained that marching to city hall to protest cuts in  after‐school funding was a form of political engage‐ ment, several youth responded favorably to that  type of participation. Other youth appeared predis‐ posed to activism and were therefore more adept at  connecting their SOS experiences to the political  domain. As commented by one young person, “Yeah,   I am really interested in politics. I guess I like fight‐ ing for what I believe in. Summer of Service gave us  an opportunity. We always talked about those is  sues that come up in politics a lot, and I think that  was cool that we got to talk about how we felt… as  we are going to be the new generation.” 

Among interviewees, 100% said they would recom‐ mend the program to a friend. When asked what  they would say to recruit a friend, most youth sold  the program as a fun, adventurous experience. In  addition, 60% of youth pitched opportunities to help  the community as a key selling point of the program.  This emphasis on "service" as a recruitment lure  provides further evidence of the program’s civic  outcomes, as only one‐quarter of interviewees had  identified service as a motivation for participation at  the beginning of the summer. 

Figure 5. Youth Civic Skills, SelfAssessed End of Summer

Beginning of Summer 3.7 *** 3.3 3.8 ** 3.6

3.7 * 3.5

Participant Satisfaction 1

The program received high satisfaction ratings from  youth participants. Surveys averaged a 3.3 quality  rating on a 4‐point scale, and more than 86% of  youth rated the program good or excellent (see Fig‐ ure 7). Nearly 90% of SOS participants were consid‐ ering enrollment in a second term of service. Across  the interviews, there was an overwhelming consen‐ sus among the youth that SOS was a fun and enjoy‐ able experience, an excellent way to meet new  friends, and a good alternative to being bored at  home.    

2

3

4

5

1= strongly disagree      2= disagree      3= undecided          4= agree        5= strongly agree

All differences statistically significant at the ***p