Anexo A – Bases Gerais do Sistema de Garantia da Qualidade do Ensino da Universidade NOVA de Lisboa (SGQE-UNL)

Anexo B – Grelha de análise de conteúdo das Bases Gerais do SGQE-UNL Categorias

Sub-categorias

Indicadores Lei n.º 38/2007 Adopção de política de garantia da qualidade Cultura e garantia de qualidade Definição de estratégia de melhoria Aprovação do processo e pelo órgão legal

Qualidade nas Instituições de Ensino Superior

Legislação da Qualidade no Ensino Superior

Divulgação pública dos estatutos e processo Assegurar a participação de todos os envolvidos nos órgãos de governação Definição da missão da Universidade e unidades orgânicas Documento orientador do Sistema de Garantia da Qualidade

Bases Gerais

Criação do Sistema de Missão Garantia da Qualidade do Ensino

Unidades de registo “(…) lei n.º38/2007, de 16 de Agosto (…)” “(…) as Instituições de Ensino Superior (IES) devem adoptar, em função da missão, uma política de garantia da qualidade dos seus ciclos de estudos (…)” “(…) cada IES deve desenvolver uma cultura da qualidade e da garantia da qualidade (…)” “(…) e uma estratégia para a melhoria contínua.” “(…) A política, os procedimentos e a estratégia devem ser aprovados pelo órgão legal e estatutariamente competente do estabelecimento de ensino superior (…)” “(…) devem ser divulgados publicamente.” “(…) cada IES deve assegurar a participação no processo dos órgãos de governação e de gestão, dos docentes, do pessoal não docente, dos estudantes e dos parceiros externos.” “Estas disposições da lei supõem a definição prévia da missão da Universidade e das suas diferentes unidades orgânicas (…)” “(…) necessidade de aprovação formal de um documento definidor da política, dos procedimentos de garantia da qualidade.” “A UNL definiu que a sua missão se desenvolve, designadamente, através de «um ensino de excelência […] veiculado por programas académicos competitivos a nível nacional e internacional» (…)”

“(…) a Universidade deve ser capaz de assegurar, de uma forma sistemática e permanente, a realização da sua missão (…)” Assegurar a qualidade do ensino “(…) assegurar (…) a qualidade do seu ensino.” Desenvolvimento de uma cultura “(…) existência de um esforço sustentado no sentido de qualidade do desenvolvimento, não só de um sistema de garantia da qualidade como de uma cultura de qualidade do ensino.” Prestação de contas “O cumprimento destas exigências permitirá à Universidade prestar contas sobre as suas actividades e resultados (…)” Reconhecimento nacional e “(…) criará as bases para o reconhecimento nacional internacional da NOVA e internacional da qualidade do ensino da NOVA.” Consequência da integração no “(…) no âmbito da União Europeia, quanto à Espaço Europeu de Ensino construção do Espaço Europeu de Ensino Superior Superior (…)” Consequência dos compromissos “A necessidade da criação de um sistema interno de assumidos pelo governo português garantia da qualidade é também consequência dos compromissos assumidos pelo governo português (…)” Consequência da legislação “(…) da legislação nacional entretanto publicada (Lei nacional n.º38/2007, de 16 de Agosto).” Avaliação externa mais leve “(…) a existência de um sistema interno de garantia da qualidade contribuirá também para tornar mais leve, no futuro, o processo de avaliação externa pela A3ES (…)”. Prestação de contas “(…) tendo em vista a prestação de contas à sociedade.” Garantir o cumprimento da missão

Razões da criação do sistema interno de garantia da qualidade

Necessidade da instituição

Acompanhar a tendência europeia Menor intrusão da avaliação externa Autonomia da universidade Características do SGQE-UNL

Concepção de qualidade fit for purpose

Contribuir para a melhoria da qualidade do ensino

Âmbito

Ensino Aprendizagem Investigação Concordância com as boas práticas internacionais Concordância com os European Standards and Guidelines

Valores Funcionamento descentralizado Estrutura flexível Adaptação à cultura institucional

“A existência de um sistema de garantia da qualidade do ensino é não só uma necessidade da instituição (…)” “Esta intenção corresponde à tendência europeia (…)” “(…) a A3ES tenderá (…) mais do que impor o seu próprio, tornando a avaliação externa menos intrusiva.” “A garantia interna da qualidade é, igualmente, central na óptica da autonomia de uma IES (…)” “Entende-se por qualidade a adequação das estruturas organizacionais, dos seus processos e actividades à consecução dos objectivos da instituição (fit for purpose)” “O sistema interno de garantia da qualidade do ensino tem como objectivo essencial contribuir para a melhoria contínua da qualidade do ensino da NOVA.” “(…) abrange o ensino (…)” “(…) e a aprendizagem (…)” “(…) a investigação (…)” “O sistema deve estar de acordo com as melhores práticas internacionais (…)” “(…) com os European Standards and Guidelines da European Association for Quality Assurance in Higher Education (ENQA) (…)” “(…) descentralizado no seu funcionamento (…)” “(…) flexível na sua estrutura (…)” “O sistema deve adaptar-se à cultura institucional da NOVA (…)”

Adequação à diversidade das unidades orgânicas Partilha de responsabilidades

Princípios comuns Envolvimento dos parceiros internos Participação de peritos externos Direito dos estudantes Transparência Imparcialidade Prestação de contas Reflexão

Estrutura/organização do SGQE-UNL

Órgãos centrais

Melhoria Articulação com o desenvolvimento profissional docente Conselho da Qualidade do Ensino

“(…) adequar-se à diversidade daas unidades orgânicas.” “(…) o sistema deve basear-se numa partilha de responsabilidades entre a Universidade e as suas unidades orgânicas (…)” “(…) assentar num quadro de princípios comuns.” “A garantia da qualidade implica o envolvimento e comprometimento de todos os parceiros internos (…)” “(…) implicando a participação de peritos externos.” “(…) a qualidade do ensino é um direito dos estudantes.” “O funcionamento do sistema deve basear-se na transparência de objectivos e de procedimentos (…)” “(…) mecanismos que garantam a imparcialidade (…)” “(…) prestação de contas aos vários parceiros envolvidos.” “Os procedimentos de monitorização e de avaliação devem ser encarados como instrumentos de reflexão (…)” “(…) e de melhoria (…)” “(…) articular-se com os mecanismos de desenvolvimento profissional dos docentes.”

“A Universidade terá um Conselho da Qualidade do Ensino (CQE) (…)” Gabinete de Apoio à Qualidade do “Na Reitoria existirá um Gabinete de Apoio à Ensino Qualidade do Ensino (…)”

Órgãos locais

Características das estruturas centrais do SGQE-UNL

Características e composição dos órgãos locais do SGQE-UNL

Conselho da Qualidade do Ensino

Gabinete de Apoio à Qualidade do Ensino Núcleo de Inovação Pedagógica e Desenvolvimento Profissional dos Docentes (NIP/DPD) Responsável pela garantia da qualidade do ensino Comissão da Qualidade do Ensino

“Na Reitoria existirá um Núcleo de Inovação Pedagógica e Desenvolvimento Profissional dos Docentes (NIP/DPD) (…)” “Em cada unidade orgânica, o Director nomeará um docente responsável pela garantia da qualidade do ensino.” Comissão da Qualidade do Ensino “Em cada unidade orgânica existirá uma Comissão da Qualidade do Ensino (…)” Gabinete de Apoio à Qualidade do “Cada unidade orgânica poderá ter um Gabinete de Ensino Apoio à Qualidade do Ensino (…)” Comissão de Ciclo de Estudos “Cada ciclo de estudos terá uma Comissão de Ciclo de Estudos.” Órgão de governação “(…) Conselho da Qualidade do Ensino (CQE), que actua como o órgão de governação (…)” Missão de garantir o “O Conselho da Qualidade do Ensino tem por missão funcionamento do SGQE-UNL assegurar o funcionamento do sistema de garantia da qualidade do ensino na Universidade.” Natureza executiva “(…) órgão de natureza executiva do sistema de garantia da qualidade do ensino.” Desenvolvimento profissional “Este núcleo tem por missão contribuir para a docente qualidade das experiências de aprendizagem dos estudantes da NOVA através do apoio ao desenvolvimento profissional dos seus docentes.” Núcleo de Inovação Pedagógica e Desenvolvimento Profissional dos Docentes (NIP/DPD) Responsável pela garantia da qualidade do ensino

Um docente que assegura a qualidade do ensino

“(…) um docente responsável pela garantia da qualidade do ensino.”

Órgão de governação

“(…) actuará como órgão de governação do sistema de garantia da qualidade do ensino ao nível da unidade orgânica.”

Gabinete de Apoio à Qualidade do Ensino

Órgão executivo

Comissão de Ciclo de Estudos

Elaboração do relatório anual Preparação do relatório de autoavaliação Proposta das Bases Gerais

Competências das estruturas centrais

Criação de órgãos para o funcionamento do SGQE Conselho da Qualidade do Ensino

Documentação para a monitorização Realizar e analisar os relatórios

Aprovação do relatório anual da Universidade Composição dos órgãos centrais

Conselho da Qualidade do Ensino

Presidido por um membro externo Membros da Equipa Reitoral com o pelouro da Qualidade Cinco docentes Três estudantes representantes de cada ciclo de estudos

“Cada unidade orgânica poderá ter um Gabinete de Apoio à Qualidade do Ensino, que actuará como um órgão de natureza executiva.” “(…) elaborar o relatório anual de monitorização do ciclo de estudos.” “(…) preparar o relatório de auto-avaliação do ciclo de estudos (…)” “(…) propor (…) as bases gerais do sistema de garantia da qualidade do ensino (…)” “(…) a criação dos órgãos que se revelem necessários ao bom funcionamento do sistema de garantia da qualidade do ensino da NOVA.” “(…) documentação de base de monitorização e avaliação dos ciclos de estudos e das unidades curriculares” “(…) proceder à análise e emitir parecer relativamente aos relatórios que lhe forem apresentados pelo Gabinete de Apoio à Qualidade do Ensino da Universidade” “(…) aprovar o relatório anual sobre o funcionamento do SGQE e sobre a qualidade do ensino na Universidade (…)” “(…) um membro externo do Conselho Geral, que presidirá” “(…) um ou mais membros da Equipa Reitoral com o pelouro da qualidade do ensino” “(…) cinco membros do corpo docente da Universidade” “(…) três representantes dos estudantes, um por tipo de ciclo de estudos.”

Um elemento do Gabinete de Apoio à Qualidade do Ensino Gabinete de Apoio à Qualidade do Ensino

Responsável pelos documentos gerais e documentos orientadores Apoiar e monitorizar o desenvolvimento do sistema nas unidades orgânicas Monitorizar a qualidade do ensino nos ciclos de estudos Elaborar o relatório sobre o funcionamento do SGQE-UNL e sobre a qualidade do ensino da UNL Relação entre UNL e A3ES

Núcleo de Inovação Pedagógica e Desenvolvimento Profissional dos Docentes

Competências dos órgãos locais

“(…) um elemento do Gabinete de Apoio à Qualidade do Ensino da NOVA” “(…) preparar as bases gerais do sistema de garantia da qualidade do ensino” “(…) preparar outros documentos orientadores do sistema de garantia da qualidade do ensino” “(…) monitorizar o funcionamento do sistema em toda a Universidade”

“(…) monitorizar a qualidade do ensino e da aprendizagem ao nível do ciclo de estudos” “(…) preparar o relatório anual sobre o funcionamento do sistema de garantia da qualidade do ensino e sobre a qualidade do ensino na Universidade” “(…) assegurar as relações entre a Universidade e a A3ES” Promoção de cursos “(…) organizar cursos de formação de docentes” Apoiar os docentes no processo de “(…) trabalhar individualmente ou em grupo com os avaliação de desempenho docentes no âmbito dos processos de avaliação de desempenho (…)” Apoiar a monitorização e “(…) apoiar as unidades orgânicas e as comissões de avaliação das unidades ciclos de estudos nos processos de monitorização e curriculares e ciclos de estudos avaliação dos ciclos de estudos e das unidades curriculares” Edição de guias de boas práticas “(…) promover e coordenar a edição de guias de boas práticas de ensino” Relação entre a unidade orgânica “(…) assegurar as relações entre a unidade orgânica e e a Reitoria a Reitoria (…)”

Responsável pela garantia da qualidade do ensino

Responsável pelo Gabinete de Apoio à Qualidade do Ensino da unidade orgânica Articular o SGQE-UNL com os outros mecanismos de avaliação

Comissão da Qualidade do Ensino

Nomeação dos membros pelo director Funcionamento do SGQE na unidade orgânica Análise de relatórios de autoavaliação e avaliação externa Aprovação do relatório anual da unidade orgânica Aprovação das questões a incluir na documentação-base

Docente responsável pela garantia da qualidade do ensino Representantes de docentes e discentes Membro externo que a preside

“(…) superintender no Gabinete de Apoio à Qualidade do Ensino da unidade orgânica, quando exista” “(…) garantir a articulação entre o sistema de garantia da qualidade do ensino e outros mecanismos institucionais de avaliação (…)” “Em cada unidade orgânica existirá uma Comissão da Qualidade do Ensino, nomeada pelo Director (…)” “(…) tem por missão assegurar o funcionamento do sistema de garantia de qualidade do ensino na unidade orgânica” “(…) analisar os relatórios de auto-avaliação e de avaliação externa elaborados no contexto da avaliação periódica dos Ciclos de Estudos” “(…) aprovar o relatório anual sobre o funcionamento do sistema de garantia da qualidade do ensino e a qualidade do ensino” “(…) aprovar as questões a serem incluídas na documentação de base de monitorização dos Ciclos de Estudos e avaliação das unidades curriculares (…)” “(…) docente responsável pela garantia da qualidade do ensino (…)” “(…) representantes de docentes e discentes” “(…) um membro externo à unidade orgânica, que deverá presidir”

Gabinete de Apoio à Qualidade do Ensino

Elaboração do relatório anual da unidade orgânica Elaboração de relatórios-síntese

Implementação do SGQE-UNL

Comissão de Ciclo de Estudos

Elaboração do relatório anual de monitorização do ciclo de estudos Presidida pelo coordenador do ciclo de estudos Docentes e discentes

Objectos de avaliação

Unidades curriculares Ciclos de estudos

Instrumentos de avaliação

Acesso à informação

Questionários aos estudantes sobre as unidades curriculares Relatórios dos docentes sobre as unidades curriculares Direito à informação por todos os envolvidos da posição relativa da unidade curricular face ao ciclo de estudos

Acesso aos comentários dos estudantes pelo docente, docente responsável e responsável pelo departamento

“(…) elaborar o relatório anual sobre o funcionamento do sistema de garantia da qualidade do ensino e sobre a qualidade do ensino” “(…) elaborar os relatórios de síntese de monitorização dos ciclos de estudos e de avaliação das unidades curriculares” “(…) elaborar o relatório anual de monitorização do ciclo de estudos” “(…) incluir o coordenador do ciclo de estudos, que deverá presidir” “(…) incluir docentes e discentes representativos da diversidade do Ciclo de Estudos (…)” “(…) cada unidade curricular será avaliada após o seu término” “(…) os ciclos de estudos serão monitorizados no final de cada ano lectivo” “(…) instrumentos de avaliação serão os questionários a preencher pelos estudantes (…)” “(…) relatórios produzidos pelos docentes” “(…) os membros da comunidade académica (estudantes, professores, investigadores e pessoal não docente) têm o direito a serem informados sobre a posição relativa de cada unidade curricular no conjunto das unidades curriculares que constituem o ciclo de estudos respectivo (…)” “O professor, o responsável pela unidade curricular e o responsável pelo Departamento respectivo terão acesso aos comentários dos estudantes nas questões abertas sobre a unidade curricular (…)”

Data de implementação do sistema interno de garantia da qualidade Aplicação a uma amostra de cursos do 1.º e 2.ºciclos Problemas detectados

Desafios

Mudanças/alterações após ano experimental

Regras de divulgação da “O Director da unidade orgânica decidirá, de acordo informação definidas pelo director com as práticas estabelecidas, sobre as regras de da unidade orgânica difusão da restante informação resultante dos questionários2 15 de julho de 2011 “Após a aprovação das Bases Gerais do sistema de garantia da qualidade do ensino pelo Conselho da Qualidade do Ensino, a 15 de julho de 2011 (…)” Ano experimental de 2011/2012 “(…) a estrutura do sistema e os instrumentos de avaliação da qualidade anteriormente aprovados (…) foram aplicados pela primeira vez no ano lectivo 2011/2012 a uma amostra de cursos de 1.º e 2.º ciclo” Morosidade “A maioria das unidades orgânicas considerou o processo muito moroso (…)” Viabilidade questionada “(…) questionando a relação custo-benefício e a viabilidade da sua aplicação a todas as unidades curriculares.” Descentralização “A natureza descentralizada da NOVA (…) constituem obstáculos (…)” Heterogeneidade da UNL “(…) a diferença nas missões e dimensões das várias unidades orgânicas constituem obstáculos para a implementação de um sistema de garantia da qualidade do ensino completamente uniforme (…)” Adaptação à cultura de cada “(…) aplicar o sistema implementado, adaptando à unidade orgânica cultura e especificidade próprias (…)” Comunicação uniforme dos dados “Deve haver uma maneira uniforme de comunicar os resultados do sistema de garantia da qualidade do ensino à Universidade (…)” Quantificação das respostas aos “(…) as respostas serão quantificadas.” questionários

Análise quantitativa dos dados recolhidos pelos questionários Relatório simplificado do 1.º semestre por cada unidade orgânica Relatório anual sobre o 1.º e 2.º semestre Relatório final da Universidade aprovado pelo Conselho da Qualidade do Ensino Características dos instrumentos de avaliação

Questionários

Anonimato Preenchimento em papel ou online Questões comuns à UNL Possibilidade de se acrescentarem mais questões pelas unidades orgânicas Participação voluntaria dos alunos Fornecimento dos resultados

Relatório de ciclo de estudos

Forma comum a toda a UNL

“será feita uma análise quantitativa, com base nos resultados dos inquéritos aplicados aos estudantes (…)” “As unidades orgânicas elaborarão um relatório semestral simplificado incluindo apenas os resultados das unidades curriculares do 1.º semestre lectivo.” “o relatório anual, que incluirá informação detalhada e agregada sobre o 1.º 2.º semestres (…)” “o relatório final da Universidade será aprovado pelo Conselho da Qualidade do Ensino da NOVA submetido à aprovação pelo Reitor e, posteriormente, pelo Conselho Geral da Universidade.” “Os questionários são anónimos (…)” “(…) poderão ser preenchidos em papel ou online.” “Os questionários terão um conjunto comum de questões a aplicar em toda a Universidade (…)” “outras perguntas poderão ser adicionadas por cada unidade orgânica (…)” “A participação dos estudantes nos processos de avaliação das unidades curriculares é voluntária” “Os estudantes devem ser informados do resultado da avaliação das unidades curriculares e das acções de melhoria adaptadas” “O relatório de monitorização terá um conjunto comum de questões a aplicar em toda a Universidade.”

Divulgação à comunidade académica

Adenda sobre o acesso à informação da avaliação das unidades curriculares

Envolvidos com acesso às respostas abertas dos estudantes Acesso às respostas abertas dos estudantes Permissão do director da unidade orgânica a divulgação a outros envolvidos

Divulgação de outras informações

Divulgação da posição de cada unidade curricular em relação ao conjunto

No mínimo divulgação da satisfação global Professor da unidade curricular Responsável pela unidade curricular Responsável pelo departamento Garantia do anonimato dos estudantes Acesso da informação a outros membros do corpo docente e da gestão Situações de desempenho excepcional Situações em que se identificam problemas Decisão cabe a cada unidade orgânica

“(…) os membros da comunidade académica (…) têm o direito de serem informados sobre a posição relativa de cada unidade curricular no conjunto das unidades curriculares que constituem o ciclo de estudos respectivo (…)” “(…) pelo menos quanto à questão que mede a satisfação geral com a unidade curricular.” “O professor (…)” “(…) o responsável pela unidade curricular (…)” “(…) e o responsável pelo departamento respectivo (…)” “(…) preservando-se estritamente o anonimato dos respondentes.” “O Director da Unidade Orgânica pode, excepcionalmente, dar autorização a outros membros seniores do corpo docente ou da gestão para terem acesso aos comentários dos estudantes (…) “(…) de modo a reconhecer desempenhos excepcionais (…)” “(…) ou quando haja a percepção da existência de um problema.” “O Director da Unidade Orgânica decidirá, de acordo com as práticas estabelecidas, sobre as regras de difusão da restante informação resultante dos questionarios.”

Anexo C - Guião da entrevista às Entrevistadas A e B Tema: Sistema de Garantia da Qualidade do Ensino da NOVA (SGQE - UNL) Objetivo Geral: Explorar elementos que permitam conhecer o SQGE Blocos

Objectivos Recordar objectivos da entrevista

A - Legitimação da Entrevista Motivar o entrevistado

Questões - Esta entrevista tem como objectivos... - Sublinhar a importância do contributo do entrevistado;

Tópicos Orientadores

Garantir a confidencialidade Pedir autorização para gravar

Conhecer o processo de criação do SGQE B - Criação SGQE

- Qual o seu papel no processo Formação; experiência inicial da criação do SGQE? profissional; competências acerca da qualidade; - Num contexto geral pode descrever -nos o SGQE. Pessoas envolvidas; ano de início; estratégia; procedimentos - A criação do SGQE decorreu de recomendações da A3ES e de organismos internacionais Quais as recomendações; que neste domínio, certo? organismos Pode falar-nos um pouco dessas recomendações? - Quais as principais preocupações, aquando da criação do SGQE?

- Apoiaram-se em Sistemas de Garantia da Qualidade já Universidade Portuguesas, existentes para o processo de Universidades Estrangeiras, criação da NOVA? Orientações Internacionais

- Quais os propósitos do SGQE? C - Propósitos da SGQE

Identificar os propósitos e as finalidades do SGQE

- Qual a relação entre os propósitos do sistema e a missão da UNL? - Quais os valores que influenciam o SGQE?

Objetivos do SGQE

Rigor, transparência, imparcialidade;

- Qual a definição de qualidade Baseado em autores da área, adoptada pelo SGQE? sistemas internacionais etc... D - Valores \ Características

Conhecer os valores e as características;

- Quais os órgãos que compõem o SGQE? - Quais as suas funções?

Órgão -Conselho da QE; Gabinete de apoio à QE; Comissão da QE;

- Qual a sua hierarquia? Vertical, horizontal

E - Objectos de avaliação do SGQE

- O que avalia?

Ciclos de estudos; unidades curriculares; unidades orgânicas; o próprio SGQE

- Quem são os envolvidos no processo de avaliação?

Alunos, professores, entidades empregadoras, pessoal não docente

Identificar o processo de recolha de dados desenvolvidos pelo SGQE;

- Quais os instrumentos que utilizam? - Como foram concebidos esses instrumentos? - Como é feito o tratamento dos dados? Quem faz esse tratamento? - Como garantem a fiabilidade e a validade dos instrumentos e dos dados recolhidos? - Como são divulgados os Relatório, em que momento resultados? - Quando são divulgados? F - Divulgação dos resultados

Perceber o (s) processo (s) de recolha e divulgação dos dados;

- Onde são divulgados esses resultados? - Quem tem acesso aos

Online, em que sites

resultados?

G -Desafios \ Dificuldades

Perceber os desafios e as dificuldades enfrentados pelo sistema;

- Qual a utilização dada aos dados obtidos? - Quais os maiores desafios que foram enfrentados desde a criação do sistema até aos dias de hoje?

Como foi aceite o sistema por parte da comunidade académica; taxas de resposta;

- Tendo em conta o que foi dito, quais são os desafios que ainda persistem?

H - Perspectivas \ Balanço

I - Finalização da Entrevista

Conhecer as perspectivas SQGE

Saber se o entrevistado tem alguma questão Saber se o entrevistado quer acrescentar alguma informação Agradecer a disponibilidade

- E que novos desafios antecipam? - O que perspectivam para o Melhoria; criação de novos sistema a médio - longo prazo? instrumentos; criação de novos organismos etc... - Qual o balanço que faz da aplicação do sistema? Desde a sua implementação. - Caracterize o sistema através de algumas palavras - chave. - Deseja acrescentar mais alguma questão? Ou alguma informação? - Obrigada pela colaboração

Anexo D - Protocolo da entrevista à Entrevistada A Entrevistadora - O objetivo desta entrevista é perceber como funciona o SGQE da Nova e a primeira pergunta que lhe queremos colocar é qual foi o seu papel no processo inicial da criação deste sistema? Entrevistada - Bom, primeiro não me apresentei mas o meu nome X, agente tem-se visto esporadicamente quando lá vão à sala, eu desde o início incorporei foi o Gabinete de Qualidade como técnica, acompanhei a criação do sistema desde os primeiros passos, tinha e no fundo incorporei a equipa com base na experiência em sistemas da qualidade ... na ISO 9001 1 , no ensino superior não havia assim grande coisa, ainda hoje não existem padrões ..., e portanto foi o início, foi o meu início digamos assim aqui também no gabinete e no sistema, na criação do sistema. O sistema surgiu em ... 2010, foi assim os primeiros trabalhos que começámos e as primeiras reuniões começaram em 2010, eu não sei se querem já começar com a história toda do sistema. Entrevistadora - Sim, sim. Entrevistada - Basicamente e já antes disso ... na altura a área da qualidade tinha sido dada ao pró reitor que era o Professor X, juntamente com a Professora X eles os dois começaram este trabalho e desenvolveram um bocadinho também ... do que já havia na Europa em Universidades semelhantes. Visitaram Dublin na altura que foi assim um dos pontos iniciais, e eles na altura na visita que fizeram a Dublin foi-lhes apresentado um bocadinho do sistema que eles lá tinham. Eles algumas das ideias que lhes foram apresentadas e que gostaram ... nomeadamente em termos de instrumentos que eles usavam para

acompanhar a qualidade do ensino das outras unidades que eles lá

lecionavam, foram algumas das ideias que também se transportou para cá. Depois com base nisso, isso ainda foi um bocadinho nos primórdios antes de ... de saber exatamente como é que era, o que é que iria, ou o que é que queríamos fazer como sistema da qualidade. Mais tarde, com as alterações todas do sistema do ensino superior, as novas leis, aliás, no próprio documento das bases gerais nós explicamos um bocadinho a história como é que tudo surgiu ... depois também tendo como base os standards e os guidelines que vieram moldar um bocadinho a lei do ensino superior n.º 38/ qualquer coisa (risos) foi no fundo, isso foram as bases ou as ideias-chave para desenvolvermos depois o sistema interno. Os inícios do Sistema ... o que se resolveu foi, como a Universidade Nova é constituída por 9 UO, não é, 9 faculdades autónomas ... era necessário fazer um trabalho conjunto, ou seja, não poderia ser algo que fosse definido na reitoria e depois implementado, o que já se sabia que não ia funcionar, portanto desde o início o que se procurou foi criar uma ligação entre o trabalho que se estava aqui a desenvolver e todas as UO, portanto foram nomeados, no fundo, 1 1

SGS - Saúde & Segurança - Certificação de sistemas de gestão da qualidade

representantes que foram inicialmente trabalhando em conjunto e aconselhando e mais tarde ficaram como responsáveis da implementação dos sistemas em cada uma das UO ... . Essas reuniões e esses estudos foram no fundo a base para se conseguir acordar o que é que seria possível ... a gente implementar, o que nós desenvolvemos inicialmente, foram vários instrumentos e vários sistemas que não têm propriamente ... talvez não fosse o ideal para aquilo que se conseguiu chegar a um acordo entre os 10 digamos assim, as 9 UO e a equipa que estava a desenvolver, o gabinete de Qualidade e portanto foi com base nisso que demos os primeiros,

que saíram os primeiros

modelos ... não sei se tem questões em relação ao sistema como funciona ... Entrevistadora - sim, sim. Entrevistada - então já agora, senão eu conto a história toda (risos) mas basicamente pronto, isso foi o início, foi assim que nós conseguimos começar a definir ... os documentos e os sistemas. O objetivo era ter algo que nos permitisse medir ... a qualidade do ensino. Isto aqui ficou um bocadinho vago, quando a gente chega então mas o que é que realmente agente quer medir não é? Primeiro foi que indicadores é que vamos escolher ... a que é que devemos olhar ... o que é que realmente mede a qualidade do ensino não é? é o número de aprovações? é o número de licenciados? o que é que mede a qualidade do ensino? Portanto tudo isto ainda hoje dá tema para muita discussão não é, o que é que vai, o que é que a gente olha quando vai medir a qualidade do ensino? Portanto ... o que se debateu e o que saiu desses, dessas discussões foi o que acordámos primeiro como indicadores, para o que é que íamos olhar, portanto temos uma folha só com indicadores, seriam aqueles, que foram escolhidos na altura não é, foram aqueles que se decidiu – é isto que agora vamos olhar, vamos ver que informação é que tiramos, vamos ver o que nós conseguimos deduzir daqui e tentar ao mesmo tempo ir também recolhendo a mais variada informação para nos reforçar depois nas análises que fossemos fazer e que nos fosse dar algo mais para podermos decidir não é, se estávamos no caminho certo ou teríamos de fazer algumas adaptações. Portanto, essa folha de indicadores ... depois surgiram os relatórios não é, toda a recolha de toda a informação. Portanto o sistema no início começou por basicamente, a base de tudo é o questionário aos alunos, portanto foi elaborado um questionário ... com um grupo de questões que em todas as UO é feito aquelas questões, o que se decidiu foi fruto também da flexibilidade e da autonomia de cada uma delas, e fruto também de algumas já estarem com alguns sistemas implementados e outras ainda não, portanto, na altura em que o sistema, na altura o que procurou foi criar um sistema que fosse ... igual em todas. E isto aqui levantou algumas questões porque nem todas estavam no mesmo pé de igualdade, ou seja, havia UO que já implementavam questionários há muito tempo e que faziam as análises e que tratavam os dados, e havia outras que não faziam nada ... portanto nós criámos um sistema que procurasse ser transversal a todas e que fosse comum a todas ... e isto aqui levou a

alguma discussão não é. De um grupo enorme de questões que nós tínhamos nos questionários, e questionários inicialmente muito grandes, ficou reduzido a 9 questões que todos acharam que sim senhora aquelas 9 se poderiam perguntar em todos. O que ficou também definido foi cada um pergunta aquelas 9 mas se entender e também fruto já de não perderem dados e não haver uma quebra muito do que era feito e o que iria ser feito agora ... deu-se uma liberdade digamos para acrescentarem o que achassem necessário e isso ficava ao critério de cada UO. Em termos de tratamento e de recolha de dados para o sistema eram só as 9 questões, que se analisam, mas a UO continua a recolher tudo o resto. Portanto, hoje em dia mesmo em termos de questionário, que se nós formos a fazer a recolha, talvez já esteja um bocadinho mais uniforme, mas no início, começamos por cada UO se fossem lá possivelmente tínhamos ou encontrávamos 7 questionários da UNL2, 7 questionários completamente diferentes, com uma base comum, que eram aquelas 9 questões, portanto aquelas 9 questões é que o aspeto do questionário poderia ser um bocadinho diferente, podia ser um bocadinho mais longo, podia ser mais curto não é, mas mais não podia ser, ou seja, tínhamos aquelas 9 questões que eram comuns a todas as UO, independentemente da forma como eles tratavam depois os dados, porque isto depois também deu para muita coisa, ainda hoje dá. Em virtude de nem todos estarem habituados a lidar com questionários, uns aplicam em papel, outros já tinham sistemas informáticos que lhe permitissem fazer a recolha on - line, outros têm um misto ... portanto, fazem a recolha em sala de aula no computador, portanto os alunos preenchem em computador os questionários e hoje em dia procura-se que seja mais informatizado não é, para diminuir o tempo de análise, o tempo de mão de obra tudo isso que envolve, mas ainda hoje é diferente, cada UO tem um estilo diferente, continuamos com as questões comuns, as 9 questões que são comuns e são essas que entram para a análise do sistema da qualidade ... isto então para dizer que com base nos indicadores fomos então começando a desenvolver os vários instrumentos. Este é a base de todos, que é os questionários aos alunos, mas assim como tinha dito no início quer dizer, então se nós precisamos de ter uma visão de toda a informação, falta depois contrapor a opinião dos alunos com a opinião do docente, portanto os alunos tem um ponto de vista, o docente há de ter outro não é, e muitas vezes é no meio que agente encontra a solução. Portanto criou-se o documento seguinte, que era então o relatório do docente. Que era no fundo uma forma de caso o docente assim entende-se de fazer ele a análise de como é que tinha corrido e justificar um bocadinho, ou nós conseguirmos, quem está do outro lado, a analisar os dados como é que conseguiria interpretar o que vem nos questionários não é ... por exemplo a sala é inadequada, e o docente explicar que houve obras na sala que normalmente costumavam lecionar e que tiveram durante aquele semestre que fazer as aulas provisoriamente num outro edifício ou algo assim. Isto 2 2

Universidade Nova de Lisboa

explica algo que nós se fosse só com base nos questionários dos alunos não teríamos acesso. Quem diz isto, diz outras questões, também práticas ou mais ligadas à parte da disciplina. A seguir temos a análise já do responsável do ciclo de estudos ... aliás eu penso que nós temos o relatório do docente aliás, só aqui vendo, os nomes que se davam, estes são os que têm não é? todos? Temos é esse os questionários dos alunos, passamos para o questionário do docente, relatório do docente, se virem aqui, quando eu falo dos indicadores, que nós íamos falando, já começam a aparecer nalguns dos relatórios, depois é o relatório do responsável com a unidade curricular e isto aqui nós fomos criando estes instrumentos todos mesmo tendo consciência que nem todas as UO, exato que todas as faculdades funcionavam da mesma maneira, ou seja, devido à dimensão de algumas delas por exemplo muitas vezes o docente era o responsável da unidade curricular, não havia esta diferença, portanto era docente \ responsável, daí que eles diziam que era repetir ou não, mas os instrumentos foram sendo criados procurando responder um bocadinho a todas as UO. Portanto este aqui poderá ou não ser necessário, do responsável, partindo do principio que não é o docente não é, e depois então do responsável é que passamos para o relatório dos ciclos de estudo. Isto já estão por dentro destes termos? ciclos de estudos... pronto é que isto no início é um chavão ... nós estamos habituados a tratar por faculdades e não UO então (risos) vamos entrando nestas, nestes palavreado. Portanto, depois então do relatório do ciclo de estudos e juntando todos os ciclos de estudos é que passamos para o relatório da UO. Portanto este seria o final. Estes, Isto foi o início, criou-se estes 5 instrumentos ... procurando dar resposta e procurando ter no fundo a análise de toda as perspetivas e recolher o máximo de informação possível para se puder fazer uma análise. O que acabou depois no final deste primeiro ano, o que se fez no ano experimental, e o que se decidiu foi não se ia ... obrigar ou forçar a implementação de um sistema de uma vez em todas as UO em todas as unidades curriculares, que isso então é um mundo. Só a FCT3 e FCSH4 entravam em colapso não é? porque mais para mais, quando agente começou a ideia era não há assim muito tempo para estar a fazer experiências em sistemas informáticos, portanto era implementar mesmo em papel. A FCT conseguiu, que como eles têm um sistema de clip conseguiram introduzir o questionário, sofrendo apenas algumas alterações ao questionário que eles já aplicavam e portanto foi suave, foi relativamente suave. A FCSH por exemplo tem uma dimensão semelhante foi tudo em papel. Isto gerou aqui algum ... algumas dificuldades porquê? Porque envolvia o tratamento dos dados e o tratamento de todos os relatórios, envolveu inicialmente muito, muito tempo de mão de obra, de análise. O que é que acabou por acontecer ... tivemos que optar quer dizer não se ia fazer isto em todas, mas precisávamos de experimentar em todas as UO. Então o que nós chamámos ao ano 3 3

Faculdade de Ciências e Tecnologia

4 4

Faculdade de Ciências Sociais e Humanas

experimental, que aparece em alguns documentos, o que se fez foi, chegou-se a um acordo e o que ficou determinado foi que nesse ano experimental, todas as ... UO iriam implementar o sistema (tosse) ... perdão, iriam implementar o sistema em pelo menos um ciclo de estudo, ou seja, o que se procurava era que eles escolhessem e que fizessem a análise e a implementação de todos os instrumentos para que pudéssemos testar em pelo menos um ciclo de estudo ou neste caso eles iriam dizer qual era o ciclo de estudos que iriam optar. E foi isso que ficou combinado tanto que na FCSH na altura tivemos 2 ciclos de estudo que entraram para esse ano experimental para se puder fazer essa recolha de dados. Findo desse ano experimental, fez-se a análise de como é que as coisas tinham corrido, o que é que aquilo acarretava, que informação é que conseguíamos recolher, se valia a pena irmos naquele caminho, se tínhamos que simplificar algo no sistema e foi exatamente isso que se fez. O que é que se chegou ao final do ano, chegou-se à conclusão que ... se nós fossemos exigir digamos assim, ou se fosse obrigatório a recolha de informação de todos os docentes, e todos os docentes tivessem de fazer uma reunião para, para no fundo por a sua opinião relativamente à unidade curricular, o sistema não conseguia. Era muita, eram muitas reuniões era muitas... ou seja, teria de se facilitar de algum modo e primeiro a simplificação "digamos assim" que surgiu ... foi exatamente em relação ao relatório dos docentes em que devido à dimensão de algumas UO, ou optarem por fazer apenas o relatório de docentes, fazer uma reunião de docentes porque muitas vezes ... quando se justifica, quando é uma cadeira que é dada por muitos docentes, faz mais sentido que seja uma reunião e não um relatório de cada um dos docentes, até porque depois a análise em si também é muito mais complicada. Portanto essa foi talvez a primeira simplificação, foi deixar facultativo àquelas UO que assim o entendessem ou davam o relatório de docente ou então uma reunião. Eu não sei o que é que já viram dos relatórios, que questões é que têm, isto foi vá lá o início do sistema e chegámos até ao ano experimental pronto. Basicamente foi um dois anos em que estivemos nisto. O ano experimental foi, se não estou em erro, 2011/ 2012 foi o ano experimental. Entrevistadora - Outras das questões que tínhamos foi quais foram as principais preocupações, aquando da criação do Sistema? Entrevistada - Foi exatamente criar um sistema que fosse comum a todas as UO, e tentar como eu já tinha referido, tentar que todas tivessem ao mesmo pé de igualdade, exatamente porque na altura em que nós começamos a implementar um sistema da Qualidade, já tínhamos consciência que havia já vários sistemas, ou subsistemas a funcionarem em algumas UO. Até aí não tinha havido a preocupação de criar um sistema da UNL, e portanto, inicialmente foi exatamente chegar a um sistema comum ... definir as bases comuns para todos e trazer todos ao mesmo nível. Entrevistadora - Apoiaram-se em sistemas de garantia da Qualidade já existentes para o

processo de criação da NOVA? Por exemplo, a nível nacional, a nível internacional. Entrevistada - A nível nacional havia pouca coisa ... a nível nacional na altura quando nós começámos também a discutir estas questões, havia no Minho ... que chegámos a fazer visitas ao Minho, à Universidade do Minho para ver como é que estavam. Tínhamos conhecimento que havia no Instituto Superior Técnico também, eles tinham lá um sistema que fazem lá uns controlos completamente informatizados ... e havia também na Universidade do Porto e Coimbra. Mas onde nós fomos ver foi ao Técnico, fomos ver a Coimbra, isto ao nível de Universidades nacionais. Quer um quer outro eram um pouco diferentes daquilo que nós procurávamos, em termos de questões todos se baseiam em questionários aos estudantes, as questões que fazem podem ser um bocadinho mais se calhar mais pormenorizadas do que nós ... mas era tudo à base da informática. Coisa que nós não podíamos recorrer porque tínhamos as 9 UO em diferentes pés de igualdade, portanto não tínhamos sequer, não temos ainda hoje um sistema informático comum, portanto que nos permitisse não é fazer essa distribuição ao contrário do Técnico, ao contrário do Minho, o Minho para todos os efeitos também tem várias UO mas aquilo é tudo muito central, ou seja, é tudo definido centralmente e depois espalham. Portanto não têm sequer este problema que nós temos da autonomia das UO e isso a nós era a grande diferença entre eles e nós, era essa porque nós tínhamos que arranjar aqui um consenso. Ao passo que lá eles não estavam muito preocupados com isso não é. Eles definiam as coisas centralmente e o que eles definissem espalhavam e depois era fazer. E no fundo era tudo muito à base de sistemas informáticos. O Minho já começou e já está acreditada. A Universidade do Minho ... já está à mais de 10 anos a trabalhar com um sistema e curiosamente agente ao comparar agora os resultados que nós vamos tendo, e os resultados que eles vão tendo, eles ainda hoje estão ... experimentar alguns dos dramas que nós experienciamos ainda agora. Portanto quase que diria sim eles começaram mais cedo, têm mais experiência talvez nessa implementação mas passamos todos muito pela mesma, pelas mesmas dificuldades. A nível de Universidades estrangeiras foi talvez a Universidade de Dublin porque, por causa exatamente da proximidade e da visita da Professora X, em que se foi lá fora e se procurou ver o que é que havia. E basicamente em termos de Instituições foram essas. Embora tudo, foi tudo muito, deu para ter umas ideias. A Universidade de Dublin deu para orientar a criação de alguns dos instrumentos ... as Universidades nacionais deu também para se fazer umas adaptações mas há uma grande diferença, por exemplo entre a nossa e Minho e Técnico é que nós fazemos uma distinção muito grande entre o que é o Sistema da Qualidade do Ensino e a Avaliação de docentes ... e normalmente ... se virem as 9 questões que nós escolhemos para o sistema da Qualidade, não fala de docência, ou seja, nós fazemos uma diferença muito grande entre a avaliação de docentes e a avaliação da unidade curricular de ensino. Portanto ... as 9 questões que nós temos são só relacionadas com a unidade curricular. A avaliação da docência, nós achámos que não era o sítio certo para fazer, não era o

sistema de Qualidade que deveria ter uma palavra sobre isso e se neste momento alguns dos questionários de avaliação aos estudantes aparecem questões relacionadas com a docência, são da responsabilidade da UO e não do sistema da qualidade, portanto é normal quando se vê um relatório por exemplo para ... se virem relatórios da NOVA SBE 5 eles fazem questões quer da unidade curricular, quer da docência. No entanto não nos chega cá ao Sistema da Qualidade nada relativamente à docência. Só apenas ao sistema da garantia da Qualidade e em relação unidade curricular. Portanto isso era uma das questões. Ao passo que no Técnico e no Minho eles fazem, fazem tratamento de ... da avaliação da docência, da qualidade da docência, avaliação de professores, desempenho essas. Entrevistadora - Quando nos refere que se apoiaram na Universidade de Dublin pode-nos especificar mesmo exemplos, por exemplo valores dos instrumentos no que se apoiaram, pode especificar-nos para tentarmos perceber que influências é que teve mesmo. Entrevistada - Isto é assim, eu acompanhei um bocadinho em segundo plano não é, porque eu fiquei mais responsável pela coordenação e pelos trabalhos aqui do gabinete ... na altura as ideias que se tirou em termos de relatórios era perceber um bocadinho também dos mecanismos que eles usaram e isso talvez a professora X até possa explorar um bocadinho mais, as ideias com que eles ficaram não é, o que lhes foi apresentado porque no que me é presente hoje ... eu acho que o que ficou foi exatamente as ligações, como é que eles conseguiram, ou como é que eles lidavam ... com, em relação aos relatórios, ou seja, como é que eles criavam as equipas de análise, como é que eles criavam todo ciclo de análise dos instrumentos e que instrumentos é que eles se baseavam. Porque podemos achar que se calhar hoje em dia quando a gente olha e diz é lógico, se a gente tem os questionários todos, havemos também de ter dos docentes, dos responsáveis do ciclo de estudo e por aí fora... mas esta cadeia começou um bocadinho também pelas discussões que se teve. E hoje em dia também está um bocadinho diferente, hoje não é tão assim. Foi-se adaptando. Entrevistadora - E quais são os propósitos do Sistema de Garantia de Qualidade? Entrevistada - Nós procurávamos realmente era ... fazer uma ... escolher uns indicadores ... que nós achássemos que seriam os mais adequados para realmente medirmos a Qualidade do Ensino na NOVA . E que esse indicadores também permitissem não é, não só avaliar a Qualidade de Ensino na NOVA como também para nos compararmos em termos internacionais e nacionais. Portanto o propósito era desenvolver estes instrumentos e estes indicadores que achássemos que fossem os mais adequados não é, e quando começarmos a medir, ou seja, deixar de nós estamos nos Rankings, hoje em Rankings é uma das medições que se usa muito, mais comuns e que toda a gente usa, mas 5 5

NOVA School of Business and Economics

são questionáveis quer dizer, será que isso vale? É assim que .. não é aquele que, talvez o Ranking não seja a melhor forma de avaliar a Qualidade do Ensino. Uma pessoa olha para os Ranking e vê e os alunos olham para os Rankings e veem a nível internacional, escolhem muito por Rankings mas será que essa é a melhor definição para a Qualidade do Ensino? E isso fica a questão, talvez não, será que os indicadores que nós escolhemos são os mais adequados? Isso aí é o que agente quer saber (risos). Entrevistadora - Portanto podemos dizer que os propósitos é quase que validar... Entrevistada - nós o que pretendemos é ... ao medir a Qualidade do Ensino, isto servirá um bocadinho também não só para melhorar continuamente não é, porque uma pessoa pode dizer que o nosso ensino é bom mas se nós não soubermos exatamente o quão bom é ou o que é que necessita é difícil tomar medidas ... depois é procuram responder também às ... no fundo às tendências que hoje em dia se ... começam a surgir, portanto a Qualidade do Ensino, algo que não se falava há muitos anos atrás, agora cada vez começa ainda não é uma exigência mas quase não é. Com o papel também da A3ES6 que na altura que nós começámos ... a ideia era diferente ... tem algumas coisas curiosas por exemplo nas nossas bases gerais, como foram feitas há 4 anos, na altura a gente ainda não sabia muito bem como é que ia correr a avaliação dos ciclos de estudos por parte da agência, nem a agência sabia, portanto nós ainda estávamos numa altura assim muito ... com muitas questões e incluímos, uma das coisas que nós incluímos nas nossas bases gerais era a elaboração de um calendário de avaliação de ciclos de estudos, porque ainda havia a questão de não sabíamos se íamos de ser nós que íamos fazer as avaliações e criar grupos de trabalho para fazer as avaliações dos ciclos de estudo, se ia ser um grupo da agência, como é que isso iria funcionar, se éramos nós que elaborávamos os nossos calendários e tínhamos uma ideia que elas iriam ser mais ou menos avaliadas de 5 em 5 anos, ou seja, estava tudo ainda muito ... numa grande incógnita nesse sentido ... o que depois se veio a provar é que afinal não tínhamos nada que fazer calendários, eles são feitos pela agência. A agência informa-nos quando é que nós vamos fazer a avaliação dos ciclos de estudos e é assim que funciona, portanto ... isso tem sido à medida que a gente agora vai, vai evoluindo, vai sendo diferente. E na altura também se tinha falado de posteriormente, depois haver já essas questões das avaliações dos ciclos, uma das coisas que se falava era que as instituições de ensino superior que já tivessem Sistemas de Avaliação de Qualidade implementados, as avaliações dos ciclos de estudos eram mais leves. Exatamente porque conhecem a avaliação da A3ES não é, eles fazem uns questionários digamos assim, exaustivos e o que se dizia era que aquelas Instituições que já tivessem Sistemas da Qualidade a funcionar, que era mais leve, ou seja, havia uma série de questões que já estavam pré-respondidas, pré-preenchidas e que isso iria ajudar. Não é bem assim 6 6

Agência de Avaliação e Acreditação do Ensino Superior

mas (risos) mas pronto, isto seria também um outro aliciante para se ter um sistema da Qualidade. Entrevistadora - Quais os valores que influenciam o Sistema? Entrevistada - Em que aspeto? Valores em que aspeto? Entrevistadora - Que valores é que vocês seguem? Entrevistada - Basicamente é assim, para já tentar que o Sistema seja o mais justo possível ... o Sistema procura ... ser ... o mais preciso não é. Isto é o que eu acho que é um bocado a base de todos. O que nós procuramos é que seja fiável, que nos dê valores credíveis, que nos permita realmente tomar medidas justas ... mas à parte disso, os valores também do sistema bebem muito na missão da Universidade e vão de encontro à missão da Universidade, portanto enquadram-se também. Entrevistadora: Qual é a definição de qualidade que vocês seguem ou que vocês procuram seguir? Entrevistada: Neste momento, e isto é, eu tenho estado a falar da história e como é que nós chegamos até aqui. Neste momento, e isto talvez depois a Doutora X, que é quem está a acompanhar neste momento, porque... eu comecei com o Gabinete da Qualidade e neste momento estou mais dedicada à Escola Doutoral. O Sistema, recentemente, e isto só também... eu penso que a Professora X já vos terá dado mais ou menos uma apresentação do Sistema e das alterações todas, ou ainda não? Entrevistadora: Mais ou menos... Entrevistada: Tem vindo a passar, ou seja, no espaço destes quatro anos, digamos assim, já várias pessoas passaram pelo pelouro, digamos assim, da Qualidade. Portanto, isto começou com a Professora Patrícia X e com o Professor X mas entretanto depois o Professor X saiu e foi a Professora, na altura Vice-Reitora, a Professora X que ficou como o pelouro da Qualidade. E isto nós estamos a falar de Qualidade, é só Qualidade de 1.º e 2.º Ciclo. Portanto, 3.º Ciclo é uma coisa à parte. Este Sistema está só virado para 1.º e 2.º Ciclo. Tanto que a Qualidade, até em termos de equipa reitoral está dividida, ou seja, tudo o que é Qualidade de 1.º e 2.º Ciclo neste momento está com uma Pró-Reitora, que é a Professora X, e o que é Qualidade de 3.º Ciclo está com o Professor João Paulo Crespo. Portanto, há uma diferença nesse aspeto, e a Qualidade do 3.º Ciclo segue um caminho à parte, deste Sistema. Voltando então um bocadinho à história, o Sistema começou com a Professora X e com o Professor X, o Professor X entretanto saiu, foi ele que desenvolveu todas estas bases, os instrumentos, juntamente com a Professora, e depois passámos para a fase da Professora X, que na altura era Vice-Reitora, e portanto passou-se para a fase, a Professora X apanhou já o pós fase experimental, ou seja, foi ela que lhe coube a implementação de todas as

alterações que tinham vindo do ano experimental. Portanto houve alterações, não é? Houve simplificações, por exigências, entre aspas, das Unidades Orgânicas... houve uma série de outras modificações no Sistema... depois entretanto foi implementado, com as alterações que foram feitas, quase que se partiu, outra vez, para um ano experimental, não é? Porque foram muitas as coisas que foram mudadas. Portanto, quase que se diria que tivemos um novo ano experimental logo a seguir. A Professora X saiu (risos) e agora entrou a Professora X, portanto a Professora Xentra, entre aspas, após o ano experimental da Professora... Entrevistadora: Do ano experimental... Entrevistada: Do ano experimental, pronto. Então fomos fazendo estas fases, ou seja, agora é que nós já estamos a começar a usar e a ter o Sistema, digamos assim, esperamos, não é? Por dois anos consecutivos, mais ou menos. Ou seja, saímos da fase experimental (risos). Portanto, até aqui nós temos estado de fase experimental em fase experimental e agora já começa a ser, pronto, mais... esperemos, não é? Mais normal. E foi aí, ao entrar a Professora X, entrou também a Doutora X e elas é que ficaram agora com o Sistema, digamos assim, com todo este tratamento. E eu fiquei mais dedicada à Escola Doutoral. Portanto, eu agora com estas novas alterações, os questionários, como é que está a funcionar, com quem são os elos de ligação, tudo isso é a fase em que vão, se calhar, falar depois com a Doutora Isabel e aí ela poderá dar mais informação, até do que eu. Entrevistadora: Portanto esta questão da qualidade, da definição, acho que ela poderá... Entrevistada: Como é que estávamos a falar de? Entrevistadora: Estávamos na definição de qualidade que o Sistema segue, que o Sistema adota. Acha que ela nos consegue... Entrevistada: É assim, o Sistema, a definição de Qualidade... eu diria que... porque isto é tudo muito subjetivo e difícil, não é? Mas nós o que procurámos foi, ao definir aquele conjunto de indicadores, para nós aquilo era a nossa definição de Qualidade. Portanto, o que nós procurávamos era que aqueles indicadores, definindo os limites de cada um deles, se tudo estivesse de acordo com aquilo que nós achávamos que seria o aceitável, era a nossa definição de Qualidade. Se todos os valores que nós recebemos, se tivessem, vamos supor que eu agora, isto é decore, vamos supor que um dos indicadores é a taxa de resposta. Se a taxa de resposta se baseia em 30%, não é? Se nós tivermos a 30 ou mais é aceitável. Isto só por si não é nada, não é. Não quer dizer que quem tenha, que universidades com taxas de resposta elevadas tenham Qualidade. Isto é, juntamente com os outros, temos ali um conjunto de valores que foram definidos na altura como sendo os nossos guias para se todos eles tiverem valores aceitáveis então nesse caso temos ali... um valor... um valor aceitável de Qualidade. Hoje em dia, nós para além desses indicadores, que não têm sido, julgo que até estão

trabalhados, hoje em dia a avaliação talvez da Qualidade se prenda mais com as respostas aos questionários e a classificação das respostas ao questionário. Portanto, o que está a ser feito de algum modo, e que depois isso poderão aprofundar com a Doutora X é das nove questões, não é? Foi definido qual é o limite ou o que é aceitável, o que é razoável e o que é que é, o que já começa a ser um valor preocupante. Portanto julgo que as respostas neste momento vão de um a seis, o três é considerado ponto neutro digamos, e mais que isso ou menos que isso é que... acima... eu julgo que o seis é o Muito Satisfatório, portanto seria o Bom, tudo o que seja acima é considerado Unidades Curriculares ou respostas positivas... abaixo disto ficam classificadas, ficam sinalizadas essas Unidades Curriculares. Portanto, neste momento a análise que está a ser feita até é muito focada no questionário. O questionário diz-nos quantas Unidades Curriculares é que responderam, de uma determinada Unidade Orgânica, e de todas essas Unidades Curriculares quantas é que tiveram respostas abaixo de três, por exemplo. E isto vai, é isso que no fundo está a levantar um bocadinho de... alertas. A Qualidade, neste momento, está muito assim. Lógico que isto é a nível das Unidades Curriculares. Depois é feita a avaliação em termos gerais, depois isso agora já não acompanho tanto como é que é feito depois a compilação de todos estes valores e como é que se encontra um valor que represente a Universidade Nova. Entrevistadora:Queríamos também tentar perceber que órgãos é que compõem este Sistema. Entrevistada:Começou-se por criar, e hoje em dia mantem-se mais ou menos estável. Temos o Gabinete da Qualidade que é no fundo coordenado pelo pelouro da Qualidade na equipa reitoral, neste caso é uma Pró-Reitora que tem o pelouro da Qualidade do 1.º e 2.º Ciclo. Depois, daqui para a frente temos em cada uma, e isto é a nível central, órgãos centrais nós temos o Gabinete da Qualidade e a Pró-Reitora responsável pelo pelouro da Qualidade. Depois cria-se, em cada uma das Unidades Orgânicas, temos a figura responsável do sistema da Qualidade Orgânica, que seria no fundo o elo de ligação entre o Gabinete e as Unidades Orgânicas. Dentro depois de cada uma das Unidades Orgânicas, e isto eu vou-lhes falar do que foi estabelecido no início, porque isto depois funcionou mais ou menos. Funcionou, isto é, como se deixou um bocadinho ao critério de cada uma das Unidades Orgânicas, algumas delas continuaram e adotaram estas sugestões se órgãos, outras abandonaram um bocado, ou simplificaram-no, talvez. Portanto, o que se fez foi a figura do representante que depois iria dar origem, na própria Unidade Orgânica, e isso a gente até pode ver aqui nas bases, porque isto foi no fundo como foi criado. A nível das Unidades Orgânicas temos a Comissão do Sistema de Qualidade (Consulta alguns documentos). Isto foi outra das coisas, os primeiros documentos foram sempre criados em Inglês, só depois é que foram feitas as traduções porque... isto também demonstra um bocadinho a preocupação com a internacionalização do Sistema. Aliás, era um dos grandes objetivos, é no fundo conseguir criar indicadores e sistemas que

nos permitissem dar informação a nível mais para o exterior, do que até a nível nacional. Foi assim tanto que tudo funcionou a nível até de gestão central, é tudo em Inglês, ainda hoje. Chegaram a consultar? (Consulta alguns documentos). Entrevistadora: Sim, sim... Entrevistada: Queria ver se tinha... porque nós fizemos os termos todos... mas a nível de Unidades Orgânicas nós temos os responsáveis e a Comissão do Sistema da Qualidade de Ensino. A nível central temos o Gabinete da Qualidade e depois temos o Conselho da Qualidade do Ensino. Inicialmente não havia ligação entre o Conselho da Qualidade, que era aqui a nível central, tinham representantes, que na altura eram nomeados pelo Colégio de Diretores, portanto não era uma representação de todas as Unidades Orgânicas. Eles não procuravam representar a Unidade Orgânica. Tínhamos cinco docentes, portanto não eram representativos. No fundo procurávamos era que eles representassem a classe de docentes. Neste momento foi alterada e o Conselho da Qualidade do Ensino é constituído por todos os representantes do Sistema da Qualidade do Ensino, ou seja, para além de serem representantes da Qualidade do Ensino das Unidades Orgânicas, são também membros do Conselho de Qualidade. Isto aqui a nível central. Não acontece depois nas próprias Unidades Orgânicas, a Comissão da Qualidade é que já não é, já tem outros membros extremos ao sistema. Entrevistadora: E qual é a sua hierarquia? É vertical, horizontal? Como é que poderíamos caracterizar? Entrevistada: o Conselho da Qualidade é um órgão de gestão, está a cima... está a cima... a gente poderia dizer que sim porque há aqui uma grande questão que é o que se procura é que são órgãos de gestão, aliás há uma grande questão aqui que é... eu não sei se a gente... o órgão onde... a Comissão da Qualidade que fica a nível dos órgãos locais, não é? Não se sobrepõe ao Conselho da Qualidade mas o Conselho da Qualidade também não se sobrepõe às Comissões... e neste momento então está muito diferente... eu estava aqui (risos)... Entrevistadora: Mas então podemos dizer que é mais horizontal? Nenhum órgão se sobrepõe? Entrevistada: Eles têm de alguma maneira têm de... isto alterou um bocadinho porque inicialmente como havia estas diferenças, não é? Entre quem fazia parte do Conselho da Qualidade e quem fazia parte do Grupo de Representantes, neste momento mudou... no início, como havia esta preocupação de definir o Sistema, o processo... ou seja a função que inicialmente se atribuiu ao Conselho da Qualidade é diferente da que neste momento se está a passar. Neste momento o Conselho da Qualidade procura acompanhar o Sistema e na altura era mais definir as regras do Sistema. Na questão se é horizontal ou vertical… eu acho que é vertical, terá de ser, terá de ser.

Entrevistadora: Em relação às funções de cada órgão… queríamos tentar perceber um bocadinho o que é que exatamente cada órgão faz, a nível da recolha dos dados, tratamento dos dados… Entrevistada: A nível de… basicamente estes dois órgãos que temos, a Comissão da Qualidade do Ensino, a nível… Comissões é a nível das Unidades Orgânicas, Conselho da Qualidade do Ensino é a nível central, a nível de Reitoria… cada um deles, o que foi sugerido foi que o Presidente de cada um destes órgãos fosse uma entidade externa, portanto que tivesse algum afastamento do sistema. O membro, e que tem sido o Presidente do Conselho da Qualidade, a nível central, que nos tem acompanhado desde o início, é o Professor X, é docente do Imperial College, foi convidado porque fez, durante muitos anos também parte do Conselho Geral da Universidade Nova e foi convidado como membro externo ao Conselho, o que foi uma grande ajuda porque é preciso algum afastamento às vezes para se puder olhar e talvez criticar também algumas coisas e há talvez mais imparcialidade, que era o que é preciso, fundamentalmente. Quando se está a fazer uma análise e há imensas resistências, não é? É preciso um parecer um bocadinho imparcial e afastado para ajudar. E a nível local, sugeriu-se a mesma coisa. Uma das Unidades Orgânicas conseguiu logo no ano experimental implementar o sistema de uma ponta a outra e terminar com o relatório, foi o IHMT, o Instituto de Higiene e Medicina Tropical. E eles convidaram também um membro externo, que na altura solucionou um série de questões porque eles, ao levantarem, ou ao começarem a fazer as análises todas tiverem uma série de questões e claro que entram ali em alguns… levantam-se algumas questões, até relativamente a docentes… e que o facto de esse Presidente ser uma pessoa externa ajudou nessas resoluções. Penso que estamos a fugir agora um bocadinho à questão não é? A questão era… Entrevistadora: Mas é sempre informação que fica. Mas a questão era as funções. Entrevistada:(risos) As funções! Inicialmente o que foi feito em termos de… na criação, não é? Porque, por exemplo, neste momento o Conselho da Qualidade reúne mais menos uma vez por ano. Penso que vai ficar uma ou duas vezes por ano, mas eu julgo que até ficou uma vez por ano e a ideia seria fazer… porque é o Conselho da Qualidade que valida o relatório. Portanto, o relatório é elaborado e o Conselho depois… Entrevistadora: O relatório… Entrevistada: o relatório da Universidade. Entrevistadora: Ah ok! Entrevistada: O relatório da Universidade. O Conselho da Qualidade lida com a questão geral. As Comissões lidam com as questões locais. Portanto cada uma das Unidades Orgânicas deveriam

elaborar um relatório que deveria ser aprovado pela Comissão, portanto neste momento seria assim. O relatório de cada Unidade Orgânica é elaborado, é levado a Comissão e a Comissão aprova o relatório, para seguir depois aqui para, digamos assim, para o Gabinete da Qualidade. Depois será elaborado um relatório comum, um relatório da Universidade Nova de Lisboa que esse sim então vai a aprovação pelo Conselho da Qualidade. Portanto as Comissões e o Conselho, neste momento validam os resultados do Sistema, validam e acompanham. O Conselho da Qualidade, vamos supor que há questões que são levantadas da análise dos resultados e tudo, ele não pode impor mas pode acompanhar e questionar. Ou seja, se há uma questão que este ano vai ser levantada, para o ano o Conselho da Qualidade tem legitimidade para perguntar em que ponto é que está, o que é que foi feito e acompanhar desse modo. Portanto serão mais a esse nível, neste momento que estarão a funcionar, mas isso até… quais são as funções de cada um destes órgãos, como isso é uma questão já mais referente ao Sistema atual, talvez com a Doutora Isabel… Entrevistadora: Tínhamos aqui uma questão referente ao que avalia mas portanto já conseguimos perceber que avalia os Ciclos de Estudo, não é? As Unidade Orgânicas… Entrevistada: Avalia as Unidades Curriculares, Ciclos de Estudo e Unidades Orgânicas. Entrevistadora: E depois acabamos por ter uma avaliação da própria Universidade Nova de Lisboa. Entrevistada: Exato. Entrevistadora: E o próprio Sistema? Avaliam o próprio Sistema? (CONTINUAR) Entrevistada: Avaliam. Avaliam no sentido em que o que se procura são sistemas de melhoria contínua, é o termo que se usa. O que se procura também, e isso é um bocadinho fruto destas alterações, eu acho que esta melhoria contínua que nós fazemos, o que se procurou fazer foi exatamente ir medindo o que é que nos estávamos a recolher, se valia a pena, se não valia a pena e ir alterando o Sistema, corrigindo ou alterando, de maneira que a informação que nós recolhemos seja aquela que nós pretendemos. Portanto quando nós dizemos que avalia as Unidades Curriculares, avalia mas quando a gente chega ao fim fazemos um balanço de todo não é? Se o próprio Sistema em si, os instrumentos, e do Sistema fazem parte os instrumentos, os órgãos que se criou, as pessoas envolvidas, as responsabilidades atribuídas. Tudo isto faz parte do Sistema não é? O Sistema não é um questionário. O Sistema é um conjunto de… de coisas que o compõem e isso continuamente é feito, é questionado, são feitas alterações e tem disso isso que nós temos estado a fazer. Entrevistadora: Portanto a avaliação do Sistema é vocês perceberem o que está a ser feito bem, de mal, ir reformulado… Entrevistada: É, é.

Entrevistadora: Ou seja, os alunos, os professores, têm um parecer sobre o Sistema, avaliam o Sistema também? Dizem alguma coisa sobre o Sistema? Ou as pessoas que o compõem e que trabalham diretamente nele é que o vão avaliando? Entrevistada: Não! Tem de ser… no fundo é as pessoas que trabalham com ele a nível de responsáveis não é? Que no fundo recolhem todas essas informações e que recolhem… eles no fundo vão recolhendo pareceres e opiniões de toda a gente envolvida. Portanto o que se procura é começar a recolher desde os estudantes, aos docentes, aos responsáveis, aos diretores fazer esse género de recolha. Procura-se é que o Sistema seja no fundo uma ferramenta, uma forma de a opinião de cada um chegar a algum sítio, não é? Porque até agora nós não tínhamos para além de, podíamos ter como em todo o lado o que agora há, os questionários de satisfação. No fundo era criar um Sistema que permitisse que essas opiniões e que essas recolham cheguem ao sítio certo. Entrevistadora: Mas como é que vocês fazem esse levantamento? Entrevistada: Através dos instrumentos, através de toda esta cadeia que se criou. Através dos questionários que para além das questões, tem questões abertas. Portanto pretende-se recolher, os próprios docentes também se tiverem questões a apontar têm também mecanismos que nos possam fazer chegar, ou seja, se toda a gente for usando e preenchendo, nós certificamo-nos que chegam aos responsáveis a nível de Unidade Orgânica, que chegam aos responsáveis e que os responsáveis depois reencaminhem para o Sistema da Qualidade. Entrevistadora: As pessoas que são envolvidas no processo de avaliação, quer das Unidades Orgânicas, dos Ciclos de Estudo, do próprio Sistema são os alunos, não é? Entrevistada: Sim. Entrevistadora: Os professores? Entrevistada: Sim. Entrevistadora: E mais? Entrevistada: Neste momento não estamos no pessoal não docente. Portanto é só pessoal docente e estudantes. Entrevistadora: Nem as entidades empregadoras? Tentar perceber qual é… Entrevistada: Não, não. Entrevistadora: Portanto neste momento estamos só a falar de alunos e professores? Entrevistada: Sim. Entrevistadora: Sobre os instrumentos que utilizam também já conversámos um bocadinho

sobre isso, portanto os questionários, os relatórios… Entrevistada: Nós criámos, mas isto é assim, nós falámos de como se criou, ou seja, inicialmente criou-se um Sistema, definiu-se os órgãos, os tais órgãos centrais e locais, como nós falamos nas bases… Entrevistadora: estamos então a falar de como foram concebidos esses instrumentos… Entrevistada: Isto foi o início. Foram cinco instrumentos, foram aqueles órgãos locais e centrais… isto foi antes do ano experimental. Depois isto levou a uma alteração. Neste momento, em termos de instrumentos e tudo, eles estão lá, não foram postos de parte, ou seja, não foram substituídos nem nada. Dá-me a ideia, neste momento, é que em termos de Unidades Orgânicas, e isto depois podem confirmar com a Doutora Isabel, o que está a ser utilizado, basicamente, são os questionários e os relatórios das Unidades Orgânicas. No meio, fica assim uma zona um bocadinho mais cinzenta… não seise todos estão ou não estão, ou se uns sentem necessidade de utilizar mais, mas foi-lhes dada flexibilidade. E quando se diz que lhe foi dada flexibilidade é “se quiserem usem, se não quiserem não usem”. Entrevistadora: Mas os relatórios das Unidades Orgânicas são realizados pela Comissão? Entrevistada: Não. São realizados pelo representante. A Comissão aprova-o, só. Entrevistadora: Aprova, ok. Entrevistada: Eles já chegam… o relatório já vai pronto para a Comissão. Entrevistadora: Mas os relatórios dos docentes também são… Entrevistada: Têm de ser incorporados. O que chega à Comissão já tem de ter uma compilação, ou já deveria ser uma compilação de tudo. Se eles, para, de um passo para o outro o que se disse foi “sim senhora, nós vamos, não prescindimos dos questionários e das nove questões, essas têm de ser apicadas. Agora a maneira como vocês vão recolhendo todas estas informações, dos docentes, dos responsáveis, disso tudo, até elaborarem o relatório final da Unidade Curricular, vocês é que definem o que é que vão aplicar. Têm estes instrumentos disponíveis, caso queiram usar“. E uns dizem “sim senhor, a gente usa”, e outros dizem “a gente não usa”. A única coisa que a gente pede é que para passarem de um para outro, se for necessário provar, ou se fundamentarem em que é que eles se basearam, que haja documentos, que haja provas. Isto está assim um bocadinho… pronto. Entrevistadora: Mas no fundo, no fim, o que é necessário é apresentar um relatório da Unidade Orgânica? Entrevistada: Sim. Entrevistadora: Agora como chegam até esse relatório

Entrevistada: Foi-lhes dada… Entrevistadora: Há uma flexibilidade… Entrevistada: Foi-lhes dada… neste momento está à responsabilidade da Unidade Orgânica e não do Sistema, digamos assim, da Qualidade. Entrevistadora: Depois esses relatórios de cada Unidade Orgânica chegam aqui ao Sistema e é aqui construído um relatório de toda… Entrevistada: Sim. Ou seja, nós aqui temos nove relatórios. Desses nove relatórios é feita, fica um. Que é o único relatório depois que vai ao Conselho da Qualidade. Às Comissões vãos os relatórios das Unidades Orgânicas. Ao Conselho da Qualidade vai o relatório da Universidade Nova. Entrevistadora:Queríamos também tentar perceber um bocadinho como é que é feito o tratamento dos dados. Quem é que o faz, como é que o faz, como é que é feito, quer em cada Unidade Orgânicas, para depois chegarmos a esse relatório, quer depois aqui… Entrevistada: A nível das Unidades Orgânicas existem, dependendo da dimensão, às vezes há um gabinete a trabalhar, às vezes há uma pessoa a trabalhar. Mas é um bocadinho… podemos de algum modo… no modelo que é feito aqui a nível central, nós quando falamos a nível central da reitoria, nós temos o Gabinete da Qualidade, temos a Pró-Reitora responsável no fundo, que é responsável pelo pelouro da Qualidade e depois temos o Conselho da Qualidade. A nível local, a nível das Unidades Orgânicas podemos no ter uma estrutura semelhante. Em vez de terem um Gabinete podem ter um secretariado da Qualidade, uma pessoa que fica responsável pela recolha e acompanhamento. Em vez de terem uma Pró-Reitora têm um responsável pela Qualidade e em vez de terem um Conselho têm uma Comissão. Portanto, no fundo é a mesma estrutura. Aqui temos Gabinete, Pró-Reitora e Conselho, a nível local nós, vamos supor, secretariado, responsável, Comissão. É uma estrutura muito semelhante, de outra dimensão, mas é. E no fundo quem está responsável pelo tratamento de dados há de ser esse secretariado, que há de fazer esse tratamento, supervisionado pelo responsável e depois os tratamentos que são dados aqui a nível de Gabinete da Qualidade. Entrevistadora: Queríamos também tentar perceber como é que garantem a fiabilidade e a validade dos instrumentos e dos dados. Ou seja, tentar perceber como é que conseguem garantir que os questionários e os instrumentos que utilizam conseguem cumprir os objetivos, como é que conseguem garantir que conseguem recolher informação que quere, através desses instrumentos, e como é que conseguem também garantir que os alunos respondem… portanto um bocadinho a coerência dos questionários. Portanto os alunos hoje respondem aos questionários e garantir que daqui a três meses aquele questionário não vai ter respostas

totalmente diferentes, portanto que não há uma discrepância assim tão grande. Que há uma coerência… não sei se me estou a fazer entender… Entrevistada:Pois. Em termos de coerência de questionário, da nossa parte é continuar a fazer as mesmas perguntas (risos). Entrevistadora: Quem diz questionários diz relatórios… Entrevistada: Sim. Da nossa parte é assim… Entrevistadora: Se calhar esta pergunta agora não se coloca muito mas na altura que os construíram… Entrevistada: A forma que nós usámos para ver se a fiabilidade era boa ou não, aliás nós temos estado a… partiu muito da análise dos resultados e das reuniões que nós tínhamos com os representantes porque não havia outra forma de nós nos… certificarmo-nos que realmente aquilo que nós estávamos a pedir e que estava a ser dado correspondiam a todos à mesma coisa. Portanto a única maneira que nós tínhamos era de estar todos juntos reunidos e discutir os dados para tentar perceber se todos eles estavam a ser no fundo… colhidos da mesma maneira. Por exemplo, vou só ilustrar com um exemplo muito simples. Quando nós tratamos de taxas, não é? Taxas de resposta. Por exemplo, uma taxa de resposta. Foi importante perceber se todos eles calculavam a taxa de resposta da mesma maneira. Porque uma das coisas que se levantou foi “então mas a taxa de resposta será o número de respostas contra o número de alunos inscritos ou será o número de respostas contra os alunos que terminam e que não abandonam a Unidade Curricular até ao fim?”. Portanto se a gente considerasse o número de inscritos se calhar a taxa de resposta baixava, não é? Se considerássemos só aqueles que chegavam até ao final e que não tinham cancelado as inscrições, era outra. Isto são questões que foram levantadas e foram sendo discutidas durante essas reuniões. A vantagem era essa e o que se procurava era exatamente discutir isso de maneira a que “então espera, precisamos de fazer aqui umas novas para estipular como é que se calculam as taxas de resposta”. Isto foram sendo, houve uma ou outra situação que foram surgidas, que surgiram destas questões que se levantaram e que obrigaram, entre aspas, a definir procedimentos, ou definições. Ou seja, quando a gente fala em taxa de resposta entende-se que é isto, isto, isto e isto. Quando se diz que uma Unidade Curricular tem de nanana é, o que se pretende dizer é isto, isto e isto, ou seja, isto foi o que a gente foi fazendo de maneira a garantir a fiabilidade dos resultados. Foi exatamente, não havia outra maneira, quer dizer a gente, chegavam aqui… a gente pedia para calcular mas depois a gente começava a ver uns com uns resultados, outros com outros, já agora vamos perguntar como é que são calculados. E nestas discussões então surgiu isso. Uns calculavam de uma maneira, outros calculavam de outra. Foi estas…

Entrevistadora: Quase por tentativa e erro… Entrevistada: Foi, foi… Entrevistadora: Perceberam que não corria bem e então “afinal o que é que não corre bem?”… Entrevistada: Sim, o ano experimental serviu muito para isso. Para fazer o levantamento, como é que todos… afinal quando a gente diz “Taxa de resposta”, o que é que cada um deles entendia por isto. Até outras coisas. Por exemplo, como é que cada uma consegue definir número de inscritos? Se calhar a gente vai ver que há definições que, há maneiras diferentes. Ah uns é com número de secretaria, outros é com não sei que, outros é com não… isto por exemplo levanta uma série de questões, não é? Entrevistadora: A nível de instrumentos falamos dos relatórios e dos questionários. Foi certo para vocês desde o início que seriam sempre relatórios e questionários? Nunca se colocou outros instrumentos? Entrevistada: Não, desde o início que se definiu a base de tudo com o questionário aos estudantes. O que estava, e depois foi muito dicutivo foi, realmente, a seguir. Como é que a gente depois fazia todos os ciclos, não é, e fechava todos aqueles ciclos a seguir. Entrevistadora: A qestão dos relatórios... Entrevistada: A questão dos relatórios que ainda hoje, ainda hoje, é a tal questão que a gente diz, neste momento definiu e acordou o princípio e o fim e o meio está muito autónomo. Entrevistadora: O meio é...sim. Entrevistada: (risos) Cada um entendeu de uma maneira. Estão lá os instrumentos, eles existem e não foram postos de parte, a questão é quem é que os usa. Entrevistadora: E como é que os usa... Entrevistada: Porque não são feitas questões nessas. A gente o que diz é “é daqui para aqui” e se um dia for preciso provar como é que eles passaram de A a C eles é que têm de fazer provas e mostrar que mecanismos é que tinham e curso porque a gente, o que se deixou em aberto foi “sim senhora não querem usar estes instrumentos ou acham que não é útil no caso. Então substituem em relatório por uma reunão então se há uma reunião deve haver uma ata. Não é? Questões destas. Portanto, é deixado ao critério da unidade orgânica estabelecer esta linha de informação. Entrevistadora: E o relatório que sai. Portanto o relatório de cada unidade orgânica, que isso é obrigatório sair de cada unidade orgânica. Há uma matriz, ou seja, cada unidade orgânica segue... Portanto, os relatórios acabam todos por seguir a mesma lógica?

Entrevistada: Há, sim, todos. Têm esse? Se calhar não têm, não é? Entrevistadora: Eu acho que não. Entrevistada: Neste momento o novo... Seria uma coisa boa para perguntarem à Dra. Isabel o que é usado hoje em dia. O questionário não sofreu alteração nas questões, sofreu alteração a nível de classificação, ou seja, dantes era qualitativo (era de satisfaz, não satisfaz...) e agora é quantitativo (de um a seis). E isso alterou. E alterou os relatório que, na altura tinham uma série de questões e que neste momento é chamado, o que se usa é o chamado relatório intermédio, porque o relatório intermédio procura fechar o primeiro semestre e o relatório da unidade orgânica procura fechar os dois (o primeiro e o segundo). Entrevistadora: Mas esse relatório intermédio é entregue aqui também? Entrevistada: Sim, também. Mas esse relatório, no fundo o que, o relatório atual, o relatório da unidade orgânica, portanto neste momento o que está em vigor é ligeiramente diferente deste que nós temos agora. E tem uma parte descritiva, com perguntas e questões, e tem uma outra parte mais analítica com o resumo dos resultados das várias unidades curriculares e quando se fala de resultados das, é resultados dos questionários às unidades curriculares feitos aos alunos. E, portanto, tem essas duas... tem estas duas vertentes. O relatório intermédio é só om bas na parte analítica dos resultados das unidades orgânicas, ou seja, é só a tabela. No fundo, é uma tabela de Excel. E é só essa tabela. O que eles fazem é, uma vez que é feito os questionários, uma vez que é feita as análises põem aquilo numa tabela e isso é o que compõe o questionário, o relatório intermédio. Ou seja, não é feita nenhuma questão... perguntas em aberto. O final é que já tem a mesma tabela mas já com os resultados do primeiro e do segundo semestre e as várias questões abertas. Entrevistadora: Do 1.º e do 2.º ciclo de estudos? Entrevistada: Sim. Isso é sempre em relação ao 1.º e ao 2.º ciclo, mas o intermédio é só primeiro semestre, final é primeiro e segundo semestre. E são diferentes. Diferentes no sentido em que um é só uma tabela de Excel e outro para além da tabela de Excel tem também a parte das perguntas abertas. E esses são iguais para todos... e tem um modelo. Entrevistadora: Em relação à divulgação dos dados queríamos perceber um bocadinho como é que os dados são divulgados, quando, quem é que tem acesso. Se são divulgados na internet... Entrevistada: Já parece, isso também é uma questão para a Dra. Isabel responder (risos). O que eu vos posso dizer é assim: como é que surgiu? Essa é uma questão que levanta muitas, muitas, muitas, muitas, muitas outras questões. Eu quando me pediram para fazer uma cópia das Bases Gerais hão de reparar que há um documento que se chama Adenda.

Entrevistadora: Sim. Entrevistada: A Adenda resultou exatamente dessa discussão porque uma das questões que se punha é quem é que deve ter acesso e com que graus é que deve ter acesso e a que é que deve ter acesso. E isto não é consensual em toda a Universidade. Portanto, há umas que acham que deve ser o mais claro possível, outras que nem tanto, outras que se deve limitar o acesso; outro que deve ser os docentes; os docentes têm acesso a um determinado campo, outros têm a acesso a outro. O responsável tem acesso a tudo. Os estudantes têm acesso não se sabe muito bem ainda a quê. Pronto, estas questões. Entrevistadora: Pois. Entrevistada: Eu não sei como é que está neste momento decidido. A questão que todos põem é que é fundamental o feedback aos estudantes. Sem feedback aos estudantes não se vai conseguir que eles, de ano para ano… Entrevistadora: Continuem Entrevistada: … a apoiar e a responder aos questionários. Ou seja, se eles não virem as, os resultados, possivelmente, as taxas de resposta vão ser cada vez menores. Entrevistadora: Sim, vão diminuir. Ok. Entrevistada: Isto levanta muitas outras questões porque, além de o que é que os docentes devem ver, levanta a questão do que é que os estudantes devem ver. E depois põe-se as questões: mas para que é que eles devem ver? Porquê? Porque os estudantes, normalmente, isto é a grande desculpa, talvez, é que mesmo que eles respondam, mesmo que se dê a resposta e se mostre os resultados é sempre em relação ao que passou. O estudante avança, não é, portanto, certamente, a não ser que chumbe, vai precisar de fazer outra vez aquela unidade curricular. Portanto, as alterações serão em prol dos outros estudantes que vão entrar e não deles que vão passar. Entrevistadora: Dos respondentes. Entrevistada: Por isso, mas isto é assim. Isso é verdade, no entanto, se não tiver uma prova de que aquilo que eles fazem e as respostas que dão aos questionários tem consequências também não tem interesse depois responder. Entrevistadora: Exato. Entrevistada: Portanto, mas, neste momento, em relação a respostas e como é que se faz a divulgação, eu dá-me ideia que até está, se calhar, não existe para além daquilo, o que está na Adenda, que é o único documento oficial e o que é que sugere e que graus de divulgação. Para além disso, esse documento a nível central, digamos assim, a nível de Sistema não está mais nada

definido. Acredito é que a nível de cada unidade orgânica cada uma se calhar comece a divulgar de maneiras diferentes. Todas elas, é lógico, que preferem que haja uma regra geral para se aplicar, não é, porque se houver umas orientações do Sistema, é sempre mais fácil do que cada uma entender divulgar ou não divulgar. Porque a questão põe-se: então e se a gente não divulgar ou se queremos divulgar aos docentes, é sempre mais fácil dizer “não, mas isto é orientação do Sistema, divulgar desta maneira, ou de outra”. Entrevistadora: Sim. Entrevistada: Porque a questão é: será que todos os docentes devem ver os resultados de todos os outros colegas? Ou só devem ver daquelas unidades curriculares que lhes dizem respeito? Entrevistadora: Hum, hum. Isto é muito… complexo. Entrevistada: Isto é muito, é muito questionável e isto não sei neste momento, até se nós a nível central sabemos como é que isso está a ser feito. Entrevistadora: Mas, por exemplo, o relatório que, da Universidade, depois que é feito no fim. Esse relatório é divulgado? Entrevistada: Ainda não sei dizer. Não sei, neste momento. Eu julgo que é feito um relatório e há no site um relatório, mas não será o relatório que nos chega a Conselho da Qualidade. Entrevistadora: Ok. Entrevistada: Ou seja, é feita, o que é divulgado publicamente, não será na totalidade, não é, será feita uma seleção do que é que… há coisas que não é para, nem tem interesse, não é? O que interessa é o que poderá interessar a um futuro candidato, por exemplo, ou algo assim. Entrevistadora: Sim. Entrevistada: Será mais… ou seja, ainda se está a discutir. Isto como temos estado de fase experimental em fase experimental eu acho que ainda se está a definir o que é que realmente interessa… Entrevistadora: Divulgar ou não. Entrevistada: Divulgar e qual a … no fundo a pertinência da informação para cada um dos seus interlocutores. Ou seja, para os docentes é uma determinada informação que lhes interessa e aquilo que eles devem ter; para o público em geral será outra ainda. Esta discussão dá-me ideia que sempre, desde que eu acompanho, tem sido feita. A única que até agora foi transferida para papel, foi a Adenda. A Adenda é que aborda um bocadinho estas questões da divulgação dos dados. Presentemente não sei ainda como é que estamos a nível de divulgação da informação, quer a nível interno, quer a nível externo.

Entrevistadora: Portanto, podemos concluir que, neste momento, esta questão da divulgação dos resultados, cada universidade está um bocadinho a fazer aquilo que lhe parece mais adequado. Entrevistada: Eles não divulgam mais do que aquilo que nós dizemos na Adenda. Entrevistadora: Ok. Entrevistada: Em princípio eles guiam-se por aí, ou seja, mais do que aquilo eles não devem fazer… Entrevistadora: …também não devem. Entrevistada: Mas seguramente devem fazer de maneiras diferentes. Agora, a nível, assim de Sistema ainda estamos por definir, acho. Entrevistadora: E qual é a utilização dada aos resultados obtidos? Fica-se com um relatório de cada unidade orgânica e depois da Universidade Nova de Lisboa e o que é que fazem com esse relatório? Entrevistada: Esse relatório procura, no funo… o acompanhamento que é feito ao Sistema, tem de ser um acompanhamento mais amiúde. Ou seja, o relatório é um relatório anual. Mas as questões para resolver com uma unidade curricular não podem ser anuais. Não é? Entrevistadora: Claro, pois. Entrevistada: Têm de ser mais rápidas. Nós não, não se procura, e isso é uma das intenções do Sistema é, não se procura que quando é verificado algo que é necessário corrigir, não é, através do Sistema que se vai estar à espera que o Sistema crie mecanismos para a resolução de problemas. Não é essa a ideia. O Sistema procura, no fundo, reportar algumas situações e como é que elas foram resolvidas, quer para a criação de boas práticas, quer para a criação ou identificação de problemas recorrentes. Agora, a melhoria contínua e esta questão de ter esta proximidade dos docentes com as unidades curriculares rem de ser feita nesta gestão do dia a dia. O relatório final vai, no fundo, procurar identificar o que se passou, não é, mas não está à espera de ser um mecanismo de resolução de problemas, porque não é. Porque no fim de um ano já é tarde. E mais para mais se a gente for, é assim: nós estamos aqui, estamos em julho, acaba o segundo semestre, o Conselho da Qualidade que se faz a coleta dos relatórios, que o Conselho da Qualidade consiga reunir-se em novembro, tomar algumas decisões em dezembro. Já começou o ano, não é, já não se implementa nada. Já se perdeu um ano letivo. Ou seja, o que acontece em 2014 vai ser implementado em 2016. Entrevistadora: Pois. Entrevistada: Quase, 2015/2016. Isso então era muito complicado. Portanto, o Sistema da Qualidade

que, e quando se diz melhoria contínua, os relatórios no fundo vão fazer uma análise do que é que foi feito. Podem-se retirar boas práticas até para identificar e para divulgar junto dos outros. Vão-se identificar problemas, os tais que não têm resolução e que muitas vezes há certas situações e é isso que, aí sim, se pode identificar no Sistema que há certas resoluções que são feitas a nível local e que é o próprio docente… começando por “os slides têm má qualidade”, é o docente que pode fazer algo sobre isso, não é; “o equipamento é fraco”, ai já vamos se calhar ao responsável; “as salas são inadequadas”, aí se calhar já vamos ao responsável do ciclo de estudos; “o currículo da disciplina está desadequado”, aí já vamos subir, não é, consoante aquele problema que é detetado. O que a gente procura é que, à medida que esses, digamos, questões, vão sendo identificadas, as pessoas que atuam vão resolvendo e, quanto muito, reportam. Dizem: aconteceu isto, fizemos isto. Isto apareceu nos questionários, os alunos queixaram-se da qualidade dos slides, o docente fez isto, isto e isto. Está resolvido. Os alunos queixaram-se não sei de quê da sala, o responsável fez isto, está resolvido. Quando soa questões já: “há falta de salas, há falta de não sei quê, que já não consegue, já não é a nível da responsabilidade nem do docente nem do responsável, às vezes já nem da unidade orgânica, outro género de questões, aí se calhar essas questões sobem. E é essa se calhar que a gente nos interessa apanhar, é o que se procura. É que se comece a apanhar essas questões mais para ciam. Essas são aquelas em que quando sai fora do nosso, da nossa esfera, não é, vão subindo. E isso quando chegam então aqui a outras, à Comissão da Qualidade, ao Conselho da Qualidade é onde se, realmente, pode, onde se pode começar a coordenar… no fundo, os trabalhos para resolução de determinados assuntos que não têm resolução a nível local. Isso são questões que podem continuar a aparecer. Todas as outras, é o que se procura, é que vão sendo resolvidas a nível local e que não é o questionário nem o Sistema que vai ser um mecanismo de resolução de problemas, porque não é. Não é um mecanismo de resolução de problemas. Esse a gente procura é identificá-las mas que os mecanismos de resolução de problemas estejam já a funcionar em cada uma das unidades orgânicas. Entrevistadora: Fazendo agora um balanço do trabalho que foi feito até hoje, quais foram os maiores desafios que foram enfrentados? Os maiores desafios que encontraram? Entrevistada:... Foi conseguir exatamente um consenso entre as nove unidades orgânicas e conseguir realmente a aceitação do sistema... que se nota, não é. Hoje em dia, a primeira fase foi uma fase muito mais trabalhosa, do que hoje em dia que já se fala do Sistema mas já está mais aceite. Ou seja, nós inicialmnete, houve uma grande resistência, não seria igual para todos, mas uma resistência forte ainda. E foi, exatamente, essa talvez, conseguir acordar entre os nove o que é que iríamos fazer. Entrevistadora: Hum, hum. Então sente que esses desafios já não persistem ou ainda...ainda sim? Mas no sentido em que há, continua a haver uma resistência por parte, dentro de

algumas unidades orgânicas em participar... neste Sistema. Entrevistada: Há sempre. hão de haver sempre. Neste momento não temos, e todos eles participam e temos resposta de todos...mas... Entrevistadora: Mas por que é uma imposição ou porque sentem que realmente todos compreenderam. Entrevistada: Isso aí já cada um.. Não, duvido. É assim, é, lá está, voltamos à questão de até toda a gente ver a utilidade do Sistema e se conseguir provar, quer por feedback aos alunos, quer por feedback aos docentes, até chegarmos a essa fase, as coisas vão sendo feitas porque estão a ser pedidas. Entrevistadora: Exato. Pois, porque até chegar a essa fase eles nunca vão compreender a utilidade... Entrevistada: Não, as pessoas só vão ver de bom grado quando virem utilidade para si... Entrevistadora: Exato. Pois. Entrevistada: Não estamos nessa fase, não é. Não estamos ainda.. Entrevistadora: Portanto continua a ser um desafio. Entrevistada: É preciso estar permanentemente a recordar que é preciso fazer e que é preciso, porque enquanto não se conseguir terminar isso com o tal feedback e utilidade... Entrevistadora: E continua a ser um desafio provar a importância … do Sistema? Entrevistada: Eu julgo que sim... embora não esteja agora diretamente ligada mas eu julgo que sim. Entrevistadora: Bem, esta pergunta é complicada, se calhar, de responder, como não está agora diretamente ligada, tínhamos uma pergunta que era: que novos desafios é que antecipam para o Sistema? Não sei se como não está... Entrevistada: Eu por mim seria a informatização a todos. Entrevistadora: Para facilitar. Entrevistada: Ou seja, seria, isso seria o ideal, é que todos conseguissem responder através de um Sistema comum. Que é o que fazem algumas das unidades orgânicas, algumas das universidades e que isso facilita imenso, não é. Entrevistadora: Pois. Entrevistada: Mas isso nem sei sequer, isso é uma coisa que está nas missões, nas, lá nas, em termos de missão, não é missão... na estratégia da Universidade. Mas isso até a gente conseguir chegar lá...

Entrevistadora: Portanto, isso é uma das questões que perspetiva para médio-longo prazo. Entrevistada: A meu ver, isso sou eu, eu, Catarina a falar. Não sei em termos de, agora de gabinete e Sistema qual é a, o foco. Não sei. Entrevistadora: Hum, hum. Que balanço é que faz da aplicação deste Sistema, da criação deste Sistema. Entrevistada: Eu faço um balanço positivo... Eu julgo que... o facto de nós termos começado a implementar um Sistema e de termos essa preocupação, qunato mais não seja transparece uma... transparece para o exterior, não é, um realmente um, uma evolução digamos assim. Eu acho que, hoje em dia, a instituição de ensino superior qe não se preocupe em implementar em Sistema fica de algum modo para trás. Porque é o que, neste momento, já nem é só o Sistema é a acreditação de todo o Sistema. É o passo seguinte, que esse aí não, para já não estamos com esse, com essa ideia. Mas o ganho é positivo quer em termos de imagem que transparecemos para fora, porque isto... pronto, isto depois são, independentemente do resultado, independentemente daquilo que nós internamente estamos a conseguir, independentemente se está ou não está... Entrevistadora: A funcionar. Entrevistada: … a funcionar e em que sentido é que está a ir e os resultados que dão. Mas só o facto de haver, implementado este mecanismo todo, estes instrumentos e de exteriormente terem essa noção, quer a nível de Agência, quer a nível de outra Universidades... isto dá-nos alguma notoriedade ou algum reconhecimento. E o facto de já estarmos a falar nisto e estarmos a discutir estas questões com outras Universidades acerca de quatro anos... também é, é muito positivo. Portanto, nesse aspeto acho que ganhámos, isto é, temos, temos realmente demonstrado, temos demonstrado que estamos, que estamos a avançar nesse campo. Entrevistadora: Para terminar gostávamos que caracterizasse o Sistema tem algumas palavras-chave, só para terminarmos. Entrevistada: … (risos) Entrevistadora: Ou em alguns conceitos, expressões-chave. Não tem de ser uma palavra. Entrevistada: Expressões-chave. Isso é forte, isso é. Entrevistadora: (risos) Ficou para o fim. Entrevistada: Ficou para o fim para se pensar mais, não é?... É assim, eu... Entrevistadora: Quase para fazer um balanço de tudo o que caracteriza, não é, o Sistema. Entrevistada: É difícil, o mais difícil é sempre sintetizar, não é.

Entrevistadora: É um bocadinho. Entrevistada: Eu posso ficar a falar duas horas, mas depois... (risos). Quando é preciso assim sintetizar nua palavra... eu julgo que é um Sistema responsável... é difícil fazer numa palavra, mas é um Sistema responsável em que procura realmente... medir e avaliar a qualidade do ensino. Entrevistadora: Essa é, essa é a principal característica que destaca do Sistema? Entrevistada: É o principal objetivo. É o principal objetivo, é que a gente realmente consiga identificar indicadores fiáveis e que nos permitam servir como...como...algo que meça com alguma exatidão o que se passa na Universidade Nova de Lisboa. Ou seja, o que eu acho que seria o ideal, não? (Entra a professora X) Professora X: Ainda? Alô! Entrevistada: Eu vou largá-las, eu vou largá-las. Entrevistadora: (risos) Professora X: Está. A entrevista com a X pode ser às três da tarde? Entrevistadora: Sim. Professora X: Ela ainda está reunida com a Profª. X e calculei que vocês ainda quisessem almoçar e ela também vai almoçar. Entrevistada: Pois, eu vou agora deixá-las também para elas... Professora X: Oki doki. Pronto. Entrevistadora: Então, às três? Professora X: Às três da tarde. Está bem? Entrevistada: Oh professora, já agora, não se deu nada dos instrumentos atuais? A professora também não, não... é que eu dei-lhes na altura os... Professora X: os velhos. Entrevistada: os antigos. Professora X: Não, se calhar fazia sentido pedir, dar-lhes o que é... Entrevistada: Mas se calhar teriam, tinham tido vantagem em ter para se prepararem para agora. Professora X: ...não. Entrevistada: Não?

Professora X: Não, agora a Isabel diz-lhes o que é que se usa acualmente. Entrevistada: Eu dei um bocadinho essa... Professora X: da evolução.

Entrevistadora: Sim. Entrevistada: Foi mais as bases e o que a gente tem e as alterações que se tiveram e os anos experimentais que nós tivemos. Professora X: Agora elas vão fazer três estudos de caso: IHMT, ISEGI e Faculdade de Ciências Médicas. Irão caracterizar o que é que é utilizado em cada um deles. A minha ideia é que, como no ISEGI, como eles são by the book, é tudo. O IHMT aproveitou algumas coisas e eu nas Ciências Médicas foi a simplificação total. Eu (impercetível) esse empobrecimento. Entrevistada: Pois. Professora X: Portanto, agora vocês vão ter que me entr, a Rita vai ter de me entrevistar enquanto chapéu de.. e eu vou dizer à Rita: usamos só os alunos mas eu agora estou a contrapropôr outras coisas para a Faculdade de Ciências Médicas. Portanto elas vão-se aperceber de que as, as unidades orgânicas estão todas no mesmo ponto. Entrevistadora: Isso já percebemos. Entrevistada: Isso foi uma das coisas, o que nós estivemos a falar foi, aliás, dos desafios, aliás do... Professora X: Eu não lhes estou a dizer tudo. Porque é muita coisa. Elas vão chegar às unidades orgânicas e dizer “mas espera lá”. Entrevistada: Eu fartei-me de falar, eu fartei-me de falar. Professora X: Por isso é que eu queria a grelha. Pois, mas eu não disse nada. Acho bem que a Catarina fale o que tem de falar. Por isso é que eu quero uma grelha de comparação, percebem? Entrevistadora: hum, hum. Professora X: Porque vocês vêm, usa este instrumento, mas aquele não usa, aquilo não faz... Entrevistada: Pois, eu acho que isso foi uma das coisas que já se chegou à conclusão, foi que o grande desafio que tivemos e que ganhámos foi que este momento temos uma coisa comum. Foi um desafio foi pôr toda a gente com uma coisa comum (risos)... e conseguir. Mas isso é um desafio constante, não é? Talvez tivéssemos mais resistência no início, agora continua, mas... Professora X: Vocês reparem, por exemplo, nas Ciências Médicas. Eu só tenho obrigatório o

questionário aos alunos. Entrevistada: E o final. Professora X: E agora tenho os professores a pedir “então mas eu não tenho sítio para escrever?”, “Então vocês quiseram simplificar”. Agora já fiz proposta no pedagógico a dizer vamos retomar a ficha do regente. E vou reintroduzir a ficha do regente. Entrevistada: Pois, foi o que, foi um bocado aquilo que... Professora X: São os avanços e recuos da vida das instituições. Entrevistada: Não, foi o que a gente chegou, que eu acho que isso agora é que a Isabel pode apresentar. Que é como é que estamos hoje, porque têm a base...o que eu falei foi.. Professora X: É a história. Entrevistada: Eu comecei com cinco instrumentos, um questionário qualitativo e não quantitativo, portanto, era o satisfaz, o não satisfaz, aquelas coisas e, portanto, tínhamos uma estrutura diferente. Passámos os anos experimentais, foi o que eu falei, tivemos anos experimentais, dois anos experimentais (risos). Portanto, desses anos experimentais chegámos a hoje em dia e eu acho que a X, se calhar é o ideal para... Professora X: então não s esqueçam da Isabel, se não se importarem. Entrevistadora: Sim. Professora X: Os instrumentos que hoje são usados. Vocês podem compará-los. Entrevistada: Pois, porque a outra questão que se falou foi a nível da divulgação de resultados, eu falei do nosso papel na altura e a definição da Adenda é a única coisa a nivel oficial que existe a Adenda. Muitos baseiam-se naquela informação. Mas hoje em dia, eu também já não sei que tipo de divulgação, eu acho que continuamos a não ter mais nada comum, mas acho que a Isabel pode dizer a nível da divulgação de resultados se ela tem conhecimento do que é que é feito. Professora X: Vocês lembram-se que eu disse que, que nós íamos fazer a comparação das três implementações a partir de categorias que fossem emergentes, claramente uma é a divulgação dos dados. Uma são os instrumentos, outra são as pessoas implicadas e outra é claramente a divulgação. Entrevistadora: ...divulgação. Entrevistada: Não, e temos um, eu acho, também falámos e há uma questão que eu acho que vai, se vai também, sobressair depois que é as resistências que há nos questionários, há unidades orgânicas que, para além do questionário da, as questões ligadas ao Sistema da Qualidade têm também avaliação da docência e a resistência é diferente. Eu acho que isso vão apanhar também, se calhar aí.

O IHMT não sei se faz avaliação da docência no questionário. O ISEGI também acho que não... Entrevistada: ...Pois. Professora X: Acho que não. Seja como for isto vai saltando. Eu não lhes estou a, estou a fazer spoon feeding... porque se elas levam com a refeição toda é, é... assustam-se. Entrevistada: Eu já dei, fartei-me de falar (risos). Professora X: Deu mais spoon, agora a Isabel vai... Entrevistada: Já dei muito spoon mesmo. Professora X: A questão aqui é dosear a informação porque , porque não podem levar com a informação toda, com o Sistema todo. Entrevistada: Neste momento como é que a Professora consideraria o Sistema: vertical ou horizontal? Tendo em conta o papel, hoje em dia, do Conselho? Eu... Professora X: … é vertical, na minha perspetiva, porque a estrutura e vertical. Não quer dizer que as pessoas que façam parte do vertical sejam muito impositivas mas, neste momento, a estrutura não os deixa sair muito. Entrevistada: Consideramos vertical? Professora X: Sim, considero, eu considero. Entrevistada: Não é que... Professora X: Eu considero em cascata, completamente. Entrevistada: Porque há estas alterações todas e o facto de agora do Conselho já ser os representantes que são membros do Conselho, houve estas alterações, todas. Professora X: Houve, houve, mas é vertical. Entrevistada: O papel continua, o papel mudou ligeiramente. O papel do Conselho mudou ligeiramente, agora através da (impercetível). Professora X: Nós éramos muito centralizadores, não é. chapéu de chuva Patrícia do lado da criação do Sistema de origem. Éramos muito centralizadores, porque tinha, estávamos a reagir a uma Universidade Nova de Lisboa muito descentralizadora. E, portanto, a única forma de termos alguma agregação de dados era ser uma coisa muito centralizadora. A política da Reitoria, do Reitor, nomeadamente, é de grande descentralização e, portanto, nós temos, tivemos aqui a caminhar em cima de gelo fino; queríamos centralizar, mas por outro lado não queríamos ir contra uma política de muita descentralização. Portanto deu-se muita voz às unidades orgânicas e depois negociou-se o

comum, basicamente. Entrevistada: Que são as tais nove questões. Professora X: O que eu posso sintetizar é assim. Entrevistada: É. Professora X: Agora o comum e tão pobre na minha perspetiva que agora nós, nós “ah quero ser muito independente”, agora queremos voltar à mãe. Entrevistada: (risos) Professora X: E eu estou a ver e está-me a dar vontade de rir, porque como criei os instrumentos, ahã ahã, está aqui, está aqui. Então olha toma. E eu acho engraçado porque agora estou a ver isto do lado da unidade orgânica porque saí um pouco do Gabinete da Qualidade e passei para a Faculdade de Ciências Médicas e agora estou de Olívia Costureira porque já estive de Olívia Patroa. E estou a ver perfeitamente, nós precisamos de uma ferramenta que o regente diga “está bem, os estudantes dizem isso mas eu acho que...”. Entrevistadora: hum, hum. Exato. Professora X: Bueno, três horas para a X. Entrevistadora: Ok, obrigado professora! Entrevistada: Então eu se calhar peço à X para trazer já as cópias dos relatórios e do questionário. Professora X: Se calhar fazia sentido. Dos relatórios não pode ser, elas não podem ter acesso aos relatórios. Entrevistada: Não, do modelo. Professora X: do formato? Do template? Entrevistada: Sim, sim. Como... Professora X: Do template sim, claro. Entrevistada: dos templates. Professora X: Porque eu tive muito cuidado com elas e está tudo conversado sobre... elas também têm que se proteger. Se há algum dado de alguma escola que é conhecido, pelo menos não é do lado delas. Entrevistada: Não, nós aliás estivémos aqui a falar do feedback, da divulgação dos resultados. Professora X: Elas...

Entrevistada: Isto até internamente é um, é um... Entrevistadora:... é um problema. Professora X: Elas têm que garantir que a confidencialidade não é quebrada pelo lado delas. Entrevistadora: Claro. Entrevistada: Não, isso acho que sim. Professora X: Tenho de perguntar à Professora X, já avisei a Professora X que vocês vão entrevistála, portanto, depois de depurar a história consigo, depois de fazer o ponto de situação da atualidade com a Isabel, há perguntas institucionais. Elas, por exemplo, têm uma pergunta no guião que é: “Em que medida é que o Sistema está alinhado com a missão da instituição?”.Que é uma pergunta super pertinente que eu faria também. Tem que responder um Vice-Reitor ou um Pró-Reitor, não pode... Entrevistada: Eu abordei assim... mas não sou eu que respondo, não. Professora X: Nem a Catariana, nem a X. Portanto, no fundo, no fundo elas agora com o guião têm três colunas: uma X, da história, uma da atualidade, X, e a institucional da Professora X. Vai ficar super giro, o guião delas, porque elas fazem as perguntas que têm de fazer. Agora os interlocutores é que são diferentes. Mas são elas que fazem assim. Entrevistada: Eu acho que a gente abordou um bocadinho a história quando falou um bocadinho como é que isto tudo, os anos experimentais, o que a gente passou, mais ou menos (risos). Entrevistadora: Sim, sim. Professora X: O que a gente passou. Entrevistada: E o que a gente passou. Professora X: Nós estamos cá desde o início, portanto, tivemos que ter muito jogo de cintura e engolir muitos sapos. Entrevistada: E o que a gente viu desde o início, sim. Até agora... Professora X: Muitos sapos, mas a verdade é que se criou um Sistema. Entrevistada: Pois é isso que eu acho. Quando a gente pergunta: “estamos melhor ou não sei quê?”. Estamos. Professora X: De longe. Entrevistada: Se existe resistência? Existe, há de existir sempre. Como é que a gente faz para manter, o que a gente sente, e o que eu sinto, que acompanhei também com a professora desde o início é que na altura a gente falava em qualidade e isso era quase “oh... só se me obrigarem”. E

neste momento já não é bem assim. Quer dizer, eles fazem porque têm de fazer e não vejo fazer... Professora X: Mas criou-se uma cultura que banaliza isto. Porque quem agora disser que é contra a qualidade é como fumar. Entrevistada: Sim, é um bocado. Se a gente, agora a outra questão que é a, que utilidade é que isto tem para si... isto é o passo seguinte, que é a gente criar essa, ou seja... Entrevistadora: (impercetível) Professora X: Com o risco de que isto é utilizado, se for utilizado para a avaliação de docentes vai criar outra vez contra-atitudes. Entrevistadora: hum, hum. Entrevistada: Que até agora, aliás foi a questão que eu fiz. Há uma linha, há uma linha que separa. Entrevistadora:(risos) Professora X: Há uma linha que separa, exatamente. Entrevistada: Há uma linha que separa a docência e a unidade curricular. E o Sistema da Qualidade até agora, de tudo, e acho que não se foi alterar, nem se está a pensar alterar, nem se está a pensar nisso, nós não estamos a tocar na docência. Professora X: Mas não quer dizer que as escolas não tenham tomado em conta estes dados pra tomar decisões. Entrevistada: Pois. Sim. Entrevistadora:...para tomar decisões. Professora X: FCT. Entrevistada: Pois, por isso é que eu digo que, às vezes isto pode ser mal interpretado porque quando se fala em Sistema da Qualidade, como o Sistema se baseia num questionário aos alunos este questionário é diferente em todas as unidades orgânicas e há umas que incluem a docência também. E isso pode ser confundido com o Sistema, mas não é o Sistema que está a pedir. Mas como é feito no mesmo questionário... Entrevistadora: Pois. Entrevistada: Há uma má interpretação do que é avaliado. Entrevistadora: Do que é pedido. Professora X: Senho engenheira, eu deixo-a a falar. Entrevistada: Eu, a engenheira vai acabar.

(sai a Professora X) Entrevistadora: A última questão que tínhamos só é... por que é que se chama Sistema de Garantia e não Sistema de Avaliação da Qualidade? Entrevistada:... é uma questão, vou responder o que eu acho, não é (risos). Entrevistadora: (risos) sim, claro. Entrevistada: Vou responder o que eu acho. Porque é que é? Porque a gente... o Sistema, um sistema de avaliação dá-nos um valor, um sistema que garante uma determinada avaliação procura fazer algo sobre o que está a ser avaliado. Um sistema que garanta, de garantia da avaliação é... possivelmente, aliás, isto até é uma questão engraçada... Por que é que a gente chama garantia? Porque supostamente a gente não procura só medir, procura atuar e fazer com que... o que foi estabelecido inicialmente se mantenha, que é o tal ciclo de ação, não é, que a gente procura fazer sempre corrigir os valores que nos foram, que foram sendo registados. Entrevistadora: Não sei se tem mais alguma coisa a acrescentar? Entrevistada: Eu estou, eu por mim se quiserem que eu fale mais meia hora, eu falo. Mas não acho que seja (risos). Entrevistadora: (risos). Alguma coisa que seja... Entrevistada: Não, eu penso que, eu acho que é assim. É isto, há muitas questões, há muita história que foi longa, que está a ser longa, está a ser... é interessante, é interessante. É engraçado para quem acompanhou desde o início e viu o que é que nós passámos e como nós estamos hoje em dia, são fases diferentes. Isto agora parece que está, ou seja, aquelas fases iniciais, tiveram o seu interesse, eram constantemente, éramos, estávamos sempre, constantemente na linha de fogo (risos). Hoje em dia já estamos assim um bocadinho mais recuados e os interlocutores mudaram também, quer a nível central, quer a nível local. Portanto, até os próprios responsáveis foram sendo substituídos... e eu aco qe se deu assim um bocadinho a ideia que era interessante terem esta ideia de: quais foram as nossas preocupações iniciais, onde é que nós fomos...buscar...inspiração, o que é que

nós

procurámos fazer, quais foram os nossos grandes desafios face a, ou fruto da nossa qualidade, ou da nossa autonomia das unidades orgânicas. Portanto isso foi aquela fase toda inicial, o que é que se conseguiu fazer com isso e como é que nós temos estado a tal, garantir a melhoria contínua. Que é as tai fases experimentais, anos experimentais, no fundo, demonstram isso. Demonstram esta, esta alteração constante e dá-lhes uma ideia de como é que está, neste momento, a funcionar. Temos estas várias fases, eu posso-lhes dar mais informação da história, realmente, e de uma ideia ou outra de como é que as unidades orgânicas acompanharam. Neste momento, como está outra equipa, digamos assim, eu não estou desligada de todo, mas não acompanho o dia a dia do Sistema.

Entrevistadora: Claro. Entrevistada: As análises dos relatórios, dos valores, já nem, quer dizer, nem quantas unidades curriculares é que estão a ser respondidas, ou o que é que determinaram, a Dra. X agora é que está, está mais na gestão corrente e, portanto, se precisarem de alguma coisa, para situar, até porque a própria Dra. X também como entrou já com o Sistema, eu acho que se for preciso alguma coisa de base, de história, isso tudo, tenham todo o gosto em fazer mais perguntas que queiram. E penso que agora vai ser também interessante como é que é, exatamente como é que está a funcionar... Entrevistadora: agora. Entrevistada: E os valores que estão a ter... Como é que estão a correr, não é? Com as nove unidades orgânicas e todo o, todo o processo. Portanto, é, acho que é, talvez agora seja a fase seguinte que vão passar. Entrevistadora: hum, hum. Entrevistada: Qualquer coisa que precisem, já sabem. Entrevistadora: Obrigada! Entrevistada: Julgo que então, eu não sei se vale a pena, eu falo então com a X para, com a Dra. X para já trazer os instrumentos atuais.

Anexo E – Grelha de análise de conteúdo da entrevista à Entrevistada A Categorias

Sub-Categorias

Indicadores

Unidades de Registo "O sistema surgiu em ... 2010 (...)",

Ano de criação

"(...) os primeiros trabalhos que começámos e as primeiras reuniões começaram em 2010 (...)" "(...) na altura a área da qualidade tinha sido dada ao Pró-Reitor (...)” "(...) juntamente com a Professora X (...)" "(...) eles os dois começaram este trabalho (...)"

Primeiros envolvidos Criação do Sistema

"(...) foram nomeados (...) representantes que foram inicialmente trabalhando em conjunto e aconselhando (...)” "(...) e mais tarde ficaram como responsáveis da implementação dos sistemas em cada uma das unidades orgânicas." "(...) o Sistema começou com a Professora X e com o X(...)" "(...)foi ele que desenvolveu todas estas bases, os instrumentos, juntamente

Início do sistema

com a Professora(...)" Bases /influências

"Visitaram Dublin na altura que foi assim um dos pontos iniciais (...)" "(...) na visita que fizeram a Dublin foi - lhes apresentado um bocadinho do sistema que eles lá tinham." "(...) algumas das ideias que lhes foram apresentadas e que gostaram ... nomeadamente em termos de instrumentos que eles usavam para acompanhar a qualidade do ensino das outras unidades que eles lá lecionavam (...) " "(...) foram algumas das ideias que também se transportou para cá. " "(...) depois também tendo como base os standards e os guidelines que

vieram moldar um bocadinho a lei do ensino superior n.º 38 qualquer coisa (...)" "(...) chegámos a fazer visitas (...) à Universidade do Minho (...)" "(...) fomos ver foi ao Técnico (...)" "(...) fomos ver Coimbra (...)" "(...) mas era tudo à base da informática." "Coisa que não podíamos recorrer porque tínhamos as 9 unidades orgânicas em diferentes pés de igualdade (...)" "(...) o Minho (...) também várias unidades orgânicas mas é muito central (...)" "Portanto não têm sequer este problema que nós temos de autonomia das unidades orgânicas (...)" "(...) nós tínhamos que arranjar aqui um consenso, ao passo que eles não estavam muito preocupados com isso (...)" "A nível de Universidades estrangeiras foi talvez a Universidade de Dublin (...) por causa exactamente da proximidade da visita da Professora Patrícia (...)" "A Universidade de Dublin deu para orientar a criação de alguns dos instrumentos (...)" "(...) como é que eles [Universidade de Dublin] como é que eles criavam as equipas de análise (...)" "(...) como é que eles criavam todo o ciclo de análise dos instrumentos (...)" "(...) que instrumentos é que eles se baseavam". Reuniões

"(....)o que se debateu e o que saiu (...) dessas discussões foi o que acordámos primeiro como indicadores (...) "

"(...) temos uma folha só com indicadores (...)" Questões iniciais

"(...) o que é que queríamos fazer como sistema da qualidade." "(...) o que é que realmente a gente quer medir não é? (...)" "(...) que indicadores é que vamos escolher (...) " "(...) a que é que devemos olhar (...)" "(...) o que é que realmente mede a qualidade do ensino (...)"

Indicadores

"(...) com base nos indicadores fomos então começando a desenvolver os vários instrumentos." "Nós procurávamos (...) escolher uns indicadores (...) que nós achássemos que seriam os mais adequados para (...) medirmos a Qualidade de Ensino na NOVA." "(...) esses indicadores também permitissem (...) nos compararmos em termos internacionais e nacionais." "(...) hoje em dia ranking é uma das medições que se usa muito, mais comum (...) mas são questionáveis" "(...) talvez o ranking não seja a melhor forma de avaliar a Qualidade do Ensino". "(...) o que nós desenvolvemos inicialmente, foram vários instrumentos (...)" "(...) folha de indicadores (...)" "(...) depois surgiram os relatórios (...)" "(...) o questionário aos alunos (...) " "(...) foi elaborado um questionário (...) com um grupo de questões (...)" "(...) em todas as unidades orgânicas é feito aquelas questões(…)” "De um grupo enorme de questões que nós tínhamos nos questionários (...)" "(...) questionários inicialmente muito grandes (...)"

" (...) ficou reduzido a 9 questões (...)" " (...) todos acharam que (...) aquelas 9 se poderiam perguntar em todos." Criação dos primeiros instrumentos

" O que ficou também definido foi cada um pergunta aquelas 9 mas (...) deuse a liberdade (...) para acrescentarem o que achassem necessário (...)" " (...) isso ficava ao critério de cada unidade orgânica (...) " " (...) com base nos indicadores fomos então começando a desenvolver os vários instrumentos. " " (...) criou-se o documento seguinte, que era o relatório do docente. " " Que era no fundo uma forma de (...) fazer ele a análise de como é que tinha corrido (...) " " (...) e justificar um bocadinho (...) interpretar o que vem nos questionários (...)" " (...) depois é o relatório do responsável com a unidade curricular (...)" " (...) mas os instrumentos foram sendo criados procurando responder um bocadinho a todas Unidades Orgânicas." " (...) criou-se (...) instrumentos (...) procurando dar resposta e procurando ter (...) a análise de todas as perspectivas (...)" "(...) recolher o máximo de informação possível para se puder fazer uma análise." " (...)era necessário fazer um trabalho conjunto, ou seja, não poderia ser algo que fosse definido na reitoria e depois implementado (...) " " (...)portanto desde o início o que se procurou foi criar uma ligação entre o trabalho que se estava aqui a desenvolver e todas as Unidade Orgânica (...) " ( ...) que se decidiu foi fruto autonomia de cada uma delas (...) " "(...) na altura o que procurou foi criar um sistema que fosse (...) igual em

todas". "(...) criámos um sistema que procurasse ser transversal a todas (...) " " (...)e que fosse comum a todas (...)" Preocupações iniciais

" Foi (...) criar um sistema que fosse comum a todas as unidades orgânicas (...) " "(...) tentar que todas estivessem ao mesmo pé de igualdade (...)" "(...) porque na altura em que começamos a implementar um Sistema da Qualidade, já tínhamos consciência que havia já vários (...) subsistemas a funcionar em algumas unidades orgânicas." "(...) foi (...) definir as bases comuns para todos e trazer todos ao mesmo nível ." "(...) nós fazemos uma distinção muito grande entre o que é o Sistema da Qualidade do Ensino e a Avaliação de docentes (...)" "(...) A avaliação da docência, nós achámos que não era o sítio certo para fazer, não era o sistema de Qualidade que deveria ter uma palavra sobre isso (...)"

Fase experimental

Ano

" O ano experimentar foi (...) 2011/2012 (...)"

Flexibilidade na implementação do

" (...), o que se fez no ano experimental (...) foi não se ia (...) obrigar ou

sistema

forçar a implementação de um sistema de uma vez em todas as Unidades orgânicas em todas as unidades curriculares (...) " " (...) chegou-se a um acordo e o que ficou determinado foi que nesse ano experimental, todas as (...)unidades orgânicas iriam implementar o Sistema (...) em pelo menos um ciclo de estudos (...)" " (...) o que se procurava era que eles escolhessem e fizessem a análise e a implementação de todos os instrumentos (...) "

"(...) para que pudéssemos testar em pelo menos um ciclo de estudos (...)"

Balanço

" (...) Findo desse ano experimental, fez-se a análise de como é que as coisas tinham corrido (...)" "(...) o que é que aquilo acarretava, que informação é que conseguíamos recolher, se valia a pena irmos naquele caminho, se tínhamos que simplificar algo no sistema(...)" "(...) chegou-se à conclusão que (... ) se fosse obrigatório a recolha de informação (...) e todos os docentes tivessem de fazer uma reunião para, para no fundo por a sua opinião relativamente à unidade curricular, o sistema não conseguia. " "(...) eram muitas reuniões (...) teria de se facilitar de algum modo (...)" "(...) foi exatamente em relação ao relatório dos docentes em que devido à dimensão de algumas unidades orgânicas, ou optarem por fazer apenas o relatório de docentes, ou fazer uma reunião de docentes (...)" " Portanto essa foi talvez a primeira simplificação, foi deixar facultativo (...)"

Pós fase

Membros envolvidos

experimental

"(...) depois passámos para a fase da Professora X, que na altura era ViceReitora (...)" "(...) a Professora X apanhou já o pós fase experimental (...)" "(...) foi ela que lhe coube a implementação de todas as alterações que tinham vindo do ano experimental."

Alterações

"(...) Houve simplificações, por exigências, entre aspas, das Unidades orgânicas (...)" "(...) houve uma séria de outras modificações no Sistema (...) "(...) com as alterações que foram feitas, quase que se partiu, outra vez, para

um ano experimental (...)" "Porque foram muitas as coisas que foram mudadas. " "Portanto, quase que se diria que tivemos um novo ano experimental logo a seguir." "A Professora X saiu (...) e agora entrou a Professora X (...)" "(...) agora é que nós já estamos a começar a usar e a ter o Sistema (...)" " Por dois anos consecutivos (...)" "(...) foi aí, ao entrar a Professora X, entrou também a Doutora X e elas é que ficaram agora com o Sistema (...)" "Temos o Gabinete da Qualidade que é no fundo coordenado pelo pelouro da Qualidade na equipa reitoral, neste caso é uma Pró-Reitora que tem o pelouro da Qualidade do 1.º e 2.º Ciclo." "(...) a nível central, órgãos centrais nós temos o Gabinete da Qualidade e a Pró-Reitora responsável pelo pelouro da Qualidade." Gabinete da Qualidade

Órgãos que

"O relatório de cada unidade orgânica é elaborado (...) a comissão aprova

Órgãos a nível

(...) para seguir depois (...) para o gabinete da Qualidade."

Central

"Depois será elaborado um relatório comum, um relatório da Universidade

compõem o SGQE

Nova de Lisboa (...)"

Conselho da Qualidade do Ensino

"(...) e depois temos o conselho da Qualidade do Ensino (...)" "(...) o Conselho da Qualidade do Ensino é constituído por todos os representantes do Sistema da Qualidade do Ensino (...)" "(...) o Conselho da Qualidade é um órgão de gestão (...)" "(...) o Presidente do Conselho da Qualidade, a nível central, que nos tem acompanhado desde o início, é o Professor X (...)"

"(...) é docente do Imperial College (...)" "(...) foi convidado porque fez, durante muitos anos também parte do Conselho Geral da Universidade Nova e foi convidado como membro externo ao Conselho (...)" "(...) o que foi uma grande ajuda porque é preciso algum afastamento às vezes para se puder olhar e talvez criticar também algumas coisas (...)" "(...) e há talvez mais imparcialidade, que era o que é preciso (...)" "(...) o Conselho da Qualidade reúne mais menos uma vez por ano. " "(...) Conselho da Qualidade que valida o relatório." "(...) O Conselho da Qualidade lida com a questão geral. "(...) será elaborado um relatório (...) da Universidade Nova de Lisboa que esse sim então vai à aprovação pelo Conselho da Qualidade." "(...) o Conselho neste momento validam os resultados do Sistema, validam e acompanham." "O Conselho de Qualidade (...) não pode impor mas pode acompanhar e questionar." " (...) tem legitimidade para perguntar em que ponto é que está, o que é que foi feito e acompanhar desse modo." " Ao Conselho da Qualidade vai o relatório da Universidade Nova." Representante

"(...) Depois (...) em cada uma das Unidades orgânicas, temos a figura

Órgãos a nível

responsável do Sistema da Qualidade Orgânica (...)"

Local

"(...) que seria no fundo o elo de ligação entre o Gabinete e as Unidades orgânicas." "(...) a nível de unidades orgânicas nós temos os responsáveis (...)" Comissão do Sistema de Qualidade

"(...) a nível de unidades orgânicas nós temos (...) a Comissão do Sistema de

do Ensino

Qualidade do Ensino." "As Comissões lidam com as questões locais." "Portanto cada uma das unidades orgânicas deveriam elaborar um relatório que deveria ser aprovado pela Comissão (...)" "(...) as Comissões neste momento validam os resultados do Sistema, validam e acompanham." " Às Comissões vãos os relatórios das unidades orgânicas."

Hierarquia

Vertical

" (...) o Conselho da Qualidade é um órgão de gestão, está a cima (...)" "(...) a Comissão da Qualidade que fica a nível dos órgãos locais (...)" "(...) Não se sobrepõe ao Conselho da Qualidade mas o Conselho da Qualidade também não se sobrepõe às Comissões (...)"eu acho que é vertical, terá de ser (...)"

Reconhecimento da qualidade do

" (...) medirmos a Qualidade do Ensino na NOVA."

Ensino

"O objectivo era ter algo que nos permitisse medir (...) a Qualidade do Ensino." "(...) é um Sistema responsável em que procura(...) medir e avaliar a qualidade do Ensino." "(...) Que a gente consiga identificar Indicadores fiáveis e que nos permitam servir como (...) algo que meça com alguma exactidão o que se passa na Universidade Nova de Lisboa."

Ferramentas de Auscultação

" Procura-se é que o Sistema seja no fundo uma ferramenta, uma forma de a opinião de cada um chegar a algum sítio (...)"

Propósitos

"No fundo era criar um Sistema que permitisse que essas opiniões e que essas recolhas cheguem ao sítio certo. " Comparação

"(...) permitissem (...) nos compararmos em termos internacionais e

nacionais." "(...) era um dos grandes objetivos (...) conseguir criar indicadores e sistemas que nos permitissem dar informação a nível mais para o exterior, do que até a nível nacional." " Foi assim tanto que tudo funcionou a nível até de gestão central, é tudo em Inglês, ainda hoje." Caracterização do

Melhoria

SGQE

"(...) ao medir a Qualidade do Ensino, isto servirá um bocadinho também não só para melhorar continuamente (...)" "(...) uma pessoa que o nosso ensino é bom mas se nós soubermos exactamente o quão bom é ou o que é que necessita é difícil tomar medidas (...)" "(...) Um sistema que garante um determinada avaliação procura fazer algo sobre o que está a ser avaliado." " Porque supostamente a gente não procura só medir, procura actuar e (...) corrigir os valores que (...) foram sendo registados"

Tendências

"(...) procurar responder também às (...) tendências que hoje em dia (...) começam a surgir (...)" "(...) a Qualidade de Ensino algo que não se falava há muitos anos atrás (...) "

Boas Práticas

" O Sistema procura (...) reportar algumas situações e como é que elas foram resolvidas, quer para a criação de boas práticas (...)"

Identificação de Problemas

" O Sistema procura (...) reportar algumas situações e como é que elas foram resolvidas, quer (...) identificação de problemas recorrentes."

Apoio no processo de Avaliação

"(...) uma das coisas de que se falava era que as instituições de Ensino

Externa da A3ES

Superior que já tivessem Sistemas de Avaliação de Qualidade implementados, as avaliações dos ciclos de estudo eram mais leves".

"(...) Havia uma série de questões que já estavam pré- respondidas, pré preenchidas e isso iria ajudar." Valores

Justiça

"(...) tentar que Sistema seja o mais justo possível (...)" "(...) que nos permita realmente tomar medidas justas (...)"

Precisão

"(...) o Sistema procura (...) ser (...) o mais preciso (...)"

Credibilidade

" O que nós procuramos é que seja fiável, que nos dê valores credíveis(...)"

Missão da NOVA

"(...) os valores também do Sistema bebem muito da missão da Universidade e vão de encontro à missão da Universidade (...)"

Definição de

Indicadores

Qualidade

"(...) a definição de Qualidade(...) é tudo muito subjetivo e difícil (...)" "(...) ao definir aquele conjunto de indicadores, para nós aquilo era a nossa definição de Qualidade." "Portanto, o que nós procurávamos era que aqueles indicadores, definindo os limites de cada um deles, se tudo estivesse de acordo com aquilo que nós achávamos que seria o aceitável, era a nossa definição de Qualidade."

1º e 2º ciclos

"(...) nós estamos a falar de Qualidade, é só Qualidade de 1.º e 2.º Ciclo. Portanto, 3.º Ciclo é uma coisa à parte. Este Sistema está só virado para 1.º e 2.º Ciclo." "(...) a Qualidade do 3.º Ciclo segue um caminho à parte, deste Sistema."

Unidades Curriculares

"Avalia as Unidades Curriculares (...)"

Objectos de

Ciclos de Estudos

"Avalia (...) Ciclos de Estudos (...)"

Avaliação

Unidades Orgânicas

" Avalia (...) unidades orgânicas.”

Universidade Nova de Lisboa

"Exato"

SGQE

" Avaliam no sentido em que o que se procura são sistemas de melhoria contínua, é o termo que se usa.”

“O que se procura também (...) fruto destas alterações, eu acho que esta melhoria contínua que nos fazemos, o que se procurou fazer foi exatamente ir medindo o que é que nos estávamos a recolher, se valia a pena, se não valia a pena e ir alterando o Sistema, corrigindo ou alterando (...)" "O Sistema é um conjunto de (…) de coisas que o compõem e isso (...) é questionado, são feitas alterações (...)" Recolha e Análise

Questionários

de dados

" (...) hoje em dia a avaliação talvez da Qualidade se prenda mais com as respostas aos questionários e a classificação das respostas ao questionário." "(...) Portanto julgo que as respostas neste momento vão de um a seis (...)" "(...) o três é considerado ponto neutro (...)" "(...) eu julgo que o seis é o muito satisfatório (...)" "(...) uns aplicam em papel, outros já tinham sistemas informáticos que lhe permitissem fazer a recolha online, outros têm um misto ( ... ) portanto, fazem a recolha em sala de aula no computador, portanto os alunos preenchem em computador os questionários(...)" "(...) hoje em dia procura-se que seja mais informatizado (...) diminuir o tempo de análise, o tempo de mão de obra (...)" "(...) questionários que para além das questões, tem questões abertas." "(...) o que está a ser utilizado, basicamente, são os questionários e os relatórios das unidades orgânicas." "(...) neste momento a análise que está a ser feita até é muito focada no questionário."

Relatório Intermédio

"(...) porque o relatório intermédio procura fechar o primeiro semestre (...)" "(...) tem uma parte descritiva, com perguntas e questões, e tem uma outra parte mais analítica com o resumo dos resultados das várias unidades

curriculares e quando se fala (...) é resultados dos questionários às unidades curriculares feitos aos alunos. " "(...) . O relatório intermédio é só com base na parte analítica dos resultados das unidades orgânicas (...) é só a tabela. " No fundo, é uma tabela de Excel." E é só essa tabela. O que eles fazem (...) põem aquilo numa tabela e isso é o que compõe o questionário, o relatório intermédio." Relatórios das Unidades Orgânicas

"(...) o que está a ser utilizado, basicamente (...) os relatórios das unidades orgânicas." "(...) nós aqui temos nove relatórios." "(...) e o relatório da unidade orgânica procura fechar os dois (o primeiro e o segundo) [semestres]” "(...) tem uma parte descritiva, com perguntas e questões, e tem uma outra parte mais analítica com o resumo dos resultados das várias unidades curriculares e (...)" "(...)é resultados dos questionários às unidades curriculares feitos aos alunos." "(...) O final é que já tem a mesma tabela mas já com os resultados do primeiro e do segundo semestre e as várias questões abertas."

Relatórios das Unidades

"(...) o relatório final da Unidade Curricular (…)"

Curriculares Relatórios do SGQE

Desses nove relatórios (...) fica um." "Que é o único relatório depois que vai ao Conselho da Qualidade." "Ao Conselho da Qualidade vai o relatório da Universidade Nova."

Flexibilidade

"E quando se diz que lhe foi dada flexibilidade é “se quiserem usem, se não

quiserem não usem." " (...) não prescindimos dos questionários e das nove questões, essas têm de ser aplicadas. " " (...) recolhendo todas estas informações, dos docentes, dos responsáveis (...) até elaborarem o relatório final da unidade curricular (...) " A única coisa que a gente pede é que para passarem de um para outro, se for necessário provar, ou se fundamentarem em que é que eles se basearam, que haja documentos, que haja provas." " A questão dos relatórios que ainda hoje (...)" "(...) neste momento definiu e acordou o princípio e o fim e o meio está muito autónomo." "Estão lá os instrumentos, eles existem e não foram postos de parte, a questão é quem é que os usa." Envolvidos

"Neste momento não estamos no pessoal não docente. Portanto é só pessoal docente e estudantes."

Tratamento de dados

"E no fundo quem está responsável pelo tratamento de dados há-de ser esse secretariado, que há-de fazer esse tratamento, supervisionado pelo responsável e depois os tratamentos que são dados aqui a nível de Gabinete da Qualidade."

Fiabilidade

" A forma que nós usámos para ver se a fiabilidade era boa ou não, aliás nós temos estado a (…) partiu muito da análise dos resultados e das reuniões que nós tínhamos com os representantes (...) " " (...) certificarmo-nos que realmente aquilo que nós estávamos a pedir e que estava a ser dado correspondiam a todos à mesma coisa. " "Portanto a única maneira que nós tínhamos era de estar todos juntos

reunidos e discutir os dados para tentar perceber se todos eles estavam a ser (… ) colhidos da mesma maneira." "(...) , houve uma ou outra situação que (...) surgiram destas questões que se levantaram e que obrigaram (...)" "(...) a definir procedimentos, ou definições." " Sim, o ano experimental serviu muito para isso. Para fazer o levantamento (...)" Utilização dos

Identificação do problema

dados

" O Sistema procura (...) reportar algumas situações e como é que elas foram resolvidas, quer (...) identificação de problemas recorrentes." " O relatório final vai (...) procurar identificar o que se passou (...)" "(...) Vão-se identificar problemas (...)" "(...)

Resolução de problemas

" (...) os relatórios no fundo vão fazer uma análise do que é que foi feito." "(...) pode identificar no Sistema que há certas resoluções que são feitas a nível local e que é o próprio docente (...)pode fazer algo sobre isso (...)" "(...) O que a gente procura é que, à medida que esses (...) questões, vão sendo identificadas, as pessoas que atuam vão resolvendo e, quanto muito, reportam." " quando chegam (...) à Comissão da Qualidade, ao Conselho da Qualidade é onde (...) se pode começar a coordenar (…) os trabalhos para resolução de determinados assuntos que não têm resolução a nível local." " (...) o que se procura, é que vão sendo resolvidas [questões] (...) não é o questionário nem o Sistema que vai ser um mecanismo de resolução de problemas (...)" " a gente procura é identificá-las (...) mecanismos de resolução de problemas

estejam já a funcionar em cada uma das unidades orgânicas." Boas práticas

" O Sistema procura (...) reportar algumas situações e como é que elas foram resolvidas, quer para a criação de boas práticas (...)" " Podem-se retirar boas práticas até para identificar e para divulgar junto dos outros."

Divulgação dos

Adenda

dados

" (...) não existe para além daquilo, o que está na Adenda (...)" "(...) que é o único documento oficial e o que é que sugere e que graus de divulgação." " Para além disso, esse documento a nível central (...) a nível de Sistema não está mais nada definido." " (...) foi transferida para papel, foi a Adenda."

Discussão

" (...) consensual em toda a Universidade. " "Portanto, há umas que acham que deve ser o mais claro possível, outras que nem tanto, outras que se deve limitar o acesso; outro que deve ser os docentes; os docentes têm acesso a um determinado campo, outros têm a acesso a outro." "O responsável tem acesso a tudo. Os estudantes têm acesso não se sabe muito bem ainda a quê." "(...) além de o que é que os docentes devem ver, levanta a questão do que é que os estudantes devem ver." " E depois põe-se as questões: mas para que é que eles devem ver? Porquê? Porque os estudantes, normalmente (...) mesmo que se dê a resposta e se mostre os resultados é sempre em relação ao que passou." " Portanto, as alterações serão em prol dos outros estudantes que vão entrar e não deles que vão passar."

" Acredito é que a nível de cada unidade orgânica (...) comece a divulgar de maneiras diferentes." "Todas elas (...) preferem que haja uma regra geral para se aplicar (...)" "(...) porque se houver umas orientações do Sistema, é sempre mais fácil do que cada uma entender divulgar ou não divulgar." " (...) será que todos os docentes devem ver os resultados de todos os outros colegas? Ou só devem ver daquelas unidades curriculares que lhes dizem respeito?" " (...) isto é muito (...) questionável (...) " "(...) eu acho que ainda se está a definir o que é que realmente interessa (…)" " Presentemente não sei ainda como é que estamos a nível de divulgação da informação, quer a nível interno, quer a nível externo." Feedback

"A questão que todos põem é que é fundamental o feedback aos estudantes. Sem feedback aos estudantes não se vai conseguir que eles, de ano para ano (…) [continuem] (...)" " (...) a apoiar e a responder aos questionários."

Formas de Divulgação

"(...) Eu julgo que é feito um relatório e há no site um relatório, mas não será o relatório que nos chega a Conselho da Qualidade." "(...) o que é divulgado publicamente, não será na totalidade (...)" "(...) há coisas que (...) nem tem interesse (...)" "O que interessa é o que poderá interessar a um futuro candidato, por exemplo (...)" " Em princípio eles [Unidades Orgânicas] guiam-se por (...) mais do que aquilo eles não devem fazer (...)" "Mas seguramente devem fazer de maneiras diferentes."

Perspectivas

Dificuldades e

Consenso

Desafios

"Foi conseguir exatamente um consenso entre as nove unidades orgânicas (...)" "(...) conseguir acordar entre os nove o que é que iríamos fazer." "(...) foi que o grande desafio que tivemos e que ganhámos foi que neste momento temos uma coisa comum. " "Foi um desafio foi por toda a gente com uma coisa comum (...) e conseguir". "Mas isso é um desafio constante (...)"

Aceitação do SGQE

"(...) conseguir realmente a aceitação do sistema(...)" "(...) nós inicialmente, houve uma grande resistência, não seria igual para todos, mas uma resistência forte ainda." "(...) utilidade do Sistema e se conseguir provar, quer por feedback aos alunos, quer por feedback aos docentes (...) as coisas vão sendo feitas porque estão a ser pedidas." "(...) as pessoas só vão ver de bom grado quando virem utilidade para si(...)" "É preciso estar permanentemente a recordar que é preciso fazer e que é preciso (...)" “(…) todos eles participam e temos resposta de todos (...) mas..." "(...) tivemos mais no início (...)"

Informatização

" (...) Eu por mim seria a informatização a todos." "(...) isso seria o ideal, é que todos conseguissem responder através de um Sistema comum.” "Que é o que fazem algumas das unidades orgânicas, algumas das universidades e que isso facilita imenso (...)"

Balanço

Imagem Favorecida

" Eu faço um balanço positivo... (...) o facto de nós termos começado a

implementar um Sistema e de termos essa preocupação (...)" "(....) transparece para o exterior, não é, um realmente um, uma evolução (...)" "(...) hoje em dia, a instituição de ensino superior que não se preocupe em implementar em Sistema fica de algum modo para trás. Porque é o que, neste momento, já nem é só o Sistema é a acreditação de todo o Sistema." "Mas o ganho é positivo quer em termos de imagem que transparecemos para fora (...) independentemente do resultado, independentemente daquilo que nós internamente estamos a conseguir, independentemente se está ou não está (...)" "Mas só o facto de haver (...) estes instrumentos e de exteriormente terem essa noção, quer a nível de Agência, quer a nível de outra Universidades (...) isto dá-nos alguma notoriedade ou algum reconhecimento."

1 Anexo F – Síntese da grelha de análise de conteúdo da entrevista à Entrevistada A

O Sistema de Garantia da Qualidade do Ensino da UNL foi criado em 2010, O SGQEUNL, teve como influência principal o sistema da Universidade de Dublin, tendo sido um dos pontos iniciais dos trabalhos. Foram transportadas as ideias dos instrumentos utilizados, que orientou a criação dos instrumentos, segundo a entrevistada. À semelhança da visita a Dublin, também visitaram a Universidade do Minho, Instituto Superior Técnico e a Universidade de Coimbra. De acordo com a entrevistada serviram, também, de influência ao SGQE-UNL as orientações constantes na Lei n.º38/2007 para o Ensino Superior em Portugal. Segundo a entrevistada, nas reuniões discutiram os indicadores, quais mediam a qualidade do ensino, definir o que queriam com o SGQE-UNL. De acordo com a entrevistada, uma das preocupações iniciais foi fazer trabalho em conjunto entre unidades orgânicas e a Reitoria. Outra preocupação destacada pela entrevistada foi ter uma base comum a todas as unidades orgânicas, que o SGQE-UNL fosse comum a todas as unidades orgânicas. A entrevistada refere que já existiam subsistemas em algumas unidades orgânicas e que o SGQE-UNL teve como preocupação igualar as unidades orgânicas em relação à qualidade, no sentido de tornar compatível o novo Sistema com os sistemas que já existiam a nível local. O ano experimental decorreu em 2011/2012. Por forma a não a implementar em todas as unidades orgânicas e unidades curriculares, foi implementado em pelo menos um ciclo de estudos em cada unidade orgânica. O ano experimental tinha como objetivo testar os instrumentos, como indicado pela entrevistada. Após o ano experimental analisou-se o funcionamento do Sistema que informação era recolhida pelo SGQE-UNL e que alterações seriam necessárias efetuar. Uma das alterações, segundo a entrevistada, foi deixar facultativa a realização do relatório de docentes ou a realização de uma reunião de docentes.

2 No que diz respeito aos órgãos centrais que compõem o SGQE-UNL são: O Conselho da Qualidade reúne uma vez por ano e é responsável por validar o relatório da Universidade NOVA de Lisboa e os resultados do SGQE, assim como em acompanhar o próprio Sistema. A nível local, existe um responsável pelo SGQE-UNL em cada unidade orgânica, que segundo a entrevistada fará a ligação entre a unidade orgânica e o Gabinete Qualidade do Ensino Acreditação e Empregabilidade. Em cada unidade orgânica, segundo a entrevistada, existe também a Comissão do Sistema de Garantia da Qualidade do Ensino, que valida e acompanha os resultados do Sistema. De acordo com a entrevistada, a Comissão de cada unidade orgânica é responsável pelas questões locais e por aprovar os relatórios das unidades orgânicas. O SGQE-UNL, para a entrevistada, apresenta-se como reconhecimento da qualidade do Ensino na UNL e, assim, permite medir e avaliar a qualidade do ensino. Para a entrevistada é importante a identificação de indicadores fiáveis que conduzam à medição com exatidão, do Ensino da UNL. A entrevistada salienta como um dos propósitos do SGQE-UNL servir como ferramenta de auscultação dos envolvidos no processo, isto é, permitir que as suas opiniões sejam ouvidas. Outro dos propósitos destacado pela entrevistada é a comparação de indicadores a nível nacional e a nível internacional. De acordo com a entrevistada, a medição da qualidade do Ensino permite contribuir para a melhoria, apoiando a atuação da Universidade. De acordo com a entrevistada o SGQE-UNL, outros dos propósitos da sua criação conduz à criação de boas práticas e detetar problemas, uma das suas funções é reportar situações problemáticas e como foram resolvidas. A implementação do SGQE-UNL facilita, de acordo com a entrevistada, a avaliação externa realizada pela Agência de Avaliação e Acreditação do Ensino Superior, já que, segundo a entrevistada, o Sistema já responde a algumas questões.

3 Segundo a entrevistada, o SGQE-UNL baseia-se nos valores de justiça, no apoio da tomada de decisão; precisão, fiabilidade e credibilidade dos resultados. A entrevistada refere que o SGQE-UNL segue a missão da UNL. Para a entrevistada, a definição de qualidade que a UNL adota corresponde aos indicadores que definiram. De acordo com a entrevistada, o SGQE-UNL está implementado no 1.º e 2.º Ciclo, sendo que não se encontra ainda a funcionar para o 3.º Ciclo. Este Sistema, de acordo com a entrevistada, avalia a as unidades curriculares, os ciclos de estudos, as unidades orgânicas e a Universidade Nova de Lisboa. O SGQE-UNL, refere a entrevistada, procura a melhoria contínua e são realizadas alterações ao próprio Sistema. Para a recolha dos dados a entrevistada destaca que são utilizados questionários aos alunos, que podem ser preenchidos em papel, ou informaticamente, dependendo da unidade orgânica. O questionário tem uma escala de 1 a 6 e é também composto por questões abertas, de acordo com a entrevistada. A análise dos dados é baseada nas respostas dos questionários e dos relatórios das unidades orgânicas. São realizados, de acordo com a entrevistada, vários relatórios: o das unidades curriculares, o da unidade orgânica, os semestrais e o relatório da Universidade NOVA de Lisboa. Segundo a entrevistada o relatório intermédio é realizado no final do primeiro semestre e corresponde a uma tabela com os resultados dos questionários das unidades curriculares aos alunos. São realizados relatórios das unidades orgânicas que engloba os dois relatórios semestrais, composto por uma parte descritiva dos resultados e uma parte analítica dos resultados, de acordo com a entrevistada. O relatório da Universidade NOVA de Lisboa resulta dos relatórios das 9 unidades orgânicas que é apresentado ao Conselho da Qualidade do Ensino, de acordo com a entrevistada. A entrevistada refere que existe flexibilidade na utilização dos instrumentos, sendo que o questionário aos alunos é um dos instrumentos de utilização obrigatória pelas unidades

4 orgânicas. Os envolvidos no processo são, segundo a entrevistada, o pessoal docente e os estudantes. O tratamento dos dados é realizado pelo secretariado que por sua vez é supervisionado pelo responsável da qualidade nas unidades orgânicas, segundo a entrevistada. Em relação à fiabilidade da recolha de dados, a entrevistada refere que se assegurou com a análise dos resultados e das reuniões com os representantes da qualidade nas unidades orgânicas, assegurando que os dados estavam a ser recolhidos da mesma forma. A entrevistada acrescenta ainda que definiram procedimentos e definições para assegurar a fiabilidade e ressalva a importância do ano experimental para a discussão destas questões. Segundo a entrevistada o SGQE tem como uma das suas funções a identificação e a resolução de problemas. A resolução dos problemas é feita, em alguns casos, a nível local. O SGQE-UNL serve para reportar situações, na opinião da entrevistada. Se as situações não podem ser resolvidas ao nível local, segundo a entrevistada, são comunicadas ao Conselho da Qualidade, onde se coordena a resolução dessas situações. Outra função do SGQE é identificar, como refere a entrevistada, os mecanismos de resolução de problemas nas unidades orgânicas. Neste mesmo sentido, a entrevistada ressalva a importância do SGQEUNL na criação ou na identificação das boas práticas. No que diz respeito à divulgação dos dados existe um documento, uma Adenda ao documento das Bases Gerais do Sistema de Garantia da Qualidade do Ensino da Universidade NOVA de Lisboa, que refere os graus de divulgação dos resultados, e é o único documento a nível central que define como deve ser feita a divulgação dos dados, de acordo com a entrevistada. Como refere a entrevistada, não existe consenso entre as unidades orgânicas sobre o que deve ou não ser divulgado. Segundo a entrevistada a divulgação aos alunos passa por se colocar muitas questões relativas ao que deverão ver ou não, e as mesmas questões se colocam aos professores, segundo a mesma. A entrevistada destaca que é importante o feedback aos estudantes para que estes respondam. As formas de divulgação,

5 segundo a entrevistada, ao nível local serão variadas, mas seguiram o que é prescrito na Adenda. Relativamente aos desafios e dificuldades do SGQE-UNL a entrevistada refere como tendo sido os principais, conseguir um consenso entre todas as unidades orgânicas. Segundo a entrevistada a aceitação do Sistema pelos envolvidos foi um dos desafios, embora a resistência tenha sido mais no início do processo. A entrevistada refere que a informatização do SGQE-UNL seria relevante para as respostas. A entrevistada menciona, por fim, que o SGQE-UNL é positivo para a UNL, para a imagem e reconhecimento da instituição.

Anexo G - Protocolo da entrevista à Entrevistada B Entrevistadora: Pronto, as perguntas que vamos fazer agora são um bocadinho mais no sentido, o que se está a passar agora no Sistema porque de manhã percebemos um bocadinho da história, portanto, as questões agora são mais no sentido de o que é que se passa agora. E gostávamos que falasse um bocadinho no contexto geral, descrevernos um bocadinho o Sistema. Entrevistada: Neste momento, o Sistema serve para... monitorizar a qualidade do ensino nas diversas unidades orgânicas e o que nós fazemos é... perceber até que, quais são os problemas que existem e como é que, e como é que os problemas que existem podem ser melhorados. A lógica é um bocadinho esta, que é fazer esta monitorização, de como é que, neste momento, as unidades curriculares se comportam e cada unidades orgânica... Deixem-me pensar mais... Depois, eu acho que é muito por aqui, esta monitorização, neste momento. Porque já houve na história passada em que se fez todo o Sistema, e que já a Eng.ª X vos explicou. Entrevistadora: Sim, sim a criação, sim. Entrevistada: Neste momento, é, há o acompanhamento dessa implementação. Ou seja, já não é ano experimental, já é algo que está firmado e que está a ser recorrente fazer-se, mas já não é nada de novo. Ou seja, é só, simplesmente, esta monitorização que nós fazemos durante os semestres, semestralmente, e depois anualmente, que nós não temos mais, não estamos a implementar algo de novo. É só mesmo esta monitorização que fazemos à qualidade. Entrevistadora: Em relação aos propósitos do Sistema. Falou que é a monitorização. Não sei se quer referir mais alguns propósitos? Entrevistada: É assim esta monitorização permite-nos ter vários aspectos em vista, ou seja, tanto quais são os problemas apresentados como as questões de melhoria que são dadas por quem apresenta problemas. E depois verificar no ano a seguir se essas melhorias foram realmente implementadas ou não. E este ciclo é o que nos faz perceber se o inicial que tinha problemas – as unidades curriculares que tinham problemas – ao fim de um ano lectivo, sendo avaliadas no mesmo período no ano a seguir se melhoram, se tiveram em conta estas

melhorias que foram sugeridas. Ok? Porque se vocês avaliarem e se forem feitas sugestões mas algo ficar na mesma vocês não conseguem ter uma qualidade, que passe por um crivo de qualidade. Pronto, e é o propósito é mesmo este: é perceber se havendo aquele problema que está referenciado há aquela monitorização, vamos alterar com medidas de melhoria, então, no ano a seguir, o que nós queremos é que o problema não se volte a repetir, porque já chegámos ao fim do processo. Temos as melhorias, fazemos as sugestões e então o propósito é que aquelas unidades curriculares não tenham o mesmo problema, porque pode ter; vocês têm um instrumento e verificam que nós temos nove questões. Por exemplo, aquela unidade curricular pode ter um problema na Q1 mas no ano a seguir com as melhorias, já não tem. E isto dá-nos esta, este crivo da qualidade. Não quer dizer que não tenha um no ano a seguir noutra pergunta diferente e é isto que nós queremos tentar perceber, que é, se chegando ao final do processo conseguimos “modificar” (entre aspas)... apesar de que a Reitoria faz só help desk e aconselhamento, ou seja, verifica os relatórios e... Entrevistadora: dá sugestões? Entrevistada: Nós não damos sugestões. Ou seja, o que nós fazemos é: verificamos qual é o panorama e dizemos “então se têm este panorama o que é que sugerem?” e no ano a seguir a gente pergunta “então as sugestões que vocês fizeram? Resultaram, não resultaram? Já experimentaram este caminho ou este?”. Nós não decidimos nada. Ou seja, cada unidade orgânica tem a sua autonomia... Entrevistadora: hum, hum. Entrevistada: Cada professor tem a sua autonomia, cada docente tem a sua autonomia. Nós o que fazemos é este trabalho, lá está, parece repetitivo mas é verdade, é este trabalho de monitorização. Nós não decidimos nada. Nós podemos sugerir para melhorar, decidimos depois é em Conselho as medidas a adoptar por toda a gente. Ou seja, apesar das unidades orgânicas terem a sua independência e a sua autonomia a Reitoria faz que o processo seja igual para todos e é aí que nós temos o... as... damos as sugestões para poder que este processo seja todo ele equitativo e equivalente. Apresar de que temos de ter atenção com estas decisões uma vez que as unidades orgânicas são diferentes, têm um número de alunos diferente, a maneira de trabalhar é diferente, os cursos são diferentes. Pronto, e é isto que

nós temos que ter em conta. A Reitoria decide em termos de Conselho da Qualidade, ok? Mas toda a gente tem de estar de acordo. Pode ser uma... não é propriamente... é um sistema de nós podermos sugerir mas a maioria tem de estar de acordo porque senão não há consenso. Entrevistadora: Hum, hum Entrevistada: E o Sistema é... é válido para todos por isto mesmo. Ou seja, estando todos de acordo, ou a maioria estando de acordo, pode-se implementar uma homogeneidade em todas as unidades orgânicas apesar de elas serem diferentes e é aqui que a Reitoria pode ter o fio condutor e “decidir”, porque nós é que convocamos o Conselho. Entrevistadora: Ou seja, cada unidade orgânica apresenta o seu relatório... Entrevistada: Querem que eu vos descreva o Sistema todo? Entrevistadora: Nós já percebemos, mais ou menos,que cada unidade orgânica actua de forma independente, aplica o questionário aos alunos, depois logo vê se os professores fazem relatórios ou não e depois no final apresentam o relatório da unidade orgânica. Entrevistada: Sim. Entrevistadora: A minha questão era: esse relatório da unidade orgânica vem para vocâs aqui, não é, vocês analisam... Entrevistada: ...analisamos... Entrevistadora: ...e depois há aguma reunião? Pronto era essa... acho que é essa parte assim que ainda nos falha um bocadinho. Entrevistada: Neste momento, nós estamos em processo de transição. Como vocês sabem havia uma Pró, neste caso era uma Vice-Reitora, entretanto, a Prof.ª A assumiu como PróReitora e nós alterámos ligeiramente o formato. E o que é que eu quero dizer com isto: há coisas neste momento que são alterada para implementar em 14/15 e neste momento, porque nós ainda não fechámos o Sistema de 13/14 deste ano, não é, as coisas estão como estavam. O que é que foi implementado de novo? Antigamente havia o Conselho que eram cinco docentes representativos, não é, que faziam a representação de todas as unidades

orgânicas mais três alunos. O que é que nós alterámos? Neste momento temos um representante de cada unidade orgânica, pronto. E não temos alunos porque estamos a pensar na melhor maneira de os incluir no Sistema. Esta foi a alteração, a primeira. Segunda: fizemos uma ronda de reuniões no início por todas as unidades orgânicas, cada unidade orgânica tem o seu, a sua estrutura de qualidade, que tem obrigatoriamente um representante. Pode ter gabinete ou não dentro de cada unidade orgânica (Gabinete de Qualidade) mas um representante de qualidade todos têm de ter obrigatoriamente e o que nós fazemos é, antes do Conselho, fazemos uma reunião de representantes que é para tudo aquilo que foi verificado nos relatórios ser discutido em reunião de representantes e os relatórios são analisados no global e depois podemos verificar casos que são esporádicos em cada unidade orgânica e isto é feito na reunião de representantes. Pronto. O Sistema, neste momento, funciona como? Atá 13/14, ou seja, que estamos a fechar este ano, temos relatório intermédio de primeiro semestre, relatório intermédio mais anual (relatório de segundo semestre intermédio mais anual) que vai ser entregue agora. Vamos ter uma reunião de representantes e de Conselho para fechar 13/14. A partir de 14/15 iremos ter dois relatórios intermédios e um anual, separado, com as respectivas reuniões de representantes e com os Conselhos. Entrevistadora: Ou seja, essas reuniões esse aino ainda não se passaram? Entrevistada: Passaram, passaram. Com... esta foi uma das novas... as reuniões de representantes foi uma nova implementação que se colocou. Ok? E estes representantes são os que têm assento no Conselho. Ou seja, tudo aquilo que nós analisámos na reunião de representantes discute-se, aprova-se e fica fechado em Conselho da Qualidade. Entrevistadora: Podia-nos fazer uma linha cronológica, ou seja, o primeiro relatório intermédio é entregue... Entrevistada: no final do primeiro semestre... Entrevistadora: No final do primeiro semestre? Entrevistada: Sim, dois meses depois, mais ou menos, é o que estamos a dar, mais ou menos. Entrevistadora: Ok, depois o segundo intermédio no final do segundo semestre...

Entrevistada: Sim. Entrevistadora: E na mesma altura, o anual também ou... Entrevistada: Não, neste momento o anual estava junto... Entrevistadora: Sim com o do segundo semestre. Entrevistada: A partir de 14/15 irá ficar ligeiramente desfasado. Entrevistadora: hum, hum. E depois? Passam-se as reuniões? Entrevistada: As reuniões passam-se em cada intermédio, anual. Certo? Reuniões de representantes e os Conselhos. Há dois Conselhos por ano. Ou seja, a meio do primeiro e no final. Entrevistadora: E depois um no final do segundo. Ok. Queríamos também perguntarlhe quais os valores que influenciam o Sistema? Que valores é que o Sistema segue? Entrevistada: Como assim? Entrevistadora: A nível de, não sei, de rigor, transparência. Portanto, os valores que vocês seguem e que fazem questão que o Sistema tenha presente. Entrevistada: Ah, sim. Neste momento, a transparência é um deles. O anonimato é outro. São duas preocupações grandes. Entrevistadora: Ok. Entrevistada: ...a opinião dos estudantes é outro... e temos andado muito à volta destas problemáticas para conseguirmos também, através das melhorias que eu vos falei há pouco, que o Sistema tenha um valor por si mesmo. Ou seja, que possa... como é que eu vos vou explicar isto? Que possa ser... por exemplo, vocês são alunas, se tiverem um problema com alguma disciplina ou não concordarem com alguma, avaliam a qualidade que ela tem, não é? Para quem vem a seguir a vós essa qualidade é uma mais-valia. Entrevistadora: Sim. Entrevistada: Pronto... e é isto que nós queremos. Ou seja, tendo estes valores de anonimato, transparência... ter o feedback dado e os alunos perceberem o que é que é feito com ele, porque é que estão a responder, se foi feita alguma coisa ou não, o Sistema da

Qualidade ser algo em que toda a gente confie e que ache que é uma mais-valia para toda a faculdade, toda a Universidade, neste caso. Pronto, e os valores assentam especialmente nisto. Ou seja, chegarmos ao fim e percebermos que todos contribuímos para este fim. Que o Sistema faz... é integrante e é possível nós fazermos alterações dentro da autonomia, sempre, mas que estas, que cada vez seja melhor o ensino e tudo o que advém dele. Entrevistadora: Falou , referiu a questão da transparência. Entrevistada: Sim. Entrevistadora: O que é que... fazem para pelo menos tentar garantir, ou qual é a vossa linha de trabalho para garantirem que há transparência? Entrevistada: É assim, neste momento... nós estamos a trabalhar nesse ponto. A fundo. Porque se, quem participa não souber os resultados que tem é... Entrevistadora: Depois perde o interesse de participar. Entrevistada: Nós estamos a trabalhar no sentido de sermos o mais... coerentes possível. Ou seja, arranjarmos meios de divulgação, sem comprometer ninguém ou o que e que se passa. Nós podemos fazer isto a nível global e não específico, sempre. Conseguirmos fazer com que haja o tal feedback a toda a gente e que toda a gente consiga perceber se a sua opinião contou. Entrevistadora: hum, hum. Entrevistada: Ok? Mas eu não consigo dar-vos mais detalhes sobre isto porque é um processo em andamento. Entrevistadora: Ainda é algo que estão a trabalhar. Gostávamos também de perceber qual é a definição de qualidade adoptada no Sistema. Entrevistada: Isso é mais difícil (risos). Eu decor não sei. Posso-vos passar o texto que nós fizemos para o Relatório de Actividades da UNL. Mas, porque é um texto... Entrevistadora: Ok... grande. Entrevistada: Gigante! E eu não vos consigo dizer decor... Entrevistadora: Sim, claro!

Entrevistada: … o que é que é. Entrevistadora: Nós com esta pergunta, o nosso objectivo é, ou tentar perceber ou então tentar perceber se tinham essa informação, se tinham um documento escrito... Entrevistada: Temos, temos essa informação escrita... que eu não tenho cabeça para saber decor mas que vos posso fornecer. Teve o aval da Profª. X, foi grande parte ela que o escreveu, sobre o que é que nós fazemos na qualidade. Para vocês tentarem percber eu posso-vos dar mais daqui a pouco. Entrevistadora: Nós com a entrevista que fizemos de manhã já percebemos um bocadinho mas acho que também podemos falar disto que são quais os órgãos que compõem o Sistema, a sua hierarquia, a função de cada órgão… Entrevistada: Nós temos o Conselho, que é neste momento o órgão… máximo da Qualidade, que tem como presidente o Professor X e que tem como qualidade de 1.º e 2.º Ciclo a Professora X que é a Pró-Reitora, 3.º Ciclo o Professor X, que é Vice-Reitor. Depois tem o Gabinete da Qualidade abaixo, no qual em estou 1.º e 2.º Ciclo e a Engenheira Catarina está com 3.º Ciclo. Nós respondemos diretamente, eu repondo diretamente à Senhora Pró-Reitora, a Engenheira X responde diretamente ao Vice-Reitor, Professor X. Depois dentro de cada Unidade Orgânica existe sempre o responsável como eu já vos disse, que é o responsável máximo do Sistema e depois para baixo depende de cada Unidade. Mas existem Unidades Orgânicas que têm Comissões da Qualidade, que têm Gabinetes da Qualidade, que podem ter um secretariado ou não e isso também é uma coisa que eu vos posso mostrar que foi o que, foi uma… um plano geral do que nós fizemos e que pedimos para preencher que era a respetiva pessoa no respetivo cargo. E isso eu também vos posso mostrar porque eu tenho o plano geral, posso-vos mostrar que existem Unidades Orgânicas que não têm determinado ponto. Por exemplo, há Unidades Orgânicas que têm um conselheiro externo, há outras que não têm. Depende… Entrevistadora: É a autonomia… Entrevistada: É a autonomia que lhe faz isso, ou seja, o Sistema está todo feito para que seja igual para todos, porque existem requisitos que todos têm de ter. mas depois dentro de cada depende de como é que elas se quiseram conciliar. Por exemplo, numa das Unidades Orgânicas quem é presidente do Conselho Pedagógico é automaticamente nomeado

responsável pela Qualidade, isto é só um exemplo, pode existir outra forma. E o que eu posso também vos mostrar, o plano geral, o que é que, quais são os pontos todos que existem e algumas têm e outras não. Entrevistadora: E em relação às funções de cada órgão? Os órgãos que descreveu, não é? Entrevistada: Sim. Entrevistadora: Se podemos perceber um bocadinho a função de cada um órgão. Entrevistada: O Conselho é sobretudo órgão decisor porque lá são, no Conselho são propostas medidas que podem ser aprovadas ou não. É sempre um órgão decisor. O Gabinete o que faz é o help desk o intercâmbio entre as Unidades Orgânicas. Tudo o que for pedido, pelo, neste caso, estou a falar no meu caso, mas a Engenheira X também o faz, tudo o que for pedido pelo Senhor Pró-Reitor e pelo Senhor Vice-Reitor, nós contactamos as Unidades Orgânicas e pedimos este feedback e este é o nosso trabalho. Podemos... desculpem... podemos... fazemos este help desk mas lá está, nos não decidimos nada, é só puramente trabalho de help desk, ajudar no preenchimento, se tem alguma dúvida, dizer datas, lembrar datas, relembrar coisas que já foram decididas, é sempre este trabalho. Depois em cada Unidade Orgânica o responsável é o responsável pelo Sistema e faz, dentro da Unidade Orgânica, todo o trabalho que lhe é pedido. Pode haver um Gabinete que faz, que pode fazer a interação connosco ou então o próprio responsável é que faz. Mas normalmente a interação que eu tenho é sempre com os responsáveis, sempre. O responsável é que depois pode ter a interação com o seu Gabinete. Existem Comissões da Qualidade do Ensino que são as tais Comissões que depois aprovam os relatórios que têm... os relatórios, os intermédios e os anuais têm de ir a estas Comissões para ser aprovados. Existem Comissões de cada Ciclo que também verificam os relatórios e depois lá está, dentro da sua autonomia e dentro de cada uma... que tenha ou que não tenha aquilo que faz... existe esta cadeia, ou seja, o responsável é sempre o responsável pelo Sistema mas o relatório tem sempre, ir sempre a alguém para aprovação antes de vir para a Reitoria. Entrevistadora: Em relação ao que é que o Sistema avalia, portanto temos os Ciclos de Estudo, Unidades Orgânicas?

Entrevistada: Não. Neste momento nós avaliamos...Unidades Curriculares e avaliamos Ciclos de Estudo. Há um... existe neste momento, que está a ser trabalhado, um gap que nos falta avaliar cursos... pronto. Neste momento, o que o Sistema avalia são Unidades Curriculares e Ciclos de Estudo. Entrevistadora: Unidades Orgânicas não? Entrevistada: Unidades Orgânicas não. O que as Unidades Orgânicas nos fornecem no relatório anual são, e vocês têm os instrumentos... Entrevistadora: Sim, sim, sim, sim. Entrevistada: São os pontos fortes, os pontos fracos... dizem-nos qual o fluxograma... se alteraram a missão... é este o tipo de coisas. Nós não avaliamos as Unidades Orgânicas. Não. O que avaliamos é Unidades Curriculares e depois os Ciclos de Estudo. Neste momento nós estamos a trabalhar também para avaliar cursos. Mas é, tal como a transparência, é algo que ainda está... não é que, no caso da transparência, não é que não esteja a ser feito, não é nada disso! Estamos é a tentar melhorar aquilo que já está feito. Entrevistadora: Hum, hum... Entrevistada: Pronto. Porque, por exemplo, se numa Faculdade se se quisesse saber quem é que foi o aluno que respondeu àquilo ninguém sabe! Ninguém sabe! Porque nós temos, existem muitas Unidades Orgânicas que têm tudo informatizado, não existem códigos... não existe maneira de saber quem é que respondeu e até mesmo as quem têm em papel não se consegue perceber. Por isso é que nós temos limiares de representatividade que é a partir do momento em que é possível reconhecer quem é que respondeu nós não aplicamos o questionário. Essa 'uma das regras. Eu eu posso-vos, não sei se têm a pergunta ou não, mas posso-vos dizer, isto nós temos... para responder existem sempre estes limiares de representatividade que nos permitem chegar a um ponto e dizer assim “a partir daqui é possível conhecer quem fez” então é opcional para a Unidade Orgânica aplicar ou não aplicar. Normalmente não é aplicado. Porque a parti aquele momento é possível conhecer quem fez, então se é possível conhecer quem fez nós não queremos, minimamente saber quem é que respondeu ou não respondeu. E por isso é que eu estava a dizer, este é um ponto no qual ainda está implementado de transparência, não é? Mas... e que foi melhorado, mas existe algum trabalho a fazer. E esta parte, este gap dos cursos também está... não era

avaliado, nós vimos o gap então vamos trabalhar para conseguir que exista também esta avaliação. Mas é um trabalho constante, não pode ser feito... porque se eu vou implementar uma coisa este ano e a seguir vou mudar outra vez eu não consigo ter o espaço temporal para comparar nada, então o trabalho é sempre progressivo. Entrevistadora: os envolvidos no processo de avaliação são os alunos, não é? Entrevistada: Sim. Entrevistadora: E professores? Entrevistada:

Sim. Que normalmente vêem o que foi...

vêem os resultados dos

questionários... Entrevistadora: Dos alunos? Entrevistada:

Os alunos respondem, para aquela Unidade Curricular saem aqueles

resultados, na globalidade ok? E o professor tem que comentar o que é que acha sobre aqueles resultados. Por isso é que eu digo, ninguém é identificado, não existe maneira de saber. O que sai é a globalidade, ou seja, sai uma média de cada... de todas as respostas que foram dadas, sai uma média para cada pergunta e que nós temos... vocês têm aí os instrumentos' Já agora é mais fácil explicar. Entrevistadora: Sim, sim (entrega a documentação à entrevistada). Entrevistada: De cada pergunta sai... cada um responde, certo? E daqui vai sair uma média... entre um e seis vai sair uma média. Se for abaixo... com o três inclusive é medida a melhorar, e vocês devem ter os relatórios intermédios, que é isto (mostra um documento). Como... com... se chegar ao três é medida a melhorar. Então aqui sai nome da Unidade Curricular e saem as médias de cada pergunta. Isto é mostrado e o professor tem de justificar em relação à média que tem... quando tem menos de três, não é? Tem de justificar o porque que acha que teve aquela nota. Pronto. E é isto que é avaliado, ou seja, os alunos dão a sua opinião, na globalidade existe uma média para cada pergunta, naquela Unidade Curricular e depois o professor ou o docente avalia porque é que acha que teve aquela nota, pronto. E isso depois é feito... os coordenadores dão a sua opinião sobre o que é que acham que houve problema ali e descrevem depois as medida de melhoria a implementar. Por exemplo, se tiver um problema na Q8 que é em relação ao feedback, o professor pode dizer

que acho que tive isto porque, compreendo que tive isto, ou não compreendo“, depois depende da opinião de cada um, “e posso melhorar dando, dizendo no final da aula quanto é que cada aluno teve”. É só um exemplo. Pronto, e isto é o que é feito, que é aquela Unidade Curricular tem aquelas médias naquelas perguntas e isso é mostrado e depois o professor comenta aqueles resultados, na globalidade. Entrevistadora: Portanto os únicos envolvidos são os professores e os alunos? Entrevistada: Sim. Quer dizer, os coordenadores também são envolvidos porque tem que ir sempre alguém... Entrevistadora: E responsável pela Qualidade em cada Unidade Orgânica... Entrevistada: E as Comissões têm que avaliar os relatórios... ou seja todos os pelouros a que cada um pertence, todos estão envolvidos no Sistema. Dentro da Unidade Orgânica... por exemplo... quando existe este... quando o relatório feito vai ao coordenador, vai ao docente, o docente comenta, as medidas são feitas, não é? Depois vai à Comissão para ser avaliado... tem que ter o avalo dos pares, para depois voltar. E este processo todo dentro da Unidade Orgânica, todos estão envolvidos, pronto. Mas é mais fácil de eu vos mostrar aquilo que tenho para vocês perceberem melhor como é que funciona. Entrevistadora: O tratamento de dados é feito em cada Unidade Orgânica? Entrevistada: Dependendo de como eles têm o Sistema. Muitas das Unidades Orgânica têm online e os dados saem já tratados, ou seja, a base de dados fica feita e depois são tratados, dependendo de quem, não é? Porque pode existir um Gabinete de Informática específico para isso como pode ser um Gabinete de Qualidade específico para isso, como pode ser o responsável pela Qualidade que faz isso, não é? Mas cada Unidade Orgânica tem o seu tratamento de dados. O que nos chega a nós, enquanto Reitoria e enquanto Gabinete é o resultado final. Entrevistadora: E como é que conseguem garantir a fiabilidade e a validade tanto dos instrumentos que utilizam como os resultados dos dados que recolhem? Entrevistada: É assim, já foi feito um ano piloto, pronto. E já foram feitas algumas alterações. A fiabilidade e a viabilidade tem a ver mesmo com isto que é as alterações que foram feitas foi para tornar o sistema mais viável e o mais... acessível possível para na

haver viés em nenhum lado. Por exemplo, no questionário aos alunos nós sabemos que existem coisas que... e isto foi decidido em Conselho, que por exemplo, a primeira pergunta... nós perguntamos se podia saber se era obrigatório ou não, não é? Nós fomo-nos aconselhar com a parte jurídica, com... fizemos a sondagem, entre aspas, no Conselho para saber o que é que os responsáveis pensavam sobre isso, o que é que a parte jurídica pensava e tomámos uma decisão em relação a isso, ou seja, nós não tomamos decisões nem alteramos nada que possam comprometer o Sistema, não é?. E testamos sempre para perceber se pode haver algum enviesamento ou não. E nós estamos sempre suportados nisto, ou seja... se há algo que não corre bem ou algo que nós sentimos que que pode ser um pequeno revés, nós estudamos ao máximo o que é que se pode fazer para melhorar, para que a fiabilidade e a validade deste Sistema não seja posto em causa. Nós estamos sempre tudo ao pormenor para que isso não aconteça. Sendo que o piloto já foi ajustado ao longo do tempo, para deixar o Sistema mais acessível e, lá está, mais transparente possível. Entrevistadora: Em relação à divulgação dos resultados, queríamos saber, tentar perceber um bocadinho... Entrevistada: são divulgados como, quando, dentro de cada Unidade Orgânica são. Entrevistadora: Os resultados quer aos questionários aos alunos, quer do relatório do docente? Entrevistada: Pronto ... é este ponto que nós neste momento estamos a trabalhar. Umas das questões que ... deu algum ruído, não é que não fosse avaliado, não é que tivesse problema, é porque foi a pergunta número oito que é a do feedback. Que se percebeu que pode ser interpretada de inúmeras maneiras pronto ... e o que acontece é que cada Unidade Orgânica dá o feedback final dos relatórios ... cada uma delas dá na globalidade, nunca é especifico ok? Nós aqui na reitoria não fazemos essa divulgação por enquanto, pronto. Posso-vos tentar saber ... como é que cada uma faz essa ... essa divulgação por exemplo existem Unidades Orgânicas que fazem no site da... Entrevistadora: Mas fazem divulgação do relatório da Unidade Orgânica que depois entregam? É isso?

Entrevistada : Sim. Não tenho aqui o computador não vos posso mostrar ... mas posso-vos mostrar por exemplo que FCM1 faz na página, na página deles, no site deles. Se vocês forem lá a Qualidade têm lá os relatórios e podem ver ... quais foram os ... como é que ... qual é o aspecto final pronto. Entrevistadora: Mas não são obrigadas as Unidades Orgânicas, as Unidades Orgânicas não são obrigadas a divulgar ou são? Ou seja, se há umas que divulgam e outras não? Entrevistada : ... elas todas têm que divulgar. Tem que se divulgar mas umas questões que vocês podem perceber é que às vezes é complicada esta divulgação e umas das coisas que nós estamos a estudar é isto mesmo: Como é que nós podemos fazer esta divulgação. Tanto a nível ... por razões que neste momento não vos consigo explicar mas, é protecção de dados, tudo o que tenha a ver com isto. Entrevistadora: Sim. Entrevistada: Ou seja, ... e esta divulgação é feita ... a pergunta é sempre o que é que se pode divulgar e o que é que não se pode? devido à protecção de dados não é ... e esta linha ténue do que é que se pode e o que é que não se pode ... existem Unidades Orgânicas que divulgam, como é o caso da FCM mas divulgam até certo ponto, pronto. O que nós queríamos era fazer esta divulgação ... de maneira a que temos sempre em conta a protecção dos dados, e o que é que se pode e o que é que não se pode. E isto é um campo, que como vocês devem saber, mais complexo e é precisamos de nos apoiar em algo ... mais ... de legislação para que possamos dar a garantia de que o que é divulgação não trás riscos nenhuns ok? ... e por isso é que existem Unidade Orgânicas que divulgam, eu não sei se há ... se todas divulgam ou não, não vos consigo responder mas é um dos temas que neste momento também está em trabalho, porque nós reitoria podemos ... divulgar estes dados ... mas neste momento é trabalho também em, em, em...ok. Entrevistadora: ok. Neste momento é trabalho a desenvolver, mas neste momento o que se passa é que algumas Unidades Orgânicas divulgam, não temos a certeza se todas e o relatório anual da própria Universidade NOVA também é divulgado ou não?

1

Faculdade de Ciências Médicas

Entrevistada: Pela reitoria? Não, não. Podem ser em cada, em cada Unidade Orgânica mas nós neste momento estamos a pensar numa maneira de fazer. Por lá está se vocês não tiverem feedback daquilo que fazem, Entrevistadora: as pessoas perdem o interesse... Entrevistada: Claro, então nós estamos todos a tentar ... arranjar uma forma de sem entrar nesta parte de protecção de dados do que é que se divulga e o que é que não se divulga, até que ponto é que nós podemos ir, fazer esta divulgação para que não haja problemas não é? ... é complicado ... é complicado nós percebermos, porque vocês podem pegar em qualquer informação que encontrem e hoje nós vemos isso, se nós pusermos uma informação na internet ... nós podemos fazer aquilo que quisermos dela pronto. Até que ponto é que nós podemos divulgar informação e é neste ponto que nós estamos a trabalhar, o que é que se divulga e o que é não se divulga para não haver ninguém que nos prejudique ... possa haver um feedback e um reconhecimento de daquilo que foi avaliado claro, mas temos que ter atenção a isto sempre. E este é o tal trabalho em desenvolvimento. Entrevistadora: Qual é a utilização que fazem dos dados? Que recolhem e analisam? Entrevistada: A utilização é tentar perceber ... se houve melhorias ou não. Entrevistadora: Também tentar perceber o que é necessário melhorar para depois ... ok. Entrevistada - Sim. Para depois conseguirmos não é perceber se aquela unidade curricular teve problemas ao longo de ... de vários tempos, o que falhou e o que não falhou não é? Nós temos que passar pelo sistema todo até ao final, fechámo-lo e no ano a seguir passar outra vez pelo mesmo, pelo sistema para percebermos se continua ou não com problemas e se as melhorias foram implementadas ou não e tentarmos ajudar neste sentido, é sempre de perceber o que é que se passa no ... no monitorizar ... e tentar sempre ajudar ... a melhorar. E o que pode ter sempre este pensamento é ... tentar sempre melhorar os problemas relatados e o que fazemos com os dados é isso mesmo. é tentar comparar, ao longo do tempo e perceber se aquela, se aquela unidade curricular voltou a ter problemas ou não. E depois ... irmos ... não obrigamos ninguém mas pedimos por exemplo informações, olhe o que é que correu mal, o que não correu pronto e ...hum mas é, é ... esta mudança trouxe trabalho em desenvolvimento (risos) pronto e neste momento estamos, vamos comparar ...

já as outras ... fazer a comparação, ou seja, vamos terminar 13/14, vamos comparar com 12\13 e perceber o que é que, o que é que pode ter continuado com um problema ou o que é que mudou. Entrevistadora: E à partida que medidas é que podem ser tomadas com... Entrevistada: As medidas são sempre tomadas ... dentro das Unidades Orgânicas. Entrevistadora: Hum, hum mas ... Entrevistada: Nós podemos relatar, a reitoria e neste caso o gabinete pode relatar, as unidades curriculares que tiveram o mesmo problema, e pode por exemplo dizer que teve na Q1, Q2 pronto. Mas as melhorias e a autonomia que cada Unidade Orgânica tem é dentro da Unidade Orgânica que se resolve. Nós não, lá está volto a repetir nós não decidimos, nós podemos dar linhas orientadoras mas não o que é decidido em conselho. Entrevistadora: Cada Unidade Orgânica tem autonomia para... Entrevistada: Cada Unidade Orgânica assume ... tem autonomia para ... com as melhorias que forem sugeridas, aplicarem -nas. Agora o que nós fazemos sempre é monitorização ok? Nós verificámos que aquela unidade curricular tinha um problema, fazemos a monitorização e dizemos : " olhe encontrámos que estas tem o problema 2 anos seguidos ... " e então dizemos à unidade orgânica mas, não, não decidimos quer dizer eles têm a autonomia para fazerem essas melhorias, nós não fazemos nada. Entrevistadora: Na sua opinião, que desafios é que o Sistema encontra, encontrou, desafios ao longo... Entrevistada: Os que encontrou têm que perguntar a Engenheira X (risos) Entrevistadora: Sim, mas desde que se encontra a trabalhar directamente ligada ao sistema, porque pode ter encontrado alguns desafios, quando começou a trabalhar e que agora lhe parecem que estão mais, mais... Entrevistada: Sim ... o desafio é sempre pensar que temos nove Unidades Orgânicas na sua autonomia e na sua diversidade e tentar encontrar um fio condutor para elas não é, estou me a repetir mas é verdade são alunos diferentes, são números de alunos diferentes, os cursos são de tamanhos diferentes, a maneira de fazer as coisas, cada um tem a sua especificidade

... e o desafio ao início para mim era esta diversidade de como é que nós conseguimos por, fazer isto homogéneo, como é que conseguimos ... esta concordância. Neste momento, deixou de ser um desafio... Entrevistadora: Sim. Entrevistada: Sim, estamos todos com esta homogeneidade do sistema e que todos, todas as decisões que foram tomadas foi por .. acordo de todos os responsáveis do Sistema ok? E neste momento temos toda a gente a fazer a mesma coisa. E o maior desafio para mim quando entrei foi isto, que era perceber então mas como é que eu consigo por nove Unidades Orgânicas (risos) que são completamente diferentes ... neste... nesta homogeneidade não é? E esse foi um desafio superado. Hão - de vir outros, nestes trabalhos em continuidade ... podem aparecer outros desafios não é, mas para mim o principal foi este e foi completamente superado. Entrevistadora: Hum, hum mas actualmente que desafio é que agora enfrenta? Entrevistada: Neste momento é o desafio, não é um desafio é um trabalho que se faz que é tornar cada o sistema cada vez mais fiável e mais viável ... para que nós possamos ... ter um sistema que seja completamente "impenetrável" não é e que nos permita avaliar tudo e que nós tenhamos consciência que quando avaliamos, quando temos o Sistema todo até ao fim, quando voltamos a repetir no ano a seguir houve uma melhoria pronto, acho que ... acho que é mais por aqui. Entrevistadora: É esse desafio que antecipa? Entrevistada: Eu acho que sim, que é ... e o sistema de qualidade é isto não é é sempre nós melhorarmos ... Entrevistadora: Não é nada estático não é... Entrevistada: Não nada. E nós sempre melhorámos aquilo que fomos encontrando e eu acho que é esse o desafio, sim neste momento é que este podemos contribuir para que exista sempre uma melhoria ... trabalhando todos em conjunto e para que esta melhoria vá-se sempre fazendo não é, eu não lhe chamo um desafio ... porque não é um desafio numa perspectiva má, um desafio bom neste momento o sistema está implementado, está completamente ... já na sua autonomia também não é ... e está completamente montado e

temos a regularidade que um Sistema permite, por isso não é um desafio mau é um desafio bom que nos faz trabalhar sempre para melhorar e para ter a mais - valia de Sistema completamente implementado e com ... a funcionar. Entrevistadora: Portanto é isso que perspectiva para o Sistema, a médio - longo prazo? A melhoria constante... Entrevistada: Não é que ele agora não esteja bom, não é isso (risos) há sempre aspectos que podem ser melhorados e nós contribuirmos para isso é sempre muito bom não é. Entrevistadora: Que balanço faz do Sistema? Entrevistada: Faço positivamente esse balanço ... o balanço e a avaliação é positivo, porque do primeiro semestre de 12\13 para ... 13\14, o primeiro de 13\14 já foi feita a comparação e nós já verificámos que existem melhorias. Por isso ... o balanço é positivo. Entrevistadora: E pronto para terminar uma das perguntas que temos é se nos consegue caracterizar o Sistema através de algumas palavras - chave ou ideias, aquilo que destaca do Sistema. Entrevistada: O que é que eu destaco do Sistema ... Entrevistadora: Caracterizá-lo em algumas palavras - chave que lhe pareçam assim, que caracterize melhor... Entrevistada: Isso é difícil (risos). Entrevistadora: Já tivemos dificuldades de manhã também (risos) se for mais fácil assim, se lhe pedissem para caracterizar o Sistema numa maneira muito curta, ou nem que seja adjectivá-la ou assim. Num contexto mais geral, mais global. Entrevistada: Sim. A X também teve o mesmo problema? (risos). Entrevistadora: Sim (risos) conseguiu dar a volta mas teve... Entrevistada: Vou mandando ideias para o ar. Entrevistadora: O objectivo é mesmo esse (risos). Entrevistada: Acho que neste momento o Sistema é uma mais valia, acima de tudo é bastante importante ... permite melhorar ... aspectos que vão sendo descobertos ... e que

ajudam sempre a melhorar o ensino não é? ... mas acho que acima de tudo este Sistema é uma mais valia. Pela sua globalidade, por conseguirmos ... que o Sistema chegue ... lá está que chegue ... que tenha a homogeneidade de chegar a nove Unidades Orgânicas em que fazem a mesma coisa ... é sem dúvida ... a palavra - chave é sem dúvida uma mais valia, que o façamos e que o façamos melhor, sem qualquer, sem qualquer erro e sem qualquer dúvida. Eu acho que sim. Entrevistadora: Hum, hum não sei se quer acrescentar mais alguma coisa, pode-nos ter escapado alguma pergunta importante. Entrevistada: O que vos posso neste momento mostrar só está no meu computador, possovos mostrar aquilo que vos disse que é o plano do conselho. Posso ir buscar o Dossiê, que acho que está no Dossiê que é ... posso-vos mostrar a globalidade, o que é que cada uma tem ... o documento da Qualidade e... Entrevistadora: A representação das Unidades Orgânicas... Entrevistada: Que é o da globalidade. Entrevistadora: Sim, acho que era isso. Entrevistada: Posso? Entrevistadora: Sim, sim.

Anexo H – Grelha de análise de conteúdo da entrevista à Entrevistada B Categorias

Subcategorias

Indicadores Identificação de problemas

Propósitos

Monitorização Melhoria

Composição do SGQE

Órgãos a nível Central

Gabinete da Qualidade

Unidades de Registo "(...) perceber (...) quais são os problemas que existem (...)” " (...) esta monitorização permite-nos (...) [identificar] quais são os problemas apresentados (...)" " (...) o Sistema serve para (...) monitorizar a qualidade do ensino nas diversas unidades orgânicas (...)" "(...) os problemas que existem podem ser melhorados." "(...) fazer esta monitorização, de como é que, neste momento, as unidades curriculares se comportam e cada unidade orgânica (...)” "(...) esta monitorização que nós fazemos durante os semestres, semestralmente, e depois anualmente (...)" " É só mesmo esta monitorização que fazemos à qualidade." " É assim esta monitorização permite-nos ter vários aspectos em vista (...)" "(...) as questões de melhoria que são dadas por quem apresenta problemas." " E depois verificar no ano a seguir se essas melhorias foram realmente implementadas ou não." " Porque se (...) forem feitas sugestões mas algo ficar na mesma vocês não conseguem ter uma qualidade (...)" "(...) é perceber se havendo aquele problema que está referenciado há aquela monitorização(...)" " (...) vamos alterar com medidas de melhoria (...)" "(...) no ano a seguir, o que nós queremos é que o problema não se volte a repetir (...)" " (...) então o propósito é que aquela unidade curricular não tenha o mesmo problema (...)" "Nós podemos sugerir para melhorar (...)" " (...) apesar de que a Reitoria faz só help desk e aconselhamento, ou seja, verifica os relatórios (...)" "(...) a Reitoria faz que o processo seja igual para todos (...)" "(...) o Gabinete da Qualidade abaixo, no qual eu estou 1.º e 2.º Ciclo e a Engenheira Catarina está com 3.º Ciclo." " O Gabinete o que faz é o help desk o intercâmbio entre as Unidades Orgânicas."

Conselho da Qualidade do Ensino

Estrutura

Órgãos a nível Local

Comissão

"(...) nós contactamos as Unidades Orgânicas e pedimos este feedback e este é o nosso trabalho." "(...) nos não decidimos nada, é só puramente trabalho de help desk (...)" "(...) O que nos chega a nós, enquanto Reitoria e enquanto Gabinete é o resultado final. " "(...) decidimos depois é em Conselho as medidas a adoptar por toda a gente." "(...) a Reitoria pode ter o fio condutor e “decidir”, porque nós é que convocamos o Conselho." " Há dois Conselhos por ano." "Nós temos o Conselho, que é neste momento o órgão(…) máximo da Qualidade (...)" "(...) tem como presidente o Professor X e que tem como qualidade de 1.º e 2.º Ciclo(...)" "(...) a Professora X que é a Pró-Reitora (...)" "(...) 3.º Ciclo o Professor X, que é Vice-Reitor." " O Conselho é sobretudo órgão decisor (...) " "(...) no Conselho são propostas medidas que podem ser aprovadas ou não. É sempre um órgão decisor." "(...) cada unidade orgânica tem (...) a sua estrutura de qualidade" "(...) Pode ter gabinete ou não dentro de cada unidade orgânica (...)" "(...) mas um representante de qualidade todos têm de ter obrigatoriamente (...)" "Depois dentro de cada unidade orgânica existe sempre o responsável (...)" "(...) existem unidades orgânicas que têm Comissões da Qualidade, que têm Gabinetes da Qualidade, que podem ter um secretariado ou não (...)" "(...) há unidades orgânicas que têm um conselheiro externo, há outras que não têm. " " Pode haver um Gabinete que faz (...) a interacção connosco ou então o próprio responsável é que faz." "Existem Comissões da Qualidade do Ensino que são as tais Comissões que depois aprovam os relatórios que têm(...)" "(...) os relatórios, os intermédios e os anuais (...)" "Comissões de cada Ciclo que também verificam os relatórios e depois lá está, dentro da sua autonomia e dentro de cada uma (...)" "(...) E as Comissões têm que avaliar os relatórios(...) "

Professores Alunos Representantes Reuniões

Integrante

Caracterização do SGQE

Características

Autonomia das Unidades Orgânicas

"(...) temos um representante de cada unidade orgânica (...)" " E não temos alunos porque estamos a pensar na melhor maneira de os incluir no Sistema." "(...) fazemos uma reunião de representantes que é para tudo aquilo que foi verificado nos relatórios ser discutido em reunião de representantes (...) " "(...) os relatórios são analisados no global e depois podemos verificar casos que são esporádicos em cada unidade orgânica e isto é feito na reunião de representantes." "(...) a Reitoria faz que o processo seja igual para todos (...)" "(...) damos as sugestões para poder que este processo seja todo ele equitativo e equivalente." " Mas toda a gente tem de estar de acordo." "(...) a maioria estando de acordo, pode-se implementar uma homogeneidade em todas as unidades orgânicas (...)" "(...) é integrante (...)" " Nós estamos a trabalhar no sentido de sermos o mais (...) coerentes possível." " (...) o Sistema está todo feito para que seja igual para todos, porque existem requisitos que todos têm de ter." "(...) cada unidade orgânica tem a sua autonomia (...)" "Cada professor tem a sua autonomia, cada docente tem a sua autonomia." "(...) as unidades orgânicas são diferentes, têm um número de alunos diferente, a maneira de trabalhar é diferente, os cursos são diferentes." "(...) cada unidade orgânica tem (...) a sua estrutura de qualidade, que tem obrigatoriamente um representante." "(...) é possível nós fazermos alterações dentro da autonomia (...)" "(...) depois dentro de cada [unidade orgânica]depende de como é que elas se quiseram conciliar." "(...) Muitas das unidades orgânicas têm online e os dados saem já tratados (...) a base de dados fica feita e depois são tratados (...)" "(...) O que pode existir um Gabinete de Informática específico para isso (...)" como pode ser um Gabinete de Qualidade específico para isso (...)" "(...) como pode ser o responsável pela Qualidade que faz isso (...)" "(...) cada unidade orgânica tem o seu tratamento de dados." " As medidas são sempre tomadas (...) dentro das unidades orgânicas. "

Transparência

Anonimato

Valores

Opiniões dos estudantes

Feedback

Confiança Unidades Curriculares Objectos de Avaliação Ciclos de Estudos Envolvidos

Estudantes

" Mas as melhorias e a autonomia que cada unidade orgânica tem é dentro da unidade orgânica que se resolve." " Cada unidade orgânica assume (... ) tem autonomia para (...) com as melhorias que forem sugeridas, aplicarem -nas." "Neste momento, a transparência é um deles." " Mas é, tal como a transparência, é algo que ainda está (...)" "Estamos é a tentar melhorar aquilo que já está feito." "O anonimato é outro." " (...) quem é que foi o aluno que respondeu àquilo? Ninguém sabe!" "(...) existem muitas unidades orgânicas que têm tudo informatizado, não existem códigos(...)" "(...) não existe maneira de saber quem é que respondeu e até mesmo as quem têm em papel não se consegue perceber." "(...) para responder existem sempre estes limiares de representatividade que nos permitem chegar a um ponto e dizer assim “a partir daqui é possível conhecer quem fez” "(...) então é opcional para a unidade orgânica aplicar ou não aplicar. Normalmente não é aplicado. " "(...) então se é possível conhecer quem fez nós não queremos, minimamente saber quem é que respondeu ou não respondeu." "(...) ninguém é identificado, não existe maneira de saber." "(...) a opinião dos estudantes é outro (...)" "(...) , vocês são alunas, se tiverem um problema com alguma disciplina ou não concordarem com alguma, avaliam a qualidade que ela tem (...)" "(...) ter o feedback dado e os alunos perceberem o que é que é feito com ele, porque é que estão a responder, se foi feita alguma coisa ou não (...)" "Nós estamos a trabalhar no sentido de (...) Conseguirmos fazer com que haja o tal feedback a toda a gente e que toda a gente consiga perceber se a sua opinião contou." "(...) o Sistema da Qualidade ser algo em que toda a gente confie (...)" "(...) que ache que é uma mais-valia para toda a faculdade, toda a Universidade (...) " Neste momento nós avaliamos (...) Unidades Curriculares (...)" " O que avaliamos é Unidades Curriculares e depois os Ciclos de Estudo." Neste momento nós avaliamos (...) Ciclos de Estudo. " O que avaliamos é Unidades Curriculares e depois os Ciclos de Estudo." "Sim."

Docentes

Fiabilidade e a validade

Questionários

Recolha, análise e divulgação de dados Relatório Intermédio

Relatório Anual

Divulgação dos dados

"(...) vêem os resultados dos questionários (...)" " A fiabilidade e a viabilidade tem a ver mesmo com (...) as alterações que foram feitas foi para tornar o sistema mais viável e o mais (...) acessível (...)" " (...) se há algo que não corre bem ou algo que nós sentimos que pode ser um pequeno revés (...)" "(...) nós estudamos ao máximo o que é que se pode fazer para melhorar, para que a fiabilidade e a validade deste Sistema não seja posto em causa. " "(...) vocês têm um instrumento e verificam que nós temos nove questões." " O que sai é a globalidade (...)" " (...) sai uma média de cada (...)" "(...) de todas as respostas que foram dadas, sai uma média para cada pergunta (...)" "(...) E daqui vai sair uma média (...)" "(...) entre um e seis vai sair uma média. Se for abaixo (...) com o três inclusive é medida a melhorar (...)" "(...) temos relatório intermédio de primeiro semestre (...)" "(...) Tem de justificar o porque que acha que teve aquela nota." "(...) o professor ou o docente avalia porque é que acha que teve aquela nota (...)" "(...) os coordenadores dão a sua opinião sobre o que é que acham que houve problema ali e descrevem depois as medidas de melhoria a implementar." " (...) no relatório anual (...)" "São os pontos fortes, os pontos fracos... dizem-nos qual o fluxograma... se alteraram a missão(...)" "(...) ... e o que acontece é que cada Unidade Orgânica dá o feedback final dos relatórios (...)" "(...) cada uma delas dá na globalidade (...)" "(...) possa haver um feedback e um reconhecimento de daquilo que foi avaliado claro, mas temos que ter atenção a isto sempre. " "Nós estamos a trabalhar no sentido de (...) arranjarmos meios de divulgação, sem comprometer ninguém ou o que e que se passa." "(...) elas todas têm que divulgar." "Tem que se divulgar mas umas questões que vocês podem perceber é que

Utilização dos dados

Perspectivas

Dificuldades e Desafios

Diversidade

às vezes é complicada esta divulgação e umas das coisas que nós estamos a estudar é isto mesmo (...)" "(...) a pergunta é sempre o que é que se pode divulgar e o que é que não se pode? devido à protecção de dados não é (...) " "(...) existem Unidades Orgânicas que divulgam (...) mas divulgam até certo ponto (...)" "(...) mais complexo e é precisamos de nos apoiar em algo (...)" "(...) de legislação para que possamos dar a garantia de que o que é divulgação não trás riscos nenhuns (...)" "(...) A utilização é tentar perceber (...) se houve melhorias ou não." "(...) se as melhorias foram implementadas ou não e tentarmos ajudar neste sentido, é sempre de perceber o que é que se passa (...)" "(...) e tentar sempre ajudar ... a melhorar." "(...) tentar sempre melhorar os problemas relatados e o que fazemos com os dados é isso mesmo. " "É tentar comparar, ao longo do tempo e perceber se aquela, se aquela unidade curricular voltou a ter problemas ou não." "(...) o desafio é sempre pensar que temos nove unidades orgânicas na sua autonomia e na sua diversidade e tentar encontrar um fio condutor para elas (...)" "(...) e o desafio ao início para mim era esta diversidade de como é que nós conseguimos por, fazer isto homogéneo (...)" "(...) esta concordância." "(...) estamos todos com esta homogeneidade do sistema e que (...) todas as decisões que foram tomadas foi por (...)" "(...) acordo de todos os responsáveis do Sistema ok? E neste momento temos toda a gente a fazer a mesma coisa." "E foi um desafio superado."

Melhoria Constante

Balanço

Positivo

" Neste momento é o desafio (...)" "(...) que se faz que é tornar cada o sistema cada vez mais fiável e mais viável (...)" "(...) para que nós possamos (...) ter um sistema que seja completamente "impenetrável" (...)" "(...) que nos permita avaliar tudo e que nós tenhamos consciência que quando avaliamos (...)" houve uma melhoria constante (...)" "(...) podemos contribuir para que exista sempre uma melhoria (...)" "(...) trabalhando todos em conjunto e para que esta melhoria vá-se sempre fazendo (...)" "(...) há sempre aspectos que podem ser melhorados (...)" " Faço positivamente esse balanço (...)" "(...) nós já verificámos que existem melhorias. Por isso... o balanço é positivo." "Acho que neste momento o Sistema é uma mais-valia (...) acima de tudo é bastante importante ( ...)" "(...) permite melhorar (...) aspectos que vão sendo descobertos (...)" "(...) e que ajudam sempre a melhorar o ensino (...)" "(...) acho que acima de tudo este Sistema é uma mais valia. " "Pela sua globalidade, por conseguirmos (...) que o Sistema (...) tenha a homogeneidade de chegar a nove unidades orgânicas em que fazem a mesma coisa (...)"

1 Anexo I – Síntese da grelha de análise de conteúdo da entrevista à Entrevistada B A entrevistada refere como propósitos do SGQE-UNL a monitorização, a identificação de problemas e a melhoria das situações identificadas. Segundo a entrevistada, o SGQE-UNL é composto por órgãos centrais como o Gabinete de Apoio à Qualidade do Ensino, que faz trabalho de help desk, a relação com as unidades orgânicas e a Reitoria. Ao nível central existe ainda o Conselho da Qualidade, no qual se discutem e aprovam as medidas a adotar por todas as unidades orgânicas, é um órgão decisor. É o órgão máximo relativo à Qualidade, presidido por um membro externo. A atual Pró-Reitora responsável pela Qualidade no 1º. e 2.º ciclo e o por outro Pró-Reitor responsável pela Qualidade no 3.º ciclo. Em relação aos órgãos locais, cada unidade orgânica tem a sua própria estrutura, um gabinete dedicado à qualidade ou não, um membro externo ou não, mas obrigatoriamente um responsável para a Qualidade. Além do responsável pela Qualidade é obrigatória a constituição de uma Comissão da Qualidade do Ensino que aprova os relatórios intermédios e anuais, e avaliam os relatórios. Os representantes da Qualidades são professores, que se reúnem em reunião de representantes para discutir os relatórios das unidades orgânicas e , segundo a entrevistada, os estudantes ainda não se encontram representados em reuniões gerais na Reitoria. As reuniões de representantes servem também para discutir situações específicas que se encontram nas unidades orgânicas. A entrevistada caracteriza o SGQE-UNL como integrante, igual para todos, autónomo do ponto de vista das unidades orgânicas, para a implementação de novas medidas, por exemplo. A entrevistada considera que o SGQE-UNL respeita/segue os valores da transparência, anonimato, opinião dos estudantes, feedback e confiança. Destaca como objectos de avaliação do SGQE-UNL as unidades curriculares e os ciclos de estudos. Os envolvidos são principalmente os estudantes e os docentes. No que diz respeito à recolha, análise e divulgação dos dados, uma das preocupações

2 é estudar e assegurar a fiabilidade e a validade. Em relação aos questionários as nove questões têm uma escala de resposta de 1 a 6 e é feita uma média em cada questão; caso a média numa questão seja igual ou inferior a 3 é assinalada essa situação como medida a melhorar. O relatório intermédio é o relatório realizado no 1.º semestre em que os docentes e coordenadores justificam a média obtida nas questões e indicam medidas de melhoria para aquelas em que obtiveram média igual ou inferior a 3. O relatório anual da unidade orgânica indica pontos fortes e fracos, alterações que se tenham realizado e feedback sobre os relatórios. A entrevistada refere que em relação à divulgação dos dados, todas as unidades orgânicas têm de divulgar resultados, embora exista uma discussão acerca deste assunto, sobre o que se pode/deve ou não divulgar. Os dados recolhidos são utilizados, segundo a entrevistada, para a melhoria. A entrevistada aposta como maiores desafios a diversidade da UNL, o facto de serem 9 unidades orgânicas. Considera como um desafio superado a existência de um sistema comum e homogéneo a todas as unidades orgânicas. Indica como outro desafio a melhoria constante e a garantia da fiabilidade e viabilidade do SGQE-UNL. Por fim, a entrevistada faz um balanço positivo da implementação do SGQE-UNL considerando-o uma mais-valia para a instituição.

Anexo J - Guião da entrevista à Entrevistada C Tema: Sistema de Garantia da Qualidade do Ensino da NOVA (SGQE - UNL) Objetivo Geral: Explorar elementos que permitam conhecer o SQGE Blocos

Objetivos Recordar objetivos da entrevista

A - Legitimação da Entrevista Motivar o entrevistado

Questões - Esta entrevista tem como objetivos... - Sublinhar a importância do contributo do entrevistado;

Tópicos Orientadores

Garantir a confidencialidade Pedir autorização para gravar - Num contexto geral pode descrever -nos o SGQE.

Pessoas envolvidas; ano de início; estratégia; procedimentos

- Por que é que a designação do Sistema faz referência à garantia da qualidade e não, por exemplo, à avaliação da qualidade? Conhecer o processo de criação do SGQE B - Criação SGQE

- A criação do SGQE decorreu de recomendações da A3ES e de organismos internacionais neste domínio, certo? Pode falar-nos um pouco dessas recomendações?

Quais as recomendações; que organismos

- Quais os propósitos do SGQE? C - Propósitos da SGQE

Identificar os propósitos e as finalidades do SGQE

Objetivos do SGQE

- Qual a relação entre os propósitos do sistema e a missão da UNL? - Quais os valores que influenciam o SGQE?

Rigor, transparência, imparcialidade;

- Qual a definição de qualidade Baseado em autores da área, adotada pelo SGQE? sistemas internacionais etc... D - Valores \ Características

Conhecer os valores e as características;

- Quais os órgãos que compõem o SGQE? - Quais as suas funções?

Órgão -Conselho da QE; Gabinete de apoio à QE; Comissão da QE;

- Qual a sua hierarquia? - O que avalia?

E - Objetos de avaliação do SGQE

Identificar o processo de recolha de dados desenvolvidos pelo SGQE;

- Quem são os envolvidos no processo de avaliação? - Quais os instrumentos que utilizam?

Vertical, horizontal Ciclos de estudos; unidades curriculares; unidades orgânicas; o próprio SGQE Alunos, professores, entidades empregadoras, pessoal não docente

- Como foram concebidos esses instrumentos? - Como é feito o tratamento dos dados? Quem faz esse tratamento? - Como garantem a fiabilidade e a validade dos instrumentos e dos dados recolhidos? - Como são divulgados os Relatório, em que momento resultados? - Quando são divulgados? F - Divulgação dos resultados

Perceber o (s) processo (s) de recolha e divulgação dos dados;

Online, em que sites

- Onde são divulgados esses resultados? - Quem tem acesso aos resultados?

G -Desafios \ Dificuldades

Perceber os desafios e as dificuldades enfrentados pelo sistema;

- Qual a utilização dada aos dados obtidos? - Quais os desafios que enfrentam?

Aceitação do sistema por parte da comunidade académica; taxas de resposta;

- E que novos desafios antecipam? - O que perspetivam para o Melhoria; criação de novos sistema a médio - longo prazo? instrumentos; criação de novos

H – Perspetivas/Balanço

Conhecer as perspetivas SQGE

organismos etc... - Qual o balanço que faz da aplicação do sistema?

I - Finalização da Entrevista

Saber se o entrevistado tem alguma questão Saber se o entrevistado quer acrescentar alguma informação Agradecer a disponibilidade

- Caracterize o sistema através de algumas palavras - chave. - Deseja acrescentar mais alguma questão? Ou alguma informação? - Obrigada pela colaboração

Desde a sua implementação.

Anexo K - Protocolo da entrevista à Entrevistada C Entrevistadora: Esta entrevista tem como objetivos conhecer o Sistema de Garantia da Qualidade. Então já falámos também com a Doutora X e com a Engenheira X para nos ajudarem a perceber o Sistema de outra… na parte delas… e agora vínhamos falar consigo também… com outras envolvidas para nos dar uma perspetiva também… Entrevistada: Uma visão complementar… Entrevistadora: Hum hum, exatamente. Então gostaríamos de saber, num contexto geral, se nos podia descrever o Sistema da Garantia da Qualidade do Ensino, aqui da Nova. Entrevistada: Ok. O Sistema teve uma implementação gradual... primeiro opcional e… só para algumas Unidades Orgânicas… só para algumas… dentro de cada… todas as Unidades Orgânicas… só para alguns… Unidades Curriculares… e foi desenhado e implementado por quem estava no cargo antes de mim, que era uma Vice-Reitora, o meu cargo é de Pró-Reitora. A diferença tem a ver com a…penso eu… com a missão e com o tempo dedicado à missão. O Pró-Reitor não tem dedicação exclusiva à atividade e a conciliação da atividade… agora estava a ler documentos para falar convosco… estavam lidos e sublinhados mas a interiorização com um ano de trabalho que passou… agora é diferente, no fundo é engraçado perceber isso. O Sistema é um Sistema que assenta e decorre de uma lei existente de 2007, da indicação… e isso eu fotocopiei-a também para a ter presente… acho que a pus aqui (procura o documento)… da necessidade das instituição de Ensino Superior terem o seu Sistema de Garantia da Qualidade, o seu sistema interno, sendo que a Agência de Avaliação e Acreditação do Ensino Superior constitui um sistema externo. E de facto é assim que eu sinto que é o nosso funcionamento. Portanto vamos falar do sistema interno de garantia da Qualidade? Entrevistadora: Hum hum. Entrevistada: É um Sistema que tem… em termos estruturais tem um Conselho… superiormente… ai… o responsável máximo é o membro externo, uma pessoa de referência na Qualidade… em tempos idos pertencia ao Conselho da Universidade. Neste momento o Conselho… na sua renovação… mantivemos o mesmo elemento externo, é uma pessoa com imensa experiência na área… uma pessoa de Inglaterra e… resolvemos manter o Professor X e que aceitou manter-se como Presidente do Conselho… não vinha o termo, era presidir. E portanto na continuidade… a descontinuidade de todos os membros de responsabilidade não

era muito interessante. O Conselho é composto por membros das várias Unidades Orgânicas e por estudantes e pelos membros da equipa reitoral afetos à Qualidade. Neste momento a Qualidade do 3.º Ciclo é voluntária, não é obrigatória ainda e é um Vice-Reitor ligado mais aos 3.ºs Ciclos que está envolvido e a Qualidade do 1.º e 2.º Ciclos e Mestrado Integrado, obviamente, está mais com a minha responsabilidade. Portanto, o Conselho tem como funções principais avaliar a produção de documentos periódicos que registam a Qualidade conforme ela foi decidida ser monitorizada… e algumas decisões… neste momento o facto em que ele está… de alterações da metodologia, se fosse caso disso… sendo que ainda houve no ano passado ajustes pequeninos… e se decidiu que seriam os últimos porque a implementação foi gradual, para termos comparabilidade nos anos subsequentes. São nove Unidades Orgânicas com características muito diferentes, umas só têm Segundo Ciclo, outras só têm… umas só têm Terceiro… há duas com… uma com cinco mil, outra com oito mil alunos mas há outras com duzentos, porque só têm Segundos Ciclos… portanto esta diversidade dentro de um contexto de autonomia que a Universidade tem e que é… um caráter impresso pelo Senhor Reitor nesse sentido… gera um desafio em termos de o que é a expetativa e o tronco comum e portanto nesse sentido a decisão de se manter os elementos que ficaram vale a pena saber… depois para a avaliação de todos na Qualidade do 1.º e 2.º Ciclos eu desejo… eu diria quase um imperativo que eu vou tentar seguir porque foi o que decidimos em Conselho que seria interessante e portanto para nós… ok? Alguma ideia que eu desenvolva mais, ou querem perguntar repartido? Portanto há o Conselho… Entrevistadora: Sim sim… Entrevistada: Há o membro externo, representantes das Unidades Orgânicas, dos estudantes e da equipa reitoral e há o Gabinete de Apoio à Qualidade do Ensino que faz a operacionalidade das atividades. Mimetizando em cada Unidade Orgânica existe um Conselho e existe um Gabinete parecido ao nível da própria Unidade Orgânica e que terá as funções de implementar então a aplicação dos inquéritos sobre a garantia interna da Qualidade… que são feitos, são aplicados neste momento aos alunos, recolhidos, interpretados pelos seus docentes e relatados em relatório pelo responsável da Unidade Orgânica para a Qualidade. Este caminho em relação ao ponto que está tinha dito, no seu delineamento inicial, um processo mais… mais participado… os responsáveis pelas Unidades Curriculares, responsáveis pelos Ciclos, responsável pela Unidade Orgânica como um todo. Estes passos intermédios vão ter de ser reaplicados mais devagarinho. Houve uma reação… anterior mas eu… na minha Faculdade também me apercebi dela… porque na minha interpretação é uma mudança cultural muito

grande e um volume de trabalho também muito grande e esta adesão teve de se… retroceder nos pedidos e neste momento assentamos nestes dois polos: inquirição aos alunos sobre alguns componentes que podemos, conforme quiserem perguntar… sempre no fim de ser completada cada Unidade Curricular mas antes da avaliação final… não há nenhuma Unidade Curricular apenas em avaliação contínua, que eu tenha conhecimento, portanto há sempre algo de avaliação final, será no fim do período curricular mas antes da avaliação final… para além de vir aqui essas vias de excesso e da satisfação pela nota obtida e a… a análise dessas respostas que sendo feita… por quem seja mas os docentes são sempre implicados a interpretar algumas das indicações para nos… dar internamente e ao nível da Reitoria dentro do Sistema Interno mas já externo à Unidade Orgânica, indicações de melhoria em relação a problemas que possam ter ocorrido. Quando em analisei o dossier e comecei a ver relatórios senti um pouco em termos menos… positivistas na minha análise do assunto, que estávamos a assentar apenas, e passo a expressão, em opiniões dos alunos sobre a Qualidade, se bem que haja comentários possíveis de serem dados pelos docentes nas interpretações de melhoria, mas não tanto na interpretação do motivo da situação… é um misto… o motivo da situação também existe… também existe, peço desculpa… e indicações de melhoria, e saltando um pouco de Unidades Curriculares para a Unidade Orgânica. Uma visão de Ciclos de Estudos é mais sumária do que eu gostaria em termos de… das quantificações, nas que ficam um bocadinho… aquém do que eu desejaria… portanto… Gabinetes… Conselhos, articulação, decisões, reflexão e implementações subsequentes… assente sobre opiniões dos alunos e reflexão dos seus docentes sobre esses aspetos, indicando situações de melhoria. Para este ano subsequente, em que eu já vou começar a repetir a vivência… estou a analisar as Unidades Curriculares que mostraram problema e se já não são reportadas como tendo problema e se as medidas de melhoria foram implementadas, que dificuldade, que eficiência houve na sua implementação… o que é facto é que no percurso do semestre enquanto os alunos não respondem ainda… por exemplo estamos no… dois terço de um semestre em curso… as respostas serão em janeiro e eu durante este período por opção ainda ativa, não tenho estado a ligar com as Unidades Orgânicas a perceber se estão a fazer algo de diferente para a melhoria da Qualidade… porque a decisão entre a interferência e a supervisão não é muito simples. As Unidades Orgânicas, os seus responsáveis presam muito a sua autonomia e portanto o papel que a reitoria tem é muito o do incentivo, supervisão e de decisões conjuntas de caminhos se algo não tiver estado como se quer. Penso… eu o ano passado quando comecei, antes da reunião do Conselho, eu fiz visita a cada Unidade Orgânica para análise do Sistema e como o relatório dessa fase, que era o anual, estaria a ser feito. Neste momento já houve um Conselho

semestral após essa reunião, em que a reunião foi conjunta aqui previa ao Conselho e me pareceu que as pessoas estavam num ambiente já de coesão, diferente do que me tinha sido relatado antes e de certo modo tentei transmitir que a continuidade da Qualidade passa por esse grupo de pessoas mais do que o puxado pela equipa reitoral que tem cargos que podem ser mais rotativos. Quem estiver no Conselho ou à frente de uma Unidade Orgânica relacionado com a Qualidade tem possibilidade de ter um projeto mais prolongado e eu acho que isso é interessante nesse sentido, porque de algum modo… até à… na transição penso… e penso que tem a ver com aspetos culturais… os quesitos de cumprimento em relação à Qualidade poderiam estar a ser sentidos um pouco como “temos de reportar isto para eles” quando eles ser Reitoria é para nós todos e reflexão do que está a acontecer… não sei que perspetiva é a vossa mas eu senti isso um bocadinho… que há a transição de sentirmos que é nosso mesmo e isso parece-me bastante interessante. No delineamento inicial, antes de eu estar neste cargo talvez com a implementação dos novos instrumentos, porque era de novo, decidiu-se que não era um representante por cada Unidade Orgânica que estava no nosso Conselho, eram quatro, eleitos pelos outros e alguns estudantes, pelo menos um por cada Ciclo de Estudos. Já nesta fase da implementação em curso e tendo passado da inquirição para alguma Unidades Orgânicas obrigatoriedade para todas… eu solicitei, e isso já está a acontecer, que cada Unidade Orgânica tivesse o seu representante no Conselho e que esse representante fosse opcional mas parecia-me preferível que fosse o responsável pela Qualidade e não um elemento da equipa do Conselho Executivo, porque a perícia e o empenho têm uma natureza não administrativa mas operacional e isso aconteceu em todas menos numa, que era a única, que decidiu recentemente pedir a substituição, em vez de ser um Subdiretor é o responsável interno da Qualidade. Portanto são movimentos que são lentos mas que a minha ideia era serem consolidados. Se calhar era melhor fazer uma segunda pergunta… Entrevistadora: (Risos) Sim. Queríamos também saber, se nos souber responder claro, que a designação do Sistema faz referência à Garantia da Qualidade do Ensino e existem outros sistemas que fazem, por exemplo… são Sistemas de Avaliação da Qualidade. A pergunta é porque é que optaram por ser Garantia da Qualidade e não Avaliação da Qualidade? Entrevistada: Eu vou supor. Eu revi… foi interessante reler documentos que tinha lido, e já tinha lido antes, o relatório semestral outra vez e agora já com uma perspetiva de reflexão, aquela que não se faz tão ativamente mas que vai ficando… eu penso que o Sistema…

chamar-se Sistema de Garantia da Qualidade não é opção nossa, provavelmente poderá ter a ver com algum aspeto da legislação que poderemos rever… mas… pode-se refletir nisso e tentar analisar algum aspeto… eu pensei que me estava a falar em Qualidade em geral versus Qualidade do Ensino. Quando me foi passadas as pastas da minha antecessora essa dicotomia foi frisada e foi puxado muito o aspeto da Qualidade em geral. Portanto se isso for uma pergunta depois falaremos nisso noutra altura… mas é interessante a questão e eu não tinha refletido sobre ela em separado… porquê Garantia da Qualidade e não Avaliação da Qualidade. O que eu poderia dizer é que a perspetiva de avaliação pode não nos acometer à ação… eu posso avaliar e considerar “está mediano” e avaliei e registei. O Sistema da Garantia visa a melhoria… que é inquirida e que visa na supervisão e implementação das medidas de melhoria e portanto ele não garante mas anseia garantir… é como eu vejo isso. Entrevistadora: Hum hum… Entrevistada: Eu partilho o propósito que a designação implica na minha responsabilidade neste campo se bem que ainda estou numa fase menos pró-ativa do que eu gostava… de quatro anos de mandato estou ao fim do primeiro e com responsabilidades este ano em relação à Faculdade a que eu pertenço acrescidas de ensino e portanto estou a lutar com dificuldades de tempo… é a nossa vida (risos). Eu não tenho só este pelouro aqui… tenho mais… e não sabia qual era o acaso do trabalho. O ano passado dediquei-me muito à entrada e também ao aspeto… interessante posso vos dizer… da supervisão do trabalho que eu não dominava e portanto eu estou habituada a trabalhar e a supervisionar trabalho que eu domino e aqui tive de entrar nele, portanto quem estava era a Doutora X, neste momento mais desviada só para a Qualidade do 3.º Ciclo e a Doutora X entrou comigo e as duas desbravámos caminho. É interessante na medida em que se vai à procura da nossa interpretação, tiram-se dúvidas com os que estavam mas estas passagens têm sempre algumas quebras…eu pelo menos sinto isso e na minha vida profissional senti isso quando havia mudanças. Eu sou médica e quando havia obrigatoriamente ao fim de cada mês mudanças, mudanças de sítios de estágios, recebíamos os doentes internados já investigados a meio e é uma sensação muito desagradável, uma pessoa não ser ela genuinamente a fazer o percurso. Mas isso deu-me traquejo. Eu sinto que esta comparabilidade neste sentido. Qualidade versos Qualidade do Ensino… não é versus, é complementar. Entrevistadora: Hum hum…

Entrevistada: A legislação de que vos falava, que é a número 38/2007 no fundo é uma lei oriunda em relação à Agência de Avaliação e Acreditação do Ensino Superior, portanto que fica responsável pelo aquilo a que nós consideramos a avaliação externa. E a propósito… e no fundo é, tem os Ciclos de Estudos são avaliados no seu conjunto pelas Unidades Curriculares que têm, com uma Comissão de Avaliação Externa, com membros externos e sempre membros do estrangeiro e são analisados com um guião de avaliação exigente e… no momento, independentemente de uma visita inicial e final onde estão os representantes máximos da Instituição e da Universidade, a Instituição, a Unidade Orgânica passam crivo entre o que está escrito e a visita e conversa e devem saber isso, a todos os elementos: estudantes, antes de serem diplomados, já diplomados, com emprego ou sem emprego, parceiras com instituições, pessoal não-docente, pessoal docente nos vários estádios. E portanto é um crio considerado externo bastante… muito passado, passo a expressão, a pente fino. A avaliação interna acaba por ser, ser os próprios que reportam mediante uma inquirição que está estruturada. A inquirição ficou minimizada aos estudantes. Em relação a objetivos muito concretos tem a ver com os objetivos da Unidade Curricular, se foram bem definidos, se foram respeitados. Aspetos depois mais em relação a recursos humanos e materiais. Em procedimentos de avaliação, se foram indicados, compreendidos e respeitado. Há uma questão um bocadinho mal interpretada na sua formulação, que tem a ver com ser dado feedback no percurso do processo de ensino e depois uma questão geral em relação à satisfação da Unidade Curricular. Estes dados dão informações ricas, são avaliados aqui no sentido de quantificação e são reportadas as Unidades Curriculares que numa cotação entre zero e seis estão numa dicotomia desfavorável, sendo que três é considerado ainda da vertente… é já da vertente favorável. Portanto dois… zero… considerando a média e andou-se à procura se era média se era mediana porque as vezes a taxa… o número de respondentes, conforme os cursos são pequenos fica complicado. Na última decisão já revista em Conselho ficou a média… e o número de respondentes também tem de ter uma taxa de sucesso que seja fidedigna em relação ao que se está a fazer. No fundo é um projeto de investigação como outro qualquer. Esta inquirição sobre o que os alunos consideram… no fundo… eles não respondem sobre o que consideram problemático mas nós analisamos o que foi desfavorável. Portanto nós estamos a olhar para a Qualidade do Ensino naquilo em que ela não tenha sido considerada adequada por parte dos alunos. Em termos do Sistema de Garantia da Qualidade em geral é só o ensino e é só o que não está bem e muito a opinião dos alunos e a reação dos docentes sobre isso. Penso que é um bocadinho grande, mesmo em relação à Qualidade do Ensino. A restante Qualidade é um mundo enorme e é um compromisso de toda a

Universidade. Ou pelo menos alguns pelouros: a internacionalização, a empregabilidade e a adequação também da gestão financeira, portanto é… é um Sistema… esse… se for garantia, e espero que sim… exige aquilo que de certo modo o Senhor Reitor tem puxado e tem implementado e a cargo do Vice-Reitor e vai já num ano de reavaliação que é o Plano Estratégico, que tem indicadores definido, quantificados e conforme o seu alcance e os que pareceram mais sinalizadores de caminho ou de potencialidade, necessidade ou potencialidade de melhoria estão a ser seguidos, perseguidos mesmo. E portanto… eu reporto-me à Qualidade do Ensino, acho que ela tem de caminhar com a minha condução mais pró-ativa, penso que a partir deste relatório anual, cujo Conselho vai ser em janeiro, e outros compromissos que se façam e que a implementação do que se já decidiu do Conselho precedente vai ser possível alguma adesão através dos responsáveis das Unidades Orgânicas pela Qualidade do Ensino, um passinho mais à frente. É um processo demoroso e eu temo que se pedir para avaliar… eu já pedi e tive de travar os meus ímpetos nesse sentido… porque eu estou a analisar algumas Unidades Orgânicas, algumas Unidades Curriculares, são muitas… o que eu vou dizer pode não ser muito correto mas na minha convicção são de mais. Tenho alguma ideia de que algumas existem por competências dos docentes… em determinadas áreas, mas há algum afunilamento de coesão intuitiva. Não sou perita na área, ainda estou há pouco tempo mas penso que seria um caminho interessante. Mas vamos vendo. E agora perdime no que estava a dizer… Entrevistadora: Estava a falar da dimensão da Qualidade do Ensino… da Qualidade só que seria muito mais abrangente… tinha muitas mais dimensões… Entrevistada: Sim mas eu tinha na ideia… o que eu tinha expresso eu sei… ah! Já sei o que é que eu queria! Era, se eu for avaliar nos detalhes da inquirição, que são nove questões, vários alunos…todas, é um trabalho é um trabalho muito demoroso para as Unidades Orgânicas, apesar de terem um representante e um Gabinete, algumas têm uma capacidade de análise estatística mais demorosa que outras… curiosamente e é paradoxal mas as maiores são as que estão mais organizadas eletronicamente e portanto eu penso que esse passo que eu... formulei… tem de ser uma necessidade sentida não só por mim e ver como é que nos organizamos. Mesmo que seja por amostragem e eu gostava de ir além da desfavorabilidade e nem que seja por amostragem, tentar ver outros aspetos em Unidades Curriculares que não tivessem só desfavorabilidade. Nesse caminho, o que eu pedi agora… para o ano em curso já vai ser assim feita a análise… que a nove… a nona questão do inquérito de satisfação global… eu pedi para me relatarem aquela que tivesse a pontuação máxima… portanto que

Unidades Curriculares têm a pontuação máxima na satisfação global para se poder olhar para elas e ver em que é que elas são interessantes para se poder, essa boa prática ser dita que é possível, que existe, para já quero saber quantas são embora a minha, o meu aspeto não é, não sou uma pessoa muito da quantificação mas ela é importante é óbvio… mas ver se podem ser modelares de algum modo. Porque a satisfação global deu nisto mas se houver algumas indicações escritas… portanto sem aumentar o trabalho de recolha que já está a ser feito, registar-se essa… isso foi um aspeto que eu gostava que fosse… que fosse feito. Por outro lado, eu sinto um certo hiato… tenho a diversidade de Unidades Curriculares que estão relatadas e depois indicações de reflexão e melhoria e depois salto para o relatório da Unidade Orgânica por Ciclos de Estudo… mas não por Cursos. Eu acho que precisamos disso, por Cursos. Foi o caminho que no passado, quem estava com este trabalho e pela reação negativa das Unidades Orgânicas teve de ser retirado, e eu acho que temos de lá chegar. Não sei se no fim dos quatro anos já é possível, se não for imperativos de cima… eu acho que este processo de encontros entre decisões de cima e necessidades de baixo, portanto top down e down top… tem de ser feito com… eu não… não tinha experiência prévia, fui Subdiretora algum tempo na minha Faculdade, não tinha experiência… não tenho… mas no quadro sub, portanto eu não tenho experiência de decisão de topo nem perfil para isso, eu gosto de ser uma operacional… de incentivar as pessoas e de as acompanhar a fazerem as coisas, mas de algum modo eu penso que algumas diretivas impostas podem ser interessantes para que o processo não seja tão lento que traga muito tempo e eu penso que à medida que as pessoas estejam mais envolvidas na sua autodeterminação e vejam o processo a ser útil que talvez aceitem ou peçam algumas diretivas. É um caminho que eu de algum modo gostava de reportar ao Senhor Reitor com… depois deste Conselho. Vou lançar no Conselho, mal arranque, uma questão teste e ver se já sinto que seja possível esse caminho, porque acho que vale a pena, se não é muito lento e não se sente… os alunos que estão em curso podem não sentir o benefício concreto disso. Há outra questão que… que eu penso que vale a pena ser dita… eu não sei se estão à procura das virtuosidades e eu estou preocupada com os problemas mas podemos falar das virtuosidades que eu depois não queria falar só em problemas, parece que o Sistema só tem problemas… Entrevistadora:(Risos) Hum hum… Entrevistada: Mas que é a questão da transparência do sistema ou seja para que é que ele serve… Eu veio-me a lembrança de falar nisto, ao falar dos alunos, e o benefício que eles têm. Porque de certo modo há aqui um ciclo vicioso: a adesão à participação na resposta, que é

voluntária e é, consta no momento em que consideramos oportuno e pelo procedimento do preenchimento que passou a ser eletrónico por comodidade (só uma é que tem em papel e é uma das mais pequenas). A adesão eu penso que passará por uma questão cívica mas também por uma ideia de benefício para os próprios (impercetível) ou para os que os sucedem naquela unidade curricular. Portanto, se assim for, eles também beneficiarão dos que os antecederam, tem a ver com a divulgação dos resultados e tem a ver com o feedback aos alunos, ou direto ou uma divulgação mais transparente em site e essa questão é algo melindrosa e tem de ser modulado, eu penso que há um sistema de divulgação mais interno e outro mais externo, e mais abrangente, que são possíveis e desejáveis. De algum modo, um dos aspetos que eu penso que pode, e eu acho que aí tenho de ser eu mais pró-ativa, e puxar por isso é indicar... no ano seguinte, medidas de melhoria implementadas e com sucesso para não: “estava isto, estava aquilo”, mas dizer: havia que melhorar aspetos, já foram já, e isso resulta da inquirição que for feita. Para estarmos com uma atitude mais positivista e de que o Sistema serviu para melhorar e que de facto lá se chegou. Acho que é o caminho mais, menos que pareça de delação. Por outro lado, e comparando, porque eu sinto aí alguma comparação e porque é um pelouro com que eu estou, e não é desconexo deste, que é o da empregabilidade, o que é melindroso em termos de comparabilidade até interuniversitária, há alguns detalhes internos se saírem para fora, para domínio público. Portanto, o Sistema, a transparência do Sistema onde a sua virtuosidade tem dos membros externos dos Conselhos, tanto do Conselho de escola como do Conselho da Universidade, o membro externo deve ser o elemento que nos vê a transparência e ao qual ela tem de ser reportada, na minha opinião de momento. A transparência, no fundo, é o Sistema de alto a baixo foi cumprido e é reportado, e portanto... Mas a questão da transparência reporta um bocadinho ao dito feedback, quer dizer, os alunos perceberem o préstimo daquilo que está a ser avaliado, que não seja para estatísticas internas. Há sempre da parte dos docentes uma certa confusão em relação aos aspetos disto e que eu venho encontrar noutra vivência minha complementar a esta. Eu falei-vos da Agência de Avaliação e Acreditação, quando são as visitas (e era o que a Inês levava, era o relatório de visita) o representante da Universidade é o representante do Reitor, o Reitor ou um representante dele, e desde há um ano eu votei, voluntarizei-me para... agilizar, para ser sempre eu a ir. Conjuga-me às vezes mal com aulas que tenho e este ano está mais difícil mas tenho ido e eu vejo sempre como é que as avaliações da Agência são feitas sobre estes aspetos e agora perdi-me com coisas que eu ia dizer pelo meio que foi... a preocupação dos docentes que avaliação da qualidade constitui uma avaliação deles e não do que está a ser ensinado. Ao reler a lei há pouco para estar mais cá com estas coisas é dito que a lei se junta a

avaliação, ao sistema de avaliação dos docentes, mas que não a substitui e de facto os requisitos e que vem desde os (impercetível) de avaliação dos docente são outros e que tem quatro âmbitos, e o ensino é um deles, e portanto essa confusão deve ser desmistificada mas não foi propriamente reportada pelos responsáveis da qualidade nas unidades orgânicas, mas eu sinto-a depois nas visitas da CAE às vezes ah... o Sistema de avaliação dos docentes, que não tem a ver com o que nós estamos a falar aqui, mas de algum modo, eu acho que é um pouco inerente, penso que ainda não está implementado em toda a nossa Universidade. Mas eu não tenho esse pelouro e não sei se ele está em pelouro específico mas, mas eu interessame estar a par desses aspetos porque tem influência na qualidade do ensino.

Entrevistadora: Ah, passávamos então para a próxima questão. Que, já nos falou da A3ES nas recomendações que... de alguma forma o Sistema foi criado por causa da A3ES e por causa da legislação. Certo?

Entrevistada: Sim, o Sistema, o Sistema não foi, eu não apanhei o histórico...

Entrevistadora: Sim, sim, certo.

Entrevistada: ...mas é um Sistema que responde à legislação, sem dúvida nenhuma. E portanto complementa a avaliação externa da Agência. Sim.

Entrevistadora: Sim. Então nós gostaríamos de saber de que forma é que essas recomendações foram, foram ou são, seguidas pelo, pelo Sistema?

Entrevistada: Acho que são totalmente seguidas, totalmente seguidas. Tem os Conselhos, tem os membros externos, tem a representação dos alunos e dos docentes dos vários ciclos. A legislação dá muita autodeterminação que existe e que é também a filosofia da Universidade, portanto da Universidade para as nossas unidades orgânicas temo-la ah... e portanto, nesse sentido, eu relendo os aspetos vejo que, quisemos cumprir e estamos de acordo.

Entrevistadora: hum, hum. E estão de acordo.

Entrevistada: Sim. Ah, é sempre um bocadinho mais difícil mesmo em termos do Conselho mas eu penso que é da nossa cultura, mas isso é de cultura não é de cumprimento que os alunos sintam que estão a representar um conjunto. Mas é um caminho que se tem de fazer com eles também.

Entrevistadora: E consegue-nos identificar os propósitos do Sistema, do Sistema de Garantia da Qualidade? Quais são os... Falou-nos da melhoria...

Entrevistada: É a adequação, no fundo, eu penso que é a adequação do que se ensina à missão da Universidade, que é a de um ensino de excelência e com internacionalização e com, e com ligação, no fundo os aspetos que hoje em dia todos temos ligados, o propósito da aquisição de competências com a empregabilidade e, no fundo, se os objetivos estiverem bem delineados e que têm que ter em linha de conta uma perspetiva de compreensão dos assuntos mas, quanto a mim, um objetivo bem delineado tem o verbo ativo e acomete-nos para a ação e mostra-nos o produto dessa ação como o objetivo alcançado, não é? Portanto, se os alunos tiverem compreensão dos objetivos que, e o momento para isso porque também é uma cultura que poderia ter, até como uma cultura pessoal: “o que é que eu vou fazer?” parar um bocadinho antes de fazer, o “o que é que se quer atingir?”. Agora relembre-me outra vez o que é que me perguntou para não me desviar muito.

Entrevistadora: Era os propósitos, se conseguiria-nos identifcar outros propósitos, para além da melhoria ah... em relação ao Sistema.

Entrevistada: É a adequação do ensino a competências profissionais dos estudantes, na medida em que eles tentam, procuram junto de nós como peritos, no fundo, das competências e na reflexão e na comunicabilidade. Parte do que ainda não vejo e que para mim tem a latitude do que eu tenho confluente, e que hoje em dia é um propósito que vem mais até nos media, é que estas competências sejam suficientes para a empregabilidade. Acontece que a empregabilidade depende de muitos outros fatores, as ditas soft skills, que provavelmente têm

de ter formações mais transversais e que podem não constituir a base de um único curso, e que esse aspeto ainda tem, mas isso é empregabilidade...

Entrevistadora: hum, hum.

Entrevistada: ...mas pode contribuir para uma qualificação das pessoas. Portanto, nós aqui estamos preocupados com o conteúdo e a forma como ele é inserido, apreendido e avaliado de modo a que considerarmos que os alunos atingiram os propósitos e os objetivos, não é?

Entrevistadora: E de que forma é que relaciona os propósitos do Sistema com a missão da Universidade?

Entrevistada: ...Ah vem ao encontro, isso são perguntas quase um bocadinho retóricas não é?

Entrevistadora: Sim, sim. Entrevistada: Portanto, não é possível não dizer que as coisas não, mas a missão, no fundo, é uma missão de ensino universitário, neste momento é um ensino de excelência, com profissionalização visível e com internacionalização, porque dá mais-valias também essa abrangência. Portanto, eu penso que se caminha nesse sentido e o, não é que não tivesse já isso tudo. A avaliação e o Sistema de Garantia da Qualidade torna-nos um bocadinho mais reflexivos sobre o que se está a fazer de modo que não é só dar notas e ter taxas de sucesso de indivíduos que tenham passado nas disciplinas ou ficado diplomados, portanto não nos interessa só isso, interessa mais do que isso. Talvez no Sistema mais antigo de ensino a taxa de sucesso fosse, fosse quanto baste. Pelo menos é o que era avaliado. Este é um upgrade, considero que sim.

Entrevistadora: Hum, hum. Também já nos falou da transparência, que é uma das, pode-se considerar uma das características do Sistema ou um dos valores do Sistema.

Entrevistadora: ...ou uma das preocupações.

Entrevistadora: Sim, uma das preocupações.

Entrevistada:

É uma das preocupações. Ele ainda não tem a caracterização de estar

transparente. É um dos aspetos a melhorar.

Entrevistadora: E que valores é que, é que consegue identificar ah, no Sistema, que valores é que o Sistema se suporta?

Entrevistada: Portanto, o Sistema é de uma adesão totalmente voluntária, dos alunos na sua participação e... depois é um sistema em escada de, de interface com os intervenientes. Portanto, os alunos são informados dos objetivos das unidades curriculares de que têm uma avaliação do ensino e portanto, para e ficarem atentos desde o princípio a esse aspeto com um inquérito padronizado para responder no final do ciclo, da unidade curricular e que é posta e anunciada, que é posta a seguir, em avaliação no período definido. Algumas escolas posicionam-nos antes das últimas, últimas aulas porque devido à possibilidade do número percentual de faltas, os alunos fazem a sua gestão de faltas não estando no fim, portanto para haver um número maior da taxa de resposta, mas isso também é autodeterminado por cada unidade orgânica. E portanto, os alunos têm uma adesão voluntária, os docentes analisam os dados e têm uma espécie de checklist, já de uma análise de conteúdo feita pelas razões mais prováveis ou mais frequentes, de respostas menos favoráveis, porque é o que está a surgir neste momento, e então aí propõem a implementação de medidas de melhoria. Que são interessantes. Algumas, por exemplo, denotam que os pré-requisitos não estão suficientemente consolidados para os alunos poderem abarcar aquilo que lhes é ensinado. Isso já levou, por exemplo, em alunos de entrada primeiro ano, primeira vez terem um período prévio de an, de disciplina zero em vez de um, em que os conteúdos e a compreensão deles tem de ser assegurada porque senão não há caminho possível. Noutros registos é o atendimento mais, mais suplementar. Portanto, as virtuosidades são: voluntariado, a atenção sobre os problemas. Acho que está a faltar olhar um bocadinho para quem já faz bem para podermos dizer “isto é boa prática”, o que pode não ser importável mas também poder ser e o

Sistema tem a hierarquia que, antes de virem os relatórios vai a conselho pedagógico portanto a escola fica informada. A escola, nos decisores e nos envolvidos. A visão de conjunto precisa ainda um bocadinho desta transparência para dizermos “na avaliação da qualidade do ano transato...” algo do relatório que seja expressamente posto ah... penso que ainda falta um bocadinho, mas é um caminho. Eu lembro-me na escola a que pertenço, que é a Faculdade de Ciências Médicas, que a reação ao Sistema, parecia muito complicado, parecia muita coisa, e é, mas entra. No fundo é trabalho, é uma área de trabalho que não estava a ser feita.

Entrevistadora: Ah... temos aqui uma questão que era em relação a qual a definição de qualidade que é adotada pelo Sistema? Que, pode não ser uma definição assim, uma noção pelo menos

Entrevistada: Eu tive a ver isso porque eu não queria dar só a minha.

Entrevistadora: Sim, sim.

Entrevistada: No fundo é a adequação da prática de ensino aos objetivos da Universidade eles puseram até ali a frase em inglês que é fit for purpose. Por isso, está adequado e para mim pensei “o que é que eu sinto?”, é a adequação a algum propósito. Tem é de haver propósitos também que estão bem delineados.

Entrevistadora: Sim, sim.

Entrevistada: Mas sim. E portanto, talvez o facto de nós estarmos a olhar para problemas é para ver onde a adequação não está já lá. No fundo, quando estivermos numa fase onde isso foi muito minimizado podemos olhar para a adequação e melhorá-la mais ainda, não é? Porque mesmo dentro da adequação pode haver níveis interessantes para olhar, não é?

Entrevistadora: Ah, também já nos falou um bocadinho dos órgãos que compõem o Sistema, algumas funções que cada órgão tem. Como é que considera que é a relação entre os órgãos? Se existe uma hierarquia... Entrevistadora: vertical, horizontal Entrevistadora: vertical, horizontal, se é muito marcada, se nem tanto?...

Entrevistada: Não é muito vertical por causa desta autonomia que a Universidade estabelece e que é filosofia, e maneira de ser, posso dizer que eu já o conheço, é da minha faculdade, há alguns anos o sr. Reitor. Portanto, eu sinto que, havendo um responsável nas unidades orgânicas que coletam a informação e que é o pivot, vamos lá, da informação interna, eles entre si são pares e o que nós fazemos, por exemplo, antes da reunião do Conselho é uma reunião nossa de, de troca de impre... eu o ano passado fiz a primeira, eu fui a cada uma para os conhecer, até porque curiosamente houve também grandes mudanças nos responsáveis de qualidade nos vários sítios. Portanto, quis conhecer e eles também, o facto de eu perguntar qual era a composição atual fez sentir que estavam a (impercetível) e eles também. Ou mudaram ou estavam em mudança. E, portanto, nessas reuniões preparatórias de Conselho mesmo eu me ponho a esse nível porque, não sei se sou vista como tal mas é uma reunião interpares porque nós estamos todos a contribuir para um legado/melhorado (42m) que eu pretendo que seja comum e portanto vemos as nossas perspetivas. A minha tem depois uma perspetiva mais de conjunto mas que eu tento sempre relatá-la no sentido de incentivar a contribuição para o conjunto do que outra porque não é filosofia, nem é também a minha natureza. Portanto, eu acho que são relações de compromisso, de parceria e, claro que os empenhos não são iguais, nem as preocupações. Quem só tem segundos ciclos não tem os problemas de quem tem primeiros ciclos, por exemplo. Mas essa diversidade sentida é muito interessante, porque de algum modo fica uma certa relativização dos assuntos da própria casa e que eu acho que nos permite perceber que a autonomia também passa por um respeito pela diferença nesse sentido.

Entrevistadora: Hum, hum.

Entrevistada: Estou a dizer um cliché mas temo-lo passado entre nós.

Entrevistadora: Passamos agora às questões em relação aos objetos de avaliação. Quais são os objetos de avaliação do Sistema? O que é que ele avalia, atualmente?

Entrevistada: Atualmente avalia unidades curriculares, taxa de sucesso, portanto de passagem de indivíduos e hoje em dia é engraçado porque o Sistema tem um relatório anual... e tem um relatório intermédio. O relatório intermédio é sobre o primeiro semestre e o relatório anual é sobre o segundo semestre acoplado com o primeiro e depois uma visão de conjunto da missão e de aspetos que vão então a aspetos do ano. Só que neste momento eu sinto que nós não vivemos os anos, vivemos semestres. E portanto, o relatório anual ainda pensei em, a minha ideia não era vir e mexer, mas pensei: pronto ao fim do ano olhamos para alguns aspetos de conjunto, ver se a instituição teve alteração da missão, alteração dos órgãos, e alguns aspetos de análise SWOT que é visto. De algum modo há uma reflexão anual, que é de anos letivos, mas sobre dois semestres da qualidade. A maior parte eu penso que é uma escassez que, uma escassez enorme de, não sei dizer com propriedade porque eu não domino as unidades curriculares todas, unidades curriculares que têm primeiro e segundo semestre. A maior parte delas só tem um semestre homólogo um ano depois e isso também dá-nos tempo para implementarmos medidas atempadamente para no ano seguinte já haver algo que esteja melhor, desde que os docentes não estejam muito sobrecarregados no semestre seguinte ou com a sua sazonalidade de investigação ou de outra disciplina a ser ensinada porque... o trabalho é bastante, no fundo.

Entrevistadora: hum, hum.

Entrevistada: Portanto, não sei se do que perguntou se sente que faltou alguma coisa.

Entrevistadora: Sim, avalia as unidades curriculares...

Entrevistada: ...as unidades curriculares com suas características e taxa de sucesso e avaliamos a unidade... os níveis de ciclo de estudos, primeiro, segundo e terceiro em havendo

inscrito, não está sob a minha alçada e os meus relatórios não estão a cumprir isso. Usam os mesmos moldes em regime de voluntariado e depois uma visão de conjunto da unidade curricular, sobre o Sistema em geral, a orgânica, uma análise SWOT do ano que passou em relação a esse aspeto.

Entrevistadora: Também já nos falou que a avaliação do Sistema se baseia na opinião dos alunos, portanto, envolve os alunos, também envolve os professores....

Entrevistada: Envolve os professores na medida em que eles têm de interpretar o motivo de uma indicação menos favorável e propor medidas. Às vezes as medidas de melhoria, na minha análise, passam um bocadinho por quererem que os estudantes tenham um comportamento mais adequado. Porque às vezes passa por isso. Mas, eu tento que vejamos aquelas que dependem mais de nós, porque se assim for, também eles talvez tenham um comportamento desejável, porque alguns aspetos não dependem de nós. Mas há medidas de melhoria, sei lá... repartição de grupos maiores em grupos mais pequenos, desde que seja uma gestão... depois o problema é uma questão de espaços e de, de...

Entrevistadora: de tempo

Entrevistada: ...tempo e financiamento para recursos humanos diversificados, não é? Portanto há sempre os equilíbrios de tensões opostas que têm de ser postas em consideração. Algumas medidas que depois podem não ser exequíveis, não é?

Entrevistadora: Hum, hum E que mais outros envolvidos é que estão...que estão envolvidos, passo a expressão, de, neste processo de avaliação? Para além dos professores e dos alunos, se existem mais?

Entrevistada: São os coordenadores de ciclos de estudos (impercetível) e eu, por exemplo, na minha faculdade que só tinha um mestrado integrado mas começou a ter outros mestrados e curso doutoral, passou a haver coordenadores de ciclos de estudo dos três níveis (mestrado

integrado, mestrados e 3.º ciclo) que eu não tenho a certeza, sei que não há ainda em todas as nossas unidades orgânicas e que eu acho que é um caminho interessante porque pode ter visões de conjunto mas parcelares, por níveis de ciclos de estudos, o que é capaz de valer a pena. Portanto, acaba por o responsável máximo ter também pessoas com quem dialogar sobre as facetas que sobre as quais cada um dos outros pode puxar um bocadinho, não é? Quer dizer, há um responsável para os segundos ciclos pode ter ali visões de caminho que uma pessoa responsável por tudo não se preocupe tanto com isso porque tem que ver tudo. E, portanto, esses intermediários existem em algumas unidades orgânicas e são eles que fazem, em escada, conversam com os responsáveis pelas unidades curriculares e que reportam para cima. Portanto, em havendo (impercetível) de recurso e penso que é mais-valia implementar que passem a haver. Porque acabam por ser supervisores internos e interlocutores entre si. Entrevistadora: Hum, hum. Quais são os instrumentos e como é que foram concebidos os instrumentos da, que fornecem a informação ao Sistema? Entrevistada: Eles foram concebidos previamente, eu não tenho esse histórico, se o tenho não li assim, francamente, porque tive de entrar de mergulho com os factos. É um inquérito estruturado, com perguntas simples, feito aos estudantes, que começa com um preâmbulozinho dizendo que as questões são, são facultativas e perguntando a sua taxa de presenças nas aulas porque também se tiverem uma taxa baixa... fica um bocadinho enviesado esse aspeto. E depois as perguntas são simples e sobre estas orientações que eu dei. Portanto, objetivos, recursos, feedback, que vêm da avaliação da situação, a avaliação dos alunos e a avaliação da situação, e satisfação global. E no reverso eles têm ainda uma possibilidade de fazerem algo em cruzes de um, que foi um bocadinho de uma análise, é um reforço nestes aspetos. É onde os docentes depois se, vão à procura das interpretações. E, portanto, este tipo de inquirição é rápida e, porque a estruturação tem em coluna ao lado de respostas de zero a seis (conta com os dedos um, dois, três, quatro, cinco, seis). De um a seis. E... assenta nisso, é entregue, é avaliado por gabinetes de estatística porque o volume de informação é, é grande e o responsável da unidade curricular supervisiona e dentro dos nossos timings de, de percurso tem de emitir um relatório semestral, que vem com um mês antes do respetivo Conselho Geral, vou-lhe chamar geral, que não não geral, o Conselho da Universidade da Qualidade, vem com um mês antes para eu ter tempo para, com o Gabinete, analisarmos, pedirmos detalhes e voltarmos ah... temos a reunião conjunta e depois temos o Conselho. Portanto, tenho três semanas para analisar os relatórios e uma semana, com a reunião com os

elementos, e depois temos o Conselho. Isso já tem cadência assim, já teve duas vezes assim comigo. E, portanto, o que é que me está a perguntar? Entrevistadora: Era os instrumentos. Falou do questionário... Entrevistada: Os instrumentos assenta no questionário, na, no registo dos docentes de um relatório intermédio semestral e num relatório anual, em que no relatório intermédio eu tenho registo, não sei como é que, dentro da unidade orgânica é, mas o que me em para o relatório é o registo em cada situação problemática comentada, a interpretação dos docentes, num item diferente do do instrumento, que no item seguinte suponha que era 2.1 inquirição, 3.1 interpretação, 4.1 medida de melhoria respetiva. As unidades curriculares estão numeradas sequencialmente nas que apareceram com problema e depois sempre com essa ordem e numeração são repetidas. Eu às vezes tenho de pôr as coisas em paralelo porque estou a ver a mesma, normalmente não gosto de imprimir muita coisa mas estes relatórios têm de ser analisados com impressão e as coisas batem, batem certas; não batendo pede-se, às vezes há, há indicações. Por exemplo, feedback, o feedback é uma questão interessante na medida em que o feedback se não foi expressamente previsto, e as disciplinas que não têm avaliação contínua expressa, é-nos dito que o feedback não faz sentido e não se aplica. Portanto, é uma questão que tem andado desde antes de mim, para trás e para a frente e que, de algum modo, mesmo o professor X diz que culturalmente é uma das questões mais difíceis de se ter. Eu posso-vos dizer que eu este ano estou a reger uma unidade curricular de novo e para dar feedback frequente aos alunos é muito difícil, em termos do tempo que se tem para fazer tudo e, portanto, acredito que o feedback a meio percurso seja algo que já baliza os alunos sobre o seu estado; feedbacks muito frequentes não são exequíveis e de algum modo é um aspeto que nós temos de rever aqui se é tão importante como isso para os alunos temos de ver com eles como é que lhes parece que seja exequível. Da parte de, quais são as expectativas em relação a isso. Mas como instrumentos que perguntou, no fundo são documentos, são, base, base é uma inquirição, um relatório semestral e um relatório anual, que inclui uma análise SWOT do Sistema. Que é para não complicarmos muito.

Entrevistadora: Hum, hum. Está bom. E como é que pensa que esses instrumentos conseguem garantir a validade e a fiabilidade dos dados recolhidos? Da informação que devem recolher...

Entrevistada: A informação é anónima, a única que é feita em papel ... é entregue e recolhida no final de uma aula presencialmente por uma pessoa da administrativa. A taxa de resposta é o cerne, para mim é essa questão. Porque ... e é nesse sentido que o sistema precisa de resumir algumas coisas nas Unidades Orgânicas em alguns cursos. E nós optámos por ter uma taxa de resposta que tem a ver em difere conforme vemos. Para o número baixo é numerário, não sei dizer decor porque ela foi decidida recentemente. Mas suponho que os alunos inscritos no curso de mestrado, ou seja, em 20 e tem que ser 20%, portanto 5% de mínimo porque senão também os respondentes podem ser facilmente identificados portanto é voluntário mas é anónimo. E assim tem de ser. Senão esses 20% são considerados um número mínimo de respondentes que sentimos que normalmente são os viáveis na amostra. Portanto eles não sabem que estamos a ver a insatisfação mas é o normal que respondem. E se as pessoas não sentirem um grande benefício em responder, quem responde pode ser que queira responder aquilo que quer ver melhor. Portanto tem de ser um número aceitável ... e depois a canalização dessa informação é feita via eletrónica, para uma base de dados em Excel que é a habitual, a existente desde que o inicio por aqui. Penso que o relatório intermédio é uma matriz de uma base de dados em Excel e depois penso que se faz, fazem as interpretações. E portanto penso que isso lhe uma noção de uma certa uniformidade, não sei dá a uniformidade pretendida. Voluntarismo, anonimato ... o timing que nos parece adequado, isso também foi discutido antes de eu estar nisto, que na altura ... uma base de dados comum, taxas de sucesso, taxas de resposta, taxas de resposta e era outra coisa que andávamos à procura ... porque houve umas decisões entre média e mediana que isso poderia variar um bocadinho... mas isso ficou uniformizado por consenso na última reunião. Eu até fui que disse para não haver mudanças subsequentes para olhar ... darmos tempo ao tempo. Depois havia uma pessoa dissonante e eu disse não. Nós definimos assim e internamente na sua escola faça das duas maneiras, a

que quer e a que nós decidimos e mostre-nos depois para vermos se é diferente

ou não é. E neste momento isso é ... queremos sentir os dados tal como eles ficaram definidos entre nós. Para alguma coisa que não esteja tão bem mudamos mais tarde. Pelo menos mais dois anos, um ano antes do fim eu gostava, não digo logo nessa altura mudar, mas nessa altura o que se fizesse seria melhorias centradas nesta, nesta base. Entrevistadora: Em relação à divulgação dos dados ... como é que são divulgados? por quem? onde? Entrevistada: Tendo em conta do que falámos de transparência... Entrevistadora: sim, sim.

Entrevistada: A divulgação é interna e restrita num modo geral ... penso que ... não tenho a certeza se é em todos os conselhos pedagógicos ela é vinculada ... porque é onde as pessoas sentem que o sistema ... avançou ainda menos. Portanto é um aspeto que eu estou à espera desta análise SWOT deste ano, que eu só tive acesso à do ano passado no relatório anual quando entreguei então no fim de Setembro, o relatório anual veio por esta altura para ver como está o estado dos dados neste momento. Dessa parte da inquirição o que nos ... o que eu sinto desses dados aos alunos ... o que eu sinto é o que é pedido desse trabalho reportado à qualidade, ainda não chega aos alunos. Se chegar aos representantes que têm em conselhos pedagógicos não sentem aí uma missão de divulgação também. Eu penso que isso passaria para a escola fazer. Para o divulgarem em conselho pedagógico e de algum modo a escola e a universidade que também não tem ... dizer algo mais abrangente mas sobre o sistema que está implementado e que tem medidas... que estamos a prosseguir e ver se ficam consolidadas para depois de ver com mais pormenores situações interessantes. Nesse aspeto é um dos aspetos que ... que ... na divulgação da informação ... está abaixo ... portanto a adesão foi progressiva ... há caminho feito e este pode ser um dos passos que ... criar um abordagem antes e agora ao ter que ser posto em prática se vai sentir, é um avanço um bocadinho mais puxado do que ... ele é desejado mas as pessoas sentem que é um caminho melindroso portanto, eu penso que temos que as medidas de melhorias... (impercetível) Entrevistadora: Em cada Unidade Orgânica os relatórios que são elaborados em conselho pedagógico, são divulgados... Entrevistada: Os relatórios não são divulgados. Os relatórios têm informação de detalhe que em termos de ... é muito para além da (impercetível)

é informação interna. É informação

que pode ser desvirtuada interna e externamente porque nós tivemos que ... uma divulgação num site de uma Faculdade está aberta ao público, está aberta aos media ... está aberta para qualquer variedade para outras universidades portanto, há aspetos de abrangência que eu acho que devem ser ditos principalmente assegurando ou que está a ser feito ... e que as medidas de melhoria eram melhor ou qualquer coisa ... os aspeto de feedback interno para se puder quantificar a melhoria subsequente, que era disso que eu estava a falar primeiro. Mesmo assim tem de haver uma reflexão do que deve ser aconselhado por ele e positivo, que acho que é mais difícil dar um passo em Portugal por tudo o que já se fez. Eu confesso neste regresso de ano letivo ... estou com duplicação de 4º e 5º ano na faculdade ... e como o timing daqui não é o mais urgente não puxei ainda por aspetos daqui. E as pessoas que estão no gabinete também têm as suas vidas , a Dra. X defendeu a sua tese de mestrado no dia 13 na

5º - feira passada e eu deixei-a com cabeça para fazer os aspetos menos operacionais menos imaginativos e agora ... agora é para a frente. É um caminho... é um caminho... ela tem dado muito boa resposta desta ... tudo agora de volta para ela. Com o período deliberado que me foi proposto quando ... quando o Senhor Reitor me perguntou se eu poderia aguentar neste contexto foi, implementar o que já estava decidido ... claro que é inevitável quando a pessoa vê algo, vê aspetos querer fazer qualquer coisinha, mas neste momento praticamente o que se fez de diferente, foi aumentar a adesão dos profissionais ao sistema, e pôr todas Unidades Orgânicas representadas no Conselho ... porque parte das medidas decididas em Conselho se a Unidade Orgânica não estava presente então sentia que não ... não partia na tomada de decisão e foi um bocadinho mais nesse sentido. E esse caminho é de algum modo que ... foi bom e que pronto. Entrevistadora: Qual a utilização que fazem, que é dada aos dados recolhidos? Entrevistada: A utilização interna ... tem a ver com as análises SWOT de agora em que passaram pela maturidade suficiente para o ver.

Onde tento exigir disso nas Unidade

Orgânicas ... a utilização mais visível no modo em que os contextos são feitos é a indicação de medidas de melhoria, em situações que nos parecem menos favoráveis e a análise consequente minha se elas foram ou não implementadas. Eu tenho de passar a fazer essa análise não no relatório seguinte, mas no início ou na preparação do ano letivo seguinte. Suponham que se dizia que havia 10 turmas e que devia haver 13, 15 conforme o número de alunos o rácio discente era diferente .... não poderei impor mas deveria perguntar como está a distribuição em campo. Esse caminho não fiz ainda ... este ano ... e portanto são medidas de melhoria são o nosso septo

mas que podem melhorar em outros aspetos: conteúdos,

adequação dos conteúdos em requisitos ou pré-requisitos aos estudantes se não houver possibilidade de estar tempos extra como há pouco dei o exemplo de algumas das faculdades incluí-los e dar-lhes mais espaços de tutoria à medida que os trabalhos são feitos, há sempre um bocadinho de noção e isso deve resultar melhor entre docentes, cultura também dos estudantes que o tempo de tutoria é proporcionado em aberto e que os estudantes recorrem pouco. E temos que ver aqui se essa não é uma forma interessante para os estudantes pedirem apoio, eu sei, eu também tenho estudantes em minha casa eles pedem apoio a quem têm mais perto quando estão metidos dentro dos estudos. estão numa avaliação contínua ... e têm um bocadinho de vergonha em mostrarem que são conhecedores da matéria, numa altura já avançada no ensino pré-avaliação. Mas o que nos interessa é que os alunos tenham sucesso e tenham apoio, portanto tem muito a ver com o ... o fazer a parte de tutoria ... de outra maneira.

Entrevistadora: Essas medidas de melhoria que são propostas, são propostas em conselho ou depois cada Unidade Orgânica na sua Comissão é que... Entrevistada: São propostas em relatório. Cada Ciclo, cada Unidade Curricular nos problemas que foram alincados tem o seu docente ou responsável com indicações de medidas de melhoria. Que ... para as quais até aconselhei uma análise de conteúdo para as medidas de melhoria propostas. Por frequência e por ... e que pronto acho que é uma forma de resolver uma questão aberta, portanto analiso ... e depois subcategorizei em, no ponto de vista do ensino, no ponto de vista da aprendizagem e da logística porque são aspetos que por essa ordem, pode haver complementaridade ou não. Dos que têm a ver com ensino ... tentei ver aqui uma relação, ou seja, seja mais do nosso lado seja mais , e há aspetos que são ... que são às vezes de ... de uma certa relativização que as pessoas por uma certa inércia ou por uma certa ... imposição se a reitoria dando autodeterminação, puder impor um bocadinho pode junto das escolas ter um papel muito de diretor e diz que tem que ser e desde que o responsável não ousar porque sabe que não é bom e que o diretor tem outras prioridades e não houve aquele aspeto tanto, pode ser um aliado e dizer este ou este aspeto é importante. Isto é claro no ponto de vista estratégico, no campo estratégico nas ... parte mais interessante ainda isso tem requisitos mas que são um bocadinho mais quantitativos, este aspeto do questionário fiquei um bocadinho triste porque não me posso agarrar ao indicadores do plano de estratégico para puxar pela Qualidade do Ensino porque não tenho depois ali depois uma quantificação mas os indicadores tem de ser a coisa mais importante e abrangente que existe e ... (impercetível) Entrevistadora: Então cada Unidade Orgânica têm responsabilidade para garantir que as propostas feitas, são cumpridas e que a reitoria pode influenciar de alguma maneira... Entrevistada: Exatamente. Entrevistadora: Se há ali algum problema e o representante não está ali a responder... Entrevistada: Se a Qualidade estiver baixa, eu tenho ... um exemplo concreto, eu portanto nessas as questões, nessas nove questões, tenho uma coluna ... basta uma das questões ser desfavorável ali no dicotómico da média que ela dessincronizada. Eu vejo as Unidade Curriculares e analiso em quantas questões ela foi desfavorável. Nas que são desfavoráveis em mais de 3, eu pergunto o que é que se passa ... nas que são em mais está depois indicado na análise SWOT, houve uma que foi descontinuada ou foi remodelada portanto e ... isto portanto nos permite também uma análise e tomar decisões em relação a este aspeto ...

continuada e subdividida noutras portanto, exige alguma remodela com o que está a ocorrer naquela posta em causa de algum modo um exemplo ... aconteceu uma vez uma, ela foi mesmo descontinuada. As que têm mais do que 3 ou de uma magnitude importante pergunto sempre o que aconteceu. Não me imponho, mas tento perceber, tento perceber ... quando eu estou na reunião com eles eu domino completamente os relatórios e portanto, tenho -os na minha frente, estão sublinhados e eu sei sempre, não tenho preocupações, tenho uma cábula de memória que me ajuda e de algum modo quero sentir com eles aquilo que está a ser... não é mandar é acompanhar, estou por dentro. E estamos a falar sobre aquele assunto porque eu acho que é a maneira de estar, acompanhar fazendo crescer. Entrevistadora: Quais são os principais desafios que enfrentaram com o sistema, ou que prevê ainda como futuros desafios? Entrevistada: No inicio foi a adesão e foi ter que se arrepiar caminho, era um procedimento muito estruturado que tinha todas as etapas em relatórios para efeitos, no fundo é o compromisso entre o possível e o desejável. Eu própria teria feito um caminho parecido porque tenho uma tendência um bocadinho de detalhe mas no fundo é preciso que e adesão seja feita por outros e dentro das suas variedades. Portanto o principal desafio é para mim é empenhar a pessoas em que o sistema pode ajudar todos no seu profissionalismo a fazerem aquilo que é a sua atividade se não estava noutra, mesmo que não gostem muito se é só pela remuneração ao fim do mês pode ser feito com qualidade e o empenho também vem por aí, portanto o principal desafio para mim é perceber-se os benefícios que o sistema traz não sendo só uma imposição mas sendo uma mais-valia para todos e portanto é a adesão com empenho havendo benefícios visíveis, e já vimos que se as unidades curriculares não estiveram muito bem adequam-se de outra maneira e portanto é a palavra adequação que era a questão que se pôs à pouco, a adesão passa pelo report e a visibilidade de medidas de melhoria é um conjunto do qual eu não consigo sair mas vem ao encontro de um dos aspetos que, eu até tenho aqui (mostra um artigo), e sublinhei, que leva as pessoas a fazerem as coisas que têm que fazer, e que de modo geral se liga ao que se dá de prémios, mas os prémios não é o que me importa mais, porque não vou dar mais dinheiro, a reconhecimento interpares seria dar … portanto é na organização de trabalho que está a motivação de trabalho e esse dado é muito interessante nesse aspeto e é de uma das pessoas de gestão de um dos nossos professores que de facto mostra que o incentivo e o dar autonomia e supervisionar são os aspetos de algum modo e intuitivamente me dizem muito e penso que posso … já dei isto a ler às pessoas com quem eu trabalho aqui, sei que uma preza muito a autonomia por exemplo,

não foi a pessoa com quem falaram, já está aqui à oito anos pois é natural que eu não vá dar exemplo do que faz, vai a uma reunião semanal comigo e diz me mas não diz todos os dias, e coisas nesse sentido. Portanto eu penso que o empenho é uma boa organização e empenho sentir mais valias no que se está a fazer como imposição agora interno de cada um, quer dizer isto é uma coisa boa … que eu gostava que estivesse a acontecer, gostava de dedicar-me a 100% das várias das coisas que eu faço, 100% de todas elas, não pode ser portanto estou a aprender a supervisionar mais e não fazer tanto. Entrevistadora: Então novos desafios em principio já não se colocará aqui uma aceitação ou…? Entrevistada: Aceitação não, manutenção sim e às vezes é um aspeto que falha não é, porque não se vê, a intenção não se vê e depois as coisas já foram desmoronando. Como há estes relatórios periódicos em princípio nem que seja para a fase do relatório os alunos são submetidos a um inquérito para a fase de um relatório isso tem que ser feito portanto acho que o principal desafio é, maior adesão dos alunos e melhor report do que se faz, que vai dar melhor adesão dos alunos, portanto como eu não posso lidar com os alunos a não ser com os meus que são poucos comparados com a escola toda, eu tenho de ter uma maior adesão dos responsáveis, para criarem melhor adesão dentro das suas escolas, portanto tenho que arranjar aqui… para meu maior desafio, é fazer com que os responsáveis tenham… tenham maior tempo de antena para este assunto disponibilidade e disposição que curiosamente eu penso que ele não nos faz gastar mais dinheiro, quer dizer há recursos humanos que têm que ser alocados para isto … não a tempo inteiro mas numa parceria de trabalho que é sazonal, portanto eles em outras alturas podem fazer outras coisas, eu acho que é perceber-se… passa um bocadinho por isto, uma melhor organização dos serviços previsível que nos permita estar confortáveis e na altura própria as coisa seguem o rumo que foi pré-datado. E os perceberem alunos que isso é assim, que ligámos importância e que vai valer a pena, e que não esteja a valer ainda. É por ai que eu acho que … Entrevistadora: E que perspetivas é que, o que perspetivam a médio e a longo prazo? Se pensam em melhorias se pensam em reformulações, se pensam em… Entrevistada: O meu médio-longo prazo, o meu é até daqui a 3 anos … o facto de termos responsáveis no conselho é para que eles perpetuem isso para eventual mudança de responsáveis uma vez que a perpetuação foi com alguém e que existiu e agora há uma continuidade, estar com alguém que não sabem se continua nem … nem faço mesmo … nem

quero pensar nisso, porque não abertura neste momento. A altura neste momento foi garantir que o Sistema não era para a reitoria mas para as Unidade Orgânicas cujos responsáveis, e que esses pudessem dar essa continuidade. Portanto o Sistema é nosso, é de todos nós nesse sentido. Portanto esse é o meu longo prazo. O meu médio prazo é parte do que já disse, é manter o Sistema como está mesmo que tenha defeitos, prefiro que eles sejam notados que dupliquemos esforços para mais alguma pequenina alteração que tenha sugerido para os que quiserem se mostrar ou mostrarmos que realmente é melhor mas só se faz pelo menos daqui a dois anos consecutivos em que está igual e acho que está … não é muito mas acho que vai ajudar a se raciocinar também. Tudo que seja extra, então é totalmente facultativo. Tronco comum do que está delineado, vem já do que estava a fazer antes e o meu desejo é que ele contribua para que o Sistema tenha estrutura própria como um, uma … já está implantado já não é implementado mas implantado, e espera-se que ele dê frutos que se olhe para ele de vez em quando e com isso se consiga pensar. Entrevistadora: Desde que tem conhecimento, desde de que está responsável pela qualidade, qual é o balanço que faz deste sistema? Entrevistada: Eu tenho um balanço um bocadinho indeferido do que me foi dito porque eu não tenho termo de comparação, de algum modo um a abordagem mais num estilo de parceria que eu tenho feito que é o meu estilo tem sido benéfica nomeadamente um a das escolas não aparecia e estão todas a aparecer portanto nesse sentido diga-me lá a pergunta outra vez? Entrevistadora: Qual é o balanço que faz? Entrevistada: É uma adesão de todas as escolas à necessidade sentida imposta pelo sistema em marcha que… já é sentida por todos portanto e isso foi-me dito, sentido pelo Presidente do Conselho da primeira para a segunda reunião, a outra está agora a ser em Janeiro portanto estamos agora num tempo intermédio, ele sentiu ambiente… e ele já estava desde do principio no Conselho portanto o balanço que eu faço é que já vamos passando do primeiro degrau para um segundo degrau em crescente parece-me mas é sempre preciso corda tensa, quer dizer é sempre preciso algo que é a tal manutenção que eu dizia o tal acompanhamento da manutenção neste momento pude fazê-lo e mais uma vez só o que está no relatório anual, só faço a expressão, mas as implementações de alguma mudança as taxas etc. para este primeiro semestre vão talvez fazer tentar agora do início de Janeiro que a seguir às férias ainda não acabou o semestre, talvez fazermos um rapel, fizemos um rapel às escolas depois das férias se precisavam de alguma coisa se estava tudo a ir e que as medidas tomadas eram estas e estas e

as datas todas para este ano porque elas são sazonais mas ficaram mais instituídas connosco, esta automatização ficou em cadencia certa… que eu acho que é mais fácil. Entrevistadora: E por fim, gostaríamos de pedir se conseguia caracterizar o Sistema em palavras-chave, conceitos chave, expressões… Entrevistada: Isso é um desafio sabe… acho que esse é mais o vosso trabalho do que o meu sinceramente (risos) mas posso ajudá-las nisso, acho que o conceito da avaliação da qualidade no ensino num bom compromisso entre os objetivos que temos para ensinar e o que os alunos sintam que aprenderam e mesmo que não sejam competências práticas porque algum ensino não pode ser prático sejam reflexões e uma capacidade de busca dos assuntos, hoje em dia é difícil ensinar tudo a vastidão é muito grande mas ficarem com a competência de recorrerem a meios pessoalmente a meios de informação ou a pessoas de contacto de informação acho que é um ponto em que o sistema pode ajudar portanto o sistema é uma adequação entre objetivos e competências seriam talvez três palavras que eu gostava de frisar. Entrevistadora: E gostaria de acrescentar mais alguma coisa? Entrevistada: Acho muito giro que estejam a fazer isto, espero que seja benéfico para um feedback que nos possam dar neste sentido e espero que não sintam muitas fragilidades mas se as sentirem gostava que as ajudassem a crescer com a vossa visão externa. Entrevistadora: Muito Obrigada por este tempo e pelas informações dadas.

Anexo L - Grelha de análise de conteúdo da entrevistada à Entrevistada C Categorias

Subcategorias

Indicadores

Unidades de Registo "O Sistema teve uma implementação gradual... primeiro opcional e

Implementação gradual

(...) só para algumas (...) Unidades Curriculares (...)" "(...) a implementação foi gradual (...)"

Primeiros envolvidos

"(...) e foi desenhado e implementado por quem estava no cargo antes de mim, que era uma Vice-Reitora (...)" "O Sistema é um Sistema que assenta e decorre de uma lei existente

Criação do SGQE

Início do Sistema

de 2007 (...)" " (...) da necessidade das instituições de Ensino Superior terem o seu Origem

Sistema de Garantia da Qualidade, o seu sistema interno (...)" "(...) A legislação de que vos falava, que é a número 38/2007 no fundo é uma lei oriunda em relação à Agência de Avaliação e Acreditação do Ensino Superior (...)" "(...) é um Sistema que responde à legislação (...) " "É um Sistema que tem… em termos estruturais tem um Conselho

Órgãos que compõem o SGQE

(…)" Órgãos nível Central

Conselho

"(...) o responsável máximo é o membro externo (...)" "(...) uma pessoa de referência na Qualidade(…)" "(...) em tempos idos pertencia ao Conselho da Universidade. "

"(...) é uma pessoa com imensa experiência na área (… )" "(...) uma pessoa de Inglaterra (…)" "(...) resolvemos manter o Professor X e que aceitou manter-se como Presidente do Conselho (…)" "O Conselho é composto por membros das várias Unidades Orgânicas e por estudantes e pelos membros da equipa reitoral afetos à Qualidade." "(...) o Conselho tem como funções principais avaliar a produção de documentos periódicos que registam a Qualidade conforme ela foi decidida ser monitorizada (…)" "(... ) e algumas decisões (...)" "(...) o membro externo, representantes das Unidades Orgânicas, dos estudantes e da equipa reitoral (...)" "(...) há o Gabinete de Apoio à Qualidade do Ensino (...)" "(...) que faz a operacionalidade das atividades. " Gabinete de Apoio à Qualidade do Ensino

"(...) estou a analisar as Unidades Curriculares que mostraram problema e se já não são reportadas como tendo problema (...)" "(...) e se as medidas de melhoria foram implementadas, que dificuldade, que eficiência houve na sua implementação (…)" "(...) três semanas para analisar os relatórios (...)"

" (...) cada unidade orgânica existe um Conselho (...)" "(...) eu solicitei (...) que cada Unidade Orgânica tivesse o seu representante no Conselho (...)" "(...) e que esse representante fosse opcional (...)" Conselho

"(...) mas parecia-me preferível que fosse o responsável pela Qualidade (...)" "(...) e não um elemento da equipa do Conselho Executivo (...)"

Órgãos a nível Local

"(...) porque a perícia e o empenho têm uma natureza não administrativa mas operacional (...)" "(...)e existe um Gabinete parecido ao nível da própria Unidade Gabinete

Orgânica (...)" "(...) e que terá as funções de implementar então a aplicação dos inquéritos sobre a garantia interna da Qualidade(…)" " Não é muito vertical por causa desta autonomia que a Universidade estabelece e que é filosofia, e maneira de ser (...)"

Hierarquia

Pouco Vertical

"(...) eles [representantes das Unidades Orgânicas] entre si são pares (...)"´ "(...) eu acho que são relações de compromisso, de parceria (...)"

Caracterização do SGQE

Propósitos

Melhoria

" O Sistema da Garantia visa a melhoria (…)" "(...) que é inquirida e que visa na supervisão e implementação das

medidas de melhoria(...)" "(...) ele não garante mas anseia garantir (…) " " (...) a ideia de benefício para os próprios (...) ou para os que os sucedem naquela unidade curricular." "(...) podemos olhar para adequação e melhora-la mais ainda (...)" Identificação de

"(...) nós estamos a olhar para problemas é para ver onde a

problemas

adequação não está já lá."

Complemento A3ES

“E portanto complementa a avaliação externa da Agência.”

Garantir a adequação do ensino à missão da UNL

"(...)eu penso que é a adequação do que se ensina à missão da Universidade (...)" "(...) que é a de um ensino de excelência (...)" "(...) e com internacionalização (...)" (...) e com (...) o propósito da aquisição de competências com a

Garantir a adequação

empregabilidade (...)"

do ensino às

" É a adequação do ensino a competências profissionais dos

competências

estudantes (...) "

profissionais

"(...) procuram junto de nós como peritos (...) das competências e na reflexão e na comunicabilidade (...)"

Contribuir para a

"(...) pode contribuir para uma qualificação das pessoas. "

qualificação dos alunos

"(...) nós aqui estamos preocupados com o conteúdo e a forma como

ele é inserido, apreendido e avaliado de modo a que considerarmos que os alunos atingiram os propósitos e os objectivos (...)" "(...) o Sistema de Garantia da Qualidade torna-nos um bocadinho mais reflexivos sobre o que se está a fazer de modo que não é só dar Reflexão

notas e ter taxas de sucesso de indivíduos que tenham passado nas disciplinas ou ficado diplomados (...) " "(...) não nos interessa só isso, interessa mais do que isso." "(...) tentei transmitir que a continuidade da Qualidade passa por esse grupo de pessoas mais do que o puxado pela equipa reitoral que tem cargos que podem ser mais rotativos."

Continuidade

"Quem estiver no Conselho ou à frente de uma unidade orgânica relacionado com a Qualidade tem possibilidade de ter um projeto mais prolongado e eu acho que isso é interessante nesse sentido (...)"

Valores

"(...) o Sistema é de uma adesão totalmente voluntária, dos alunos na sua participação (...)" Participação voluntária

"(...) os alunos têm uma adesão voluntária (...)" "(...) Portanto, as virtuosidades são: voluntariado (...)" "(...) é voluntário (...)"

Anonimato

"A informação é anónima (...)"

"(...) é anónimo (...)" "No fundo é a adequação da prática de ensino aos objectivos da Definição de

Adequação do Ensino

Universidade (...)"

Qualidade

aos objectivos da UNL

"(...) é a adequação a algum propósito." "Tem é de haver propósitos também que estão bem delineados."

Unidades Curriculares

Objectos de avaliação

Ciclos de Estudo

Taxas de Sucesso

Estudantes

" (...) avalia Unidades Curriculares (...)" "(...) as Unidades Curriculares com as suas características (...)" "(...) avaliamos (...) os níveis de ciclos de estudos (...) primeiro, segundo (...)" "(...) avalia (...) taxa de sucesso, portanto passagem de indivíduos (...)" "(...) opiniões dos alunos (...)" "(...) a adesão à participação da resposta, que é voluntária (...)" " São os coordenadores de ciclos de estudos (...)"

Envolvidos

Coordenadores de

" (...) esses intermediários existem em algumas unidades orgânicas e

Ciclos de Estudos

são eles que fazem, em escada, conversam com os responsáveis pelas unidades curriculares e que reportam para cima." "(...) os docentes são sempre implicados a interpretar algumas das

Docentes

indicações (...)" "Envolve os professores na medida em que eles têm de interpretar o

motivo de uma indicação menos favorável e propor medidas (...)" " (...) são aplicados neste momento aos alunos, recolhidos, interpretados pelos seus docentes (...)" "(...) inquéritos aos alunos sobre alguns componentes (...)" "A inquirição ficou minimizada aos estudantes.” "(...) tem a ver com os objetivos da Unidade Curricular, se foram bem definidos, se foram respeitados. " "Aspetos depois mais em relação a recursos humanos e materiais " Em procedimentos de avaliação, se foram indicados, compreendidos Recolha, análise e divulgação dos dados

e respeitado." Questionários

"Há uma questão um bocadinho mal interpretada na sua formulação, que tem a ver com ser dado feedback no percurso do processo de ensino (...)" "(...) e depois uma questão geral em relação à satisfação da Unidade Curricular." "Estes dados dão informações ricas, são avaliados aqui no sentido de quantificação (...)" "(...) e são reportadas as Unidades Curriculares que numa cotação entre zero e seis estão numa dicotomia desfavorável (...)" "(...) sendo que três é considerado (...) da vertente favorável."

"(...) são nove questões (...)" "(...) É um inquérito estruturado, com perguntas simples, feito aos estudantes, que começa com um preâmbulozinho (...)" "(...) as questões são, são facultativas e perguntando a sua taxa de presenças nas aulas porque também se tiverem uma taxa baixa (...) fica um bocadinho enviesado esse aspecto (...)" "(...) as perguntas são simples e sobre estas orientações que eu dei." "(...) objectivos, recursos, feedback, que vêm da avaliação da situação, a avaliação dos alunos e a avaliação da situação, e satisfação global." "E no reverso eles têm ainda uma possibilidade de fazerem algo em cruzes de um, que foi um bocadinho de uma análise, é um reforço nestes aspectos." "É onde os docentes depois se, vão à procura das interpretações." "(...) este tipo de inquirição é rápida e, porque a estruturação tem em coluna ao lado de respostas de zero a seis (...)" "(...) é entregue, é avaliado por gabinetes de estatística (...)" "(...) a única que é feita em papel (...) é entregue e recolhida no final de uma aula presencialmente por uma pessoa da administrativa." "(...) a canalização dessa informação é feita via electrónica, para

uma base de dados em Excel (...)" "(...) os docentes são sempre implicados a interpretar algumas das indicações (...)" "(...) para nos (…) dar internamente e ao nível da Reitoria dentro do Sistema Interno mas já externo à unidade orgânica, indicações de melhoria em relação a problemas que possam ter ocorrido." "(...) comentários possíveis de serem dados pelos docentes nas interpretações de melhoria (...)" "(...) mas não tanto na interpretação do motivo da situação (…)" Relatório do docente

"(...) é um misto (…)" "(...) e reflexão dos seus docentes sobre esses aspetos, indicando situações de melhoria." "(...) os docentes analisam os dados (...)" "(...) e têm uma espécie de checklist, já de uma análise de conteúdo feita pelas razões mais prováveis ou mais frequentes, de respostas menos favoráveis (...)" "(...) e então aí propõem a implementação de medidas de melhoria." "(...) o responsável da Unidade Curricular (...) tem de emitir um Relatório Semestral (...)"

"(...) e relatados em relatório pelo responsável da unidade orgânica Relatório da unidade

para a Qualidade."

orgânica

"(...) antes de virem os relatórios vai a Conselho Pedagógico portanto a escola fica informada." "(...) o Sistema tem um relatório anual (...)" "(...) relatório anual é sobre o segundo semestre copulado com o primeiro e depois uma visão de conjunto da missão e de aspectos

Relatório anual

que vão então a aspectos do ano." “De algum modo há uma reflexão anual, que é de anos lectivos, mas sobre dois semestres da qualidade." "(...) um relatório anual, que inclui uma análise SWOT do Sistema." "(...) o Sistema tem (...) um relatório intermédio." "O relatório intermédio é sobre o primeiro semestre (...)"

Relatório intermédio

"Penso que o relatório intermédio é uma matriz de uma base de dados em Excel (...)" "(...) e depois (...) fazem as interpretações" "A utilização interna (...)"

Utilização dos dados

"(...) a indicação de medidas de melhoria, em situações que nos parecem menos favoráveis (...)" "(...) a análise consequente minha se elas foram ou não

implementadas." "São propostas em relatório." "Cada Ciclo, cada Unidade Curricular nos problemas que foram elencados tem o seu docente ou responsável com indicações de medidas de melhoria." "(...) a reitoria (...) pode junto das escolas ter um papel muito de director (...)" "(...) pode ser um aliado e dizer este ou este aspecto é importante." "Eu vejo as Unidade Curriculares e analiso em quantas questões ela foi desfavorável." "Nas que são desfavoráveis em mais de 3, eu pergunto o que é que se passa (...)" "Não me imponho, mas tento perceber (...)" "(...) a divulgação dos resultados (...) o feedback aos alunos ou (...) uma divulgação mais transparente em site e essa questão é algo melindrosa e tem de ser modelado (...)" Divulgação dos dados

"(...) A divulgação é interna e restrita num modo geral (...)" "(...) não tenho a certeza se é em todos os conselhos pedagógicos ela é vinculada (...)" "(...) aos representantes que têm em conselhos pedagógicos não

sentem aí uma missão de divulgação também." "Eu penso que isso passaria para a escola fazer." "Os relatórios não são divulgados." "Os relatórios têm informação de detalhe (...) é informação interna." "É informação que pode ser desvirtuada interna e externamente (...)" "(...) uma divulgação num site de uma Faculdade está aberta ao público, está aberta aos media (...) está aberta para qualquer variedade para outras universidades (...)" "(...) há aspectos de abrangência que eu acho que devem ser ditos principalmente assegurando ou que está a ser feito (...)" "(...) a divulgação da informação (...) é um avanço um bocadinho mais puxado (...)" "(...) ele é desejado mas as pessoas sentem que é um caminho melindroso (...)" "São nove unidade orgânicas com características muito diferentes (...)" Perspectivas

Dificuldades e desafios

Diversidade

"(...) esta diversidade dentro de um contexto de autonomia que a Universidade tem e que é (...) um carácter impresso pelo Senhor Reitor (...) gera um desafio em termos do que é a expectativa e o tronco comum (...)"

"(...) as unidades orgânicas (...) algumas têm a capacidade de análise mais demorosa que outras (...)" "(...) na minha interpretação é uma mudança cultural muito grande (...)" "(...) e um volume de trabalho muito grande (...)" "(...) esta adesão teve de se retroceder nos pedidos (...)" "No início foi a adesão (...)" Adesão

"(...) é preciso que e adesão seja feita por outros e dentro das suas variedades." "(...) a adesão com empenho havendo benefícios visíveis (...)" "(...) a adesão passa pelo report e a visibilidade de medidas de melhoria (...)" "(...) principal desafio é, maior adesão dos alunos e melhor report do que se faz, que vai dar melhor adesão dos alunos (...)" "Portanto o principal desafio é, para mim, é empenhar a pessoas em que o sistema pode ajudar todos no seu profissionalismo (...)"

Compreensão dos

"(...) o principal desafio para mim é perceber-se os benefícios que o

benefícios do Sistema

sistema traz não sendo só uma imposição mas sendo uma mais-valia para todos (...) é a adesão com empenho havendo benefícios visíveis (...)"

"( ...) porque a decisão entre a interferência e a supervisão não é muito simples." Respeito pela

"As unidades orgânicas, os seus responsáveis prezam muito a sua

autonomia

autonomia e (...) o papel que a reitoria tem é muito o do incentivo, supervisão e de decisões conjuntas de caminhos se algo não estiver estado como se quer."

Preocupação dos

"(...) a preocupação dos docentes que avaliação da Qualidade

docentes

constituí uma avaliação deles e não do que está a ser ensinado." “(…) o membro externo deve ser o elemento que nos vê a transparência e ao qual ela tem de ser reportada (...)" "A transparência, no fundo, é o Sistema de alto a baixo foi cumprido

Transparência

e é reportado, e portanto (...)" "Mas a questão da transparência reporta um bocadinho ao dito

Melhorias necessárias

feedback (...) os alunos perceberem o préstimo daquilo que está a ser avaliado, que não seja para estatísticas internas." Informação sobre

"(...) nem que seja por amostragem tentar ver outros aspectos em

outros aspectos das

unidades curriculares (...)"

unidades curriculares

"(...) eu pedi para me relatarem aquela que tivesse a pontuação máxima (…)" "(...) portanto que unidades curriculares têm a pontuação máxima na Divulgação de boas práticas

satisfação global para se poder olhar para elas e ver em que é que elas são interessantes (...)" "Acho que está a faltar olhar um bocadinho para quem já fez bem para podermos dizer "isto é uma boa prática".

Avaliação da qualidade

"Eu acho que precisamos disso, por cursos."

dos cursos

"(...) eu acho que temos que lá chegar." "(...) me pareceu que as pessoas estavam num ambiente já de coesão, diferente do que me tinha sido relatado antes (...)" "(...) o que se fez de diferente, foi aumentar a adesão dos profissionais ao Sistema, e por todas as unidades orgânicas no

Ambiente de coesão

Conselho (...)" "É uma adesão de todas as escolas à necessidade sentida imposta

Balanço

pelo sistema (...)" "(...) é sempre preciso algo que é a tal manutenção que eu dizia o tal acompanhamento da manutenção (...)" Continuidade

“(…) o facto de termos responsáveis no conselho é para que eles perpetuem isso para eventual mudança (...) e agora há uma

continuidade" "(...) garantir que o Sistema não era para a Reitoria mas para as unidade orgânicas cujos responsáveis, e que esses pudessem dar essa continuidade." "(...) é manter o Sistema como está mesmo que tenha defeitos (...)" "(...) prefiro que eles sejam notados, que dupliquemos esforços para mais alguma pequenina alteração (...)"

Anexo M – Síntese da grelha de análise de conteúdo da entrevista à Entrevistada C

A entrevistada refere que a implementação do Sistema foi gradual e de cariz opcional, aplicado só em algumas unidades curriculares. A entrevistada refere que os primeiros envolvidos no SGQE foi a Vice-Reitora responsável pelo pelouro da qualidade, na época. De acordo com a entrevistada o Sistema tem início com a Lei n.º38/2007 e da necessidade de as universidades terem um sistema interno de garantia da qualidade. Relativamente à composição do SGQE, a nível central existe o Conselho; um membro externo que é o responsável máximo e uma pessoa de referência em questões da qualidade, que preside o Conselho. O Conselho é ainda composto por representantes das unidades orgânicas, por estudantes e por membros da equipa reitoral. O Conselho avalia os documentos periódicos relativos à qualidade e toma algumas decisões. Outro órgão é o Gabinete de Apoio à Qualidade do Ensino, que operacionaliza as atividades relacionadas com o SGQE-UNL, analisa os relatórios elaborados pelas unidades orgânicas. Os órgãos a nível local são o Conselho [Comissão] cujo representante é opcional, mas preferencialmente o responsável pela qualidade. De acordo com a entrevistada o Conselho deve ter um cariz operacional e não administrativo pelo que seja preferível o responsável pela qualidade e não alguém do Conselho Executivo. Existe ainda o Gabinete ao nível da unidade orgânica, semelhante ao que existe a nível central, cuja função é aplicar os inquéritos sobre a qualidade. Segundo a entrevistada não existe uma hierarquia vertical muito vincada devido à autonomia que é dada às unidades orgânicas. A entrevistada destaca como principais propósitos do SGQE a melhoria, a

identificação de problemas, o servir de complemento à A3ES, o garantir a adequação do ensino à missão da UNL e do ensino às competências profissionais, contribuir para a qualificação dos alunos e proporcionar a reflexão. A entrevistada aponta como valores do SGQE-UNL a sua continuidade, a participação voluntária e o anonimato. De acordo com a entrevistada, a definição de qualidade que melhor se ajusta à UNL é a adequação do ensino aos objetivos da UNL. Os objetos de avaliação do SGQE-UNL são, segundo a entrevistada, as unidades curriculares, os ciclos de estudos e as taxas de sucesso. Os principais envolvidos são os alunos, os coordenadores de ciclos de estudos, os docentes. De acordo com a entrevistada os questionários são uma das formas de recolha de informação acerca da qualidade, aplicadas aos estudantes. Contém 9 questões relativas aos objetivos das unidades curriculares, feedback, recursos humanos e materiais, pontuadas entre 0 e 6, sendo que, com média inferior a 3 é tida como medida a reportar já que faz parte da escala desfavorável. Os questionários aos estudantes incidem ainda sobre objetivos da unidade curricular, recursos, feedback e satisfação global. São questionários de preenchimento rápido e a análise é feita por gabinetes de estatística e a informação recolhida pelo formato online é armazenada em bases de dados Excel.

No caso dos relatórios dos docentes é solicitado que os docentes interpretem as informações recolhidas pelos questionários aos estudantes e forneçam propostas de melhoria e espaço para reflexão. De acordo com a entrevistada os docentes têm acesso a uma checklist em que constam as situações mais frequentes de ocorrer. Os docentes devem realizar um relatório semestral. O relatório da unidade orgânica é elaborado pelo responsável pela qualidade de cada unidade orgânica. O relatório anual reúne as informações relativas ao 1.º e ao 2.º semestre, faz uma análise SWOT do sistema, é uma

reflexão anual. O relatório intermédio corresponde a uma tabela Excel que reúne as informações acerca do 1.º semestre. Em relação à utilização dos dados a sua utilização é interna e elaboram-se a partir daí medidas de melhoria em relatório da unidade curricular e de ciclo de estudos, cuja implementação é analisada pela Pró-Reitora responsável pelo pelouro da qualidade. De acordo com a entrevistada a divulgação dos dados é uma questão delicada e que segundo a entrevistada “tem de ser modelado”. Salienta que a divulgação dos dados é interna, os relatórios têm informação que é do interesse interno da instituição, sendo que os relatórios não são divulgados. No entanto, a entrevistada refere que as unidades orgânicas devem decidir sobre isso e que é passível de ser divulgada informação geral. É algo desejado mas sensível. Segundo a entrevistada uma das dificuldades/desafios do SGQE é a diversidade da UNL pois existem 9 unidades orgânicas muito diferentes entre si, aliadas à autonomia das unidades orgânicas face à Reitoria. De acordo com a entrevistada, por exemplo, o tempo de análise das informações é variável consoante a instituição. Outra dificuldade/desafio apontada pela entrevistada é a adesão que, para a entrevistada, constitui uma grande mudança cultural, acarreta muito trabalho, e tendo sido um problema inicialmente. A adesão ao SGQE parte do princípio que as unidades orgânicas indicam medidas de melhoria, sendo que a entrevistada relata que a maior adesão dos alunos é um desafio. Outra dificuldade/desafio é a compreensão dos benefícios do Sistema, fazer com que se percebam os benefícios do Sistema e que pode apoiar o profissionalismo, segundo a entrevistada. O respeito pela autonomia é outro desafio/dificuldade em

que a dualidade da decisão entre interferência/supervisão é difícil. De acordo com a entrevistada as unidades orgânicas e os seus representantes prezam a autonomia e a relação com a Reitoria é a de decisões conjuntas, supervisão e incentivo. Outro desafio da implementação do SGQE é a preocupação dos docentes que seja feita uma avaliação aos próprios docentes e não apenas ao que é ensinado. De acordo com a entrevistada a transparência do SGQE é o cumprimento e o reportar-se a si mesmo, e ao feedback e à compreensão da utilidade do Sistema. A transparência é também assegurada pelo membro externo que integra o SGQE. Uma das melhorias necessárias é ver outro tipo de informação nas unidades curriculares, como refere a entrevistada. A divulgação de boas práticas é algo que a entrevistada considera como algo a melhorar, as unidades curriculares que tenham pontuação máxima na satisfação global (questionário aos estudantes) e apontar aquilo que se faz bem; identificar boas práticas. Outra melhoria a implementar/necessária do ponto de vista da entrevistada é a avaliação da qualidade por cursos. A entrevistada considera que existe um ambiente de coesão, de maior adesão por parte dos profissionais ao SGQE e ter representadas no Conselho todas as unidades orgânicas. A entrevista considera que a continuidade do SGQE é assegurada pelos responsáveis no Conselho, para que exista mudança, garantindo que o Sistema existe para as unidades orgânicas. A entrevistada refere que no momento deseja que o SGQE se mantenha e que sejam apontados os

defeitos e que se vão fazendo pequenas alterações.

Anexo N - Guião da entrevista ao Entrevistado D Tema: Sistema de Garantia da Qualidade do Ensino da Universidade Nova de Lisboa (SGQE-UNL) aplicado n Instituto de Higiene e Medicina Tropical (IHMT) Objetivo Geral: Explorar elementos que permitam conhecer a implementação do SGQE no IHMT Blocos

Objectivos Recordar objectivos da entrevista

A – Legitimação da Entrevista Motivar o entrevistado

Questões - Esta entrevista tem como objectivos... - Sublinhar a importância do contributo do entrevistado;

Tópicos Orientadores

Garantir a confidencialidade Pedir autorização para gravar - Num contexto geral pode descrever-me o SGQE no IHMT?

Pessoas envolvidas; ano de início; estratégia; procedimentos Apoio, recusa, contestação...

B – Caracterização do SGQE no IHMT

Conhecer os elementos que compõem o SGQE no IHMT

- Como considera que foram recebidas as orientações para a implementação de um SGQE no IHMT? Número de envolvidos, cargos -Quem é/são o(s ) repsonsável(eis) pelo SGQE aqui no IHMT? - Quais as funções desse(s)

Recolha de dados, tramento de dados, representação do IHMT

responsável(eis)?

Gabinete, apenas um responsável

-Que tipo de estrutura existe para a garantia da qualidade? Reuniões, proximidade... - Qual a relação entre responsável/gabinete e os órgãos centrais da qualidade?

C – Alinhamento com o SGQE-UNL

D – Objectos de avaliação do SGQE

Identificar os as semelhanças com o SGQE-UNL

Identificar o processo de recolha de dados desenvolvidos pelo SGQE

- Quais os propósitos do SGQE geral?

Objetivos do SGQE

- Como descreve a concordância entre o SGQE geral e o SGQE do IHMT? - O que avalia?

Se muito semelhante ou se e muito dispar

- Quem são os envolvidos no processo de avaliação?

Alunos, professores, entidades empregadoras, pessoal não docente

- Quais os instrumentos que utilizam no IHMT?

Além dos dois instrumentos obrigatórios

- Quais as diferenças entre os instrumentos base do SGQEUNL e os instrumentos utilizados no IHMT?

Se foram ou não adaptados

Ciclos de estudos; unidades curriculares; unidades orgânicas; o próprio SGQE

- No caso de terem sido adaptados, como foram concebidos esses instrumentos?

Quem foram os envolvidos, processo de construção dos novos instrumentos

- O que motivou essas adaptações?

Por que foram alterados: recolha de mais informação,...

- Como é feito o tratamento dos dados?

Informatização, ...

- Quem faz esse tratamento?

Responsável pela qualidade, informático, ...

- Como garantem a fiabilidade Triangulação, métodos, índices e a validade dos instrumentos e dos dados recolhidos (no caso de terem adaptado os instrumentos)? - Como são divulgados os Relatório, folheto, suporte resultados? digital....

E – Divulgação dos resultados

Perceber o (s) processo (s) de recolha e divulgação dos dados

- Quando são divulgados?

Em que momento

- Onde são divulgados esses resultados?

Online, em que sites,

- Quem tem acesso aos resultados?

Conselho Pedagógico, professores, alunos, Director...

F – Perspectivas/balanço

Perceber os desafios e as dificuldades enfrentados pelo SGQE

- Qual a utilização dada aos dados obtidos? - Quais os desafios que enfrentaram e enfrentam? - E que novos desafios antecipam? - Qual o balanço que faz da aplicação do sistema?

Conhecer as perspectivas SQGE no IHMT

- Quais os pontos fortes deste sistema? - O que pode ser melhorado?

G – Finalização da entrevista

Saber se o entrevistado tem alguma questão Saber se o entrevistado quer acrescentar alguma informação Agradecer a disponibilidade

- Caracterize o sistema através de algumas palavras - chave. - Deseja acrescentar mais alguma questão? Ou alguma informação? - Obrigada pela colaboração

Aceitação do sistema por parte da comunidade académica; taxas de resposta;

Melhoria; criação de novos instrumentos; criação de novos organismos etc...

Anexo O – Protocolo da entrevista ao Entrevistado D Entrevistadora: Então podemos começar? Pronto, como disse então vamos, a entrevista é sobre o Sistema de Garantia da Qualidade aplicado a uma unidade orgânica. A intenção é conseguir explorar alguns elementos dessa implementação para ficarmos a conhecer como é que funciona... por aqui. Então para começar, poderia-me descrever, brevemente, o IHMT? A fundação, a missão...brevemente. Não precisa de... Entrevistado: Ah...Bom, os dados não são absolutamente precisos porque eu não os tenho aqui, tem muitas datas. É uma instituição centenária. Temos exatamente cento e... nascemos em 1902, portanto, cento e... doze anos. E quando tivemos a primeira localização no edifico da Cordoaria, aqui ao lado e a ...ali ao fundo. Entrevistadora: Hum, hum. Entrevistado: E tínhamos como objetivo como todos os institutos de higiene e medicina tropical da Europa, que nasceram mais ou menos no princípio do século XX, sobretudo depois da conferência, da Exposição Mundial de Paris, no final do século, do século XIX para o século XX. Em que as potências europeias de alguma forma decidiram que as condições de vida e as condições de saúde das ex-colónias, não é, colónias na altura (África) deveriam ter uma atenção especial. E não só por causa dos europeus que lá estavam a viver e a trabalhar mas também por causa dos, na altura chamavam-se os indígenas, não é, dos locais, das pessoas que ali viviam, que não tinham o mesmo tipo de atenção que tinham os, os europeus. Pronto, e portanto, começou-se a trabalhar muito na área da saúde nos trópicos e aparece uma especialidade na Medicina, que é a Medicina Tropical (já vinha de antes, não é), que estava muito relacionada e sempre esteve muito relacionada com a Medicina Militar. Portanto, era tradicionalmente uma especialidade ligada à Marinha. Na altura não havia aviação, portanto os transportes com as colónias eram feitas através de barco e, portanto, naturalmente, quem fazia isso, quem garantia a soberania nas colónias era a Marinha, e portanto era uma especialidade da Marinha. E nós também nascemos como os outros institutos de Antuérpia, o de Londres ah... o da Bélgica é o de Antuérpia, o da Alemanha. Eu agora não sei exatamente a cronologia mas na altura nasceram uma série deles na Europa. Entrevistadora: Hum, hum.

Entrevistado: Ah... nasceram sob a égide da Medicina Militar, da Medicina da Marinha. Portanto, nós também nascemos assim, em 1902. Estivemos ali até aos anos sessenta, depois, a seguir à segunda guerra mundial, portanto, todos estes princípios ainda se tornaram ainda mais evidentes ah... e tornou-se, então, mais importante ainda ter uma especialidade de Medicina Tropical e ter um instituto dedicado às doenças dos trópicos. Na perspetiva sempre de «bom, isto também se pode importar para cá»; portanto, era preciso ter conhecimento de causa e foi isso que o instituto, a missão do instituto é sobretudo a saúde nos trópicos. Aliás o seu lema é exatamente esse, baseado nesse princípio. E durante muitos anos, antes do 25 de Abril, o que nós fazíamos era preparar os portugueses para a saúde nos trópicos, nas duas vertentes: na vertente do colono e na vertente do médico. Portanto, todos os médicos que iam exercer, fossem militares ou fossem civis, que fossem exercer em África ou nas colónias passavam por cursos de especialização aqui na área da Microbiologia, na área da Parasitologia, na área da Nutrição, no tratamento das águas, uma política integrada de formação. E na segunda parte tínhamos o que era a medicina do colono, que era uma coisa assim um bocadinho ah...hoje em dia já não faz muito sentido falar nisso. Mas na altura as famílias decidiam emigrar, não era bem emigrar, mas que decidiam ir viver para África faziam aqui dois, três dias de formação sobre o que era viver em África, e as diferenças de temperatura, as diferenças de ambiente, as diferenças sociológicas, antropológicas, tentar desmistificar alguns fantasmas sobretudo sobre as tribos que lá viviam e os locais, pronto. Tentar dar formação e obviamente dar sempre formação na área da saúde: prevenção da malária, que é um problema, e ainda é hoje um problema complicado, a prevenção das doenças transmitidas pela água ah... pronto, saúde em geral, saúde em geral. Portanto, faziam formação aqui. Depois do 25 de Abril e depois da descolonização, o Instituto durante alguns anos esteve ainda no Ministério da Saúde e depois integrou-se na Universidade Nova de Lisboa e é hoje uma unidade orgânica que faz formação pós-graduada na área da saúde global. Já não se fala, embora nós ainda tenhamos como todos os outros institutos, o nome de Medicina Tropical, hoje em dia já não há propriamente uma medicina só dos trópicos. A malária está a subir com o aquecimento global, os vetores estão a subir, um dia destes, Portugal também é um país tropical e, se isto continuar a aquecer como está a aquecer... Portanto, hoje em dia, nós temos sobretudo, com a globalização, uma medicina global e, portanto, a missão do Instituto mudou um bocadinho para aí. Cada vez mais trabalhamos na área da saúde do viajante, na saúde do migrante, na prevenção das grandes endemias, na importação de endemias ou de doenças infeciosas que não são habituais em Portugal (a malária é um exemplo). Trabalhamos muito na área do HIV, que está por todo o lado, mas que tem uma

ligação muito forte a África, trabalhamos também na tuberculose, na parasitologia, nas doenças (impercetível). E pronto, fazemos sobretudo, formação na saúde, formação pós-graduada e mestrados e doutoramentos na área da saúde. Esse é o resumo, pequenino. Entrevistadora: Muito obrigada. Só para ter mais ou menos uma noção da dimensão do Instituto em termos de número de alunos e de... Entrevistado: Em termos de números temos cerca de... entre docentes e investigadores, 55-56 docentes divididos praticamente por quatro áreas: Parasitologia Médica, Microbiologia Médica, Saúde e Desenvolvimento e Clínica das Doenças Tropicais. É um conjunto de médicos que providenciam a área da clínica, da consulta do viajante, da consulta do migrante, pré-viagem, pós-viagem, por aí adiante. Portanto são essas quatro áreas. Depois temos, eu não sei, eu devia saber os números decor, mas entre 350 a 400 alunos ah...a sua maioria alunos de mestrado, talvez metade-metade, metade mestrado, metade doutoramento. Temos muitos alunos, e depois o indicador interessante é que perto de 50% dos nossos alunos não são portugueses, portanto temos muitos alunos africanos, temos muitos alunos brasileiros, temos muitos alunos da comunidade de língua portuguesa, da CPLP. Entrevistadora: Hum hum, ok. Passamos agora a falar sobre o Sistema de Garantia da Qualidade depois desta primeira abordagem ao Sistema e então gostaria de saber se antes da implementação do Sistema de Garantia da Qualidade do Ensino na NOVA, se aqui no IHMT já existia algum mecanismo de avaliação do ensino ou... Entrevistado: Havia, a resposta formal é sim. Não era organizado de uma forma sistemática. Entrevistadora: Hum, hum. Entrevistado: Havia uma recomendação aos coordenadores de curso que fizessem inquéritos no final, inquéritos de satisfação, no final... ou do ano ou da unidade curricular, consoante o modelo, não é. E fazia-se esses inquéritos em papel, que eram preenchidos pelos alunos e depois processados pela divisão académica, que depois davam os resultados ah... portanto isso começou talvez nos princípios dos anos noventa, que já tínhamos essa rotina. Mas nem todos faziam, só alguns faziam e era absolutamente voluntário. Depois é que, com o Sistema da Qualidade instalado na NOVA, ele foi importado e implementado cá e passou a funcionar em

carácter obrigatório para os segundos ciclos e ainda é facultativo para os terceiros ciclos, para os doutoramentos. Nós recomendamos vivamente que sejam feitos. Entrevistadora: E essas recomendações vieram, foi uma criação aqui do IHMT, esse primeiro... Entrevistado: Ah... Pronto, começou com as primeiras reuniões da Comissão da Qualidade da NOVA, do Gabinete da Qualidade, que começou dentro da Reitoria por estar muito focalizado nas grandes unidades orgânicas e nas unidades orgânicas que tinham primeiro ciclo, que é normal, é a grande maioria dos alunos da NOVA. Portanto a começar, começa-se por aí. As unidades mais pequeninas e que trabalhavam mais na área do segundo ciclo e do terceiro ciclo, não foram logo numa primeira fase incorporados no Sistema, depois viemos a ser mais tarde. E há uns dois, três anos para cá fazemos também parte de Comissão da Qualidade, antigamente havia alguma diferenciação, que era aceitável entre as unidades de segundo ciclo. O processo não é fácil, envolve, é… instalar o processo não é fácil e obviamente a Reitoria teve de começar pelos maiores e teve de começar pelos que têm mais alunos e pelo menos que têm o primeiro ciclo que é quem tem mais alunos. Entrevistadora: Hum, hum. Entrevistado: Depois foi começando, tal como agora, ainda temos algo que eu gostaria que não fosse por muito mais tempo, a não obrigatoriedade dos cursos de doutoramento. Que são percentualmente mais pequeninos, menores do que o primeiro ciclo, obviamente, mas que é muito importante nós começarmos a avaliar também os de terceiro ciclo, os cursos de doutoramento. Portanto…a pergunta era? Entrevistadora: Por acaso estava-me a referir antes de haver o Sistema, este implementado agora pela NOVA a nível geral, se esse sistema, não era um sistema, mas esses mecanismos que iam existindo, como é que acabaram por surgir? Entrevistado: Sim. Não, surgiram pela, surgiram naturalmente pela entrada na sociedade portuguesa da qualidade, não é? Era um conceito que não tínhamos até aqui aos finais dos anos oitenta, depois é na década de oitenta é que se começa a falar da certificação da qualidade. E que entrou em Portugal muito por via dos laboratórios e dos procedimentos, da certificação dos

procedimentos e depois dos ISOs e da entrada na União Europeia e das direções europeias. As pessoas transpuseram um bocado o conceito da qualidade nos procedimentos analíticos para a qualidade no ensino também como noutras áreas, e os inquéritos de satisfação, os inquéritos que naquela altura ninguém fazia, até achavam mal. E, portanto, veio um bocadinho daí e, pronto, e depois naturalmente… a parte pedagógica, a comparação com outras universidades que já faziam também trouxe essa vontade e a…mas era facultativo, não era organizado. Entrevistadora: Era só para perceber mais ou menos como é que tinha…acabado por surgir. Entrevistado: Não, foi pressão social. Entrevistadora: Ok. Ah, já me descreveu um bocadinho como é que começou aqui o Sistema, como é que começou a ser integrado pelo IHMT, mas gostaria que me descrevesse melhor, a nível de, o ano em que iniciaram, como é que são os procedimentos, as pessoas envolvidas, por aí. Entrevistado: Sim. Eu o ano exato em que começámos acho que tenho de ir pelos ficheiros, não consigo lá chegar. (Procura os ficheiros no computador). Pois os primeiros, os primeiros ficheiros de avaliação já dentro do Sistema da Qualidade entram em 2010. A primeira avaliação a sério nós fazemos em 2011, portanto tem três anos. Entrevistadora: Ok. E as pessoas envolvidas neste… Entrevistado: Ah…Não sei se é importante para o vosso trabalho mas começou com um Gabinete da Qualidade, mais a Comissão da Qualidade que foi instalada na NOVA, trabalhando sobretudo nos primeiros ciclos, que nos propôs um modelo, que vem de um trabalho de um estudo que foi encomendado ou dirigido pelo professor, pelo X… X, que nos providenciou uma, vá, uma brochura, não é uma brochura é uns guidelines, uma orientação, um manual de como fazer e tal. Muito inspirado nas experiências inglesas e na experiência holandesa e na experiência europeia, basicamente, pronto. Pessoalmente, acho que foi útil mas a proposta inicial era altamente complicada. Eu tive muita dificuldade em perceber o algoritmo de funcionamento, que eram… há computadores mais simples que aquele com, não sei se vocês viram o documento inicial mas o documento inicial é de uma complexidade brutal, de não sei

quantos inquéritos, diferentes níveis de análise, com vias de contacto que nunca mais acabavam em que, quer dizer, uma pessoa, a unidade orgânica em vez de lecionar avaliava o ensino, porque não tinha tempo. Para fazer aquilo, não ensinávamos porque não valia a pena. Portanto, toda a gente tinha opinião sobre o assunto, toda a gente era inquirida, havia inquéritos aos alunos, havia inquéritos aos docentes da unidade org…, da unidade curricular, havia inquéritos aos coordenadores da unidade curricular, havia inquéritos aos coordenadores da, porque depois depende da dimensão. Há muitas cadeiras que não têm só um professor, que tem ou quatro, ou cinco, ou seis, ou sete professores. Entrevistadora: Hum, hum. Sim. Entrevistado: E depois por sua vez, esse professor depois tem um coordenador de grupo ou um coordenador de… Portanto, a cada nível da organização havia um inquérito, que depois tinha de se incorporar, incorporar, incorporar, incorporar, incorporar até chegar ao inquérito da unidade orgânica. Tudo muito automático e tudo muito hierarquizado, que se tornou um monstro que ninguém conseguia gerir, sobretudo nas grandes unidades orgânicas. E ainda hoje é complicado porque mesmo simplificado como foi, basicamente é inquérito aos alunos e análise do coordenador entregue ao coordenador pedagógico ou ao responsável pela qualidade, só tem basicamente três níveis, nas unidades orgânicas grandes como a FCT, eles diziam ontem, eram trinta mil inquéritos que eles tinham de processar, tudo desmultiplicado pelos alunos, desmultiplicado pela unidades, com práticas teóricas e não sei quê e não sei quê (impercetível) e mesmo automaticamente não é fácil. E depois coligir a análise desses trinta mil inquéritos num relatório só, mais complicado ainda se transforma. Nós não temos esse problema, temos entre duzentos a trezentos inquéritos por ano para processar, ainda é fazível. Portanto, nós começámos por aí, tentamos o melhor possível adaptar o funcionamento à instituição e depois naturalmente o processo arrancou por aí mas foi adaptado às realidades. Entrevistadora: Hum, hum. Entrevistado: Por exemplo, nós devíamos ter uma Comissão da Qualidade, o que significava que dentro já da estrutura da casa tínhamos de criar uma nova comissão. Já temos um Conselho Científico, Conselho Pedagógico, Conselho de Curso mais um conselho disto (impercetível). Uma das coisas que nós decidimos é Comissão da Qualidade é o Conselho Pedagógico. Se no

Conselho Pedagógico estão representados todos os coordenadores de curso então, ficam os mesmo! Entrevistadora: Hum, hum. Entrevistado: Não têm de mudar de chapéu. Discutimos as coisas no Conselho Pedagógico, portanto a Qualidade está no Conselho Pedagógico. Temos é, e fomos os primeiros a respeitar, uma das recomendações do Sistema da Qualidade, que era ter um presidente externo. Portanto, o nosso presidente da qualidade é o Professor X da Faculdade de Ciências da Universidade de Lisboa que todos os anos é a ele que enviamos o relatório final para ele dar o parecer, antes de enviarmos à Reitoria. Isso é importante para ter uma certa independência e ele tem feito contribuições muito úteis para o relatório, recomendações que têm sido atendidas. É importante termos essa, esse…avaliador externo, digamos. Pronto, depois as coisas foram adaptadas, recebemos na altura, já não sei, para aí uns cinco ou seis inquéritos diferentes de acordo com estes níveis hierárquicos, que não foram nada bem recebidos, como funcionavam. Acabámos por escolher só os inquéritos que achámos que seriam úteis na casa, que acabou, na prática acabou por escolher a lógica. O bom senso ganha sempre. Que é os que interessam, o inquérito ao aluno, o inquérito do ciclo de estudos e o inquérito da instituição, que são três e já chega. Já chega para se ter uma boa ideia de como é que as coisas estão a correr. E praticamente passámos por aí. Depois levámos muito tempo e tivemos muita discussão, mas foi bom, também a ajudou a…a que as pessoas também interiorizassem o Sistema, nas questões da pedagogia do processo, que é um bocado, às vezes se tornam maçadoras e circulares que é… «como escrever a pergunta?», «a pergunta está bem feita ou está mal feita?». Depois depende da sensibilidade de cada um, depende das áreas de cada um. Perguntar se as aulas práticas têm conteúdos evidentes ou não sei quê, não faz sentido em cursos em que não têm aulas práticas. Esse tipo de coisas, que às vezes tornam-se um bocadinho circulares. Ah, por exemplo, há aí uma pergunta no inquérito que continua a ser difícil e desadequada, que acho que é a pergunta nove, não é. Portanto, aquilo que vocês recebem aí, não sei se viram o processo, já é o que resta do…a professora X é a pessoa melhor para vos contar porque ela esteve na gestão de tudo isso: na origem, na elaboração. E os primeiros inquéritos eram vastíssimos e resumiram-se a estas perguntas, porque houve uma enorme filtragem das perguntas. Mas a pergunta nove, já agora que têm aí (aponta para o questionário aos alunos que uma das entrevistadoras está a ler), qual é a pergunta nove?

Entrevistadora: «Globalmente esta unidade curricular satisfaz?» Entrevistado: Então não é a nove. Entrevistadora: É a oito, acho eu, pelo menos é essa que temos ouvido falar. Entrevistado: É, é, é isso mesmo. Entrevistadora: Porque nós temos os documentos, antigos e novos. Entrevistado: É este. Pronto, todo este percurso de cinco anos acabou nisto. E ainda não está perfeito. É a oito, que é esta história dos progressos. Entrevistadora: (impercetível). Ninguém, toda a gente se queixa. Entrevistado: Pois ninguém percebe o que, como é que…está bem. A intenção é boa, a pergunta é, até é simpática mas não, como é que se faz isto? A maior parte da forma, isto é, funciona bem para o, para aqueles chavões da pedagogia que é o student learning, student based learning, se o ensino estiver todo centrado no aluno, muito à inglesa ou à anglo-saxónica, que é, o aluno define o currículo, o aluno define o progresso, o aluno vai estudar e depois há muita interação, evidentemente aí o professor tem de perguntar (impercetível) «estás a perceber alguma coisa do que estás a aprender?», «isto está a correr bem?». Tem de haver algum feedback. Agora, a maior parte das nossas cadeiras são de inspiração francesa, que é o professor lá em cima, os alunos sentadinhos a ouvir, a gente dá a matéria, o aluno estuda. Faz-se avaliações periódicas, está a andar. A resposta à pergunta é claro que sabe, se tem avaliação contínua, depende das notas, se têm avaliação no final, no fim vai descobrir se correu bem ou mal. A pergunta está um bocadinho desenquadrada. Toda a gente se queixa. Tal como, por exemplo, foi, e perdeu-se imenso tempo a…mas também foi um processo pedagógico, na primeira pergunta deste inquérito. Que pergunta, que é uma pergunta circular e idiota, mas que aparentemente muito importante, para garantir os direitos de todos os envolvidos no processo, que é muito retorcida, mas que é um belíssimo exemplo de como hoje os direitos de todos nós têm de ser respeitados. Que é o direito que o aluno tem de não responder, porque acabámos por chegar à conclusão que, para o Sistema, é muito importante que o aluno responda «não quero responder». É assim à partida parece que é uma coisa um bocado estúpida, mas o Sir ou Lord X pode-vos explicar

isso, que ele vem cá daqui a duas semanas, se vocês falarem com ele, para ele, que para ele…assim à partida parece um enorme perda de tempo que é daqueles pequeninos detalhes onde empata tudo. Do ponto de vista de estatística, a grande preocupação, neste momento, da professora Amália, de todo o Sistema, acaba por ser na taxa de resposta, as estatísticas e não sei quê, vem tudo por água abaixo porque não tem representatividade. Se tem cinquenta alunos e há dois que respondem, esquece, pode ser o melhor dos Sistemas, então ninguém responde, então não vale a pena. Faz muita diferença para o Sistema ter cinquenta inquéritos em que quarenta e oito alunos disseram «eu não quero responder». Se eu lhes perguntasse, eles responderam que não queriam responder, depois vamos perceber porque é que eles não quiseram responder, isso depois é outra história, agora, eles tiveram acesso ao inquérito. Outra coisa é ignorar o Sistema. Se eles ignorarem o Sistema a gente não sabe se eles não querem responder porque não querem responder, se não querem responder porque o Sistema é mau, não responderam porque não tiveram acesso, não se sabe. E isso criou um vazio que não é bom. Portanto, isto, por um lado, para além do suposto direito de, do…há o direito de não querer uma coisa, pronto, que tem de ser respeitada. Tal como, também se discutiu muito o direito da Universidade de impor um inquérito. Portanto, encontrámos aqui um equilíbrio simpático que é: nós temos o direito de impor o inquérito, por meios não muito legais, portanto não é possível lançar notas enquanto não se respondia ao inquérito, não é possível nada disso. Mas há maneiras de, como nalgumas unidades orgânicas, por exemplo, o aluno só consegue aceder à secretaria virtual, que lhe interessa se tiver respondido ao inquérito. E, portanto, é uma formal processual de obrigar à resposta, mas não é uma obrigação. Pronto. Não deixa de ser uma obrigação se quando aparece o inquérito, pergunta se quer responder ou não, se não quer responder passa para o lado; respondeu ao inquérito dizendo que não quer responder ao inquérito. Para nós conta para a resposta, o Sistema é validado, não temos é resposta. Portanto, é assim uma coisa um bocado circular, mas foi uma pergunta filosófica muito importante ah, muito debatida, que não estava no inquérito inicial. E pronto, e depois essas nove perguntas são basicamente, ah outra coisa que também foi muito discutida foi a, e cujos termos eu não vos consigo dar porque a professora Patrícia é que os conhece: se tínhamos uma escala de avaliação de um a cinco ah, que é a nossa habitual do «mau», «insatisfaz», «satisfaz», «satisfaz muito» e «muito bom», pronto daquelas coisas habituais que nós desde a primária estamos habituados a isso, mas que dizem os…os preceitos, os preceitos psicanalíticos pedagógicos que quando há uma avaliação ímpar a tendência é ir para o três e, portanto, toda a gente encaixa no três, há dois para um lado, dois para o outro, é no meio que toda a gente fica, toda a gente responde ao três. E que o, se a coisa for de um a seis, a pessoa tem mesmo de decidir se está do lado do dois ou do três, não é,

porque já não é o três, é a opção mais fácil. Isso está muito estudado e é verdade, e então tivemos de acabar por responder com seis e mudámos a escala pra seis. Nós, por exemplo, aqui tínhamos os nossos inquéritos sempre com cinco. Agora assim as grandes questões destes três anos foi discutir estes problemas e o conteúdo das perguntas. Uma coisa curiosa só para acrescentar, é que numa primeira fase houve alguma liberdade das unidades orgânicas de incluírem as suas próprias perguntas e, na realidade, a grande maioria das perguntas, aquelas que nós inventámos sem conhecer o inquérito que vinha da Reitoria, acabou por ser mais ou menos as perguntas que vieram da Reitoria, ou seja, todos perguntaram mais ou menos o mesmo, escrito de maneiras diferentes mas todos perguntávamos mais ou menos a mesma coisa. Portanto, não foi difícil incorporar o inquérito da Reitoria no nosso inquérito. Entrevistadora: Hum, hum. Essa era precisamente uma das questões que eu tinha também feito, se tinham adaptado o questionário. Porque sabemos que são nove questões e que depois há a possibilidade de acrescentar algumas questões ao questionário. Entrevistado: Também aí houve um processo de pedagogia da coisa, interno. Ah, adaptámos o nosso inquérito ao inquérito da Reitoria e depois, a pouco e pouco, acabámos por, a maioria foi achando que as perguntas da Reitoria já respondiam às perguntas que nós tínhamos e que tínhamos perguntas repetidas e acabámos basicamente pro ficar com o inquérito da Reitoria. Temos mais duas. Entrevistadora: Não, não… Entrevistado: No nosso inquérito online ainda temos mais três que são só nossas. Ah…são perguntas do género: «como é que teve conhecimento do Instituto? E do seu curso?», «Foi pela internet» Foi por jornais? Foi pelos amigos?». Para nós termos uma noção de como é que está…acho que uma delas é essa, outra é, já não sei. Há duas ou três que são só nossas. O resto está tudo aí. E nós para a Reitoria, para o Relatório só trabalhamos essas. Entrevistadora: Ah, falou-me, de início, que houve algum, houve alguma recusa, não é bem recusa, mas houve assim alguma… Entrevistado: …dificuldade…

Entrevistadora: ...dificuldade em aceitar o Sistema, das recomendações que vieram da Reitoria, para além da, do tempo que é preciso para responder, para…para trabalhar todos estes dados e para recolher os dados e tudo isso, houve mais alguma situação em relação às orientações… Entrevistado: Houve. Entrevistadora: …que possa-nos dizer? Entrevistado: Muito resumidamente, houve três níveis de problemas, ok? Ah, de implementação do Sistema. Primeiro foi, como em tudo, a acessibilidade do Sistema, teve que se criar um Sistema que quer do lado dos alunos, quer do lado dos professores, fosse simpático para o utilizador (user friendly), que não seja complicado – complicado de aceder, complicado de responder, complicado de proceder, de analisar – e aí teve de ser uma plataforma informática. Ainda hoje não é a melhor, ainda hoje a que temos não é a melhor e isso é uma… Entrevistadora: Desculpe interromper, fazem o questionário online é isso? Entrevistado: Fazemos o questionário online, mas acabámos por ter vários módulos online, um dos quais dentro da secretaria virtual e acabamos por achar que, e dizem os nossos informáticos, e na prática isso acontece, hoje em dia há software livre na net, que faz inquéritos mais simpáticos do que os que a gente compra. É lógico que comprar um módulo para fazer a qualidade e acabamos por usar um, interessa é que faz as perguntas que nós queremos, analisaas, toda a gente tem acesso, é confidencial, tem as palavras-passe, tem essas coisas todas, analisa os resultados, dá uns gráficos como nós precisamos – trabalha bem. Eu deixei de querer saber se é software certificado de empresa x ou se é um opensource comprado na net. Funciona. Pronto, mas esse é um problema que existe. Assim fazemos tudo automaticamente. Essa primeira fase de pôr o processo a funcionar é complicada… Depois a perceção da confidencialidade, ainda hoje é uma complicação, ah… porque as pessoas são muito influenciadas e, se calhar, bem, pelas notícias, pelos jornais, não é. Aumentou exponencialmente o acesso à informação e tudo está na net, tudo é disponível, e todos vigiam todos não é? E, portanto, as pessoas acham sempre que o inquérito não é, partem do pressuposto que a instituição não garante a confidencialidade e que os professores vão sempre saber que a pessoa A, B ou C responderam à pergunta, ou disse isto ou aquilo. Portanto, a grande maioria

dos alunos desconfia do Sistema. E só passado algum tempo é que vamos começando a familiarizar com o Sistema e a perceber que é mesmo confidencial. Isso foi o segundo problema, estou a falar dos alunos. E mesmo assim houve alguns que tiveram que ir ver, pegar neles e levá-los à informática para ver que era impossível descobrir aquela palavra-passe e que a pessoa, esteja onde estiver, responde, o inquérito entra sem qualquer ligação à palavra-passe, portanto, nós não sabemos nunca quem é. E a terceira perceção, que também foi difícil por parte, obviamente dos docentes, os docentes nem sempre gostam de ser avaliados, mas isso depois, isso até respondeu-se rapidamente, tiveram também alguma dificuldade, não todos, mas uma parte, em perceber o anonimato. Quando as respostas são desagradáveis algumas ou, mas fundamentadas, a maior parte delas, há alguma tendência de querer acabar com o anonimato, que é descobrir quem, como, quando. E eles próprios também tiveram de fazer essa aprendizagem e perceber o Sistema é anónimo, portanto, o que interessa é o conteúdo, não a forma como se lá chegou, e não interessa se foi o Manel ou a Maria. Ninguém vai atrás do aluno, se ele foi sincero e há fundamento para o que ele disse, há que corrigir a situação e não voltar a repeti-la. E não ir propriamente à procura de quem é que os denunciou. Mas isso faz parte de algumas mentalidades mais fechadas. Foram os três problemas que tivermos: a informática, os alunos e a confidencialidade, e os professores e o querer quebrar a confidencialidade, que é ir atrás dos alunos para discutir com eles, para, porque é que eles se queixam disto ou daquilo ou daquele outro. Entrevistadora: Hum, hum. Ah…tinha uma pergunta que em vez de criarem uma nova Comissão só dedicada só à Qualidade adaptaram para, ou melhor, duplicaram a função do Conselho Pedagógico e ficou a Comissão da Qualidade integrada aí. Em relação às estruturas de garantia da qualidade aqui no IHMT, existe o responsável, que é o senhor, têm algum gabinete ou é…se criaram, ou melhor, se além do senhor há mais alguém a trabalhar na Qualidade? Se é que me faço entender. Entrevistado: Ah, certo, percebido. Não, no nosso caso, dado a dimensão e a escassez de recursos humanos a resposta é híbrida. Ou seja, na prática não há mais ninguém a trabalhar além do responsável da Qualidade, que sou eu, sou o Presidente do Pedagógico e faço, acumulo os dois cargos, respondo ao Presidente da Qualidade, eu sou o responsável executivo mas o Presidente da Qualidade é o Professor X, que é independente, respondo à Comissão, por sua vez é o Científico [Pedagógico]. Os responsáveis por me enviarem os relatórios são os responsáveis pelos ciclos de estudos, que tiveram liberdade de escolher como é que queriam

fazer; se quisessem impor todos os colegas responder a inquéritos e não sei quê, ninguém quis. Mas impuseram o inquérito aos alunos, isso sim. Todos fazem, monitorizam e acompanham e assim. Ah…e, portanto, na prática, eles também são funcionários da Qualidade. Eles também, eles são muito importantes. Entrevistadora: Sim. Entrevistado: E nota-se isso, agora na última reunião, que à medida que o tempo vai passando, os responsáveis dos cursos vão-se cansando de andar atrás dos alunos. No primeiro ano andávamos atrás dos alunos, no segundo já se anda um bocadinho menos, no terceiro já ninguém se importa…E portanto, o nível de resposta vai diminuindo porque não se anda, ninguém anda: «responde», e «faz» e «monitoriza». É chato ter de se andar sempre, sempre, sempre, sempre atrás dos alunos. E este ano pagou-se já, já é o terceiro ano, e pagou-se um bocadinho essa, essa fatura. Depois, obviamente, temos o apoio da divisão académica porque é preciso ter o apoio informático, é preciso ter…mas o apoio administrativo, mas é uma coisa…o Sistema em si não funciona muito com apoio a não ser informático. Se o apoio informático funcionar, depois há um momento, há os vários momentos em que o apoio informático tem de funcionar, que é gerar palavras-passe. Isso não somos nós que geramos, é o Sistema que gera. Entregar palavras-passe aos professores, tem que haver, não é o Presidente do Pedagógico que anda a cortar palavras e a entregar às pessoas, não é? É a informática que envia isso por e-mail aos coordenadores, quando eles tratam disso, depois respondem aos inquéritos, processam os inquéritos e enviam o relatório. Portanto, a resposta é: não, há só uma pessoa na prática, mas todos estamos envolvidos. Entrevistadora: Sim, há muito mais envolvidos. Claro. Ah… E quais são as funções que é responsável por… Entrevistado: Bem, as funções que eu sou responsável é, são sobretudo garantir que há garantia da qualidade. Ah, ou seja, garantir que os inquéritos estão lá, que as pessoas podem responder ao inquérito. Portanto, que há condições para os coordenadores de curso entregarem os docentes das unidades curriculares um instrumento de avaliação, ok? Essa é a primeira preocupação. Segundo, que haja uma taxa de resposta significativa, que também foi outro dos pontos que se vocês quiserem dedicar a estudar, acho que é interessante porque passámos de, inicialmente não havia nenhum critério mas toda a gente se queixava que não havia critério. Depois quando

houve critério de significância ou de representatividade eram coisa de cinquenta por cento, sessenta por cento, depois não se conseguia atingir. Entrevistadora: Hum, hum. Entrevistado: E dependia da dimensão do curso. Um curso com cinco alunos se três não responderem está tudo estragado, não é?, se for cinquenta por cento. Ah, e se calhar chegamos a conclusão que cursos com cinco alunos, se calhar o melhor é não analisar, porque nunca vai ser anónimo, nunca vai ter significância, mas levou tempo. Tal como, começámos a admitir que se podia analisar cursos com trinta alunos, ou com trinta por cento de resposta ou quarenta por cento de resposta, não é preciso ir aos cinquenta por cento. Agora, há uma tabelazinha que já tem isso definido e que funciona, funciona bem, dependendo do número de alunos e das taxas de resposta. Portanto, o segundo ponto é garantir as taxas de resposta e que elas não, e é o tal cansaço que tem vindo a acontecer, um bocadinho, não é, porque já não consegue…todos os conselhos pedagógicos lembrar os coordenadores «epá vocês olhem» e no natal, a própria Gabinete da Qualidade passou a fazer isso. Na reunião intercalar e o relatório intercalar é só para lembrar ao pessoal «não se esqueçam de…». Fazemos no princípio do ano e depois no fim do ano (impercetível). E terceira e última questão, que é essa parte mais «maçadora» é fazer o relatório da unidade orgânica, que tem de coligir os relatórios de toda a gente, juntar as coisas todas e aí terá havido, eventualmente, uma diferença de opinião entre nós e o Gabinete da Qualidade. Nós continuamos a fazer o inquérito e o relatório antigo, é muito detalhado com caixas de resposta. Somos uma unidade orgânica pequenina e se queremos verdadeiramente que o Sistema de Qualidade tenha algum interesse para a casa é importante saber a opinião dos alunos. É importante que o aluno diga que aquele microscópio do segundo andar não funciona bem ou que a, o professor tal dá uma aula que não se percebe ou isso. Nós precisamos, não chega só os números ok? Ah, posso perceber que para quem tem três mil ou quatro mil alunos se forem ver todas as queixas por aluno, que é difícil de gerir. Ah, e portanto, nós fazemos um misto quantitativo e um misto qualitativo. É gerível e para nós é importante. Ah… agora a prática é só responder ao inquérito e sobretudo é ir atrás das cadeiras que não estão, ou unidades curriculares, que não cumprem os mínimos e tentar corrigir essas situações. Nós vamos um bocadinho mais longe do que isso, tentamos fazer as melhorias e dar, e dar atenção ao que os alunos dizem nos inquéritos.

Entrevistadora: E que relação é que acaba por estabelecer com o Gabinete de Qualidade da Reitoria? Existe alguma… Entrevistado: Ah…existe. Existe a obrigatoriedade de ir às reuniões periódicas e enviar os relatórios e depois há… é um ponto que talvez para o futuro se consiga corrigir, que é: o Gabinete da Qualidade da Reitoria tornou-se muito Gabinete estritamente administrativo. Gere relatórios. Gere informação. Penso que perdeu um bocadinho do objetivo inicial que era verdadeiramente acompanhar o Sistema e a… sendo um Sistema que quer garantir a Qualidade, a palavra garantir é alguém tem de garantir. Não chega só ter os dados e dizer «pronto é assim». «Ah, mas está mal», «pronto mas é». Quem é que obriga a que as coisas melhorem? Quem é que garante que há qualidade? Alguém tem de garantir isso. Portanto isto não pode ser estritamente asséptico. «Pronto, estão aqui os dados. Agora você pela sua consciência, se quiser e se for voluntário e nha, nha, nha altera as coisas que não estão bem». Liberdade até certo ponto, senão não vale a pena estarmos a fazer isto. Estamos a cair um bocadinho aí. Ah… mas isso é um processo que vai ter que evoluir no futuro. Portanto, sim há uma relação. Neste momento é muito administrativa. Nós enviamos o relatório, eles processam o relatório, fazem o relatório geral, as coisas estão a correr. Há números. Temos números. Consequências desses números, muito poucas. Aqui na casa nós temos tentado que os números tenham consequências. Quem não está bem, diz, quem não está a responder, passa a responder. Andamos atrás das pessoas, sempre com a perspetiva de melhorar, de pedagogia, o julgamento dos pares, portanto «se o outro faz, tu também tens de fazer, porque é para bem da instituição». O Gabinete da Qualidade demitiu-se um bocadinho desse papel. Entrevistadora: Portanto, ao longo do processo acaba por ser, o cumprir ah, essa necessidade de entregar os relatórios. É por aí que…é a relação? Entrevistado: É, é, é por aí que é a relação, com pena minha, que tem sido a relação. Tem sido o cumprir o calendário administrativo. Cumprir escrupulosamente o calendário administrativo. O conteúdo dos relatórios não tem sido muito, não tem sido uma grande preocupação para a… É muito preocupante se há muitas unidades curriculares que não estão a ter taxas de resposta esperadas. É muito preocupante se ah…há muitas unidades curriculares num determinado curso que os alunos estão insatisfeitos naquela última pergunta nove, acho eu. Mas é muito o resultado final «olhe, já viu na estatística da casa toda? É a unidade que tem mais». «Como é que se corrige?». «Ah, vocês é que sabem, então tratem…». Não há…(gesticula).

Entrevistadora: Sim, sim estou a entender. Entrevistado: Também não é fácil. Não é? Vai-se chicotear as pessoas? Vai-se despedir as pessoas? Quer dizer… Depois cada unidade orgânica tem de ser capaz de adaptar as coisas à realidade, mas essa é a parte que há-de ser feita no futuro, à medida que o processo for avançando – as consequências da qualidade – ou da falta dela, neste caso. Entrevistadora: De qualquer forma, desculpe estar a falar novamente nisso, mas assim sente que aqui procura fazer a garantia, que falou, faz a garantia da garantia da qualidade, é isso? Entrevistado: É isso. Entrevistadora: Pelo menos… Entrevistado: Tento garantir que se garante a qualidade. Ok? Não é só garantir o processo de qualidade. Entrevistadora: Sim, sim. Entrevistado: Pode parecer assim uma conversa circular, mas é um bocadinho isto. Enquanto que nós, e algumas unidades orgânicas estão a usar o Sistema da Qualidade para garantir a qualidade (no início o Sistema do professor X era muito de ir atrás das pessoas e «verifiquem, e avaliem, e dar notas» e isto e aquilo. Depois tornou-se num processo administrativo que é simplesmente ter o relatório. Pronto, desde que tenha o relatório é que é importante. Analisouse. «Então mas que consequências dá isso?». «Nenhuma». Entrevistadora: Consegue-me identificar alguns propósitos do Sistema de Garantia da Qualidade aqui no IHMT? Quais são, aquilo que procuram com o Sistema? Entrevistado: Ah… Consigo. São um bocadinho autoexplicativos, banais, mas são muito importantes. Que é: primeiro, dar uma, dar oportunidade aos alunos para se manifestarem relativamente ao nosso ensino, ok? E aqui o manifestar é o positivo e o negativo. Se não houver isso não há, se não houver estes instrumentos, eles não têm oportunidade de se manifestar.

Basicamente vêm, têm as aulas, têm as notas e vão-se embora. Portanto, esse é o primeiro ponto, dar uma voz a quem recebe um serviço, e a qualidade do ensino também assim o é. Isso é o primeiro ponto. Segundo ponto: dar o mais possível, dentro do possível, uma consequência a essa voz, quando as coisas não estão bem, têm de estar corrigidas. Pronto, basicamente é… e Sistema da Qualidade tem essa vantagem. Acho que, neste momento, três anos depois, as pessoas percecionam todas elas que tem vantagens. Descobrir os problemas do ensino tem vantagens. Entrevistadora: E como é que descreve a concordância entre o Sistema geral da Reitoria e o Sistema que é aplicado aqui? Se é muito semelhante, já deu para perceber que… Entrevistado: Sim. A resposta é que cada vez mais se, cada vez mais tentamos. A resposta não é muito objetiva. Nós tentamos cada vez mais garantir que no nosso Sistema estão lá os indicadores que a Reitoria precisa. Com alguma pena nossa, que a Reitoria e o Sistema de Garantia da Qualidade da Reitoria esteja muito preocupado, mais preocupado em ter esses indicadores do que em analisar esses indicadores. É uma pequenina diferença. O nosso inquérito é mais, ah, por isso é que tem as partes abertas, em que as pessoas respondem que não gostam da casa de banho, ou que não gostam do microscópio ou que, mas gostaram daquilo e precisam de mais aulas práticas e que cadeira tal ou unidade curricular X, Y ou Z tem estas deficiências e que nós valorizamos isso. Não chega só dizer se na pergunta cinco temos trinta porcento de quatros ou trinta e cinco porcento de quatros. Tem que ter uma consequência e é aí que nós tentamos dar essa consequência. Portanto, estão lá todas as perguntas que a Reitoria quer, mais outras que para nós são importantes. Entrevistadora: Mas na essência é semelhante. Entrevistado: Sim. Entrevistadora: E que relação é que encontra entre o Sistema aqui do IHMT e a missão também aqui do IHMT? Entrevistado: Ah… É um bocadinho retórico, não é? Pronto, o que é que eu vou responder? Sim, tendo em conta que nós, a nossa missão é investigar para ensinar e ensinar investigando o mundo ligado à saúde humana e animal, ah, obviamente que tentamos investigar o melhor

possível. Por isso, temos de garantir a melhor qualidade possível na nossa investigação e no nosso ensino e o Sistema da Garantia da Qualidade do Ensino garante isso, ou ajuda-nos a avaliar isso. Entrevistadora: Hum, hum. Entrevistado: Sendo essa a nossa missão, o Sistema faz parte da missão. Entrevistadora: Hum, hum. Vamos agora então falar relativamente aos objetos de avaliação do Sistema. Aqui utilizam o questionário, portanto fazem a avaliação das unidades curriculares, da unidade orgânica e dos ciclos de estudos, é isso? São estes os objetos que avaliam? Entrevistado: Sim. Entrevistadora: São estes três? Entrevistado: São esses três. Entrevistadora: Ah, e quem são os principais envolvidos neste processo todo? Já me falou de algumas pessoas e divisões… Entrevistado: São os alunos, ah… Entrevistadora: Sim. Entrevistado: Os coordenadores de curso, quer dizer, os docentes que garantem que os alunos respondem aos, ou tentam convencer os alunos a responder e no fim de cada unidade curricular entregam o inquérito online, entregam a palavra-passe para chegarem ao inquérito online, e tentam garantir o melhor possível que os alunos respondem. Mesmo quando não querem responder. Põem lá pelo menos a cruzinha que não querem responder. E, pronto, e depois esses inquéritos todos são enviados ao coordenador, que os processa para o relatório do ciclo de estudo, que é enviado ao coordenador pedagógico, ao presidente do pedagógico, para elaborar

o relatório da unidade orgânica que é enviado à Reitoria (depois de processado, depois de validado pelo presidente da Comissão da Qualidade). Entrevistadora: E os dados são processados por… Entrevistado:… automaticamente. Entrevistadora:… pela plataforma, é isso? Entrevistado: Os dados… na plataforma. Entrevistadora: E depois, a partir daí é que formulam o relatório. Entrevistado:…o relatório, sim, da análise desses relatórios. Entrevistadora: Ok, ok. Ah…tinha uma questão que, há bocadinho falou-me de ter adaptado ligeiramente o questionário. O que é que motivou essa, essa adaptação? A inclusão dessas outras questões? Saber como tinham tido conhecimento do IHMT ou do curso… Entrevistado: Porque como todos estes processos passou-se, normalmente há uma tendência para se passar de um exagero extremado de um lado, para um exagero extremado do outro. No início tínhamos aqueles inquéritos todos que foram elaborados pela equipa da professora Rosário, e na altura, o responsável pela qualidade que eram inquéritos vastíssimos com, perguntavam tudo e mais alguma coisa. Mas tinham perguntas úteis. Quando se mudou e se percebeu que era muito difícil de gerir esses inquéritos passou-se um bocadinho para o outro extremo, que é, aquelas nove perguntas e mais nada, que são por sua vez, redutoras a quase nada, a muito pouco. Não é a quase nada, é a muito pouco. Passou-se de um extremo ao outro. E nós tentámos ficar um bocadinho pelo meio, porque havia coisas boas que vinham do outro que nós tentámos manter, nomeadamente, dar oportunidade às pessoas para as respostas abertas. Para nós foi muito importante. Imagine, por exemplo, as nossas unidades curriculares da clínica, em que aí, as pessoas precisam de dizer que não estão satisfeitas em a forma como, por exemplo, uma determinada cadeira não teve a componente clínica que devia ter tido ou não tiveram as visitas às enfermarias que era suposto ter tido e isso é importante saber. E isso não está aí

perguntado. «Teve conhecimento?». «Teve». «Sim». «Não». Há um bocadinho mais além do que, destas nove perguntas. Porque é que nós mantivemos essas perguntas? Porque precisamos saber algumas informações acrescidas. Precisamos de saber algumas coisas relativamente à empregabilidade, à utilidade dos nossos cursos, à forma como, se a nossa divulgação estava ou não a ser eficiente. Portanto, se as pessoas tinham ou não noção do que é que nós tínhamos aqui e os pormenores mais técnicos do ensino. Pronto, basicamente foi isso, foi este tipo de perguntas que nós acrescentámos ao inquérito. Entrevistadora: E como é que descreve o envolvimento dos alunos no processo, a participação deles no processo? Já me referiu que tem vindo a diminuir as taxas de resposta, mas como é que tem sido essa evolução? Entrevistado: Ah… a evolução tem sido negativa, portanto, há uma perda de interesse…inicialmente houve algum envolvimento, ah, sobretudo dos representantes dos alunos nos órgãos, representantes no conselho pedagógico. Depois as coisas entraram numa certa normalidade, que é os alunos não verem os resultados, não verem um outcome, um resultado final do processo. Ah, nós, por exemplo, divulgamos junto dos representantes. Não divulgamos junto do aluno. Portanto, não achamos, não achamos que seja útil pôr o relatório na net, por exemplo, se calhar devíamos ir para aí. Mas o relatório é público para o Conselho, para os alunos do Conselho. Não chega às pessoas e portanto, as pessoas nunca sabem, nunca ficam a saber se aquela cadeira horrível que tiveram ou outra muito boa foi devidamente avaliada e que consequências é que isso teve. (Alguém entra). Entrevistado: E, onde é que íamos? Entrevistadora: Na participação dos alunos, das taxas de resposta… Entrevistado: Ah pronto, e então, pronto e isso desmotiva um bocadinho as pessoas ah… Entrevistadora: …falou também do relatório e da divulgação do relatório a nível do pedagógico… Entrevistado: ...isso obviamente é algo que a comissão da qualidade ou que a qualidade, no futuro vai ter que também chamar a atenção. Vai na linha do que eu estava a dizer, faz-se o

relatório, tem-se os dados. E agora, o que é que acontece a seguir? Nada. Isso não pode continuar assim. E o acontecer alguma coisa é, pelo menos, os alunos que respondem aos inquéritos perceberem que «epá, as cadeiras que eu mais gostei e que avaliei positivamente foram avaliadas (impercetível). Eu se responder ao inquérito quero saber o resultado do meu inquérito. Qualquer pessoa. Não é só para ter um número e passearmos os números entre nós e para as agências de acreditação e essas coisas. Tem de chegar a, ao povo, e o povo são os alunos, neste caso. E não está a chegar, não está a chegar, e portanto, isso desmotiva os alunos e eles deixam de participar. Perguntam: mas para que é que aquilo serve? Ah, no nosso caso não é muito grave porque nós temos uma boa renovação dos alunos todos os anos. Quando eles estão a perguntar pelos resultados já se estão a ir embora, portanto, vêm novos que acreditam novamente no Sistema e voltam a (impercetível). Agora, naqueles que têm três, quatro, cinco anos de formação dentro da mesma unidade, respondem no primeiro ano, ao fim do primeiro ano não aconteceu nada. Não têm feedback, nada. No segundo, são capazes de responder só para ver se «bom, foi um erro do primeiro». Ao terceiro já não respondem porque já perceberam que aquilo não funciona, não serve para nada, não tem um retorno nenhum. Pronto, alguém dizia há pouco tempo que houve uma unidade orgânica onde a associação de estudantes decidiu fazer um inquérito ao ensino já não sei porquê… que obviamente teve muito mais participação porque garantiu que no final toda a gente sabia o que é que lá vinha. E pronto, claro, houve os exageros habituais de, foi preciso o conselho pedagógico falar muito a sério com a associação de estudantes e explicar-lhes que não era bem o papel deles e que, dessem os resultados que dessem, só deveriam dar publicamente (sempre aquele decoro tradicional português) os resultados positivos. Ou seja, sempre na perspetiva da componente positiva da avaliação. Os muito bem classificados foram publicados, foram divulgados; os mal classificados ficaram na (impercetível). Mas o importante aí foi que um inquérito feito pela associação de estudantes foi muito mais bem visto pelos alunos do que feito pela Garantia da Qualidade. Entrevistadora: E teve mais respostas, à partida, não? Entrevistado: À partida sim. Acho que o sucesso foi muito grande. E pronto, e então, para responder à pergunta: enquanto não houver uma passagem de informação aos alunos do resultado do inquérito, a qualidade fica muito diminuída. A perceção da qualidade fica muito diminuída.

Entrevistadora: Portanto, sente-se esse desinteresse por continuar a participar na, no Sistema. Entrevistado: É uma coisa que fica entre o coordenador pedagógico do IHMT, a presidente do Conselho da Qualidade, a Doutora ou Engenheira X, X ou X e pronto. Não…Vai ao Senhor Reitor, o Senhor Reitor acha que sim e eu acho que não e, pronto, não sai daí. As pessoas que são os motores do Sistema não têm feedback nenhum, não têm feedback nenhum, não têm informação nenhuma. Entrevistadora: E a participação dos professores? Tem sido, é…Todos participam? Entrevistado: Participam. Sim. Agora está melhor, no início alguma resistência, agora têm participado mais. Também já não estão com muita paciência para andar atrás todos os anos, não é dos mesmos alunos, mas é do mesmo problema. Porque são duas forças, é os professores a pressionar para que os alunos respondam e é os alunos a perderem interesse na resposta porque não há resultados. As duas coisas somam-se. Mas os professores têm participado. Entrevistadora: E os professores, isto é opcional eles também responderem, como é óbvio? Eles participarem no relatório é opcional? Entrevistado: Sim, sim. Mas é muito mal visto os que não participam. Entrevistadora: Pois. Entrevistado: Nada é obrigatório, mas convém porque sim. Entrevistadora: Mas convém. Entrevistado: E essa participação existe, não há ninguém que não tenha feito a sua parte, toda a gente a faz. Também é uma parte simples. É simplesmente, garantir que os alunos respondem ao inquérito. Nem sequer têm de responder, é só… Entrevistadora: É recolher dados.

Entrevistado: Sim. Entrevistadora: Em que momento é que fazem a divulgação do relatório, desse do relatório final? Entrevistado: Fazemos no início do ano civil, basicamente é no primeiro trimestre. Os nossos anos acabam em Outubro, o ano académico acaba em Outubro e depois ficamos Novembro, Dezembro, Janeiro a processar o relatório. Depois há as primeiras reuniões da qualidade em Janeiro e, portanto, é por aí, por volta de Janeiro-Fevereiro que estamos a enviar o relatório e o relatório é divulgado, normalmente, na primeira reunião do Pedagógico em Março. É mais ou menos isso. Todos os anos em Março temos o relatório do ano letivo anterior. A reunião em Outubro do ano anterior. Entrevistadora: Ah, já me falou que geralmente não é dada grande utilização aos resultados que são obtidos por este processo todo, mas o que é que me pode dizer acerca? Não houve nenhum momento em que tenham sido utilizados? Assim, algum mais… Entrevistado: Houve vários momentos na casa em que eles foram utilizados para corrigir situações… Entrevistadora: …só aqui claro. Entrevistado: Sim. Situações menos boas, porque já que temos a informação tentamos corrigila, não é? Do ponto de vista da Reitoria talvez não tanto. Entrevistadora: Mas aqui ao nível do IHMT é dada utilização? Entrevistado: É dada utilização, sim, sim, sim. Às situações, às inconformidades detetadas pelo Sistema da Qualidade todas elas tentamos resolvê-las. Ao longo destes três anos, só uma é que não conseguimos resolver, que é um curso que, sistematicamente, tem baixas taxas de resposta e não conseguimos ainda corrigir. Mas está a melhorar. Entrevistadora: E esses resultados que são tentados, tentam melhorá-los, não é, essas situações tentam melhorar, dizem respeito mais ou menos a quê? Se poder dizer, claro?

Entrevistado: Disseram respeito a avaliações negativas das unidades curriculares. Disseram respeito a faltas de materiais educativos, instrumentos educativos que eram importantes. E disseram também respeito, numa fase inicial, agora já não tanto, à própria estratégia ou orientação pedagógica de alguns cursos, em que os alunos manifestaram que tantas cadeiras desta área não faz sentido quando há outras mais importantes. E os, a comissão científica usou essa informação para, no ano a seguir, corrigir um bocadinho as coisas. Estamos a falar, temos alguns cursos muito clássicos. Parasitologia é um exemplo desses. Temos a parte de ensino muito académica, vem um parasita, estuda o parasita, a parte anatomo-patológica do parasita, relação parasita-hospedeiro, aquelas coisas clássicas. E os alunos disseram «e a sequenciação genómica? E as bioinformáticas? E as biotecnologias, esse tipo de coisas?», que estavam lá assim muito discretas no meio e as pessoas foram obrigadas a melhorar o curso nesse sentido e a atualizá-lo. Foi através do inquérito que eles foram percebendo que os alunos não estavam muito satisfeitos com a forma muito clássica que o curso tinha. Isso foi útil. Entrevistadora: Hum, hum. Já foi falado ao longo da conversa de alguns desafios que foram enfrentando com a implementação deste Sistema, aqueles aspetos da informatização, da plataforma, pronto, do, da confidencialidade, da própria, do próprio envolvimento dos professores e dos alunos, há mias algum desafio que consiga, que tenha encontrado? Entrevistado: O, vocês, certamente, não são as melhores interlocutoras para isto, mas o nosso desafio neste momento é que o Sistema da Qualidade vá para além da análise estrita quali…quantitativa dos dados, ok? De uma forma muito rebuscada dizer o quê? A qualidade ao nível da Reitoria tem de ter uma consequência. E aí, mais que não seja, de perceção da qualidade por parte do nosso objeto, que é o aluno. Se nós não transmitirmos essa perceção ao aluno, isto não serve para nada. Ah…mas como todos os processos eles têm de ser avaliados, o próprio Sistema de Avaliação tem de ser avaliado de X em X tempo. Entrevistadora: Sim. Entrevistado: E acho que esse é um dos pontos que é um desafio para o futuro. Eu, pessoalmente, já dei tempo suficiente à Reitoria para a Reitoria mudar de atitude, ah…pronto, não direi que não pretendo dar muito mais tempo, mas já não vou insistir muito mais. E depois a consequência é, claro que isto depois são órgãos, tudo isto são órgãos de eleição, portanto,

virá outro, começa o processo de, quando houver eleições, para estes cargos, mas isso sente-se na maioria dos coordenadores que dizem que isto tem de começar…Implementámos o Sistema, agora tem de começar a haver consequências para o Sistema, tem de começar de cima para baixo. Não há, talvez, muita vontade da parte da Reitoria de que, a ideia é muito, é um pingpong: «Aqui têm os instrumentos, aqui têm a identificação dos problemas, agora vocês resolvam os problemas». Está bem, nós resolvemos os problemas mas alguns dos problemas, a solução não passa por nós, ou só por nós. Tem de vir de cima também. Como seja, por exemplo, divulgar a obrigatoriedade de divulgar. As consequências de más avaliações, o que, como corrigir, não precisa de ser uma coisa muito agressiva, basta dizer, basta encontrar soluções de consenso. Poderia, como há noutras instituições, isso ainda não foi feito. Estamos muito preocupados é que o Sistema funcione e que haja resultados e que haja estatística, estatística, estatística. Isso é que é muito importante. Portanto, o desafio para o futuro é que haja consequências. Entrevistadora: E no geral, qual é o balanço que faz da aplicação do Sistema? Entrevistado: Positivo. Entrevistadora: Positivo? Entrevistado: Sim é, foi muito positivo, tendo em conta que não existia. Portanto, muito positivo, foi muito útil e ajudou a melhorar as unidades orgânicas. Disso eu não tenho dúvida, mais umas que outras, certamente. Ainda tem um caminho a percorrer, ok? Cometemos o erro clássico, português, de «lá fora é que é bom», mas isto depois cada um tem a sua opinião pessoal. A minha é que nós temos novecentos anos de História e já passámos por muito. E, portanto, também temos alguma dificuldade, apesar de termos uma enorme identidade nacional, temos alguma dificuldade (vi há bocadinho nas notícias que o Ronaldo, que agora é uma referência para tanta coisa, Ronaldo dizia que temos de fazer como os espanhóis que é dar valor ao que é nosso. É claro que é um lugar comum, mas até certo ponto tem alguma razão). Nós somos os primeiros a criticar, nós, entre nós somos os primeiros a criticar o nosso país, as coisas boas e as coisas más, depois ficamos todos muito zangados quando vem um estrangeiro dizer que isto é uma porcaria, que não sei quê. Aí já ninguém… agora entre nós não, passamos o tempo todo a desfazer. E portanto, isto tudo para dizer o quê? Neste caso também começámos por aí. Fomos buscar um especialista estrangeiro porque qualidade no estrangeiro funciona

bem, não é, e portanto vamos comprar uma coisa e trazer. E depois o que aconteceu foi a coisa comprada teve de ser adaptada à realidade, ok? E se calhar podíamos ter feito a mesma coisa com menos custos e com menos perda de tempo se tivéssemos criado um Sistema inspirado num sistema estrangeiro, obviamente, nós temos de inventar à nossa maneira, mas logo com inspiração nossa. Também temos bons avaliadores portugueses, também temos bons pedagogos, pedagogos portugueses, também temos bons psicólogos portugueses, portanto, não precisávamos de ir comprar um sistema estrangeiro. A consequência é que levámos três anos a adaptá-lo em Portugal, pelo menos à NOVA. Mas foi um processo como qualquer outro. Para quem trabalha na área da Ciência e do Ensino Superior é muito, é muito comum, é muito comum, não é. O Sistema de Avaliação dos Professores do Ensino Secundário já foi comprado aos alemães, já foi comprado aos holandeses, já foi comprado a já não sei quem mais, aos franceses ou o que é que foi. Nenhum deles funciona em Portugal, também por outros motivos. Mas não é preciso comprar, a gente tem o nosso. É preciso é saber exatamente o que é que se quer, ok?, às vezes esse…Aqui foi talvez um bocadinho o problema que ouve. Criou-se um Sistema da Qualidade mas não se sabe exatamente para quê e só agora, com o tempo, é que se está a perceber que, mas isso também já se passou, por exemplo, nos laboratórios. Nos laboratórios eu vivi esse processo há uns anos atrás, era exatamente o mesmo. O que era importante era ter o símbolo à porta a dizer ISO 9001, ok? Para que é que aquilo serve? Não interessa para nada. «Então mas as pessoas têm noção?». Não, não têm nenhuma. Só passado algum tempo é que, quando alguns clientes dos laboratórios começaram a dizer «olhe que o senhor tem ali o 9001, eu quero o livro de reclamações». E começaram a perceber que dois ou três queixas sérias no livro de reclamações pode pôr em causa a certificação e isso põe em causa a perceção que o mercado tem da qualidade do vosso laboratório é que as pessoas começaram a dizer «epá se calhar isto não é só um carimbo à porta, não é? se calhar serve para outras coisas». Mas isso é com o tempo e com a experiência. Entrevistadora: hum, hum. Entrevistado: A NOVA também não sabia muito bem, na minha opinião, para que é que queria um Sistema de Qualidade. Havia Qualidade lá fora, a gente também quer ter cá um Sistema da Qualidade. «E o que é que isso vai acontecer?». «Isso depois logo se vê e tal». Agora com o tempo estão a ver como é que é útil, que é importante e que tem valor e que foi possível. Em relação à pergunta é se foi positivo ou não? Foi positivo.

Entrevistadora: Hum, hum. E quais foram os principais pontos fortes que encontra neste Sistema? Entrevistado: Ah… Bom, alguma imparcialidade, confidencialidade, que isso é importante, não é? Acho que é uma avaliação justa, não enviesada do Sistema. Conseguiu-se encontrar um equilíbrio interessante entre as perguntas úteis e capacidade de gestão desta informação. E, portanto, dá-nos a perceção, permite monitorizar o Sistema. Isso é importante, ok?, de uma forma sistemática. Esse é o ponto forte. Os pontos fracos… Entrevistadora: …hum, hum. Sim também há, também estão aqui a seguir. Entrevistado: É que normalmente vem a seguir. É não haver consequências da monitorização. Não havendo essa consequência, pronto, fica fraco, fica frágil e não se chaga a uma conclusão. Fica-se pelo caminho só. O conteúdo é bonito, a forma é bonita mas depois não há uma consequência. Esse é o ponto mais fraco, que tem de passar a haver uma consequência do que se avalia e o que se faz, não é. O segundo ponto fraco é, obviamente, não havendo consequência, pelo menos o básico que é permitir que as pessoas tenham perceção, que o cliente do nosso serviço tenham a perceção que a sua avaliação tem uma utilidade, teve um fim, teve um…isso é que é inadmissível. E é, cada vez que se discute esse assunto fica para a próxima reunião. Isso é que não posso mesmo tolerar. É um ponto mesmo muito fraco do Sistema de Avaliação. Entrevistadora: E aqui não, tendo em conta que vão tentando responder aos problemas identificados no questionário ah…o que eu quero perguntar é se não sente que os alunos, de alguma forma, acabam por sentir que aqui pelo menos tem impacto o que eles dizem? Entrevistado: Parcialmente porque ah…não, como é que eu hei-de lhe responder a isso?... Eu próprio estou a ter uma atitude semelhante à da Reitoria. Ou seja, eu poderia, eu nomeadamente com o apoio da Direção poderia obrigar à divulgação pública dos relatórios, é para aí que se devia caminhar. Não precisa de ser propriamente um jornal de circulação, [poderia ser] no site. Entrevistadora: Sim. Entrevistado: Como o relatório da instituição, é divulgado no nosso site. Não o fiz ainda porque a maioria dos meus colegas não (impercetível) da qualidade e depois quando se olha para as

outras unidades orgânicas ninguém está a fazer isso. Pior do que isso, a maior parte deles não divulga a ninguém. Aquilo fica só com o… Entrevistadora:… para quem faz… Entrevistado:… para quem faz, nem é para quem faz. Sim, para os próprios, para quem promove os inquéritos. Nem sequer vai ao representante. Claro, e era uma coisa simples, dizer ao, aos representantes dos diferentes ciclos de estudos que estão e que recebem os relatórios dizer «meus meninos agora estão obrigados a passar isto para todos os vossos colegas». É um bocado chato porque têm de ter os e-mails dos colegas todos, mas podíamos tentar ir por aí. Nós ficamos satisfeitos com a ideia de que entregando ao representante eles têm pelo menos um feedback. Pior do que nós é nas outras unidades orgânicas em que aquilo fica com o coordenador pedagógico e acabou. Analisa, vê, tenta corrigir as situações, responde à Prof.ª X a dizer «sim, sim, sim, sim» que as coisas estão a funcionar e depois mais nada. Isso não é nada. Isso é incestuoso, isto funciona num círculo fechado, não é boa ideia. Claro que depois há a conversa de corredor que funciona, que é todos os alunos. Nós temos muitos alunos que vêm por «door to door», conversa de… Entrevistadora:… passa-palavra. Entrevistado:…passa-palavra, exatamente. Obrigada. E, portanto, têm sempre o colega do ano anterior que recomendou e que fez…grande parte dos nossos alunos tem cá outros colegas. E portanto, há uma comunicação, dizem assim «olha, o ano passado esta cadeira funcionava muito mal, nós fomos ao inquérito, respondemos e entregámos e não sei quê. E eles este ano corrigiram. Funcionou». Portanto essa… Entrevistadora:…essa perceção. Entrevistado: Ok? Agora se o colega diz «então mostra lá o relatório para ver o que é que vocês dizem». Não têm onde ir ver. É um pequenino detalhe mas que faz toda a diferença e que vem da mentalidade. Se vocês, se calhar não estavam a trabalhar na, pá a função pública, por exemplo, tem muita dificuldade em ser avaliada. Como é função pública o cidadão come com o que a gente tiver para dar e não precisa de ser avaliada. Há uns anos para cá é que começou a ter uma atitude como os bancos, ou qualquer serviço, nós para prestarmos um serviço tem de

ser de qualidade e já não é muito admissível um funcionário público maltratar um cidadão, não é, ou pelo menos não cumprir com as suas funções, coisa que antigamente o funcionário público fazia o que queria e o que lhe apetecia. E essa perceção da qualidade do serviço também passou no funcionalismo público e os clientes do serviço público também passam a exigir que as coisas funcionem um bocadinho melhor. E, portanto, eu acho que até aqui há 10 ou 15 anos passou a ser obrigatório todos, quando veio as internets e isso, passou a ser obrigatório todas as instituições terem os seus relatórios de atividades disponíveis. Qualquer cidadão, se quiser, quando chegar a casa, vai ao site do instituto e tem lá os relatórios de contas, os relatórios de funcionamento do IHMT. Portanto, como cidadã, pagadora de impostos, direta ou indiretamente, os seus impostos que estão a ser, alguns deles, estão a ser investidos aqui, pode ir lá ver o que é que a gente fez com o dinheiro que investiu. Essa noção, só há uns anos para cá é que está a funcionar. E aqui é a mesma coisa. Eu paguei uma propina para ter uma determinada, quero saber se isto está a correr bem ou não, qual é a perceção da coisa. Querem ter um feedback e não têm. Entrevistadora: E só para terminar, gostaria que me caracterizasse o Sistema por algumas palavras-chave. Entrevistado: Primeira palavra-chave muito importante é confidencialidade, é muito importante para algumas mentes, algumas mentes, hoje todas info-incluídas. Agora um aparte, espero que, não sei qual de vocês é que vai ficar com a Faculdade de Ciências e Tecnologias… Entrevistadora:…nenhuma, nós vamos ficar com dimensões mais pequenas. Entrevistado:…mais pequenas. Essa é grande, essa é muito grande. Está bem, então já não tem muito sentido aquilo que ia dizer a seguir. Mas valia a pena vocês irem fazer um, mesmo assim, falem com a Prof.ª X se ela não vos arranja um contacto com o Professor….Lampreia? É, creio que é Lampreia. Bem, whatever, não interessa. O responsável, porque eles têm lá o departamento de informática e o departamento de informática tem história engraçadíssimas sobre como subverter o Sistema da Qualidade, por via informática. Ou seja, têm casos de colegas vossos que fazem programas para responder automaticamente por todos os colegas, que não é muito difícil, aparentemente. Eu não sei fazer mas, aparentemente, têm formas de fazer hackers, e portanto, de rebentar com o Sistema e ir buscar informação antes de nós a termos.

Têm n histórias engraçadas e que já foram detetadas. De repente temos uma cadeira em que todos os alunos têm… Entrevistadora:…respondem… Entrevistado:…respondem da mesma forma e todos, têm todos eles um perfil perfeitamente definido e não sei quê. Porque já se percebeu que é um sistema, é um script que eles lá fazem e que têm acesso, crackam daqui, crackam dali, fazem não sei quê, lá conseguem fazer. E é, tem utilizações perversas, não é? Entre dois extremos, aconteceu duas situações engraçadas ao longo deste processo. Uma foi na Faculdade de Ciências Sociais e Humanas. Dentro do processo da qualidade houve um Director, uma coisa qualquer, não sei exatamente a história, que…gostava muito e gostou muito do Sistema e achou que tudo isto era muito importante, e então decidiu incluir no Sistema daquele ano um inquérito à satisfação dos alunos a outras coisas que não o ensino (as casas de banho, a cantina, as infraestruturas, não sei quê), aliás, não fio o único, a NOVA Business School também fez o mesmo, vários fizeram. Portanto juntaram uma coisa à outra, «já que uns respondem a uma coisa respondem também a outra». E isto porquê? Porque ele naquele ano ou antes de ser candidato tinha feito um enorme investimento aí, coisa que ele achava que eram importantes: melhorou as casas de banho, melhorou a reprografia, melhorou uma série de coisas. E o que é facto é que depois o inquérito dos alunos não ficaram nada satisfeitos com as melhorias e então ele ficou possesso com aquilo (risos) e depois não quis aceitar os resultados e foi engraçado vê-lo de, passar de uma ponta o…esta perceção da qualidade, e dos inquéritos e da democracia e da confidencialidade do processo, é tudo muito bonito quando os resultados nos agradam. Quando não nos agradam é uma grande chatice. E este caso foi um bom exemplo de como passar, numa reunião em que ele fazia a advocacia do processo e da imparcialidade do processo. Imparcialidade, a imparcialidade é uma palavra-chave importante. Acho que é um processo imparcial, não é, e portanto as pessoas são livres de responder o que querem, como querem, e os resultados devem ser também, são analisados de uma forma fria, sem tomar partido. Depois também outro extremo foi, por exemplo, o da NOVA Business School, que é muito focalizada no objetivo e no resultado, que fez também um inquérito à satisfação e que, na minha opinião, se esticaram na resposta à satisfação, quer dizer… Isto ainda é uma Universidade, não é? Se vocês forem, se alguma de vocês for trabalhar com a NOVA Business School vai ter essa oportunidade de perceber que aparentemente, acho que agora têm uma espécie de bar de raves no meio do, se não é de raves, é parecido, no meio lá do átrio, do claustro, onde eles estão, porque os alunos exigiram que só

conseguiam trabalhar se tivessem um bar de raves no meio do… Está bem, daqui a pouco pedese tudo. Mas eles não «pá, o aluno se o que o nosso aluno quer». Eles têm muito essa perspetiva, também porque têm muita procura. Eles dizem que dão-lhes todas as condições mas depois exigem tudo e mais alguma coisa, também é verdade. De alguma forma acho aquilo tudo um bocadinho, eu não sei, são conversas. Se calhar estou a ser, estou a fofocar e estou a exagerar. Mas foi isso que foi contado, foi isso que foi contado. Com esse inquérito que eles fizeram teve o outro lado e tudo o que os alunos pediram, eles fizeram tudo, tudo garantido, a satisfação dos alunos relativamente ao serviço que adquire dentro da Universidade. Há limites, isto não é uma discoteca, isto não é uma instituição recreativa, não é, é uma instituição de ensino superior. Pronto, não chegamos a esse exagero. Mas pronto, estavam a perguntar-me palavras-chave. Confidencialidade. Imparcialidade. Ah…e por enquanto alguma objetividade na análise, pouca objetividade nas consequências. Infelizmente é a parte mais, é a parte mais fraca. E a, não é uma palavra-chave, mas como é que eu vou dizer… Entrevistadora:…pode ser uma expressão… Entrevistado:…pois eu estava a pensar numa expressão curtinha. As pessoas terem, as pessoas terem a oportunidade de manifestar-se a sua opinião perante o produto que adquirem, ok? E isso é importante, isso é muito importante porque eu quero ter essa oportunidade. Todos nós, hoje em dia, compra-se um carro, recebe-se um inquérito, a maior parte das vezes eu não respondo ao inquérito. Mas se as coisas correrem mal tenho ali uma oportunidade de epá, é um direito que eu quero ter. Desculpem. (Atende o telefone). Muito bem, digam-me. Entrevistadora: E pronto era para saber se queria acrescentar mais alguma informação ou alguma questão, esteja à vontade. Entrevistado: Não senhora, espero que, não sei exatamente qual é o objetivo do trabalho, se é só académico ou se… Entrevistadora:…é, está integrado no nosso estágio curricular… Entrevistado:…no estádio curricular? Está bem.

Entrevistadora: Estamos a acabar o Mestrado e precisávamos de (impercetível). Entrevistado: Notem que, por exemplo, no caso, mas a Professora X depois pode-vos encaminhar nesse aspeto. No caso desta história que eu vos contei da Faculdade de Ciências Sociais e Humanas era até alguém que vocês conhecem que estava a fazer o mestrado na Reitoria, ok? Mas era funcionária da Reitoria e que se ofereceu exatamente para fazer o ou, alguém que vinha da Faculdade de Ciências Sociais e Humanas, e que se ofereceu para fazer o tal inquérito de satisfação. E que depois nos apresentou esse resultado e que teve muitas consequências, não é, neste caso para a Direção da Faculdade de Ciências Sociais e Humanas. Se vocês tiverem a oportunidade de os resultados do vosso trabalho a quem de direito, além dos vossos professores, pronto. Vocês supostamente vão fazer uma avaliação imparcial, não é uma avaliação é uma análise imparcial do processo. Entrevistadora: Sim. Entrevistado: Não se acanhem de enviar isso à Professora X, à Professora X, ok? Entrevistadora: Sim, sim. Pelo menos acho que a essas pessoas. Entrevistado: E não precisam de ser politicamente corretas. Espero que consigam entrevistar a maioria das pessoas importantes, não é que eu seja importante, confesso (risos). Mas pronto, têm uma visão distante, não é, fria. A tal imparcialidade, a confidencialidade, vocês podem garantir isso. Entrevistadora: Sim, sim. Entrevistado: Nós vamos às reuniões, ok? Que nem sempre chegam. Se calhar se vem alguém de fora, imparcial, novinho no Sistema, não é, que não tem, não está nem deste lado, nem do outro lado, e que simplesmente olha para o Sistema e diz «olhem!». É útil, portanto, deem valor ao trabalho e aproveitem a ocasião para fazer chegar as coisas a quem de direito. Vocês têm os dois papéis, não é? Por um lado, alunas; por outro, estão a avaliar um Sistema que avalia alunos. Não avalia alunos, avaliam o Sistema. Portanto… Entrevistadora: Embora nós não sejamos alunas da NOVA, por isso não é…

Entrevistado: …pois, são alunas, já agora, de? Entrevistadora: Da Universidade de Lisboa, somos do Instituto de Educação. Estamos no Mestrado de Ciências da Educação. Entrevistado: Ah! Engraçado. Ainda bem, ainda bem. Só me estou a rir… Entrevistadora:…portanto ainda somos mais imparciais. Entrevistado: Então ainda são mais imparciais. Está bem. Está bem. Ok, não é que isto agora, isto agora não…Agora vou ser politicamente incorreto. As duas Universidades de Lisboa agora não se facilitam mutuamente, não é? Portanto, é um bom sinal que a NOVA não faz aos outros aquilo que não gosta que lhe façam a si. Ah, e portanto, se vos recebeu bem ao nível da Reitoria, é um belíssimo sinal. Não me passava pela cabeça que vocês fossem da, da, da, toda a minha formação foi feita na Clássica. Portanto, tenho muito carinho pela Clássica, mas desde que houve a fusão e o mercado esta complicado. Está complicado, pronto. Entrevistadora: Muito obrigada por este tempo!

Anexo P – Grelha de análise da entrevista ao Entrevistado D Categorias

Subcategorias

Indicadores Fundação em 1902

Localização inicial na Cordoaria Nacional

Atenção para as condições de vida nos trópicos Caracterização do IHMT

Objetivos da criação

Atividade antes do 25 de Abril

Tendência europeia de criação de institutos de medicina tropical Missão da instituição desenvolvida para a saúde nos trópicos

Unidades de registo “É uma instituição centenária. Temos exatamente cento e...nascemos em 1902, portanto, cento e...doze anos”. “(...) nós também nascemos assim, em 1902.” “(...) tivemos a primeira localização no edifício da Cordoaria (...)”. “as potências europeias de alguma forma decidiram que as condições de vida e as condições de saúde das excolónias, não é, colónias na altura (África) deveriam ter uma atenção especial.” “não só por causa dos europeus que lá estavam a viver e a trabalhar mas também por causa dos (...) locais, das pessoas que ali viviam, que não tinham o mesmo tipo de atenção que tinham os europeus.” “(...) a seguir à segunda guerra mundial, portanto, todos estes princípios ainda se tornaram ainda mais evidentes (...)” “(...) tornou-se, então, mais importante, ainda ter uma especialidade de Medicina Tropical e ter um instituto dedicado às doenças dos trópicos.” “E nós também nascemos como os outros institutos de Antuérpia, o e Londres (...), o da Alemanha” “(...) na altura nasceram uma série deles na Europa.” “Na perspetiva sempre de «bom, isto também se pode importar para cá»” “(…) era preciso ter conhecimento de causa e foi isso que o instituto, a missão do instituto sobretudo a saúde nos trópicos.”

1

Saúde dos portugueses nos trópicos Saúde nos trópicos para os colonos Formação dos médicos em várias áreas da Medicina Tropical

Saúde nos trópicos para os médicos Formação aos colonos sobre a vida em África

Atividade após o 25 de Abril

Formação aos colonos na área da saúde

Integração no Ministério da Saúde Atual unidade orgânica da UNL

Atualização da missão para uma saúde global

“E durante muitos anos, antes do 25 de Abril, o que nos fazíamos era preparar os portugueses para a saúde nos trópicos, nas duas vertentes (...)” “(...) na vertente de colono (...)” “(...) todos os médicos (...) que fossem exercer em África ou nas colónias a passavam por cursos de especialização aqui na área da Microbiologia, na área da Parasitologia, na área da Nutrição, no tratamento das águas, uma política integrada de formação.” “(...) na vertente do médico.” “(...) as famílias (...) que decidiam ir viver para África faziam aqui dois, três dias de formação sobre o que era viver em África, e as diferenças de temperatura, as diferenças de ambiente, as diferenças sociológicas, antropológicas, tentar desmistificar alguns fantasmas sobretudo sobre as tribos que lá viviam e os locais (...)”. “(...) dar formação e obviamente dar sempre formação na área da saúde: prevenção da malária, (...) a prevenção das doenças transmitidas pela água (...)” “(...) saúde em geral (...)” “(...) o Instituto durante alguns anos esteve ainda no Ministério da Saúde (...)” “(...) depois integrou-se na Universidade Nova de Lisboa (…)” “(...) é hoje uma unidade orgânica que faz formação pósgraduada na área da saúde global.” “(...) hoje em dia já não há propriamente uma medicina só dos trópicos”

2

“(...) hoje em dia, nós temos sobretudo, com a globalização, uma medicina global e, portanto, a missão do Instituto mudou um bocadinho para aí.” Investigação

Formação em saúde

Trabalho na saúde do viajante/migrante Trabalho com endemias e doenças infeciosas Trabalho com o HIV Trabalho com a tuberculose Trabalho com parasitologia Pós-graduações Mestrados e doutoramentos 56 docentes

Docentes e investigadores

Divididos por quatro áreas

Prática clinica

Estudantes

Cerca de quatrocentos Divisão equilibrada pelos ciclos de estudos Metade dos estudantes não é portuguesa Estudantes estrageiros provenientes da CPLP Tendência na sociedade portuguesa

“Cada vez mais trabalhamos na área da saúde do viajante, na saúde do migrante (...)” “(...) na prevenção das grandes endemias, na importação de endemias ou de doenças infeciosas (...)” “Trabalhamos muito na área do HIV (...)” “(...) trabalhamos também na tuberculose (...)” “(...) na parasitologia (...)” “(…) fazemos sobretudo (...) formação pós-graduada (...)” “(...) mestrados e doutoramentos na área da saúde.” “(...) entre docentes e investigadores, 55-56 docentes (...)” “(...) divididos praticamente por quatro áreas: Parasitologia Médica, Microbiologia Médica, Saúde e Desenvolvimento e Clínica das Doenças Tropicais.” “É um conjunto de médicos que providenciam a área da clínica, da consulta do viajante, da consulta do migrante, pré-viagem, pós-viagem (...)” “(...) entre 350 a 400 alunos (...)” “(...) metade mestrado, metade doutoramento.” “(...) 50% dos nossos alunos não são portugueses (...)” “(...) temos muitos alunos africanos, temos muitos alunos brasileiros, temos muitos alunos da comunidade de língua portuguesa, da CPLP.” “(...) surgiram naturalmente pela entrada na sociedade portuguesa da qualidade (...)” 3

Razões da preocupação com a qualidade no IHMT

Certificação da qualidade a partir dos anos 80 Conceito da qualidade associado à certificação dos laboratórios Necessidade do cumprimento das normas ISO Entrada de Portugal na UE Motivação para a implementação da avaliação da qualidade do ensino Conceito de qualidade transposto ao ensino

Qualidade no IHMT

Transposição dos procedimentos da qualidade noutros serviços Existência de um mecanismo não sistemático Implementação de um mecanismo de qualidade anterior ao SGQE-UNL

Início nos anos 90 Participação voluntária Implementação de um sistema de avaliação do ensino por pressão social

“Era um conceito que não tínhamos até aqui aos finais dos anos oitenta, depois é na década de oitenta é que se começa a falar da certificação da qualidade.” “(...) entrou em Portugal muito por via dos laboratórios e dos procedimentos, da certificação dos procedimentos (...)” “(...) e depois dos ISOs (…)” “(…) entrada na União Europeia e das direções europeias.” “a parte pedagógica, a comparação com outras universidades que já faziam também trouxe essa vontade” “As pessoas transpuseram um bocado o conceito da qualidade nos procedimentos analíticos para a qualidade no ensino também como noutras áreas (...)” “(…) inquéritos de satisfação, os inquéritos aos clientes, essas coisas que hoje em dia todos nós já interiorizámos, mas que naquela altura ninguém fazia (…)” “Havia, a resposta formal é sim.” “Não era organizado de uma forma sistemática.” “(…) mas era facultativo, não era organizado.” “(...) começou talvez nos princípios dos anos noventa, que já tínhamos essa rotina.” “Mas nem todos faziam, só alguns faziam e era absolutamente voluntário (...)” “(…) foi pressão social.” “Havia uma recomendação aos coordenadores de curso que fizessem inquéritos no final, inquéritos de satisfação,

4

Aplicação de inquéritos de satisfação aos alunos

Implementação do SGQE no IHMT Início do processo

no final... ou do ano ou da unidade curricular, consoante o modelo (...)” “(...) fazia-se esses inquéritos em papel, que eram preenchidos pelos alunos (...)” “(…) os primeiros ficheiros de avaliação já dentro do Sistema da Qualidade entram em 2010.” Começo em 2010/2011 “A primeira avaliação a sério nós fazemos em 2011 (…)” Reuniões com os órgãos “(...) começou com as primeiras reuniões da Comissão centrais da Qualidade da NOVA , do Gabinete da Qualidade (...)” “(...) começou dentro da Reitoria por estar muito focalizado nas grandes unidades orgânicas e nas unidades orgânicas que tinham primeiro ciclo, que é normal, é a grande maioria dos alunos da Preocupação com as unidades NOVA.” orgânicas maiores e com 1.º ciclo “(...) obviamente a Reitoria teve de começar pelos maiores e teve de começar pelos que têm mais alunos e pelos que têm o primeiro ciclo que é quem tem mais alunos.” Obrigatoriedade para os “passou a funcionar em carácter obrigatório para os segundos ciclos segundos ciclos (...)” Facultativo para os terceiros “ainda é facultativo para os terceiros ciclos, para os ciclos doutoramentos (...)” “As unidades mais pequeninas e que trabalhavam mais Implementação gradual nas na área do segundo ciclo e do terceiro ciclo, não foram unidades orgânicas de menor logo numa primeira fase incorporados no Sistema, depois dimensão viemos a ser mais tarde.” “(...) antigamente havia alguma diferenciação, que era Diferenciação entre as aceitável entre as unidades pequenas e as unidades pequenas e as grandes unidades grandes, as unidades de primeiro ciclo e unidades de orgânicas segundo ciclo.” Dificuldade da instalação do “O processo não é fácil (...) instalar o processo não é processo fácil” 5

Envolvimento do Gabinete de Apoio à Qualidade do Ensino Órgãos envolvidos no processo inicial

Envolvimento da Comissão da Qualidade do Ensino Modelo proposto pelo prof. X

Participação do membro externo que preside o Conselho

Disponibilização de um manual Inspiração na experiência europeia Complexidade da proposta inicial

Muitos níveis de análise

Complexidade do processo inicial

Necessidade de muita disponibilidade de tempo por parte da unidade orgânica Auscultação de muitos envolvidos

“(…) começou com um Gabinete da Qualidade (…)” “(…) Comissão da Qualidade que foi instalada na NOVA, trabalhando sobretudo nos primeiros ciclos (…)” “(…) propôs um modelo, que vem de um trabalho de um estudo que foi encomendado ou dirigido pelo professor, pelo X (…)” “(…) que nos providenciou uma, vá, uma brochura, não é uma brochura é uns guidelines, uma orientação, um manual de como fazer (…)” “(…) inspirado nas experiências inglesas e na experiência holandesa e na experiência europeia (…)” “(…) acho que foi útil mas a proposta inicial era altamente complicada (…)” “(…) documento inicial é de uma complexidade brutal (…)” “(…) não sei quantos inquéritos, diferentes níveis de análise, com vias de contacto que nunca mais acabavam (…)” “(…) a unidade orgânica em vez de lecionar avaliava o ensino, porque não tinha tempo (…)”

“(…) toda a gente tinha opinião sobre o assunto, toda a gente era inquirida (…)” “(…) havia inquéritos aos alunos, havia inquéritos aos Muitos instrumentos de recolha docentes da unidade org…, da unidade curricular, havia inquéritos aos coordenadores da unidade curricular, de dados havia inquéritos aos coordenadores (…)”

6

Necessidade de simplificar o questionário aos estudantes

Implementação e adaptação do SGQEUNL ao IHMT

Importação do SGQE-UNL Representação na Comissão da Qualidade do Ensino Inquérito implementado por cada nível organizacional Três níveis de aplicação e análise dos inquéritos

Adaptação ao IHMT

Entre 200 a 300 questionários anuais Adaptação à realidade

Seleção dos inquéritos mais úteis para a unidade orgânica Opção pelo do inquérito aos estudantes Escolha do inquérito do Ciclo de Estudos Seleção do inquérito da instituição Definição da escala de resposta com seis opções Questões semelhantes entre questionário aos alunos da

“E os primeiros inquéritos eram vastíssimos e resumiram-se a estas perguntas, porque houve uma enorme filtragem das perguntas (…)” “o Sistema da Qualidade instalado na NOVA, ele foi importado e implementado cá (...)” “E há uns dois, três anos para cá fazemos também parte de Comissão da Qualidade (...)” “(...) a cada nível da organização havia um inquérito (…) incorporar até chegar ao inquérito da unidade orgânica.” “(...) basicamente é inquérito aos alunos e análise do coordenador entregue ao coordenador pedagógico ou ao responsável pela qualidade, só tem basicamente três níveis (...)” “(…) temos entre duzentos a trezentos inquéritos por ano para processar, ainda é fazível.” “(…) tentamos o melhor possível adaptar o funcionamento à instituição e depois naturalmente o processo arrancou por aí mas foi adaptado às realidades.” “Acabámos por escolher só os inquéritos que achámos que seriam úteis na casa (…)” “Que é os que interessam, o inquérito ao aluno (…)” “(…) o inquérito do ciclo de estudos (…)” “(…) e o inquérito da instituição (…)” “(…) então tivemos de acabar por responder com seis e mudámos a escala para seis (…)” “(…) a grande maioria das perguntas, aquelas que nós inventámos sem conhecer o inquérito que vinha da 7

Reitoria e questionário aos alunos da unidade orgânica

Inclusão de 3 questões específicas da unidade orgânica Utilização de uma plataforma informática para o questionário aos estudantes

Questões abertas para auscultar os estudantes

Adaptação ao IHMT Ligação entre a missão do IHMT e o SGQE

Reitoria, acabou por ser mais ou menos as perguntas que vieram da Reitoria, ou seja, todos perguntaram mais ou menos o mesmo, escrito de maneiras diferentes mas todos perguntávamos mais ou menos a mesma coisa. Portanto, não foi difícil incorporar o inquérito da Reitoria no nosso inquérito.” “(…) adaptámos o nosso inquérito ao inquérito da Reitoria e depois, a pouco e pouco, acabámos por, a maioria foi achando que as perguntas da Reitoria já respondiam às perguntas que nós tínhamos e que tínhamos perguntas repetidas e acabámos basicamente por ficar com o inquérito da Reitoria.” “No nosso inquérito online ainda temos mais três que são só nossas.” “Portanto, estão lá todas as perguntas que a Reitoria quer, mais outras que para nós são importantes.” “(…) teve de ser uma plataforma informática.” “O nosso inquérito é mais, ah, por isso é que tem as partes abertas, em que as pessoas respondem que não gostam da casa de banho, ou que não gostam do microscópio ou que, mas gostaram daquilo e precisam de mais aulas práticas e que cadeira tal ou unidade curricular X, Y ou Z tem estas deficiências e que nós valorizamos isso.” “Sim, tendo em conta que nós, a nossa missão é investigar para ensinar e ensinar investigando o mundo ligado à saúde humana e animal, ah, obviamente que tentamos investigar o melhor possível.”

8

Aceitação de 30% de respostas

Adaptação ao IHMT

Tabela com taxa de resposta e número de alunos Existência de consequências dos dados

Membros do Conselho Pedagógico

Constituição da Comissão da Qualidade do Ensino

Existência de um presidente externo/avaliador externo Presidente externo/avaliador externo confere independência Importante o papel de um membro externo

“(...) temos de garantir a melhor qualidade possível na nossa investigação e no nosso ensino e o Sistema da Garantia da Qualidade do Ensino garante isso, ou ajudanos a avaliar isso.” “Sendo essa a nossa missão, o Sistema faz parte da missão.” “(...) começámos a admitir que se podia analisar cursos com trinta alunos, ou com trinta por cento de resposta ou quarenta por cento de resposta (...)” “Agora, há uma tabelazinha que já tem isso definido e que funciona, funciona bem, dependendo do número de alunos e das taxas de resposta (...)” “Aqui na casa nós temos tentado que os números tenham consequências.” “Uma das coisas que nós decidimos é Comissão da Qualidade é o Conselho Pedagógico.” “Se no Conselho Pedagógico estão representados todos os coordenadores de curso então, ficam os mesmos!” “Discutimos as coisas no Conselho Pedagógico, portanto a Qualidade está no Conselho Pedagógico.” “(…) fomos os primeiros a respeitar, uma das recomendações do Sistema da Qualidade, que era ter um presidente externo.” “Isso é importante para ter uma certa independência (…)” “(…) ele tem feito contribuições muito úteis para o relatório, recomendações que têm sido atendidas.” “É importante termos essa, esse…avaliador externo (…)” “E, portanto, é uma formal processual de obrigar à resposta, mas não é uma obrigação.” 9

Inclusão da opção “não querer responder” Importância da primeira pergunta para fornecer informação ao SGQE sobre o acesso ao questionário e motivos para não responder Garantia dos direitos dos estudantes

Discussão do direito à imposição de um questionário Equilíbrio entre direitos e deveres da Universidade e dos alunos em relação ao questionário Três níveis de problemas

Constrangimentos da implementação do SGQE-UNL no IHMT

Problemas com informática Problemas com garantia da confidencialidade Problema da acessibilidade Necessidade de criar um sistema user friendly

“Para nós conta para a resposta, o Sistema é validado, não temos é resposta.” “Se eu lhes perguntasse, eles responderam que não queriam responder, depois vamos perceber porque é que eles não quiseram responder, isso depois é outra história, agora, eles tiveram acesso ao inquérito. Outra coisa é ignorar o Sistema. Se eles ignorarem o Sistema a gente não sabe se eles não querem responder porque não querem responder, se não querem responder porque o Sistema é mau, não responderam porque não tiveram acesso, não se sabe. E isso criou um vazio que não é bom.” “(…) também se discutiu muito o direito da Universidade de impor um inquérito.” “(…) encontrámos aqui um equilíbrio simpático (…)” “(…) o aluno só consegue aceder à secretaria virtual, que lhe interessa, se tiver respondido ao inquérito. E, portanto, é uma formal processual de obrigar à resposta, mas não é uma obrigação.” “(…) houve três níveis de problemas (…)” “Foram os três problemas que tivermos “(…) a informática (…)” “(…) os alunos e a confidencialidade, e os professores e o querer quebrar a confidencialidade (…)” “(…) a acessibilidade do Sistema (…)” “(…) teve que se criar um Sistema que quer do lado dos alunos, quer do lado dos professores, fosse simpático para o utilizador (user friendly), que não seja complicado – complicado de aceder, complicado de responder, complicado de proceder, de analisar (…)”

10

Perceção de que o SGQE-UNL “(…) a perceção da confidencialidade, ainda hoje é uma não garante a confidencialidade complicação (…)” “(…) as pessoas acham sempre que o inquérito não é, partem do pressuposto que a instituição não garante a confidencialidade e que os professores vão sempre saber que a pessoa A, B ou C responderam à pergunta, ou disse isto ou aquilo (…)” Desconfiança dos estudantes “(…) a grande maioria dos alunos desconfia do Sistema. face ao SGQE-UNL E só passado algum tempo é que vamos começando a familiarizar com o Sistema e a perceber que é mesmo confidencial.” “(…) docentes nem sempre gostam de ser avaliados, mas isso depois, isso até respondeu-se rapidamente, tiveram também alguma dificuldade, não todos, mas uma parte, Conseguir que os docentes em perceber o anonimato.” aceitassem o anonimato “(…) que é ir atrás dos alunos para discutir com eles, para, porque é que eles se queixam disto ou daquilo ou daquele outro.” “(…) que à medida que o tempo vai passando, os Motivar a participação dos responsáveis dos cursos vão-se cansando de andar atrás estudantes dos alunos.” “No primeiro ano andávamos atrás dos alunos, no Desinteresse de participação segundo já se anda um bocadinho menos, no terceiro já dos envolvidos ninguém se importa…(…)” Inexistência de critério para a “(...) inicialmente não havia nenhum critério mas toda a taxa de resposta gente se queixava que não havia critério.” “Depois quando houve critério de significância ou de Problema em atingir a representatividade eram coisa de cinquenta por cento, significância sessenta por cento, depois não se conseguia atingir.” Hierarquização e “Tudo muito automático e tudo muito hierarquizado automatização do processo (…)”

11

Constrangimentos da implementação do SGQE-UNL no IHMT

Dificuldade de gestão da informação

Desadequação da pergunta relativa ao feedback

Redundância da primeira pergunta do questionário aos estudantes Preocupação do Sistema com a taxa de resposta

Desmotivação dos estudantes e professores Dificuldade em adaptar o modelo do SGQE-UNL à NOVA

Propósitos pouco claros para o SGQE

“(…) se tornou um monstro que ninguém conseguia gerir, sobretudo nas grandes unidades orgânicas.” “A intenção é boa, a pergunta é, até é simpática mas não, como é que se faz isto?” “Tem de haver algum feedback. Agora, a maior parte das nossas cadeiras são de inspiração francesa, que é o professor lá em cima, os alunos sentadinhos a ouvir, a gente dá a matéria, o aluno estuda. Faz-se avaliações periódicas, está a andar.” “A pergunta está um bocadinho desenquadrada.” “(…) é uma pergunta circular e idiota, mas que aparentemente muito importante, para garantir os direitos de todos os envolvidos no processo, que é muito retorcida (…)” “(…) a grande preocupação, neste momento (…) de todo o Sistema, acaba por ser na taxa de resposta (…)” “Porque são duas forças, é os professores a pressionar para que os alunos respondam e é os alunos a perderem interesse na resposta porque não há resultados. As duas coisas somam-se.” “(…) levámos três anos a adaptá-lo em Portugal, pelo menos à NOVA.” “É preciso é saber exatamente o que é que se quer, ok?, às vezes esse…Aqui foi talvez um bocadinho o problema que ouve. Criou-se um Sistema da Qualidade mas não se sabe exatamente para quê e só agora, com o tempo, é que se está a perceber (…)” “A NOVA também não sabia muito bem, na minha opinião, para que é que queria um Sistema de Qualidade.

12

Inexistência de obrigatoriedade de avaliação do 3.º ciclo Envolvidos no processo do SGQE-UNL no IHMT

Responsável pela qualidade é o Presidente do Conselho Pedagógico Todos estão envolvidos

Responsáveis dos ciclos de estudos são funcionários da qualidade

Hierarquia entre os órgãos da qualidade no IHMT

Envolvimento do apoio técnico/informático Responsável pela qualidade responde ao Presidente da Qualidade Responsável pela qualidade responde à Comissão da Qualidade do Ensino Garantir a garantia da qualidade Garantir respostas aos inquéritos

Havia Qualidade lá fora, a gente também quer ter cá um Sistema da Qualidade.” “(…) ainda temos algo que eu gostaria que não fosse por muito mais tempo, a não obrigatoriedade dos cursos de doutoramento.” “(…) na prática não há mais ninguém a trabalhar além do responsável da Qualidade, que sou eu, sou o Presidente do Pedagógico e faço, acumulo os dois cargos (…)” “(…) não, há só uma pessoa na prática, mas todos estamos envolvidos.” “E essa participação existe, não há ninguém que não tenha feito a sua parte, toda a gente a faz.” “(…) os responsáveis pelos ciclos de estudos (…)” “Todos fazem, monitorizam e acompanham (…)” “(…) eles também são funcionários da Qualidade. Eles também, eles são muito importantes.” “(…) temos o apoio da divisão académica porque é preciso ter o apoio informático, é preciso ter…(…)” “(…) respondo ao Presidente da Qualidade (…)” “(…) respondo à Comissão, por sua vez é o Científico [Pedagógico].” “(…) sobretudo garantir que há garantia da qualidade (…)” “Tento garantir que se garante a qualidade. Ok? Não é só garantir o processo de qualidade.” “(…) garantir que os inquéritos estão lá (…)” “(…) que as pessoas podem responder ao inquérito.”

13

Funções do Responsável pela Qualidade do Ensino

Garantir a entrega dos instrumentos de avaliação pelos coordenadores de curso Garantir taxas de resposta Elaborar o relatório da unidade orgânica

Procurar melhorar as unidades curriculares Garantir a melhoria

Relatório da unidade orgânica

Reunir os relatórios e informações Relatório detalhado Integrar o SGQE na unidade orgânica

Valorização da auscultação dos estudantes

Importância de ouvir os estudantes

Tentativa de melhorar Reuniões Envio dos relatórios

“(…) que há condições para os coordenadores de curso entregarem aos docentes das unidades curriculares um instrumento de avaliação (...)” “(…) que haja uma taxa de resposta significativa (...)” “(…) garantir as taxas de resposta (...)” “(…) fazer o relatório da unidade orgânica (...)” “(...) elaborar o relatório da unidade orgânica que é enviado à Reitoria (depois de processado, depois de validado pelo presidente da Comissão da Qualidade).” “(…) responder ao inquérito e sobretudo é ir atrás das cadeiras que não estão, ou unidades curriculares, que não cumprem os mínimos e tentar corrigir essas situações.” “Andamos atrás das pessoas, sempre com a perspetiva de melhorar, de pedagogia, o julgamento dos pares (...)” “(...) tem de coligir os relatórios de toda a gente, juntar as coisas todas (…)” “Nós continuamos a fazer o inquérito e o relatório antigo, é muito detalhado com caixas de resposta.” “Somos uma unidade orgânica pequenina e se queremos verdadeiramente que o Sistema de Qualidade tenha algum interesse para a casa é importante saber a opinião dos alunos.” “É importante que o aluno diga que aquele microscópio do segundo andar não funciona bem ou que a, o professor tal dá uma aula que não se percebe ou isso. Nós precisamos, não chega só os números ok?” “(…) dar, e dar atenção ao que os alunos dizem nos inquéritos.” “(...) tentamos fazer as melhorias (…) “Existe a obrigatoriedade de ir às reuniões periódicas (…)” “(…) e enviar os relatórios (...)” 14

Funções muito administrativas do Gabinete da Qualidade

Relação com o Gabinete da Qualidade do Ensino

Gabinete da Qualidade deve assegurar a garantia da qualidade

Relação muito administrativa

Foco nos números Consequências pouco visíveis Pouca preocupação com o conteúdo dos relatórios Preocupação com as taxas de resposta Carácter administrativo do processo

“(...) talvez para o futuro se consiga corrigir, que é: o Gabinete da Qualidade da Reitoria tornou-se muito Gabinete estritamente administrativo.” “Gere relatórios.” “Gere informação.” “Penso que perdeu um bocadinho do objetivo inicial que era verdadeiramente acompanhar o Sistema e a… sendo um Sistema que quer garantir a Qualidade, a palavra garantir é alguém tem de garantir (...)” “Não chega só ter os dados e dizer «pronto é assim».” “Quem é que obriga a que as coisas melhorem? Quem é que garante que há qualidade? Alguém tem de garantir isso. Portanto isto não pode ser estritamente asséptico.” “(...) sim há uma relação. Neste momento é muito administrativa.” “Nós enviamos o relatório, eles processam o relatório, fazem o relatório geral, as coisas estão a correr.” “Tem sido o cumprir o calendário administrativo. Cumprir escrupulosamente o calendário administrativo.” “Há números. Temos números.” “Consequências desses números, muito poucas.” “O Gabinete da Qualidade demitiu-se um bocadinho desse papel.” “O conteúdo dos relatórios não tem sido muito, não tem sido uma grande preocupação (...)” “É muito preocupante se há muitas unidades curriculares que não estão a ter taxas de resposta esperadas.” “Depois tornou-se num processo administrativo que é simplesmente ter o relatório (...)” “Pronto, desde que tenha o relatório é que é importante.” “(...) faz-se o relatório, tem-se os dados. E agora, o que é que acontece a seguir? Nada.” 15

Relação

Propósitos do SGQE no IHMT

Vantagens do SGQE

Envolvidos no processo Funções dos coordenadores de curso

“Nós tentamos cada vez mais garantir que no nosso Sistema estão lá os indicadores que a Reitoria precisa.” “Com alguma pena nossa, que a Reitoria e o Sistema de Preocupação em ter os Garantia da Qualidade da Reitoria esteja muito indicadores preocupado, mais preocupado em ter esses indicadores do que em analisar esses indicadores (...)” “(...) dar oportunidade aos alunos para se manifestarem relativamente ao nosso ensino, ok? E aqui o manifestar é Auscultar os o positivo e o negativo.” estudantes/clientes da educação “(...) dar uma voz a quem recebe um serviço, e a qualidade do ensino também assim o é.” “(…) dar o mais possível, dentro do possível, uma consequência a essa voz, quando as coisas não estão bem, Conseguir que existam têm de estar corrigidas.” consequências da auscultação “Tem que ter uma consequência e é aí que nós tentamos dar essa consequência.” Garantir a qualidade “Enquanto que nós, e algumas unidades orgânicas estão a usar o Sistema da Qualidade para garantir a qualidade (...)” “Se não houver isso não há, se não houver estes Instrumentos para a instrumentos, eles não têm oportunidade de se auscultação dos envolvidos manifestar.” “Sistema da Qualidade tem essa vantagem. Acho que, neste momento, três anos depois, as pessoas percecionam Descobrir problemas do ensino todas elas que tem vantagens. Descobrir os problemas do ensino tem vantagens.” Alunos “São os alunos (...)” Coordenadores de curso “Os coordenadores de curso (...)” Garantir as respostas dos “(...) os docentes que garantem que os alunos respondem estudantes aos, ou tentam convencer os alunos a responder (…)” Responder ao exigido pela Reitoria

16

Entrega dos questionários online aos alunos

Processamento dos dados

Estrutura do questionário

Função dos docentes

Assegurar que os estudantes respondem

Estrutura inicial do questionário

Muitas questões

Atualmente 9 questões

Estrutura das questões Questões abertas

Razões da adaptação do questionário no IHMT

Necessidade de obter mais informações Aceder a informações sobre a empregabilidade Saber informação sobre a utilidade dos cursos

“(…) no fim de cada unidade curricular entregam o inquérito online, entregam a palavra-passe para chegarem ao inquérito online, e tentam garantir o melhor possível que os alunos respondem.” “(...) depois esses inquéritos todos são enviados ao coordenador, que os processa para o relatório do ciclo de estudo (...)” “É simplesmente, garantir que os alunos respondem ao inquérito. Nem sequer têm de responder (...)” “No início tínhamos aqueles inquéritos todos que foram elaborados pela equipa (…) que eram inquéritos vastíssimos com, perguntavam tudo e mais alguma coisa. Mas tinham perguntas úteis.” “Quando se mudou e se percebeu que era muito difícil de gerir esses inquéritos passou-se um bocadinho para o outro extremo, que é, aquelas nove perguntas e mais nada, que são por sua vez, redutoras a quase nada, a muito pouco. Não é a quase nada, é a muito pouco.” “(...) nós tentámos ficar um bocadinho pelo meio, porque havia coisas boas que vinham do outro que nós tentámos manter, nomeadamente, dar oportunidade às pessoas para as respostas abertas.” “(...) nós fazemos um misto quantitativo e um misto qualitativo.” “É gerível e para nós é importante.” “Porque precisamos saber algumas informações acrescidas (...)” “Precisamos de saber algumas coisas relativamente à empregabilidade (...)” “(...) à utilidade dos nossos cursos (...)”

17

Participação

Divulgação do relatório

“(...) se a nossa divulgação estava ou não a ser eficiente (...)” Divulgação dos cursos “Portanto, se as pessoas tinham ou não noção do que é que nós tínhamos aqui e os pormenores mais técnicos do ensino.” “(...) a evolução tem sido negativa, portanto, há uma Evolução negativa perda de interesse (...)” “E não está a chegar, não está a chegar, e portanto, isso desmotiva os alunos e eles deixam de participar.” Desmotivação da participação “Depois as coisas entraram numa certa normalidade, que é os alunos não verem os resultados, não verem um outcome, um resultado final do processo.” “(...) inicialmente houve algum envolvimento, ah, Interesse no início do processo sobretudo dos representantes dos alunos nos órgãos, representantes no conselho pedagógico.” “(...) nós, por exemplo, divulgamos junto dos Aos representantes representantes.” Não é divulgado aos alunos “Não divulgamos junto do aluno.” “(...) não achamos, não achamos que seja útil pôr o Não é divulgado na internet relatório na net, por exemplo, se calhar devíamos ir para aí.” Divulgação ao Conselho “Mas o relatório é público para o Conselho, para os Pedagógico alunos do Conselho.” “Não chega às pessoas e portanto, as pessoas nunca sabem, nunca ficam a saber se aquela cadeira horrível que tiveram ou outra muito boa foi devidamente avaliada Não é divulgado às pessoas em e que consequências é que isso teve.” geral “As pessoas que são os motores do Sistema não têm feedback nenhum, não têm feedback nenhum, não têm informação nenhuma.” Data da divulgação do relatório “(...) o relatório é divulgado, normalmente, na primeira no Conselho Pedagógico reunião do Pedagógico em Março.” 18

Elaboração do relatório Reuniões da qualidade Envio do relatório Exemplo de aplicação de um questionário por uma associação de estudantes numa unidade orgânica

Maior taxa de resposta no questionário

Melhor aceitação pelos alunos Importância da divulgação das informações aos estudantes

Melhorar a perceção da qualidade Resistência inicial

Participação dos docentes

Atualmente menor disponibilidade para motivar a participação dos estudantes Atualmente os docentes participam Imagem negativa dos docentes que não participam

Utilização dos resultados

Corrigir situações

“(…) ficamos Novembro, Dezembro, Janeiro a processar o relatório.” “Depois há as primeiras reuniões da qualidade em Janeiro e, portanto, é por aí (…)” “(…) por volta de Janeiro-Fevereiro que estamos a enviar o relatório (...)” “(…) alguém dizia há pouco tempo que houve uma unidade orgânica onde a associação de estudantes decidiu fazer um inquérito ao ensino já não sei porquê… que obviamente teve muito mais participação porque garantiu que no final toda a gente sabia o que é que lá vinha.” “Mas o importante aí foi que um inquérito feito pela associação de estudantes foi muito mais bem visto pelos alunos do que feito pela Garantia da Qualidade.” “(…) enquanto não houver uma passagem de informação aos alunos do resultado do inquérito, a qualidade fica muito diminuída. A perceção da qualidade fica muito diminuída.” “Agora está melhor, no início alguma resistência (…)” “Também já não estão com muita paciência para andar atrás todos os anos, não é dos mesmos alunos, mas é do mesmo problema.” “Mas os professores têm participado.” “(…) agora têm participado mais.” “Mas é muito mal visto os que não participam.” “Nada é obrigatório, mas convém porque sim.” “Houve vários momentos na casa em que eles foram utilizados para corrigir situações (...)” “Às situações, às inconformidades detetadas pelo Sistema da Qualidade todas elas tentamos resolvê-las.” 19

Utilizar a informação disponível Pouca utilização da informação pela Reitoria Avaliação negativa das unidades curriculares Indicação de falta de materiais Exemplos de situações em que recorreram à informação dos questionários

Estratégia pedagógica das unidades curriculares

Insatisfação com o curso

Desafios do SGQEUNL

Incluir dados qualitativos

Consequências da qualidade na Reitoria

“(…) a comissão científica usou essa informação para, no ano a seguir, corrigir um bocadinho as coisas.” “Situações menos boas, porque já que temos a informação tentamos corrigi-la, não é?” “É dada utilização, sim (...)” “Do ponto de vista da Reitoria talvez não tanto.” “(...) avaliações negativas das unidades curriculares (...)” “(...) faltas de materiais educativos, instrumentos educativos que eram importantes.” “(…) disseram também respeito, numa fase inicial, agora já não tanto, à própria estratégia ou orientação pedagógica de alguns cursos, em que os alunos manifestaram que tantas cadeiras desta área não faz sentido quando há outras mais importantes.” “Foi através do inquérito que eles foram percebendo que os alunos não estavam muito satisfeitos com a forma muito clássica que o curso tinha.” “(...) o nosso desafio neste momento é que o Sistema da Qualidade vá para além da análise estrita quali…quantitativa dos dados, ok?” “A qualidade ao nível da Reitoria tem de ter uma consequência.” “Implementámos o Sistema, agora tem de começar a haver consequências para o Sistema, tem de começar de cima para baixo.” “Portanto, o desafio para o futuro é que haja consequências.” 20

“(…) como todos os processos eles têm de ser avaliados, o próprio Sistema de Avaliação tem de ser avaliado de X em X tempo.” Necessidade de maior “(…) nós resolvemos os problemas mas alguns dos apoio/envolvimento da Reitoria problemas, a solução não passa por nós, ou só por nós.” Necessidade de divulgar “(…) divulgar a obrigatoriedade de divulgar.” resultados “As consequências de más avaliações, o que, como Delinear soluções comuns corrigir, não precisa de ser uma coisa muito agressiva, basta dizer, basta encontrar soluções de consenso.” “(…) alguma imparcialidade, confidencialidade, que isso Imparcialidade e é importante (…)” confidencialidade Necessidade de avaliar o SGQE

Avaliação justa Balanço da implementação do SGQE-UNL no IHMT

Pontos positivos

Equilíbrio entre recolha e gestão da informação Capacidade de monitorizar o Sistema

Interiorização do Sistema

Balanço positivo Melhoria das unidades orgânicas Utilidade do SGQE-UNL

“Acho que é uma avaliação justa, não enviesada do Sistema.” “Conseguiu-se encontrar um equilíbrio interessante entre as perguntas úteis e capacidade de gestão desta informação.” “(…) dá-nos a perceção, permite monitorizar o Sistema.” “Depois levámos muito tempo e tivemos muita discussão, mas foi bom, também a ajudou a…a que as pessoas também interiorizassem o Sistema, nas questões da pedagogia do processo, que é um bocado, às vezes se tornam maçadoras e circulares que é… «como escrever a pergunta?»” “Sim é, foi muito positivo, tendo em conta que não existia.” “(…) foi muito útil e ajudou a melhorar as unidades orgânicas.” “Agora com o tempo estão a ver como é que é útil, que é importante e que tem valor e que foi possível.” 21

Inexistência de consequências do Sistema

Pontos negativos

Preocupação com as estatísticas Especialista estrangeiro

Custos mais elevados pela importação do SGQE-UNL Perspetivas futuras

Desejo de implementação no 3.º ciclo Adaptações do SGQE-UNL às unidades orgânicas Existência de consequências

Informar sobre os resultados Divulgação do relatório final aos estudantes

“(…) não haver consequências da monitorização. Não havendo essa consequência, pronto, fica fraco, fica frágil e não se chega a uma conclusão. Fica-se pelo caminho só. O conteúdo é bonito, a forma é bonita mas depois não há uma consequência.” “Estamos muito preocupados é que o Sistema funcione e que haja resultados e que haja estatística, estatística, estatística.” “Fomos buscar um especialista estrangeiro porque qualidade no estrangeiro funciona bem, não é, e portanto vamos comprar uma coisa e trazer.” “E se calhar podíamos ter feito a mesma coisa com menos custos e com menos perda de tempo se tivéssemos criado um Sistema inspirado num sistema estrangeiro, obviamente, nós temos de inventar à nossa maneira, mas logo com inspiração nossa.” “(...) é muito importante nós começarmos a avaliar também os de terceiro ciclo, os cursos de doutoramento.” “Depois cada unidade orgânica tem de ser capaz de adaptar as coisas à realidade, mas essa é a parte que háde ser feita no futuro (…)” “(…) à medida que o processo for avançando – as consequências da qualidade – ou da falta dela, neste caso.” “Não é só para ter um número e passearmos os números entre nós e para as agências de acreditação e essas coisas.” “Tem de chegar a, ao povo, e o povo são os alunos, neste caso.”

22

Anexo Q – Questões da entrevista escrita às Entrevistadas E

Como é feita a avaliação dos cursos da NOVA Escola Doutoral? (instrumentos de avaliação, quando e como são aplicados, quais as vantagens e constrangimentos da implementação destes instrumentos)

Na sua perspetiva de estudante de doutoramento na NOVA Escola Doutoral quais os benefícios e constrangimentos da avaliação no 3.º Ciclo?

Os instrumentos da NOVA Escola Doutoral podem ser aplicados às unidades orgânicas com 3.º Ciclo? Em quais são utilizadas?

Anexo R – Protocolo da entrevista escrita às entrevistadas E

Como é feita a avaliação dos cursos da NOVA Escola Doutoral? (instrumentos de avaliação, quando e como são aplicados, quais as vantagens e constrangimentos da implementação destes instrumentos) Existem diferentes mecanismos de avaliação dos cursos da NOVA Escola Doutoral. Questionário de avaliação da formação – Preenchido pelos estudantes no final do último dia de cada edição dos cursos. Este questionário é composto maioritariamente por questões fechadas em que os estudantes são convidados a informar sobre o seu grau de acordo (numa escala de Likert que vai de 0 – Não se aplica a 6 – Concordo totalmente) em relação ao contributo para a aprendizagem de diferentes aspectos como a componente teórica do curso, as discussões e os trabalhos realizados durantes o curso, os materiais disponibilizados, o corpo docente, a duração do curso, a qualidade da experiência de aprendizagem, a utilidade das aprendizagens para o desenvolvimento pessoal e profissional, etc. Os estudantes são ainda questionados sobre a qualidade dos recursos/estruturas de apoio, a clareza da informação divulgada sobre o curso e sobre se recomendariam o curso a colegas. As questões abertas permitem aos estudantes comentarem se quiserem os recursos/estruturas de apoio, o estilo e o desempenho do tutor, os aspectos que consideram que podem ser melhorados quanto ao conteúdo e ao estilo do curso, assim como explicar, caso aconteça, as razões pelas quais não recomendam determinado curso. Os dados dos questionários de cada edição dos cursos são introduzidos numa base de dados e analisados por curso, apresentando-se no final de cada período (Janeiro-Junho e Julho-Dezembro) ao coordenador de cada curso e aos membros da Comissão da Escola Doutoral que são os docentes representantes de cada unidade orgânica na Escola Doutoral. Importa dizer que os coordenadores de cada curso têm acesso aos questionários e que os mesmos são analisados pelo staff da Escola Doutoral após cada edição, sendo transmitidas aos coordenadores as sugestões feitas pelos estudantes e, com base nas mesmas, introduzidas as alterações consideradas pertinentes.

A vantagem da aplicação do questionário após cada edição dos cursos permite a obtenção de feedback rápido por parte dos estudantes e a introdução imediata das alterações consideradas necessárias para um melhor funcionamento dos cursos.

No que respeita a constrangimentos, é de referir que o mesmo questionário é aplicado aos diversos cursos, embora alguns tenham especificidades que não são contempladas num questionário geral.

Para além do questionário, a Coordenação e o staff da NOVA Escola Doutoral estão em contacto permanente com os coordenadores dos cursos, tendo assim acesso à sua percepção em relação ao funcionamento de cada edição que, cruzada com a avaliação feita pelos estudantes, permite acompanhar de perto cada curso.

As reuniões periódicas da Coordenação da NOVA Escola Doutoral com os Docentes e Estudantes representantes de cada unidade orgânica na Escola possibilitam a partilha e discussão de aspectos considerados pertinentes em relação aos cursos em funcionamento, assim como avaliar a necessidade/interesse de serem introduzidos novos cursos. Foi, precisamente, desta relação Coordenação da Escola – Docentes – Estudantes que do 1.º ano para o 3.º ano de funcionamento da Escola foram criados 7 novos cursos, num total actual de 13.

Na sua perspectiva de estudante de doutoramento na NOVA Escola Doutoral quais os benefícios e constrangimentos da avaliação no 3.º Ciclo? Uma vez que os instrumentos de avaliação são anónimos e têm como objectivo melhorar os serviços, não me parece que haja constrangimentos. Poderia, pelo contrário, ser constrangedor se não fosse dada oportunidade aos estudantes de se expressar, de contribuir com sugestões e opiniões para a melhoria dos cursos. A avaliação das disciplinas parece-me ser essencialmente benéfica. Considero o feedback fundamental para o docente, para a NOVA Escola Doutoral (NOVAED) e para os estudantes, uma vez que a percepção dos estudantes sobre os cursos permite identificar lacunas, reforçar os pontos fortes e contribuir para uma melhoria contínua. A meu ver, os instrumentos de avaliação não devem ser apenas para verificação da qualidade dos cursos, devendo ser uma fonte de mudança. Se as alterações sugeridas forem implementadas, os estudantes sentem que são parte integrante das tomadas de

decisão e não meros receptores; não esquecendo que as modificações beneficiam os futuros estudantes dos cursos e, em última instância, também os docentes e a Escola.

Os instrumentos da NOVA Escola Doutoral podem ser aplicados às unidades orgânicas com 3.º Ciclo? Em quais são utilizadas? Os instrumentos de avaliação adotados pela NOVA Escola Doutoral – questionários de avaliação das unidades curriculares – foram inicialmente propostos e aprovados pelo Conselho da Qualidade do Ensino da NOVA para serem aplicados ao 3.º ciclo nas Unidades Orgânicas (UO). Embora estes questionários para o 3.º ciclo se encontrem aprovados, estes não se encontram em funcionamento em todas as UO, uma vez que a NOVA ainda não implementou o sistema de garantia da qualidade ao nível do 3.ª ciclo. Nesse sentido os instrumentos foram propostos às UO, como facultativos tendo a FCM sido uma das UO que adotou os instrumentos.

Desde o início do seu funcionamento, a NOVA Escola Doutoral adotou o uso destes questionários para avaliação dos cursos, procedendo às adaptações necessárias essencialmente por estes serem cursos de curta duração (entre 2 a 3 dias).

Anexo S – Grelha de análise de conteúdo à entrevista escrita às Entrevistadas E Categorias

Subcategorias Questionário de avaliação da formação

Indicadores Preenchido pelos estudantes Preenchido no final da edição dos cursos Proposto e aprovado pelo Conselho da Qualidade do Ensino da NOVA

Mecanismos de avaliação dos cursos da NOVA Escola Doutoral Implementação

Propostos para aplicação no 3.º Ciclo Não são utilizados em todas as unidades orgânicas São facultativos ao 3.º Ciclo Utilização na NOVA Escola Doutoral Adaptação às características dos cursos da NOVA Escola Doutoral Questões fechadas

Questionário de avaliação da formação

Estrutura

Contributo dos cursos para a aprendizagem

Unidades de registo “Questionário de avaliação da formação – Preenchido pelos estudantes (…)” “(…) no final do último dia de cada edição dos cursos.” “Os instrumentos de avaliação adotados pela NOVA Escola Doutoral – questionários de avaliação das unidades curriculares – foram inicialmente propostos e aprovados pelo Conselho da Qualidade do Ensino da NOVA (…)” “(…) para serem aplicados ao 3.º ciclo nas Unidades Orgânicas (UO).” “(…) estes não se encontram em funcionamento em todas as UO (…)” “Nesse sentido os instrumentos foram propostos às UO, como facultativos (…)” “Desde o início do seu funcionamento, a NOVA Escola Doutoral adotou o uso destes questionários para avaliação dos cursos (…)” “(…) procedendo às adaptações necessárias (…) “Este questionário é composto maioritariamente por questões fechadas (…)” “(…) os estudantes são convidados a informar sobre o seu grau de acordo (…) em relação ao contributo para a aprendizagem de diferentes aspetos”

Escala de 0 a 6

Tópicos das questões fechadas sobre o contributo para a aprendizagem

Componente teórica Discussões e trabalhos realizados Materiais Corpo docente Duração do curso Qualidade da experiência de aprendizagem Utilidade das aprendizagens Qualidade dos recursos/estruturas Clareza da informação sobre o curso Recomendação do curso

Questões abertas

Comentários sobre eventuais melhorias aos cursos

Tratamento dos dados

Construção de uma base de dados Análise dos dados por curso Análise pela equipa da NOVA Escola Doutoral

Apresentação dos dados

No final de cada semestre Ao coordenador do curso

“(…) (numa escala de Likert que vai de 0 – Não se aplica a 6 – Concordo totalmente) (…)” “(…) a componente teórica do curso (…)” “(…) as discussões e os trabalhos realizados durantes o curso (…)” “(…) os materiais disponibilizados (…)” “(…) o corpo docente (…)” “(…) a duração do curso (…)” “(…) a qualidade da experiência de aprendizagem (…)” “(…) a utilidade das aprendizagens para o desenvolvimento pessoal e profissional (…)” “Os estudantes são ainda questionados sobre a qualidade dos recursos/estruturas de apoio (…)” “(…) a clareza da informação divulgada sobre o curso (…)” “(…) e sobre se recomendariam o curso a colegas.” “As questões abertas permitem aos estudantes comentarem (…) os aspetos que consideram que podem ser melhorados quanto ao conteúdo e ao estilo do curso (…)” “Os dados dos questionários de cada edição dos cursos são introduzidos numa base de dados (…)” “(…) analisados por curso (…)” “(…) são analisados pelo staff da Escola Doutoral após cada edição (…)” “(…) apresentando-se no final de cada período (Janeiro-Junho e Julho-Dezembro) (…)” “(…) ao coordenador de cada curso (…)”

À Comissão da Escola Doutoral

Utilização dos dados

Informação das sugestões dos estudantes aos coordenadores Acesso dos coordenadores de curso aos questionários Proceder a alterações Obter feedback dos estudantes

Vantagens Introdução das alterações

Desvantagens

Contacto próximo com os coordenadores dos cursos Coordenação e equipa da NOVA Escola Doutoral

Questionário comum a todos os cursos

Perceção face ao funcionamento dos cursos

Articulação com a avaliação dos estudantes Reuniões com docentes e estudantes

Partilha e discussão de aspetos em relação aos cursos

“(…) aos membros da Comissão da Escola Doutoral que são os docentes representantes de cada unidade orgânica na Escola Doutoral.” “(…) transmitidas aos coordenadores as sugestões feitas pelos estudantes (…)” “Importa dizer que os coordenadores de cada curso têm acesso aos questionários (…)” “(…) com base nas mesmas, introduzidas as alterações consideradas pertinentes.” “A vantagem da aplicação do questionário após cada edição dos cursos permite a obtenção de feedback rápido por parte dos estudantes (…)” “(…) a introdução imediata das alterações consideradas necessárias para um melhor funcionamento dos cursos.” “No que respeita a constrangimentos, é de referir que o mesmo questionário é aplicado aos diversos cursos (…)” “(…) a Coordenação e o staff da NOVA Escola Doutoral estão em contacto permanente com os coordenadores dos cursos, tendo assim acesso à sua perceção em relação ao funcionamento de cada edição (…)” “(…) cruzada com a avaliação feita pelos estudantes, permite acompanhar de perto cada curso.” “As reuniões periódicas da Coordenação da NOVA Escola Doutoral com os Docentes e Estudantes representantes de cada unidade orgânica na Escola possibilitam a partilha e discussão de aspetos

Avaliar necessidades de implementar novos cursos Relação entre Escoladocentes-estudantes

Necessidade da criação de 7 novos cursos Anonimato

Perspetiva de estudante de doutoramento participante na NOVA Escola Doutoral

Objetivo de melhorar os serviços Contribuir para a melhoria contínua Benefício do feedback para o Vantagens da existência de docente e para a NOVA instrumentos de avaliação Escola Doutoral Auscultação benéfica para os alunos Identificação de lacunas Reforçar pontos fortes Fonte de mudança Vantagens da implementação de alterações

Integração dos estudantes na tomada de decisão Benefícios para os futuros alunos

considerados pertinentes em relação aos cursos em funcionamento (…)” “(…) assim como avaliar a necessidade/interesse de serem introduzidos novos cursos.” “Foi, precisamente, desta relação Coordenação da Escola – Docentes – Estudantes que do 1.º ano para o 3.º ano de funcionamento da Escola foram criados 7 novos cursos (…)” “Uma vez que os instrumentos de avaliação são anónimos (…)” “(…) têm como objetivo melhorar os serviços (…)” “(…) contribuir para uma melhoria contínua.” “Considero o feedback fundamental para o docente, para a NOVA Escola Doutoral (…)” “(…) e para os estudantes (…)” “(…) a perceção dos estudantes sobre os cursos permite identificar lacunas (…)” “(…) reforçar os pontos fortes (…)” “(…) devendo ser uma fonte de mudança.” “(…) sentem que são parte integrante das tomadas de decisão e não meros recetores (…)” “(…) não esquecendo que as modificações beneficiam os futuros estudantes dos cursos (…)”

Benefícios para os docentes e para a Escola Doutoral Não existem constrangimentos Opinião geral sobre os instrumentos de avaliação utilizados na NOVA Escola Doutoral

Inexistência de meios de auscultação seria constrangimento Instrumentos de avaliação não devem apenas verificar a qualidade

“(…) beneficiam (…), em última instância, também os docentes e a Escola.” “(…) não me parece que haja constrangimentos.” “Poderia, pelo contrário, ser constrangedor se não fosse dada oportunidade aos estudantes de se expressar, de contribuir com sugestões e opiniões para a melhoria dos cursos.” “A meu ver, os instrumentos de avaliação não devem ser apenas para verificação da qualidade dos cursos (…)”