Evaluación de Publicaciones Científicas

Lilian Calò BIREME/OPS/OMS PFI, gerente [email protected]

Flujo de la Comunicación Científica

Contribución de Ibero America a la producción científica mundial B R AZ IL C HIL E ME X IC O A R G E NT INA C O L O MB IA V E NE Z UE L A C O S T A R IC A C UB A E C UA D O R J AMA IC A PERU T R INID & T O B AG O UR UG UA Y A L &C

124 44 43 21 20 13 1 1 1 1 1 1 1 272

1,101 0,391 0,382 0,186 0,178 0,115 0,009 0,009 0,009 0,009 0,009 0,009 0,009 2,415

Articles in W oS in 2009 24606 3839 9682 5919 1759 1029 333 662 290 292 524 18 61 49014

S P AIN P O R T UG A L IberoAmérica

163 8 443

1,447 0,071 3,934

39606 7793 96413

3,139 0,618 7,642

4079 172 4251

36,222 1,527 37,750

341.055 51.274 392.329

27,035 4,064 31,099

11.261

100

1.261.551

100

C ountry

US A C anadá A mérica do Norte W oS / W orld

T itles

% W orld

% W orld 1,950 0,304 0,767 0,469 0,139 0,082 0,026 0,058 0,023 0,023 0,042 0,001 0,005 3,885

Acceso a la información científica y técnica indexada en AL&C • AL&C es probablemente la región en desarrollo con mayor capacidad y mejor infraestructura de acceso a la información científica y técnica en salud. Esta evaluación considera tanto el acceso a las referencias bibliográficas como a los textos completos de los documentos. • La contribución e impacto de la BVS es significativo en la promoción de la información científica y técnica calificada, organizada, accedida y evaluada.

Actividades relacionadas con la publicación científica •

Contenido informativo: selección de contenido, adaptabilidad

•

Redacción del manuscrito: redacción científica, formatos, standards

•

Canales de transmisión: selección del vehículo apropiado para diseminar la información, público-alvo, idioma

•

Evaluación: peer-review, inclusión en bases de datos, medidas de impacto, uso y nuevas métricas

•

Publicación y difusión: periódicos impresos, en línea, conferencias, blogs, redes sociales, foros en línea, etc.

Evaluación de la Producción Científica • Es importante evaluar la producción científica para traducir la investigación en programas y políticas públicas y saber lo que es relevante. • Indicadores de impacto científico: Factor de Impacto, Scimago Journal Rank, Eigenfactor, Indice h, medidas de uso y download, nuevas métricas; • Indexación en Bases de Datos regionales e internacionales: Scopus, LILACS, SciELO, MEDLINE, Web of Science, JCR

Factor de Impacto • • •

Utiliza la base Web of Science (Thomson Reuters) FI = Citas recibidas / numero de artículos Es calculado en base a 2 o 5 años para efecto de comparación de áreas con distintos parámetros de citación Por ejemplo, FI de New England Medical Journal en 2008: Citas recibidas en 2008 a artículos publicados en 2007 y 2008: 32.311 Artículos publicados en 2007 y 2006: 646 Resultado: 32.311/646 = 50,017 = Factor de Impacto del NEMJ

•

Críticas al FI:  Es impreciso pues lo que cuenta en el numerador no es tomado en cuenta en el denominador;  Existen artificios para aumentar FI de periódicos, como artículos de revisión, editoriales de impacto, que serán mucho citado y otros;  Disponible en una base de datos de acceso pagado www.isiknowledge.com/

•

¿Por qué es tan popular? Por haber sido el pionero, por ser simples de calcular

Scimago Journal Rank •

SCImago Journal Rank es una medida de impacto científico de las revistas académicas que representa el número de citas recibidas por una revista y la importancia o prestigio de las revistas donde tales citas vienen;

•

Utiliza la base de datos Scopus y acumula citas en 3 años;

•

Es basado en el algoritmo PageRank, utilizado por el Google para ordenar las páginas más visitadas en una búsqueda;

•

Es un indicador independiente de tamaño y sus valores ordenan las revistas por su "prestigio promedio por artículo" y puede ser utilizado para las comparaciones de revistas en los procesos de evaluación de ciencias;

•

Disponible en una base de datos en acceso abierto, http://www.scimagojr.com/ aunque la base Scopus es de acceso por asignatura.

Eigenfactor • • •

• • • •

Eigenfactor utiliza el mismo algoritmo PageRank del clasificador de páginas de Google; El sistema de clasificación de periódicos utilizando Eigenfactor toma en cuenta la diferencia de prestigio entre los periódicos que citan; Eigenfactor también se ajusta para diferencias de patrones de citación entre disciplinas, permitiendo comparar desempeños entre ellas utilizando el mismo índice. También con esta finalidad, Eigenfactor se basa en las citas recibidas en un período de cinco años. Otra particularidad de Eigenfactor: diferente del factor de impacto, unifica y contabiliza citas en revistas en los campos de ciencias y ciencias sociales; Elimina autocitaciones. Se descuenta cada referencia de un artículo en una revista a otro artículo de la misma revista. Utiliza la base de datos Web of Science. El cálculo matemático se ideó de forma que la suma de Eigenfactor de todos los periódicos indexados en JCR sea 100. El índice Eigenfactor se encuentra disponible en acceso abierto ( www.eigenfactor.org) y también en el sitio de Web of Science (acceso por asignatura)

Article Influence •

El Article Influence de un determinado periódico es la medida del prestigio de este periódico por artículo. Él se calcula dividiéndose Eigenfactor por la fración de artículos publicados por el periódico. Esta fracción se normaliza, para que la suma total de artículos en todos los periódicos sea 1.

•

Así, mientras Eigenfactor toma en cuenta toda la red de citaciones recibidas en los últimos cinco años por todos los artículos del periódico, el article influence es una medida del prestigio de este periódico basado en las citaciones por artículo.

•

El valor mediano del article influence es igual a 1.00. Valores mayores que 1 indican que cada artículo en el periódico ejerce una influencia arriba de la media y valores menores que 1 indican que cada artículo en el periódico en cuestión ejerce influencia abajo de la media.

•

El índice article influence se encuentra disponible en acceso abierto www.eigenfactor.org y también en el sitio de Web of Science.

Indice h •

Idealizado por J.E.Hirsch (2005) Proc. Natl. Acad. Sci. USA vol. 102 (46) 16569-16572;

•

Es un índice para cuantificar la productividad científica de un investigador, departamento o institución;

•

Índice h es definido como el numero de publicaciones con citas > h;

•

Este índice normaliza las diferentes áreas del conocimiento;

•

Un autor con 20 publicaciones con 20 citas cada tiene un índice h igual a 20.

•

Es posible calcular el índice h de una revista. Una publicación tiene índice h 50 se tiene 50 papers con 50 citas cada.

"Estos resultados deben hacernos repensar FI y SJR como el “golden standard” de las medidas de impacto científico. Los resultados aquí presentados indican que las métricas basadas en medidas de uso y no de citación - como ha sido más común - pueden representar una mejor medida de consenso".

Bases de Datos •

Permiten organizar y catalogar las revistas;

•

Realizar búsquedas por asunto, autor, periódico, palabras-clave;

•

Su función primordial es separar los periódicos basado en la calidad en los artículos publicado;

•

Criterios varían poco entre las varias bases regionales e internacionales;

•

Para que sean más representativas, las bases no necesitan indexar la totalidad de los periódicos, y sí los más representativos;

Ley de Bradford • Un número relativamente pequeño de revistas de cada especialidad publica la mayor parte de los resultados científicos significativos; • 2000 revistas corresponden a 85% de los artículos publicados y 95% de los artículos citados • Esta porción de revistas no es fija, una constante reevaluación e indexación de nuevas revistas es necesaria.

Indexación de revistas en salud de AL&C en bases de datos

Revistas de Brasil en la Web of Science/JCR Año 2006 2007 2008 2009

Número de Revistas Web of Science JCR* 27 21 64 27 103 28 125 **

(*) Science Citation Index Expanded (**) Se publicará em jun/2010

Relación Revistas Web of Science / JCR Journals in JCR Science Edition

Journals Ratio in WoS Journals in WoS/JCR

Australia Austria Belgium

73 25 15

190 42 49

2.60 1.68 3.27

Brazil Canada

28 80

124 172

4.43 2.15

Czech Rep Denmark England Finland

22 60 1415 14

55 68 2203 19

2.50 1.13 1.56 1.36

France Germany

150 463

281 725

1.87 1.57

India Italy

45 75

109 175

2.42 2.33

Japan Netherlands New Zealand Norway

174 610 23 34

230 808 38 51

1.32 1.32 1.65 1.50

China Poland

81 59

134 141

1.65 2.39

Russia Scotland South Africa

108 21 21

155 29 65

1.43 1.38 3.10

South Korea Spain Sweden

40 37 19

89 162 31

2.23 4.38 1.63

Switzerland USA

152 2506

198 4078

1.30 1.63

Country

Comparación entre criterios de Bases de Datos Bases de Datos de Revistas Científicas Criterios Número de títulos en la base Títulos aceptados Periodicidad y Regularidad Recomendaciones ICMJE* Peer Review Analice de citaciones (Factor de Impacto) DiverSidad Internacional de autores Cuerpo Editorial Diversificado Mérito y carácter científico – contribuciones originales Título, resumen y palabras clave en inglés Referencias en alfabeto romanas Publicaciones en el área médica y biomédica

Scopus

LILACS

SciELO

NLM

Web of Science/JCR

18.000/16.500 peer reviewed 40% Importancia relativa

801

640

25-27%

18%

20-25%

Si

Si

Si

Si

No

Si o otro standard

Si o otro standard

Si

Si

Si

Si

Si

Si

No importante

Importante

No importante

Importante

Importante

Importante

No importante

Importante

No necesariamente

No necesariamente Importancia relativa Importancia relativa Importancia relativa

5455 (MEDLINE) 11.261 / 6.620 10-12%/ 5-6%

Importancia relativa Importancia relativa Importancia relativa

Importancia relativa

Importante

Importante

Importante

Si, resumes en ingles

Si

Si

Si

No

No

No

Si

Si

No

Si

No

Si

No

(*) International Committee of Medical Journal Editors – Uniform Requirements for Manuscripts Submitted to Biomedical Journals (http://www.icmje.org/)

Importante Importante

Conclusiones • • • •

•

•

La indexación de una revista en una base de datos regional o internacional no obedece solamente a criterios formales; La situación de las revistas concurrentes en la selección presente o precedente en la misma área de conocimiento es un factor determinante; Muchas veces criterios comerciales, geográficos o de fomento de una área especifica influencian la selección de revistas por una base de datos; En el año 2008 Thomson Reuters seleccionó 700 nuevas revistas en el mundo de carácter regional para apoyar la diseminación del conocimiento regional. El proceso de selección duró cerca de 2 años; De estas, 80 son de AL&C en varias áreas del conocimiento, incluso ciencias de la salud. Los criterios son los mismos que para la admisión en la WoS, pero sin dar tanta importancia a las citas. La indexación en base de datos es una indicación de cualidad de una revista pero no es el único criterio para aferir esta cualidad.