Jefe de División: Victoria Ley Vega de Seoane

Contacto: Calle Torrelaguna 58 bis.

Email: dces@aei.gob.es

Principales funciones:

La jefatura de la División de Coordinación, Evaluación y Seguimiento Científico y Técnico tiene como funciones principales:

• Coordinar las subdivisiones dependientes en materia de evaluación y seguimiento.
• Coordinar los procesos de selección y nombramiento de Colaboradores científicos y tecnológicos (que se adscriben a la AEI por un tiempo determinado para tareas de asesoramiento y apoyo científico y técnico en virtud del artículo 19 de la Ley 14/2011, de la Ciencia, la Tecnología y la Innovación).
• Coordinar la elaboración del plan de acción anual y elaborar el informe anual de actividad de la AEI.
• Participar en la definición de las modalidades de ayudas y su presupuesto para su inclusión en el programa de actuación anual a aprobar por la SEIDI.
• Coordinar con la División de Programación y Gestión Económica y Administrativa la planificación, distribución y control del presupuesto asignado a cada convocatoria.
• Coordinar las actuaciones de la AEI con el Centro para el Desarrollo Tecnológico Industrial (CDTI) y con el resto de las agentes de financiación existentes en España y a nivel internacional, en el ámbito de sus competencias.
• Promover la difusión de los resultados y actividades de la AEI a la sociedad.

La Subdivisión de Coordinación y Evaluación (SCE),  extinta Agencia Nacional de Evaluación y Prospectiva (ANEP),  es la encargada de organizar los procedimientos de evaluación ex ante,  y de la aplicación de las normas, principios y criterios contenidos en las convocatorias y actuaciones gestionadas por la AEI garantizando la transparencia, objetividad e imparcialidad del proceso de selección de las solicitudes, mediante la revisión por pares y/o de panel.

Jefe de Subdivisión: Julio Bravo de Pedro.

Contacto: Calle Torrelaguna 58 bis.

Correo electrónico: s.evaluacion@aei.gob.es

Principales funciones:

• Elaborar protocolos, metodologías y procedimientos de evaluación científico-técnica, conforme a los estándares nacionales e internacionales en la materia.
• Organizar, coordinar y gestionar los procesos de evaluación ex ante de las solicitudes de ayuda presentadas, tanto de la AEI como de otras instituciones públicas y privadas que efectúan convocatorias de ayudas u otras iniciativas en el ámbito del fomento de la I+D+i.
• Mejorar la capacidad del sistema público de Ciencia, Tecnología e Innovación.
• Contribuir a que las decisiones de asignación de recursos para I+D+i se realicen sobre la base de criterios de excelencia y calidad científico-técnica.
• Realizar la evaluación científico-técnica  de las propuestas de investigación para participar en los   programas y proyectos nacionales e internacionales, así como el seguimiento de los resultados de los mismos. Además gestionará la evaluación de cuantas propuestas científico-técnicas le sean encomendadas por la Dirección de la AEI.

En el desarrollo de sus tareas de evaluación científico-técnica, esta subdivisión cuenta con el apoyo de colaboradores científicos y tecnológicos adscritos a la AEI por un periodo aproximado de tres años, conforme al artículo 19 de la Ley de la Ciencia, y con un Banco de Expertos Colaboradores de la AEI (BECA), que se encarga de mantener. Realizando además la búsqueda, invitación e incorporación de nuevos expertos nacionales e internacionales.

También se encarga de otras tareas relacionadas como son, la organización de las candidaturas de los colaboradores científicos y tecnológicos adscritos a la unidad, conforme al protocolo que se establezca. La organización y gestión de paneles y comisiones técnicas y de evaluación, atendiendo a las necesidades de las reuniones (salas, ordenadores, cañones de proyección, generación de actas en aplicación informática, etc.) y de los comisionados (viajes y alojamiento), elaboración de memoria económica del coste de la evaluación de cada convocatoria e información a los ciudadanos a través de las distintas vías de comunicación.

Instituciones que solicitan evaluación de I+D+i a la AEI

• Ministerio de Economía, Industria y Competitividad , otros Ministerios, Comunidades Autónomas, Universidades públicas y privadas , Organismos Públicos de Investigación (OPIS), Fundaciones públicas y privadas, Organismos Internacionales.

Actividades de evaluación que realiza la SCE

Se evalúan anualmente unas  25.000  solicitudes de actividades relacionadas con la I+D+i,  de los que aproximadamente el 80% corresponden a acciones de este Ministerio y el resto a otros departamentos ministeriales, CCAA, OPIS, Universidades, Fundaciones, etc.

Actividades de evaluación realizadas en 2016:

	MINECO/AGE	CCAA	Univ.	Fundac.	Otros	Total
Proyectos	9.482	606	537	496	49	11.170
Becas y Contratos	9.309	11	752	77	9	10.158
Infraestructura	902	6	46			954
Movilidad	773			4	18	795
Otros	47		31	74	9	161
Total	20.513	623	1.366	651	85	23.238

Proceso de Evaluación

Las etapas de procesamiento y evaluación de un proyecto, desde su presentación en el organismo convocante, son las siguientes:

• Presentación de la solicitud en la Institución convocante.
• Recepción de solicitudes a través de la carga, por parte de la institución convocante, en la aplicación de evaluación de la SCE.

Distribución en las áreas temáticas

Es importante que el investigador elija el área más adecuada para la evaluación de su proyecto. Si el investigador no ha señalado el área temática, la SCE asigna el área que considere más apropiada. En el caso en que el investigador haya indicado el área temática en la que quiere que se evalúe su proyecto, ésta se respeta en la medida de lo posible.

Elección de evaluadores

Se basa esencialmente en la selección de "pares" (peer review). Los equipos de coordinación asignan los evaluadores en base a su especialización, conocimiento del tema, calidad científica y experiencia, teniendo en cuenta los criterios de independencia, objetividad, ausencia de conflicto de intereses, confidencialidad, lejanía territorial, etc. Los expertos son consultados de antemano y son seleccionados si aceptan la evaluación del proyecto o solicitud de acuerdo con estas condiciones. La SCE se hace responsable de mantener anónima la identidad de los evaluadores. En las evaluaciones realizadas por paneles o comisiones, es posible la publicación de la identidad de los evaluadores, siempre que se considere dicha evaluación en conjunto y sin revelar, en su caso, las solicitudes evaluadas por cada experto. En estos casos los evaluadores serán informados de antemano.

Evaluación

En general, para cada solicitud se realizan dos o más evaluaciones anónimas por "pares" (peer review), a partir de las cuales el equipo de coordinación elabora un informe final. Cuando las evaluaciones han de ser comparativas, se necesita hacer una priorización y homogeneizar criterios, por lo que las solicitudes se evalúan en comisiones de expertos. En algunas ocasiones, posteriormente a la evaluación individual del proyecto por uno o varios expertos, un panel de evaluadores realiza en comisión una evaluación del conjunto de las solicitudes, este es el caso de evaluación de becas, contratos Ramón y Cajal, Juan de la Cierva, etc. Todas las evaluaciones se realizan en la aplicación electrónica en Web.

Envío de informes de evaluación

Una vez elaborados los informes finales, éstos se envían a la institución que ha solicitado su evaluación. Los informes no se envían a los investigadores solicitantes.

Comunicación al investigador

Se realizará por la Institución convocante. La SCE no envía los informes de evaluación a los investigadores ni puede mantener correspondencia con ellos acerca de la evaluación. Las aclaraciones de carácter técnico o de cualquier otro tipo, deben hacerse, en todo caso, a través de la entidad que convoca. Esta observación rige tanto antes como después del periodo de evaluación.

Alegaciones y recursos

Las alegaciones y recursos que se reciben en la SCE se remiten al equipo de coordinación del área correspondiente, que revisa la evaluación y emite un informe de contestación, pudiendo mantener la calificación original o incluir cambios.

Por otra parte, se respetan todas las recusaciones que se reciben en la SCE para evitar la participación de un determinado experto en una evaluación.

Criterios de evaluación

Diseño de formularios y criterios de evaluación

Los criterios de evaluación se establecen de acuerdo con las normas publicadas en las Órdenes Ministeriales (o resoluciones de cada organismo) de las convocatorias. La SCE garantiza la correspondencia entre los criterios publicados y los que se aplican en la evaluación.

En el caso de evaluación de proyectos de investigación, además de la relevancia y la novedad del proyecto, los objetivos, la contribución científico-técnica esperable de la propuesta y la viabilidad de la propuesta, se debe valorar la calidad científico-técnica y capacidad del equipo de investigación, en particular la del Investigador Principal (IP), su trayectoria, su prestigio internacional, su capacidad de liderazgo y su potencial. Asimismo, debe valorarse la capacidad del equipo para llevar a cabo los objetivos propuestos, su experiencia en el tema, resultados previos y los medios de los que dispone, además de solicitar comentarios del evaluador con respecto a la adecuación del presupuesto, el plan de difusión de los resultados y su posible transferencia a la industria, así como el posible impacto socioeconómico.

Selección de evaluadores

La elección de evaluadores para cada solicitud se basa esencialmente en la selección de "pares" (peer review), que son investigadores o tecnólogos con experiencia en el tema, según lo ya mencionado sobre su selección. La base de datos de la SCE se actualiza continuamente. Hay un particular interés en la incorporación de científicos y expertos de otros países. Todos los expertos incluidos pueden actualizar sus datos accediendo a su ficha personal, utilizando sus claves personales en la aplicación Web para la gestión de las evaluaciones.

Si usted está interesado en colaborar con la SCE en procesos de evaluación, por favor envíe un mensaje por correo electrónico a s.evaluacion@aei.gob.es, incluyendo el área temática que más se ajuste a su actividad científica-tecnológica y su currículo.

Conflictos de interés

El tratamiento de los conflictos de intereses es similar al que se utiliza en las agencias de otros países y en la Comisión Europea. En general, no deben participar en la evaluación los expertos que se encuentren en alguna de las siguientes situaciones respecto a alguno de los solicitantes:

• Participar en la propuesta.
• Tener relación de parentesco con componentes del grupo solicitante (en grado próximo).
• Ser director de tesis doctoral del solicitante (defendida en los últimos 10 años)
• Colaborar en publicaciones o patentes en los últimos 5 años.
• Tener relación contractual o compartir fondos o proyectos de investigación en los últimos 3 años.
• Con situaciones similares en otras actividades económicas o científico-tecnológicas.
• Haber sido recusado por alguno de los solicitantes o presentar amistad o enemistad manifiesta con alguno de los solicitantes.

Asimismo, se debe informar de cualquier otro conflicto de interés que estime el equipo de coordinación o el experto, rechazando la evaluación.

Solicitudes en las que intervienen coordinadores o adjuntos

Cuando alguno de los solicitantes es miembro de los equipos de coordinación, o la actuación de un coordinador o adjunto se ve comprometida debido a la relación personal con el equipo investigador o por una relación profesional directa con el proyecto, se considera que es un caso de conflicto de intereses. En estos casos la evaluación es gestionada directamente por la dirección de la SCE y/o una comisión externa, sin que intervenga el equipo de coordinación.

Normas deontológicas

Todos los miembros de los equipos de coordinación firman un documento aceptando las normas deontológicas que hacen referencia a su participación como colaboradores, en particular al tratamiento de los conflictos de intereses y a la confidencialidad de los datos.

Controles de calidad

Controles de calidad internos de la aplicación de evaluación

La aplicación informática en Web para la gestión de evaluaciones de la SCE es auditable (guarda autoría y fecha de cualquier acción realizada) e incluye una estadística automática de los siguientes criterios:

• Número de evaluaciones asignadas y realizadas y fecha de los registros.
• Discrepancia con respecto al informe emitido por el equipo de coordinación.
• Tiempo transcurrido desde la asignación hasta el envío de la evaluación.

Por otra parte, los miembros de los equipos de coordinación valoran la calidad de cada informe de experto. Dicha valoración se incorpora al sistema automáticamente, mostrando el valor medio de calificaciones otorgadas en todos sus informes.

Controles específicos

Además de los controles automáticos de la aplicación, en la SCE  se hacen controles específicos para determinar parámetros de los procesos de evaluación. Se realizan determinaciones estadísticas del número de evaluaciones por solicitud, número de evaluaciones por evaluador, análisis de discrepancias entre expertos, participación de mujeres, distribución geográfica de expertos, entre otros.

Información para organismos

En este apartado se muestra la información necesaria para que los organismos puedan solicitar la evaluación de la SCE.

La SCE debe ser consultada en cuanto a la disponibilidad para la evaluación de las solicitudes de actividades de I+D+i con suficiente antelación para prever la carga de trabajo y la preparación del proceso de evaluación. En cualquier caso, la evaluación se solicitará antes de redactar la convocatoria correspondiente en la que conste la descripción del proceso de evaluación y la participación de la SCE en el mismo. La consulta puede iniciarse mediante correo electrónico a la dirección s.evaluacion@aei.gob.es

Por otra parte, los criterios de evaluacion y los baremos deben determinarse teniendo en cuenta los principios de evaluación de la calidad científico-técnica utilizados por la SCE, y se deben consultar con esta Agencia antes de publicar la convocatoria.

Es importante que las entidades que convocan las ayudas faciliten a los solicitantes las áreas temáticas de la SCE y sus descriptores, que están disponibles en la web de la AEI para que estos elijan correctamente el área más adecuada a su solicitud.

Se indicarán las características de solicitudes, número, previsión de calendario, y otros aspectos cuyo conocimiento resulte relevante tener en cuenta con carácter previo, así como los datos de la persona de contacto.

La colaboración entre ambos organismos se articulará mediante un convenio que deberá estar firmado y publicado en BOE antes de la evaluación.

Tratamiento de las solicitudes

Cada año la SCE recibe más de 25.000 solicitudes de evaluación. Por esta razón, es importante que las solicitudes se envíen cumpliendo las condiciones que a continuación se indican, lo que facilita su procesamiento y una evaluación de calidad.

Envío de solicitudes

Una vez establecida la colaboración, los organismos deben enviar a la SCE una base de datos con la siguiente información mínima por cada solicitud:

• Nombre y apellidos del investigador principal
• Título del proyecto
• Centro y organismo
• Área ANEP en la que se clasifica el proyecto.

Las solicitudes se enviarán siempre en formato electrónico compatible con la aplicación de evaluación de la SCE y será la propia institución la que cargará los documentos en la aplicación informática de evaluación, utilizando las claves específicas para la persona responsable. No se admitirá documentación en papel o en formatos incompatibles con la aplicación de evaluación de la SCE.

Plazos

Un proyecto de investigación (individualmente considerado) podría evaluarse en un plazo de 4-5 semanas. Sin embargo la evaluación del conjunto de proyectos presentados a una convocatoria implica un número elevado de solicitudes y alarga el plazo total de evaluación, que se establece en unas 8 a 10 semanas.

Idioma

Los proyectos que se evalúan en la SCE deben presentarse en castellano o en inglés. La evaluación de solicitudes en otras lenguas restringe la selección de expertos, lo que puede condicionar la calidad e imparcialidad del proceso. Por esta razón, no se admiten solicitudes que no estén escritas en castellano o en inglés.

La Subdivisión de Programas Temáticos Científico-Técnicos se encarga de gestionar las ayudas concedidas por la AEI y llevar a cabo el seguimiento científico-técnico de las mismas en los ámbitos científico-técnicos que tengan una orientación temática definida en los correspondientes planes estatales, respondiendo a las necesidades de la comunidad científica y a los principales retos sociales y económicos del país.

Jefa de Subdivisión: Mª Ángeles Ferre González.

Contacto: Calle Torrelaguna 58 bis.

Email: s.tem@aei.gob.es

Principales funciones:

En concreto realiza las siguientes funciones principales en sus correspondientes ámbitos científico-técnicos:

• Definir el contenido, modalidades y requisitos de las convocatorias de ayudas correspondientes a los programas de los planes estatales que se atribuyan a la AEI mediante los instrumentos jurídicos establecidos como sistema para la asignación de los recursos.
• Colaborar en la organización de la evaluación ex ante (en coordinación con la Subdivisión de Coordinación y Evaluación), en aquellas convocatorias que requieran una evaluación científico técnica en panel.
• Llevar a cabo el seguimiento científico-técnico de las ayudas concedidas.
• Llevar la gestión de las ayudas concedidas: atenderá a los beneficiarios en sus solicitudes de modificaciones de la resolución de concesión, renuncias y cambios de titularidad de las ayudas, etc.
• Realizar la evaluación ex post de las convocatorias de ayuda a su cargo, valorando la idoneidad de los diferentes instrumentos, con el fin principal de ir adecuando las actuaciones de la AEI a aquellas que supongan un mayor coste-beneficio para el sistema.
• Participar en grupos de trabajo de expertos nacionales e internacionales en cada uno de las materias de su competencia.
• Promover iniciativas de cooperación mediante convenios de colaboración y otros acuerdos tanto con entidades nacionales como internacionales. Realizar el seguimiento científico y técnico de las actuaciones que se llevan a cabo en ejecución de esos acuerdos.

En el desarrollo de sus funciones esta subdivisión cuenta con el apoyo de Colaboradores científicos y tecnológicos adscritos a la AEI por un periodo aproximado de tres años, conforme al artículo 19 de la Ley de la Ciencia.

Las convocatorias del vigente Plan Estatal de I+D+I en las que esta subdivisión desarrolla sus funciones son las siguientes:

La Subdivisión de Programas Científico-Técnicos Transversales, Fortalecimiento y Excelencia se encarga de gestionar las ayudas concedidas por la AEI y llevar a cabo el seguimiento científico-técnico de las mismas, en los ámbitos científico-técnicos que, por sus características, no tienen una orientación temática definida y están orientados a fortalecer y transformar el Sistema Español de Ciencia, Tecnología e Innovación, promoviendo la excelencia, la generación de capacidades científico-técnicas y la internacionalización del sistema.

Jefe de Subdivisión: Joaquín Ángel Serrano Agejas.

Contacto: Calle Torrelaguna 58 bis.

Email; s.trans@aei.gob.es

Principales funciones:

En concreto realiza las siguientes funciones principales en sus correspondientes ámbitos de actuación:

• Definir el contenido, modalidades y requisitos de las convocatorias de ayudas correspondientes a los programas de los planes estatales que se atribuyan a la AEI mediante los instrumentos jurídicos establecidos como sistema para la asignación de los recursos.
• Colaborar en la organización de la evaluación ex ante (en coordinación con la Subdivisión de Coordinación y Evaluación), en aquellas convocatorias que requieran una evaluación científico técnica en panel.
• Llevar a cabo el seguimiento científico-técnico de las ayudas concedidas.
• Llevar la gestión de las ayudas concedidas: atenderá a los beneficiarios en sus solicitudes de modificaciones de la resolución de concesión, renuncias y cambios de titularidad de las ayudas, etc.
• Realizar la evaluación ex post de las convocatorias de ayuda a su cargo. Se valorará la idoneidad de los diferentes instrumentos, con el fin principal de ir adecuando las actuaciones de la AEI a aquellas que supongan un mayor coste-beneficio para el sistema.
• Participar en grupos de trabajo de expertos nacionales e internacionales en cada uno de las materias de su competencia.
• Promover iniciativas de cooperación mediante convenios de colaboración y otros acuerdos tanto con entidades nacionales como internacionales. Realizar el seguimiento científico y técnico de las actuaciones que se llevan a cabo en ejecución de esos acuerdos.
•  Participar en nombre de la AEI en iniciativas de Programación Conjunta Internacional.

Las convocatorias del vigente Plan Estatal de I+D+I en las que esta subdivisión desarrolla sus funciones son las siguientes: