Evaluación de la enseñanza universitaria. La UNED en el Plan Nacional de Evaluación de la Calidad de las Universidades en España (Evaluation of Higher Education. UNED in the National Plan for the Quality Evaluation of Spanish Universtities)

Abstract

Evaluation is now everywhere in higher education. It takes different forms when it focuses on teachers, on programmes, on student learning, on student outcomes or on universities, and it requires specitic adaptations when applied on distance teaching modalities. This paper dealt with the concepts of evaluation and quality, the different approaches used in different countries and its implications in distance teaching evaluation. University evaluation in Spain has been regulated by the Plan Nacional de Evaluación de la Calidad de las Universidades (PNECU), which is described as well as the UNED participation. [PUBLICATION ABSTRACT]

Headnote

RESUMEN: La evaluación es tema omnipresente actualmente en el ámbito universitario. Adopta formas diversas según se refiera a programas, profesores, estudiantes, resultados de las universidades y exige adaptaciones cuando se aplica a modalidades no convencionales de enseñanza, como es el caso de la enseñanza a distancia. En el presente trabajo se parte de la reflexión sobre qué sea la evaluación y la calidad de la enseñanza, y sus implicaciones en la evaluación de la enseñanza a distancia mediante el desarrollo de indicadores específicos. En una segunda parte, se explicita la forma en que se aborda la evaluación universitaria en España describiendo las líneas fundamentales del Plan Nacional de Evaluación de la Calidad de las Universidades (PNECU) y la participación de la UNED en el mismo.

Evaluación universitaria- Enseñanza a distancia - Plan Nacional de Evaluación

ABSTRACT: Evaluation is now everywhere in higher education. It takes different forms when it focuses on teachers, on programmes, on student learning, on student outcomes or on universities, and it requires specitic adaptations when applied on distance teaching modalities. This paper dealt with the concepts of evaluation and quality, the different approaches used in different countries and its implications in distance teaching evaluation. University evaluation in Spain has been regulated by the Plan Nacional de Evaluación de la Calidad de las Universidades (PNECU), which is described as well as the UNED participation.

1. LA EVALUACIÓN DE LA ENSEÑANZA UNIVERSITARIA

La evaluación es un concepto omnipresente en la enseñanza universitaria en este momento. La calidad de las universidades viene siendo en los últimos tiempos un tema de estudio fundamental en el ámbito de la educación superior, y se percibe como uno de los elementos centrales en la política educativa durante los próximos años. La evaluación adopta formas diferentes cuando se dirige a programas, profesores, estudiantes, universidades, etc. y exige adaptaciones específicas cuando se aplica a modalidades no convencionales como es la enseñanza a distancia. Hablamos de calidad, de evaluación de la enseñanza universitaria y, a veces, con significados bien diferentes.

Consideremos cuáles son los conceptos de los que estamos hablando, qué queremos decir cuando nos referimos a calidad y evaluación de la enseñanza en las instituciones universitarias. El propósito de este artículo es partir de estos componentes para exponer su aplicación a los programas desarrollados según la modalidad de enseñanza a distancia. De ahí abordamos el caso concreto de la evaluación institucional en la que se encuentra comprometida actualmente la UNED en el marco del Plan Nacional de Evaluación de la Calidad de las Universidades en España.

1.1. CONCEPTOS BÁSICOS Y DEFINICIONES

El concepto de calidad es complejo; algunas definiciones que se han dado a este término son:

* "La enseñanza es de calidad en la medida en que se logran los objetivos previstos y estos son adecuados a las necesidades de la sociedad y de los individuos que se benefician de ella" (Aparicio Izquierdo y González Tirados, 1994, p. 130).

* "Conjunto de propiedades y características de un proceso / servicio que le confieren una aptitud para satisfacer las expectativas del usuario y cumplir con las prestaciones para las que ha sido creado" (norma UNE 66-001/88, Luján, 1996, p. 179).

Por tanto, la calidad se relaciona con la consecución de objetivos previamente establecidos por la institución (eficacia), aunque en un sentido más amplio se refiera también a la eficiencia (lograr la eficacia con el mínimo coste), a la satisfacción de los usuarios de la Universidad, o a la capacidad de adaptación y transformación de la institución ante las demandas de la sociedad (Wood McCarty, 1998; Bricall 2000).

Los motivos de este interés creciente por la calidad de la enseñanza universitaria se puede agrupar en varios bloques

* Por un lado, el cambio que se ha producido en la Universidad, en tanto que ha pasado de ser una institución elitista a convertirse en una institución de masas, y en cuanto que actualmente se concibe como un servicio fundamentado en las necesidades y demandas de la sociedad. Ello obliga a replantearse sus objetivos y procesos, y a adaptar la Universidad a esta situación, estableciéndose nuevos niveles de calidad.

* Por otra parte, la responsabilidad social de las universidades, que juegan un papel fundamental en el desarrollo económico y científico de los Estados. Existe la necesidad de justificar las inversiones públicas en educación superior, que coherentemente cada vez han sido mayores, para garantizar unos mínimos de calidad. No está de más entender la evaluación como contrapartida de la autonomía universitaria y como garantía de la responsabilidad social de la Universidad, tal y como recogen diversos autores (Rodríguez, 1996; Cook, 1998; Bricail, 2000).

En consonancia con el interés por la calidad de las instituciones de educación superior se han desarrollado mecanismos cada vez más rigurosos y efectivos para evaluarla: a esta herramienta de diagnóstico es a lo que se ha denominado "Evaluación Institucional". Se trata de un concepto surgido en los años 80 en Europa que engloba temas como la calidad, la excelencia, la rendición de cuentas o la mejora continua. Se han dado muchas definiciones de evaluación a lo largo del tiempo. Algunas son:

* Enjuiciamiento sistemático de la valía o el mérito de una cosa (Joint Committee on Standars for Educational Evaluation, 1981).

* "Proceso mediante el cual se obtiene información que permite realizar valoraciones sobre la calidad de algo, encaminadas a la toma de decisiones para mejorar el objeto evaluado y cuyo coste y ejecución sean factibles" (López Luna, 1998, p. 97).

* "Intento de valorar el grado de consecución de las metas y objetivos propuestos, así como las condiciones de partida y los procesos" (Weert, 1990, citado por García Aretio, 1998, p. 71).

* "Proceso de análisis estructurado y reflexivo, que permite comprender la naturaleza del objeto de estudio y emitir juicios de valor sobre el mismo, proporcionando información para ayudar a mejorar y ajustar la acción educativa" (Ruiz, 1996, p. 18).

* "La evaluación de una universidad es el proceso a través del cual se recoge y se interpreta, formal y sistemáticamente, la información que le es pertinente, se producen juicios de valor a partir de esa información y se toman decisiones conducentes a mantener, reformar o eliminar algunos de sus elementos componentes, o su totalidad" (CONAFU, 1999, p. 8).

* Acto de recopilar información sistemática respecto a la naturaleza y a la calidad de los objetivos educativos. Da como resultado una descripción completa y un conjunto de juicios de valor referentes a los diversos aspectos de su calidad (Nevo, 1997).

Los elementos comunes a la mayor parte de estas definiciones son:

a. La recogida y análisis sistemáticos de información

b. La emisión de juicios de valor acerca del objeto evaluado

c. La orientación hacia la toma de decisiones de mejora

En base a esto, la evaluación se convierte en una herramienta de diagnóstico y valoración de situaciones en vista a la mejora de las mismas.

1.2. PARADIGMAS DE EVALUACIÓN

La evaluación de las instituciones educativas puede tener diversos enfoques, ya que un principio básico es que debe estar adaptada al contexto en el que se en- marca la institución. Dependiendo de la prioridad que se dé en un sistema educativo determinado a cada una de las funciones de la evaluación, así resultará el proceso de valoración de las instituciones.

Tradicionalmente se han distinguido dos posiciones en la evaluación institucional: la orientación a la mejora de la calidad y la orientación a la rendición de cuentas:

* La mejora de la calidad de la enseñanza, la investigación y la gestión es el objetivo principal e ineludible de cualquier proceso evaluador. Aunque en la práctica se ha visto que resulta complicado llegar a propuestas concretas de mejora, en las que se definan la prioridad y el responsable de la acción.

* La rendición de cuentas al Gobierno y a la sociedad acerca de los resultados conseguidos por la institución con los recursos que se le han asignado es otra de las funciones de la evaluación, derivada de la búsqueda de la eficiencia y de la necesidad de justificar el gasto público. Los resultados de la evaluación podrán ser utilizados para orientar las decisiones políticas de asignación de recursos.

Además de esta clasificación, vamos a hablar de otras dos funciones de la evaluación que son comúnmente aceptadas:

* Informar a la sociedad (estudiantes y mercado laboral principalmente) acerca de la calidad que ofrece una institución, en orden a que elijan con criterio suficiente la institución donde quieren realizar sus estudios, o conozcan el perfil profesional de los graduados por cada Universidad.

* Otra función que previsiblemente se implante en nuestro país y que se utiliza en EE.UU. es la acreditación de programas o instituciones, que permite asegurar unos mínimos de calidad (Bricail, 2000)

2. EVALUACIÓN UNIVERSITARIA EN EL CONTEXTO EUROPEO.

La evaluación de la enseñanza universitaria va consolidándose paulatinamente en los distintos países europeos. Veamos algunos ejemplos:

En Francia cada institución facilita la información requerida a un comité externo, que informa al Comité National d'Evaluation (CNE), el cual elabora un informe descriptivo público anual sobre la Universidad. El CNE es un organismo gubernamental independiente de las Universidades y del Ministerio, y no tiene competencia para distribuir las subvenciones del Estado o acreditar los planes de estudio.

En los Países Bajos se hace una evaluación autorregulada y periódica con metodología mixta. El Gobierno elabora un informe general y se encarga del seguimiento de las recomendaciones de los informes. Los resultados de la evaluación son públicos y se tienen en cuenta para la financiación.

En Gran Bretaña unos auditores externos evalúan la calidad de los mecanismos internos de evaluación de cada institución y elaboran un informe. Los resultados influyen en la financiación. Se utilizan principalmente indicadores de rendimiento.

En general lo que diferencia unos modelos de otros es:

* Si las agencias de evaluación que coordinan el proceso son independientes de las Universidades y el Gobierno (como sucede en Francia o EE.UU.) o no lo son (como en el caso de Holanda o España). En general se recomienda que estas agencias sean independientes.

* Si los resultados afectan a la financiación (Holanda, Gran Bretaña) o no (Francia, España).

En España se sigue un modelo que se explicita con detalle en otro apartado de este artículo.

Actualmente se tiende hacia un modelo europeo de calidad y evaluación, con una metodología y unos criterios similares en los países que integran la Unión Europea, de forma que se facilite la movilidad de los estudiantes. Se trata de un modelo procedente del mundo empresarial, denominado modelo de gestión de la calidad total (Total Quality Management) o modelo EFQM (de la European Fundation for Quality Management), que debe ser adaptado a las características específicas de la Universidad, y que tiene en cuenta diversos componentes que determinan la calidad de una institución: los agentes o elementos que hacen posible la consecución de los resultados (recursos, planificación, procesos, ...) y los resultados mismos (logros, satisfacción del personal, ...) (PNECU, 1998).

En este modelo de calidad global la metodología que se utiliza es mixta, combinando la autoevaluación con la evaluación externa por pares (peer review), así como la presentación pública de un informe.

Además se tiende a establecer agencias internacionales de acreditación, (Bricali, 2000)

3. EVALUACIÓN DE LA ENSEÑANZA SUPERIOR A DISTANCIA

Revisemos algunas definiciones de lo que se entiende por enseñanza a distancia. Aquí se han querido recoger aquellas que se acercan más a lo que se entiende por educación a distancia:

* "Definir la enseñanza a distancia por que no es imprescindible que el profesor esté junto al alumno, no es del todo exacto, aparte de ser un rasgo meramente negativo. En la enseñanza a distancia la relación didáctica tiene un carácter múltiple. Hay que recurrir a una pluralidad de vías. Es un sistema multimedia" (Marín Ibáñez, 1984, p. 477).

* "La educación a distancia es una estrategia educativa basada en la aplicación de la tecnología al aprendizaje sin limitación del lugar, tiempo, ocupación o edad de los estudiantes. Implica nuevos roles para los alumnos y para los profesores, nuevas actitudes y nuevos enfoques metodológicos" (García Llamas, 1986, p.lO).

* «Se establece que la única diferencia real entre la educación presencial y a distancia reside en que en ésta sus procesos de comunicación están mediados tecnológicamente)> (Martín y Ahijado, 1999, p. 25).

Varias son las dimensiones específicas que caracterizan la enseñanza a distancia según los autores consultados: es multidimensional, se realiza por vías diversas, exige la bidireccionalidad de la comunicación, implica formas flexibles de organizar el proceso didáctico, es masiva y dispersa. ¿Cómo evaluar una modalidad de enseñanza con estos rasgos diferenciales?

Como ya se ha visto, el término evaluación ha sido definido por muchos autores; sin embargo, no resulta fácil encontrar una definición referida a la evaluación de la educación a distancia, tal vez porque el concepto de evaluación es el mismo que el de la enseñanza presencial, y las diferencias en el proceso de evaluación son escasas. De las pocas definiciones encontradas nos quedamos, por su simplicidad y afinidad con lo que nosotros entendemos por evaluación de la enseñanza a distancia, con la que sigue:

"La evaluación es el medio con el que podemos determinar silos objetivos pretendidos se están consiguiendo o no, y de qué manera se puede mejorar el aspecto evaluado; esto es, el de educación a distancia" (Proyecto Sócrates ODL, 2000).

La evaluación, así concebida, implica la valoración y el análisis de procesos pios de la metodología a distancia, como son: análisis de necesidades, conización, diseño y desarrollo, producción, impartición y evaluación. El proceso de evaluación es considerado como una serie de etapas:

1. Identificar las metas y los objetivos de aprendizaje.

2. Desarrollar criterios de actuación para cada objetivo de aprendizaje.

3. Determinar el trabajo necesario para alcanzar esas metas.

4. Seleccionar y aplicar métodos de valoración de cada objetivo de aprendizaje.

5. Definir correctamente los canales de retro-alimentación para conseguir información útil para la evaluación.

6. Clarificar los criterios de ejecución aceptable.

Se aconseja aplicar este proceso de evaluación en tres fases:

* Clarificar lo que se desea que haga el sistema: clarificar la naturaleza del sistema, política y prioridades.

* Averiguar cómo va a funcionar el sistema, es decir: cómo se van a conseguir los propósitos del sistema. Los autores en este sentido proponen la combinación de la evaluación participante, con la auto-evaluación y la evaluación de expertos.

* Establecer cómo se va a saber si se están logrando esas metas, o si el sistema debe ser modificado de alguna forma.

Un ejemplo de guía de evaluación para la enseñanza a distancia es la desaen el ámbito del Proyecto ODL (Programa Sócrates, 2000). El instru[aborado se estructura en cuatro secciones:

1. Análisis

a. Visión global del Centro de Enseñanza a Distancia (EAD)

b. Visión global del Programa de Formación

c. Análisis de Mercado

2. Diseño y desarrollo

3. Producción

4.Impartición

Dentro de cada sección se plantean una serie de objetivos, y se realizan una serie de preguntas que sirven de guía para llevar a cabo una autoevaluación del curso o programa a distancia.

Conviene tener en cuenta algunas cautelas en relación con todo proceso de evaluación de programas a distancia; algunas de ellas se refieren a:

A. La evaluación del programa:

* Cualquier curso diseñado para este tipo de educación requiere mayor flexibilidad que un curso diseñado para la educación presencial, debido a que:

* El grupo de alumnos al que va destinado es mayor que el de la educación presencial.

* El grupo de alumnos en la educación a distancia es más heterogéneo, y por tanto está menos definido.

* El contenido del curso necesita un mayor nivel de detalle y elaboración (mejor explicación, inclusión de ejercicios y tareas, una guía de ayuda al estudiante, y una serie de ejercicios de autoevaluación). En este sentido, es importante que se den ejercicios variados para evitar la desmotivación del estudiante producida tanto por la dificultad en la tarea, como por la facilidad de la misma. Es aquí donde la autoevaluación tiene un valor necesario e importante para la mejora de la calidad del curso y del aprendizaje del alumno.

B. La evaluación del profesor:

* La mayoría de las veces el curso está desarrollado por un equipo, por lo que a veces la dificultad está en evaluar a más de un profesional a la vez. Además, como consecuencia de la heterogeneidad del contexto en el que se desarrolla la educación, los resultados de la evaluación a veces no permiten saber a qué son debidos, lo que dificulta la tarea de mejora.

* El profesor no siempre mantiene una relación permanente con el alumno, lo cual dificulta la evaluación de la docencia.

C. La evaluación del esudianíe:

* El aislamiento del estudiante, el cual apenas tiene contacto con el profesor y con el resto de los estudiantes, dificulta la evaluación. Los resultados no sólo dependen del tipo de programa o de la enseñanza del profesor; también, y sobre todo, dependen del esfuerzo y satisfacción del alumno, pues no hay que olvidar que este tipo de aprendizaje es sobre todo individual; y dependen también de los medios de los que disponga el alumno.

Considerando todo lo expuesto hasta ahora, y teniendo en cuenta los estudios que se han realizado sobre evaluación a distancia, consideramos que es fundamental realizar más investigaciones sobre:

* Indicadores de calidad en la educación a distancia.

* Evaluación de Programas en Enseñanza a Distancia y Abierta.

4. EL PLAN NACIONAL DE EVALUACIÓN DE LAS UNIVERSIDADES EN ESPAÑA

Estos dos objetivos generales forman parte de los propósitos con los que se formula el Plan Nacional de Evaluación de las Universidades cuyos antecedentes, objetivos y desarrollo se presentan a continuación.

4.1. ANTECEDENTES DEL PNECU

El Programa Experimental de Evaluación Institucional de las Universidades, la participación de España en el Proyecto Piloto de la Unión Europea para la Evaluación de la Calidad de la Enseñanza Superior y las experiencias de evaluación institucional de calidad llevadas a cabo por varias universidades de forma independiente o participando en proyectos internacionales (OCDE, CRE, etc.) llevaron al Consejo de Universidades1 junto con el Ministerio de Educación y el Gobierno a establecer mediante Real Decreto 1947 de 1 de diciembre de 1995 el Plan Nacional de Evaluación de la Calidad de las Universidades (Consejo de Universidades, 1995). El objetivo del Programa Experimental de Evaluación Institucional de las Universidades fue poner a prueba una metodología de evaluación institucional, inspirada en experiencias internacionales. El programa se puso en marcha en 1992, y se desarrolló durante el curso 1993-1994. Se diseñó para evaluar la calidad de la docencia, la investigación y la gestión universitaria y se elaboraron protocolos de evaluación para cada una de las dimensiones del programa.

Algunas deficiencias encontradas en el programa anterior se subsanaron con la participación española en el Proyecto Piloto de la Unión Europea para la Evaluación de la Calidad de la Enseñanza Superior. Este proyecto se desarrolló durante el curso 1994- 1995 y sus objetivos generales fueron: intensificar el conocimiento de la necesidad de la evaluación de la calidad en la enseñanza superior, introducir una dimensión europea en la evaluación de la calidad, enriquecer los procedimientos existentes de evaluación de la calidad a nivel nacional, y contribuir a mejorar el reconocimiento de los diplomas y periodos de estudio promoviendo la cooperación entre las instituciones y mejorando la comprensión mutua de los programas estudiados en los distintos países.

La metodología del proyecto fue de carácter mixto (autoevaluación y evaluación externa) y se diseñó incorporando los elementos comunes a los diferentes sistemas de evaluación universitaria existentes en la Unión Europea. La homogeneidad de su aplicación se aseguró a través de una Guía de Evaluación, en la que se recogían los puntos a evaluar y los criterios y procedimientos a seguir. Sobre la Guía cada país realizó las adaptaciones pertinentes en función de las peculiaridades de los respectivos sistemas universitarios.

Las conclusiones de estas dos experiencias se tienen en cuenta para diseñar el Plan Nacional de Evaluación de la Calidad de las Universidades. Estas se concretan en los siguientes aspectos: elevado interés por la evaluación de la calidad en la comunidad universitaria, poca preparación técnica para la evaluación de los miembros participantes de cada universidad, poca disponibilidad de datos para realizar la evaluación, falta de objetivos y conciencia de evaluación en la mayoría de las universidades, y necesidad de que la evaluación tenga consecuencias prácticas para el desarrollo de la universidad.

4.2. OBJETIVOS Y FINALIDAD DEL PNECU

El Plan Nacional de Evaluación de la Calidad de las Universidades orientado a la mejora de la Calidad de la Institución Universitaria en los ámbitos de enseñanza, investigación y servicios tiene como objetivos:

* promover la evaluación institucional de la calidad de las universidades

* elaborar metodologías homogéneas para la evaluación de la calidad integradas en la práctica vigente en la Unión Europea

* ofrecer información objetiva que pueda servir de base para la adopción de decisiones de las distintas organizaciones y administraciones universitarias (Consejo de Universidades, 1995, 2000).

Para desarrollar tales objetivos el Plan Nacional adopta los siguientes criterios (Consejo de Universidades, 1999a): orientación a la mejora de la calidad, centrando la evaluación en la titulación y el Departamento como ámbito institucional; participación voluntaria de las universidades con la posibilidad de diferentes niveles de complejidad y ritmos de ejecución para fomentar una cultura de evaluación y de mejora de la calidad; adopción de un marco de referencia común para el conjunto del sistema universitario estableciendo instrumentos organizativos que aseguren tanto la presencia como la cooperación de las Comunidades Autónomas en los órganos colegiados de gestión del Plan; y por último, la evaluación se extiende a la enseñanza, la investigación y a la organización universitaria.

El Plan tiene una duración de cinco años ejecutable a través de convocatoñas anuales, para permitir así que la mayor parte de las titulaciones y departamentos de las Universidades españolas, públicas o privadas, puedan integrarse en los procesos de evaluación. En 1996 se celebró la primera convocatoria que se ha visto continuada con las nuevas convocatorias publicadas en 1998, 1999 y 2000.

4.3. METODOLOGÍA DEL PNECU

En las convocatorias anuales de proyectos de evaluación se especifican las modalidades de los mismos, los requisitos para participar en las convocatorias y la financiación de los proyectos. El contenido de los proyectos de evaluación puede ser temático o global, en ambos casos la metodología a seguir es mixta, de autoevaluación y evaluación externa, considerando la titulación siempre como unidad mínima de análisis. La evaluación tiene por objeto de forma integrada la enseñanza, la investigación y la gestión de los servicios universitarios (Consejo de Universidades, 1995, 2000).

Las universidades pueden presentar propuestas de acciones especiales gestionadas por una o varias universidades. Los proyectos globales se refieren a una Universidad en su conjunto. Los proyectos temáticos se refieren a una titulación o a un conjunto de titulaciones del mismo campo científico en una o varias universidades. Y las acciones especiales se pueden referir a aspectos como infraestructura necesaria para los procesos de evaluación, elaboración de metodología de evaluación y acciones de mejora de la calidad.

Un primer paso antes de iniciar el proceso de evaluación, y que va unísono a la presentación del proyecto de evaluación en la convocatoria determinada, es la definición por las propias universidades de las titulaciones objeto de evaluación, estructura organizativa y método o proceso de evaluación, dentro de los márgenes establecidos en la Guía de Evaluación (Consejo de Universidades, 1996, 1998, 1999b). Este instrumento metodológico elaborado por el Comité Técnico del Plan abarca las tres dimensiones de la evaluación (Enseñanza, Investigación y Gestión), así como directrices sobre el método y organización del proceso.

El proceso de evaluación (Consejo de Universidades, 1999a) se inicia, una vez aprobado el proyecto por el Consejo de Universidades o por las Agencias de las Comunidades Autónomas, con una fase de revisión interna, que se denomina Autoevaluación, responsabilidad de cada universidad, y que a través de un Comité de Evaluación Interno elabora un informe. En dicho informe se describen los objetivos y la situación de cada unidad de evaluación, se valoran las fortalezas y debilidades de la titulación y de los departamentos, y se realizan propuestas concretas para mejorar la calidad. Dicho comité cuenta con el apoyo y asesoramiento de una Unidad Técnica durante todo el proceso de autoevaluación.

Una segunda fase la constituye la Evaluación externa, responsabilidad de la Secretaría General del Consejo de Universidades. Cada unidad evaluada recibe la visita de un Comité Externo, formado por un Experto académico, un Representante del mundo empresarial y un Experto en metodología de la enseñanza y la evaluación universitaria. Este comité es seleccionado por el Consejo de Universidades, y su función es analizar el informe de autoevaluación, contrastándolo con la información que obtiene al realizar entrevistas a miembros de todos los niveles de la comunidad universitaria y elaborar un informe de evaluación externa donde se valoran los objetivos, la situación, los puntos fuertes y débiles al mismo tiempo que se formulan recomendaciones para mejorar la calidad.

El proceso de evaluación concluye con la redacción, por el Comité de Evaluación de la Unidad Evaluada y en su caso de la Universidad, de un Informe final de carácter público que integra los documentos generados en la autoevaluación y en la evaluación externa. Un último elemento lo constituye el Informe anual sobre la situación del Plan Nacional de Evaluación de la Calidad las Universidades que debe aprobar el Consejo de Universidades, cuya elaboración corresponde al Secretario General del Consejo de Universidades, y que recoge globalmente los resultados del Plan.

4.4. ORGANIZACIÓN DEL PNECU

El Pleno del Consejo de Universidades propone al Gobierno las modalidades y requisitos de cada convocatoria. Mediante una Comisión Ejecutiva realiza el control y seguimiento de la ejecución del programa y aprueba el informe anual sobre la calidad de las Universidades.

El Secretario General del Consejo de Universidades cuenta con un Comité Técnico, formado por expertos en evaluación de la enseñanza, la investigación y la gestión universitaria. A este Comité le corresponden las siguientes funciones (Consejo de Universidades, 1995, 2000): aprobar los protocolos, guías y normas técnicas para la evaluación de la calidad de las universidades; evaluar la calidad y viabilidad de los proyectos presentados por las universidades; organizar la formación y preparación de evaluadores de las universidades; nombrar a los evaluadores externos que participen en cada proyecto; aprobar un informe sobre cada proyecto de evaluación; colaborar con el Secretario General en la elaboración de un informe anual sobre la calidad de las universidades que será sometido a dictamen de la Comisión de seguimiento para su aprobación en el Pleno del Consejo de Universidades; y asesorar al Secretario General en todos los temas relacionados con el Programa Nacional de Evaluación Institucional de la Calidad de las Universidades.

Para atender al Secretario General en las tareas derivadas de la coordinación y gestión del Plan, el Consejo de Universidades ha propuesto crear una Oficina de Gestión de Evaluación de la Calidad de las Universidades, dotada de personal cualificado para las tareas de evaluación. Las Comunidades Autónomas que han asumido la gestión de la evaluación en la zona de su competencia (Andalucía y Cataluña), han creado sus propias Agencias de Evaluación coordinadas con el Plan Nacional de Evaluación. Y por último, en cada Universidad existe un Comité de Evaluación presidido por el Rector, responsable de la calidad en su Institución, y una Unidad Técnica para apoyo y asesoramiento.

4.5. RESULTADOS

Los resultados que se exponen a continuación, en líneas generales, se refieren a los obtenidos en la primera y segunda convocatorias del PNECU (Consejo de Universidades, 1999a, 2000).

Respecto a la participación, se puede decir que ésta ha aumentado considerablemente lo que implica una clara concienciación hacia la evaluación de la calidad y mejora en la universidad. De 46 universidades públicas y privadas que participaron en la primera convocatoria a 51 universidades que lo han hecho en la segunda, se ha dado un incremento bastante importante tanto en desarrollo de proyectos globales como en participación de todos los niveles de la comunidad universitaria en los distintos procesos de evaluación, jornadas, autoevaluación, evaluación externa.

El desarrollo del proceso de evaluación es satisfactorio aunque susceptible de mejorar en posteriores convocatorias. La debilidad más significativa es la inadecuación de los datos disponibles. Los informes son más descriptivos que valorativos, dan prioridad al análisis de la enseñanza frente al de la investigación y servicios, y reflejan una consolidación generalizada de las Unidades Técnicas. Por otro lado, se han llevado a cabo acciones especiales en 29 universidades, orientadas a formación en temas de evaluación y mejora de la calidad, organización de foros y seminarios de debate sobre temas metodológicos y sobre mejora de la calidad de las universidades en todos sus ámbitos, y a la elaboración de nuevos materiales para la evaluación y la revisión de los existentes. Y en cuanto al cumplimiento de las fases previstas, parece conveniente revisar la necesidad, utilidad o estructura de los informes finales de titulación y universidad, así como la duración necesaria y deseable de un proceso de evaluación.

Los Comités de Evaluación Externa consideran que la mayoría de los autoinformes reflejan los puntos fuertes y débiles de la titulación o departamento evaluado. En algún caso se ha apreciado que este análisis refleja parcialidad, poca claridad en los resultados, falta de justificación en las valoraciones e incluso no se concretan propuestas para mejorar la calidad.

La situación de la Universidad se puede sintetizar señalando los puntos fuertes y débiles detectados en estas dos convocatorias. Como puntos fuertes se señalan: incremento de la calidad y cantidad de producción científica, mejora de la concreción y operatividad de las fases anteriores del proceso evaluador, y logro de un compromiso institucional de mejora. Como puntos débiles se señalan: indefinición de objetivos, dificultades estructurales, cierta desorientación metodológica confundiendo los Informes Finales de Titulación con el Informe Final de Universidad, y desfase entre lo proyectado y la realización, ya que la cantidad de informes finales obtenidos en la segunda convocatoria son menos de los que se esperaban.

4.6. CONCLUSIONES Y PROPUESTAS

En primer lugar se exponen las conclusiones o alternativas para mejorar la calidad, y en segundo lugar algunas propuestas para mejorar el PNECU (Consejo de Universidades, 1999a, 2000).

La primera de las conclusiones es consecuencia de la falta de concreción de las metas y objetivos de la enseñanza y de la investigación en la mayoría de los informes de evaluación. Esto implica que habría que identificar con precisión, en el ámbito de la universidad, la finalidad de cada titulación y los objetivos institucionales de la investigación a través del Plan Estratégico en cada Universidad. Éste debe contemplar los objetivos a alcanzar a corto y medio plazo, los recursos y los procesos necesarios para llevar a cabo las actividades propuestas en el Plan.

Por otro lado, es importante fomentar la participación de todos los miembros de la comunidad universitaria en los procesos de autorregulación: intensificando la planificación en todas las unidades y servicios de la institución, estableciendo como requisito para una propuesta de mejora un informe evaluativo justificativo de la misma, y sensibilizando a los miembros de la comunidad hacia una cultura de evaluación para promover cambios y mejoras en las instituciones universitarias.

Respecto a la enseñanza, se deberá racionalizar los planes de estudio para corregir las deficiencias detectadas, tales como el número de horas de clase, la organización de itinerarios, la fragmentación de las asignaturas, la escasa optatividad real para el alumno o la reducida dimensión práctica del programa docente, etc. Para fortalecer los elementos de cohesión interna de los programas docentes se sugiere la creación de un órgano responsable directo de la gestión y de los resultados de cada titulación, con capacidad de decisión efectiva sobre todos los aspectos didácticos y organizativos de cada enseñanza. Y por último, se debería establecer sistemas activos de seguimiento del avance académico de los alumnos y de la inserción laboral y necesidades de cualificación tanto de los graduados como del entorno socioeconómico.

Respecto a los procesos de evaluación, las universidades deberán dotar de recursos y medios para gestionar los procesos de evaluación de forma adecuada: racionalizando las bases de datos y recursos de información de la institución, dotando a las Unidades Técnicas de Evaluación de personal adecuado y recursos necesarios para realizar su tarea de forma eficaz, y realizando la selección de los miembros de los comités de forma correcta para desarrollar la tarea de forma independiente y eficaz.

Y por último, las Universidades deberán asumir públicamente su compromiso institucional con los procesos de evaluación mejorando los sistemas de información a disposición de la Universidad española para incrementar la calidad de las decisiones en todos los niveles del sistema universitario.

En cuanto a las propuestas para mejorar el Plan Nacional de Evaluación, la primera de ellas está relacionada con la organización y gestión del proceso de evaluación que implicaría: reformular la participación de las administraciones educativas de las Comunidades Autónomas en el Plan de Evaluación, para que tengan un protagonismo decisivo en el desarrollo del Plan, por un lado. Y por otro, las actividades del Consejo de Universidades deben asegurar la coordinación y la suficiente homogeneidad de los procedimientos de evaluación.

En segundo lugar, las guías de evaluación deben simplificarse y adaptarse a las singularidades de las ramas disciplinares, y establecer fórmulas para reducir la complejidad organizativa y los costes del proceso de evaluación. Hay que definir con claridad la articulación de la evaluación de la investigación con el resto del proceso, especialmente con la enseñanza, aclarando las relaciones entre los diversos niveles y unidades de evaluación. Se recomienda mejorar la evaluación externa, definir más claramente el papel de los evaluadores, establecer indicadores de calidad que deben utilizar, aumentar la documentación disponible para el proceso de la evaluación externa y profundizar en la formación de los comités externos.

Y por último, se deberá profundizar en la transparencia de los procesos que realizan las universidades, proporcionando mayor información a los ciudadanos: publicando los informes detallados sobre la evaluación de las titulaciones, departamentos y universidades, preparando un sistema de indicadores que faciliten información cuantitativa sobre aspectos de la universidad, e iniciando el desarrollo de un sistema de valoración de las titulaciones y departamentos que sea dado a conocer al conjunto de la sociedad y a la propia institución.

5. LA UNED EN EL PNECU: OBJETIVOS Y DESARROLLO DEL PLAN DE EVALUACIÓN

La UNED participa en el Plan Nacional de Evaluación de la Calidad de las Universidades desde 1996 desarrollando planes específicos de evaluación en cada convocatoria. La lectura específica que la UNED hace de los objetivos generales del PNECU se concreta como sigue:

* Contribuir a la formación y extensión de actitudes favorables a la evaluación institucional entre profesores, alumnos y personal de administración y servicios.

* Identificar los puntos fuertes y débiles de las titulaciones a evaluar, sobre todo atendiendo a las exigencias derivadas de la modalidad de enseñanza a distancia.

Se comentan a continuación los objetivos, recursos, metodología y calendario del proyecto de evaluación actualmente en marcha, tal y como se señala en el documento presentado al Plan Nacional en la convocatoria 2001 y que ha sido aprobado para su ejecución.

5.1. OBJETIVOS DE LA EVALUACIÓN

El proyecto de evaluación aspira a cumplir con un doble objetivo:

* Realizar un diagnóstico de las principales fortalezas y debilidades de las Titulaciones evaluadas, que sirva para mejorar la calidad de los servicios que prestan y permita definir sus líneas estratégicas de actuación.

* Proporcionar una información objetiva y fiable del nivel de calidad de la Titulación, tanto a las entidades que contribuyen a su financiación como a los estudiantes y la comunidad universitaria.

Estos objetivos generales se concretan de la siguiente forma:

1. Contribuir a la formación y extensión de actitudes favorables a la evaluación institucional entre profesores, alumnos y personal de administración y servicios.

2. Identificar los puntos fuertes y débiles de las titulaciones a evaluar, sobre todo en relación con las exigencias de la metodología de la enseñanza a distancia.

Este objetivo se concreta como sigue:

2.1. Diagnosticar las actitudes del profesorado, de los profesores tutores y del alumnado hacia la metodología específica de la enseñanza a distancia.

2.2. Establecer la situación actual en lo que se refiere a la aplicación de dicha metodología, valorando la pertinencia y la calidad de:

* los materiales de información, estudio y evaluación;

* los procedimientos administrativos de atención a los alumnos;

* la atención tutorial recibida por los alumnos,

* los procesos de evaluación de los aprendizajes.

2.3. Promover propuestas realistas y viables de mejora en los aspectos anteriores.

3. Identificar los puntos fuertes y débiles de la investigación realizada en la titulación correspondiente.

Este objetivo general se concreta como sigue:

3.1. Diagnosticar las actitudes del profesorado, de los profesores tutores y del alumnado hacia la investigación.

3.2. Establecer la situación actual en lo que se refiere a la participación e implicación del profesorado en tareas de investigación.

3.3. Establecer la incidencia de los resultados de la investigación en la mejora de la calidad de la enseñanza.

3.4. Analizar la incidencia del funcionamiento de los servicios de la Universidad en el desarrollo de los proyectos de investigación.

3.5. Promover propuestas realistas y viables de mejora en los aspectos anteriores.

4. Analizar la situación de los servicios universitarios asociados a dichas titulaciones, identificando sus puntos fuertes y débiles.

Este objetivo general se concreta como sigue:

4.1. Establecer la situación actual en lo que se refiere a los recursos materiales y humanos disponibles.

4.2. Establecer la situación actual en lo que se refiere a la organización y funcionamiento de los servicios universitarios.

4.3. Proponer propuestas realistas y viables de mejora en los aspectos

5.2. METODOLOGÍA DE LA EVALUACIÓN

El desarrollo del proceso de evaluación supone la realización de un procediLo según un modelo desarrollado en la "Guía de Evaluación" elael Consejo de Universidades. Se contemplan tres dimensiones a evaluar: enseñanza, investigación y servicios. La UNED dispone de un "Protocolo de evaluación de la enseñanza", aprobado por su Junta de Gobierno (13.3.98) que adapta la "Guía de Evaluación" a las características específicas de nuestra Universidad. Tal y como establece el sistema de evaluación adoptado en el Plan Nacional, se combina un doble procedimiento:

* Autoevaluación, que consiste en la evaluación que la titulación hace de sí misma y que permite la implicación de la comunidad universitaria para la mejora de la calidad. Esta primera fase concluirá con la redacción de un informe por parte del Comité de Autoevaluación de la Titulación.

* Evaluación externa, realizada por expertos ajenos a la institución y que introduce objetividad al proceso. El Comité externo analizará el informe interno, visitará el centro y elaborará su propio informe externo de evaluación.

Por lo que se refiere a la fase de evaluación interna hay dos elementos de especial relevancia. Por una parte, se trata de recoger una serie de datos objetivos y cuantificados acerca de las condiciones en que se desarrollan la enseñanza, la investigación y los servicios que ofrece la titulación. Por otra parte, se trata de abrir un proceso de reflexión interna en el que deben participar los distintos actores educativos.

El proceso de recogida de datos es especialmente complejo dados los criterios según los cuales la universidad gestiona la información, los cuales no siempre son adecuados para su utilización en procesos de evaluación como el aquí expuesto. El proceso de reflexión, intercambio de puntos de vista y construcción de valoraciones compartidas no ofrece sino las dificultades lógicas que tal ejercicio plantea. En la UNED, no obstante, surgen dificultades logísticas derivadas de la necesidad de garantizar los correspondientes desplazamientos de profesores-tutores y alumnos. Ello obliga a elaborar unos presupuestos ajustados del coste de la evaluación, pues se trata de invertir cantidades, en ocasiones, nada desdeñables.

Las dos etapas señaladas, de autoevaluación y evaluación externa, concluirán en la elaboración de planes de mejora de las unidades evaluadas. En ellos se identificarán las acciones a emprender con objeto de incrementar tanto la calidad de cada Titulación evaluada como de la universidad en su conjunto.

5.3. RECURSOS

Teniendo en cuenta lo expuesto en el apartado anterior, es evidente la importancia crucial que los recursos disponibles para la evaluación tienen a la hora de asegurar el éxito de este proyecto. Tales recursos son tanto humanos como tecnológicos. Los recursos humanos necesarios para el desarrollo del proyecto se concretan en las personas que forman parte de los comités de autoevaluación de cada Titulación y en la Unidad Técnica de Evaluación Institucional de la UNED.

El Comité de Autoevaluación de cada titulación en la UNED está integrado por: el Decano o Director de Escuela; un Vicedecano; todos los Directores de Departamento; un profesor de cada Departamento; elegido de entre los Profesores del mismo; un alumno, un Profesor Tutor y un miembro del PAS, elegidos de entre los miembros de la Junta de Facultad del respectivo estamento; y el Secretario de la Facultad (BICI 30/98).

La Unidad Técnica de Evaluación Institucional se inscribe en el marco del Instituto Universitario de Enseñanza a Distancia (IUED) de la UNED, siendo sus funciones básicas las derivadas de la puesta en marcha y desarrollo del procedimiento de evaluación propuesto en el Plan Nacional de Evaluación y de los planes esnecíficos que contemplen la evaluación institucional en la UNED. Estas concretan en:

* Facilitar la información requerida por la guía de evaluación y su protocolo de adaptación a la UNED, siempre que se encuentre en servicios centrales de la universidad.

* Asesorar a los comités de autoevaluación en el análisis detallado de los protocolos, datos e indicadores propuestos y en la identificación de la información adicional necesaria, así como en sus fuentes de información más apropiadas.

* Facilitar la asistencia en la elaboración, tabulación y análisis de encuestas que se consideren convenientes con objeto de obtener información relevante que permita a los comités de autoevaluación centrarse en la valoración de la información más que en la recolección de la misma.

* Asesorar en la elaboración de los sucesivos documentos a preparar como parte del proceso de evaluación: borrador y versión final del autoinforme, informe final de la titulación, informe final global de la UNED.

* La utilización de las guías y protocolos de evaluación disponibles hacen recomendable su desarrollo en guías operativas que sean de fácil aplicación por parte de los comités de autoevaluación. Estas guías operativas permitirán adaptar el proceso de evaluación a las características propias de la UNED y a las necesidades específicas de las titulaciones evaluadas.

* Organizar jornadas o seminarios de formación con la participación de expertos nacionales para presentar el PNECU y su desarrollo, así como conocer exneriencias desarrolladas en otras universidades. Estas actividades se desarrom el marco del programa de formación desarrollado por el IUED.

* Coordinar las actuaciones de los diversos comités, internos y externos, y personas implicadas en el proceso de evaluación institucional.

* Establecer un sistema de información permanente mediante folletos, carteles, así como aplicando los recursos informáticos disponibles.

La Unidad Técnica de Evaluación Institucional se estructura en tres niveles organizativos en función de la responsabilidad y tareas asumidas en cada uno de ellos: directora, asesores (metodológicos y de contenido) y becarias adscritas a la unidad.

La integración de la Unidad Técnica de Evaluación en el Instituto Universitario de Educación a Distancia permite potenciar las sinergias de este organismo tanto en infraestructuras como en funcionamiento y aprovechar adecuadamente la experiencia de investigación y formación acumulada por el IUED en sus años de existencia. Entre otros recursos ya disponibles en el IUED se consideran:

* Documentación: documentos oficiales, memorias, anuarios estadísticos, publicaciones e informes de investigación. Se considera necesario reelaborar algunas de las encuestas anuales en función de los objetivos del plan de evaluación institucional.

* Recursos audiovisuales, acceso a la red a través de la página web del JUED.

* Guías de evaluación, instrumentos, escalas, encuestas utilizadas en investigaciones anteriores.

* Documentación procedente de otros organismos y universidades en torno a los procesos de evaluación institucional.

* Fondos bibliográficos disponibles en la biblioteca del IUED.

* Infraestructura informática: equipos y software: programas estadísticos y de análisis de datos.

* Medios de difusión de la información: carteles, emisiones radio, tv, acceso a la red, BICI, publicaciones periódicas del propio Instituto.

* Infraestructura: despacho y sala de ordenadores.

5.4. CALENDARIO

La evaluación se está llevando a cabo a lo largo del curso 2000/2001 con la siguiente distribución de tiempos:

1. Fase de autoevaluación: octubre 2000 a marzo de 2001. En esta fase se desarrollarán las siguientes actuaciones:

a. Sensibilización e información a la comunidad universitaria y de forma específica a los profesores, alumnos, tutores y PAS de laç Titi1- ciones evaluadas.

b. Constitución de los comités de evaluación de cada Titulación que inicia su proceso de autoevaluación.

c. Seminario de formación de los miembros de los comités de autoevaluación en la metodología específica de esta evaluación.

d. Identificación y recogida de la información necesaria.

e. Organización y tratamiento de la información.

f. Reflexión y debate a partir de la información Teca badaysistematiz'da.

g. Identificación de los puntos fuertes y débiles de la Titulación.

h. Adopción de acuerdos sobre proyectos de mejora a partir del análisis realizado.

i. Elaboración del informe de autoevaluación.

2. Fase de evaluación externa: marzo 2001 hasta mayo 2001.

3. Fase de redacción del informe final de evaluación: junio de 2001.

6. CONSIDERACIONES FINALES

A partir de un concepto de calidad en la enseñanza relacionada con la consecución de objetivos previstos y adecuados a las necesidades de la sociedad y de los individuos que se benefician de ella, se ha pasado a la definición de Evaluación Institucional como una herramienta de diagnóstico y valoración de la situación en vistas a la mejora de la misma. Esta evaluación estaría orientada por un lado a la mejora de la calidad de la enseñanza, de la investigación y de la gestión, y a la rendición de cuentas en el sentido de orientación para decisiones políticas de asignación de recursos. Por otro lado, esta evaluación tiene una doble función, informar a la sociedad acerca de la calidad institucional y la acreditación de la institución que permita asegurar unos mínimos de calidad.

La evaluación de la universidad desde el punto de vista institucional se está consolidando en estos últimos años en diferentes países de la Unión Europea como Francia, Países Bajos, Gran Bretaña, Holanda, España, etc. El modelo de evaluación adoptado en estos países está basado en el modelo de gestión de la calidad EFQM adaptado a las características específicas de la institución. La metodología que utiliza es mixta, combinándose la autoevaluación con la evaluación externa y la presentación pública de un informe.

Cuando nos centramos en la modalidad de la enseñanza a distancia, con unas características propias, en cuanto a su heterogeneidad de alumnos, diversidad de materiales e importancia de los procesos de comunicación y de las nuevas tecnologías, la evaluación se enfrenta ante ciertos problemas o retos a superar.

A la hora de evaluar hay que tener en cuenta muchos aspectos relacionados tanto con el programa de formación, como con la docencia del profesor como con el propio colectivo de alumnos. Después de revisar diferentes estudios realizados sobre la evaluación a distancia se considera necesario realizar investigaciones para contribuir al desarrollo de indicadores de calidad en educación distancia, así como instrumentos y métodos para llevar a cabo la evaluación de programas de enseñanza abierta y a distancia.

Estos dos grandes objetivos son recogidos de alguna manera por el Plan Nacional de Evaluación de la Calidad de las Universidades (PNECU), orientado a la mejora de la Calidad en la Institución Universitaria en los ámbitos de enseñanza, investigación y servicios.

Los resultados obtenidos hasta ahora de la aplicación del PNECU en sus diferentes convocatorias indican por un lado, que la participación de las instituciones universitarias va aumentando paulatinamente y hay más conciencia de evaluación de la calidad y mejora de la institución. Por otro lado, el desarrollo del proceso de evaluación se encuentra con algunas dificultades relacionadas con la disponibilidad de datos cuantitativos sobre la universidad, y con un cierto temor a realizar valoraciones quedándose los informes a veces en meras descripciones de la situación universitaria, lo que implica que el proceso de evaluación no finaliza adecuadamente con propuestas de mejora de la calidad de la institución.

En el caso particular de la UNED, está participando en el PNECU desde 1996, con el objetivo de contribuir a la formación de actitudes favorables a la evaluación institucional entre profesores, alumnos y personal de administración y servicios, e identificar puntos fuertes y débiles de la titulación evaluada atendiendo a las exigencias de la modalidad de enseñanza a distancia.

Hay que señalar que los resultados del PNECU señalan ciertas dificultades en el proceso de evaluación en general, cuando la mayoría de las universidades participantes en la evaluación son pertenecientes a una modalidad de enseñanza presencial. En el caso de la UNED, cuya modalidad de enseñanza es a distancia, estas dificultades junto con otras de carácter de infraestructura e incluso de organización y descentralización de servicios, hacen que el proceso de evaluación se encuentre con mayores dificultades, que para superarlas requiere de esfuerzos añadidos tanto económicos como personales y organizacionales.

References

REFERENCIAS BIBLIOGRÁFICAS

ALONSO MORILLEJO, E.; REBOLLOSO PACHECO, E.; POZO MUÑOZ, C.; FERNÁNDEZ RAMÍREZ, B. (1999). EVALUACIÓN DE LA CALIDAD EN LA ENsEÑz.k SUPERIOR. Papeles del Psicólogo, no74, pp. 12-17.

APARICIO IZQUIERDO, F.; GONZÁLEZ TIRADOs, R.M. (1994). La calidad de la enseñanza superior y otros temas universitarios. Madrid: Universidad Politécnica de Madrid-Instituto de Ciencias de la Educación.

APODACA, P.; LOBATO, C. (1997). Calidad en la Universidad: Orientación y Evaluación. Barcelona: Laertes.

BRICALL, J.M. (2000). Cap. VII-Calidad y acreditación, en Bricali, J.M. Informe Universidad 2000 (Informe Bricall). Madrid: MEC-Consejo de Universidades, 359-391.

CONSEJO DE UNIVERSIDADES (1996). Guía de Evaluación del Plan Nacional de Evaluación de la Calidad de las Universidades. Primera convocatoria. Madrid: Secretaria General del Consejo de Universidades.

CONSEJO DE UNIVERSIDADES (1998). Guía de Evaluación del Plan Nacional de Evaluación de la Calidad de las Universidades. Segunda convocatoria. Madrid: Secretaría General del Consejo de Universidades.

CONSEJO DE UNIVERSIDADES (1999A). Informe sobre los resultados de la primera convocatoria del Plan Nacional de Evaluación de la Calidad de las Universidades. Madrid: Secretaria General del Consejo de Universidades.

CONSEJO DE UNIVERSIDADES (1999B): Guía de Evaluación del Plan Nacional de Evaluación de la Calidad de las Universidades. Tercera convocatoria. Madrid: Secretaria General del Consejo de Universidades.

CONSEJO DE UNIVERSIDADES (2000). Plan Nacional de Evaluación de la Calidad de las Universidades. Informe Anual de la Segunda Convocatoria. Madrid: Secretaria General del Consejo de Universidades.

CONSEJO DE UNIVERSIDADES, SECRETARIA GENERAL (1995). Programa de Evaluación Institucional de la Calidad de las Universidades. Madrid: Centro de Publicaciones. Secretaría General Técnica.

CONSEJO NACIONAL PARA LA AUTORIZACIÓN DE FUNCIONAMIENTO DE UNIVERSIDADES (CONAFU). (1999A). VOL. 7-Manual del evaluador. Lima: Imprenta Unión de la Universidad Peruana Unión.

CONSEJO NACIONAL PARA LA AUTORIZACIÓN DE FUNCIONAMIENTO DE UNIVERSIDADES (CONAFU). (19998). VoL. 8-Guía para la autoevaluación. Lima: Imprenta Unión de la Universidad Peruana Unión.

COOK, CM. (1998). Quality assessment of university education, en Michavila, F. Encuentro sobre Experiencias y consecuencias de la evaluación universitaria. Madrid: Dirección General de Universidades (Consejería de Educación y Cultura, Comunidad de Madrid), Embajada de los EE.UU. de América, Fundación Universidad-Empresa, 31- 44.

GARCÍA ARETIO, L. (1996). La Educación a Distancia y la UNED. Madrid: IUEDUniversidad Nacional de Educación a Distancia.

GARCÍA ARETIO, L. (1998). INDICADORES PARA LA EVALUACIÓN DE LA ENSEÑANZA EN UNA UNIVERSIDAD A DIsTAncia. RIED, 1(1), 63-85.

GARCÍA ARETIO, L. (1999). HISTORIA DE LA EDUCACIÓN A DISTANCIA. RIED, 2(1), 11-40.

GENTO PALACIOS, S. (1998A). Implantación de la calidad total en instituciones educativas. Madrid: Universidad Nacional de Educacion a Distancia.

GENTO PALACIOS, S. (1 998n). EL MODELO EUROPEO DE CALIDAD EN UNA UNIVERSIDAD A DISTANCIA. RIED, 1(1), 39-62.

LEWIS, R.G.; SMITH, D.H. (1997). Total Qualitv in Higher Education. Florida: The St. Lucie Press. LÓPEZ LUNA, P. (1998). EVALUACIÓN INSTITUCIONAL: HACIA UN MODELO EUROPEO, EN MICHAVILA, F. Encuentro sobre Experiencias y consecuencias de la evaluación universitaria. Madrid: Dirección General de Universidades(Consejería de Educación y Cultura, Comunidad de Madrid), Embajada de los EEUU. de América, Fundación Universidad-Empresa, 95-109

LUJÁN, I.; GARCÍA, LA.; HERNÁNDEZ, P. (1996). INDICADORES DE CALIDAD INSTITUCIONAL EN LA UNIVERSIDAD, PERCEPCIÓN, VALORACIÓN Y GRADO DE SATISFACCIÓN DESDE LA PERSPECTIVA DEL ALUMNADO, EN APOCADA, P. Congreso Orientación Universitaria y Evaluación de la Calidad. Bilbao: Universidad del País Vasco, 179 - 186

MARTIN RODRÍGUEZ, E. y AHIJADO QUINTILLÁN, M. (1999). La educacion a distancia en tieimIpos de cambios: nuevas generaciones, viejos conflictos. Madrid: Ediciones de la Torre

MICHAVILLA, F. (1998). ALGUNAS CONSECUENCIAS DE LA EVALUACIÓN, EN MICHAVILLA, F. Encuentro sobre Experiencias y consecuencias de la evaluación universitaria. Madrid: Dirección General de Universidades (Consejería de Educación y Cultura, Comunidad de Madrid), Embajada de los EE.UU. de América, Fundación Universidad-Empresa, 125-133.

MORA, J.G. (1998). LA MEJORA DE LA INFORMACION, EN MICHAVILLA, F. Encuentro sobre Experiencias y consecuencias de la evaluación universitaria. Madrid: Dirección General de Universidades (Conseeria de Educacion y Cultura, Comunidad de Madrid), Embajada de los EE.UU. de America, Fundación Universidad-Empresa, 135- 143.

NEVO, D. (1997). Evaluación basada en el centro: un diálogo para la mejora educativo. Bilbao: Ediciones Mensajero.

PÉREZ JUSTE, R. (1998). LA CALIDAD DE I.A EDUCACION UNIVERSITARIA. PECULIARIDADES DEL MODELO A DISTANCIA. RIED, 1(1), 13-37.

PROYECTO SÓCRATES ODL. Curso de mejora de la calidad de la Enseñanza a Distancia. Ref: 56591- CP-2- 1999-1 -HU-ODL-ODL.

REAL DECRETO 1947 1995, DE 1 DE DICIEMBRE, POR EL QUE SE ESTABLECE EL PLAN NACIONAL DE LA EVALUACIÓN DE LA CALIDAD DE LAS UNIVERSIDADES. (BOE NUM. 294 DE 9 DE DICIEMBRE DE 1995). RODRÍGUEZ, S. (1996). LA EVALUACION INSTITUCIONAL DE LA UNIVERSIDAD, En Seminario: Evaluación Institucional de la Calidad de las Universidades. Salamanca: Universidad de Salamanca.

RUIZ, J.M. (1996). Como hacer una evaluación de centros. Madrid: Narcea.

WOOD McCARTY, D. (1998). Reflection on assessing the quality of higher education, en Michavila, F. Encuentro sobre Experiencias y consecuencias de la evaluación universitaria. Madrid: Dirección General de Universidades (Consejería de Educación Cultura, Comunidad de Madrid), Embajada de los EE.UU. de América, Fundacion Universidad-Empresa, 249-254.

PÁGINAS WEB

Consejo de Universidades: www.mec.es/consejou

Información sobre calidad en la UNED: www.iued.tmed.es/users/utevildalidad Plan

Nacional de Evaluación de la Calidad de las Universidades (PNECU): www.mec.es/consejoulcalidadSetl .html

Proyecto Sócrates ODL. Curso de mejora de la calidad de la Enseñanza a Distancia:

www.iued.uned.es/users/socrates/indiceprograma.html

Unidad Técnica de Evaluación Institucional de la UNED: www.iued.uned.es/users/utevi