Evaluation. Social programs.
I. LA EVALUACION ENFOCADA A LA TOMA DE DECISIONES
Numerosos autores coinciden en afirmar que uno de los objetivos fundamentales, si no el principal , de la evaluación de programas sociales, es la toma de decisiones.
Así, según Espinoza Vergara (1983), la evaluación tendría dos objetivos principales:
- Medir el grado de idoneidad, efectividad y eficiencia de un programa.
- Facilitar el proceso de toma de decisiones.
Alkin (1972) define la evaluación de programas como el proceso de verificar las áreas de decisión, seleccionando para ello la información apropiada, recopilándola y analizándola, con el objeto de comunicar un resumen de datos que ayude a los encargados de tomar decisiones o escoger entre las alternativas (Medina, 1988, pág. 91).
Por último, Weiss (1975) afirma: "el objetivo de la evaluación es medir los efectos de un programa por comparación con las metas que se propuso alcanzar, a fin de contribuir a la toma de decisiones subsiguientes acerca del programa y para mejorar la programación futura".
La toma de decisiones se refiere a aspectos como:
- El mantenimiento o no del programa.
- El incremento o disminución de su dotación presupuestarla.
- Los elementos del programa a modificar.
- La generalización del programa a otras situaciones.
- La modificación de estrategias de implantación.
- La aceptación o rechazo de un modelo o teoría del programa en ejecución.
- Etcétera
Pero, aunque parece haber acuerdo en la relación entre la evaluación y la toma de decisiones, no está tan claro el papel que debe jugar la información obtenida a través de la evaluación.
La perspectiva positivista tradicional defiende que, a través de la evaluación, se puede llegar a decisiones sobre la terminación o continuación de un programa. Sin embargo, progresivamente se fue reconociendo que el papel de la evaluación era el mejoramiento de los programas (evaluación formativa). Según Palombo y Nachmías (1983), incluso algunos autores como Wildavsky (1979), mantienen que la investigación evaluativa, es unafuente de información para las decisiones políticas, pero no necesariamente la única ni la mejor.
En esta línea, Brendl (1978) señalaba que los políticos consideran a los evaluadores como un grupo de presión más que defienden sus valores.
II. ALGUNOS ASPECTOS COMPLEJOS DE LA EVALUACION
Este proceso decisorio, complejo por sí mismo, puede ver agudizada esta característica por las importantes consecuencias sociales de los programas a evaluar, y las tensiones que ello implica. Como escribía Campbell (1984): "es mucho más difícil ser científico cuando importantes decisiones con implicaciones políticas y económicas descansan en los resultados de aplicar los frágiles instrumentos de evaluación de las ciencias sociales".
Pero la relevancia social es sólo uno de los factores, aunque importante, de los que determinan la dificultad del proceso evaluativo, entre ellos podemos destacar los siguientes:
- La evaluación no es una actividad aislada, sino que debe estar inmersa en un proceso de investigación-acción planificadora, que incluye al menos las siguientes fases:
� Evaluación de necesidades.
� Planificación.
� Programación.
� Implantación. . Evaluación.
En este amplio proceso inciden una infinidad de variables y actores que dificultan la evaluación.
- La evaluación no es una actividad puntual, es un proceso, que constituye una dimensión del propio programa. Esta característica es puesta de manifiesto en la definición de evaluación de la ONU (1984): "es el proceso encaminado a determinar, sistemática y objetivamente, la pertenencia, eficiencia, eficacia e impacto de todas las actividades a la luz de sus objetivos. Se trata de un proceso organizativo para mejorar las actividades todavía en marcha y ayudar a la Administración en la planificación, programación y toma de decisiones futuras" .
Este carácter diacrónico y continuo, introduce elementos que hacen mas compleja la tarea del evaluador, ya que, según esta perspectiva, no basta evaluar los resultados del programa, sino todo el proceso de desarrollo del mismo, incluyendo (Ander-Egg, 1983):
- Evaluación de la fase de diagnóstico o de evaluación de necesidades.
- Evaluación del diseño (evaluación de proyectos).
- Evaluación de la implantación:
* Motivación.
* Realízación de actividades organizativas.
* Disponibilidad de recursos.
- Evaluación del establecimiento del programa.
- Evaluación de la fase de ejecución:
* Propiedad.
* Idoneidad.
* Efectividad.
* Eficiencia.
- Evaluación del perfil estructural y funcional de la organización.
- Evaluación de resultados.
- Evaluación del impacto social y efectos indirectos.
- Evaluación de la coordinación externa.
- Evaluación de la satisfacción de los usuarios.
Una simple revisión de estos aspectos evaluables, nos permite hacernos una idea del coste de tiempo y recursos que supone una evaluación óptima, y la complejidad del sistema de información necesario para aportar los datos para la misma.
- La inexistencia de un modelo único de evaluación de programas es otro de los factores que dificultan el proceso de evaluación. Existen numerosos modelos alternativos, como escribían Palombo y Nachmías (1984):
"El campo de la investigación evaluativa está en una crisis de identidad. Desde su etapa inicial cuando los 60 estaban dominados por un único paradigma y los investigadores creían que su potencial era ilimitado, se ha producido una metamorfosis. En lugar de un paradigma dominante, han surgido varios enfoques alternativos y el escepticismo sobre sus posibles contribuciones ha ido en aumento. House (1980:11), p.e., mantiene que <<la actual escena de la evaluación está marcada por la vitalidad y el desorden. La dimensión, ubicuidad y diversidad de las actividades evaluativa hacen difícil su comprensión, incluso para aquellos que trabajan en el campo>> ".
Incluso autores como Scriven, que encuentran en esta enorme diversidad aspectos positivos, reconocen que es una señal de los importantes problemas metodológicos con los que se encuentra la evaluación.
III. LOS VALORES Y LA EVALUACION
Podríamos seguir relacionando elementos que determinan la complejidad del proceso evaluativo, y la toma de decisiones que conlleva, pero en el resto del articulo nos centraremos en dos de ellos, interrelacionados entre sí:
1. La implicación de los valores en la evaluación.
2. La pluralidad de actores sociales involucrados en la misma.
Toda evaluación comporta valoraciones, juicios de valor y, por tanto, un importante grado de subjetividad. Estamos lejos de la ingenua época, mencionada anteriormente, en la que dominaba un único modelo de evaluación, que era considerado como "objetivo".
Los valores determinan el modelo evaluativo elegido, la metodología utilizada, los indicadores seleccionados, las expectativas o normas con lo que se comparan los resultados obtenidos, etc., incluso las preguntas iniciales a las que la evaluación intenta dar respuesta.
Lógicamente, el reconocimiento del papel que juegan los valores en la evaluación significa, al mismo tiempo, aceptar cierto relativismo: un mismo programa con resultados idénticos puede ser valorado de manera diferente según la metodología elegida, el modo de seleccionar los criterios de comparación, el momento histórico en el que se realiza la evaluación, etc.
Pero este relativismo no debe convertirse en escepticismo, para evitar caer en esta tentación se han propuesto diversas estrategias para, una vez rechazada la utopía de la objetividad, incrementar el consenso intersubjetivo sobre las conclusiones de las investigaciones evaluativas.
Así, McKillip (1987) plantea que el verdadero problema no reside en la existencia de los valores, sino en que estos están implícitos. Cuando los valores que sustentan la evaluación se explicitan y se hacen públicos, pueden ser sometidos a críticas y contrastados y posteriormente revisados, posibilita una evaluación más correcta. De acuerdo con este principio y en el marco de la evaluación de necesidades, McKillip propone un método para implicar a los usuarios de la evaluación en todo el proceso, hacer explícitos sus valores e integrarlos junto con la información recogida mediante los métodos de evaluación en el proceso de adopción de decisiones.
Por otra parte, descartada la existencia de un método de evaluación ideal, se ha propuesto utilizar siempre una variedad de métodos y no un método único. El factor principal en esta estrategia es combinar los métodos elegidos de forma que se basen en fuentes de información diferentes y, así aportar perspectivas distintas. En este sentido se manifestaba Bernard Simonin (1990): "Un objeto de evaluación (una medida, un programa) no se corresponde unívocamente con un método... que aparece como absolutamente superior a los demás. Por otra parte, no es posible aplicar todos los métodos, y así la elección de los métodos es fundamental para llegar a una evaluación de calidad...
Más bien, se trata de concebir la evaluación como una práctica pluralista, intentando estimular diversos tipos de métodos, ya que la selección de dichos métodos viene determinada, tanto por las características de la acción evaluable, por su contexto, por los objetivos prioritarios de la evaluación, así como por la naturaleza de las formas de coordinación social que prevalecen entre los destinatarios de la evaluación".
Parece existir un acuerdo sobre la utilidad de emplear varios métodos, sin embargo, esta estrategia aporta una información más compleja a la/s persona/s encargada/s de tomar decisiones, y como han demostrado Kahneman, Slovic y Tversky 1982) la posibilidad de introducir sesgos en nuestros juicios es mayor cuando nos enfrentamos con información multidimensional compleja; estos sesgos intentan simplificar el problema de la decisión, la adoptan según los valores propios.
Para poder superar esta aparente paradoja (necesidad de utilizar diversos métodos para contrabalancear los efectos de los valores-incremento de la probabilidad de introducir sesgos en la toma de decisiones cuando la información es compleja). McKillip (1987) propone dos métodos:
1. Descomponer la decisión global en sus distintos componentes, es decir, en una serie de decisiones parciales, más simples donde la posibilidad de introducir sesgos es menor.
2. Integrar la información procedente de los distintos métodos empleados en una única dimensión de forma que se simplifique el análisis.
Sobre el papel de los valores, se plantea una pregunta fundamental: ¿Qué valores deben ser considerados en el análisis evaluativo?, y la contestación a esta cuestión nos lleva directamente al tema fundamental de este artículo de debate: la pluralidad de los actores sociales en los programas y su papel en la evaluación.
IV. EL PAPEL DE LOS DIFERENTES ACTORES SOCIALES EN LA EVALUACION
En la realización de programas sociales conviven una pluralidad de actores sociales, entre los que podemos citar
* Los políticos responsables de los programas.
* Los técnicos gestores de los programas.
* Los técnicos que los evalúan.
* Los usuarios del programa.
* La comunidad a la que pertenecen.
Como es evidente, los técnicos gestores de programas y los evaluadores pueden coincidir (autoevaluación) o no (evaluación externa), del mismo modo los usuarios del programa pueden ser una muestra representativa de la comunidad o no.
Una evaluación ideal debería tener en cuenta las diferentes perspectivas de todos los grupos, pero con frecuencia aparecen conflictos de roles sobre el papel que cada uno de ellos debe jugar en la evaluación en especial entre la función de los técnicos y los políticos.
De hecho, para al nos autores como Rein y White (19781 la difícil relación entre los políticos y los científicos sociales es un problema básico de la política social, por cuanto esos grupos no comportan valores, perspectivas, ni el lenguaje que utilizan.
Cohen y Franco, dedican un capítulo de su libro "Evaluación de Proyectos Sociales" (1988) a este importante tema, y en este apartado expondremos su línea argumental, con la que nos identificamos.
Los políticos se mueven fundamentalmente en el ámbito de la planificación y evaluación estratégica, son los responsables de determinar los fines de los programas sociales, los problemas y necesidades que deben priorizarse, y son los encargados de la toma de decisiones basadas en los datos aportados por la evaluación, como afirma Medina y Echevarría (1972): La declaración de fines y metas, la formulación de la imagen ideal de la sociedad pretendida pertenecen en todos los regímenes políticos conocidos a quienes detentan el poder, no importa cuáles sean sus bases y su organización".
Como hemos dicho, esta función política es evidente en la evaluación estratégica y normativa, sin embargo, conforme descendemos en el nivel planificador, este papel se va difuminando. Así, la determinación de los objetivos generales conforme a las metas fijadas por los políticos y la toma de decisiones a nivel de evaluación táctica puede corresponder a técnicos de confianza de los responsables políticos: y si seguimos descendiendo a nivel de la planificación y evaluación operativa, estas funciones pueden pasar a los técnicos gestores de programas.En otras palabras aunque el papel de usuario de la evaluación del programa le corresponde principalmente a los políticos, esta función puede trasladarse a los técnicos en los niveles de planificación más bajo, donde la repercusión de las decisiones a adoptar es mucho menor.
Si la función de los políticos es la adopción de decisiones, el papel de los técnicos se encuentra ligado al pensamiento científico, y su actividad fundamental es la de asesoramiento.
Asesoramiento no sólo sobre la elección del modelo y la metodología de la evaluación, sino sobre su implantación y los procesos lógicos de toma de decisiones.
En este sentido, el técnico "no es más que un experto que ofrece modelos o elabora estrategias" (Medina y Echevarría, 1972, pág. 173), él construye el plan y diseña la evaluación, pero no fija las metas a alcanzar aunque pueda sugerirlos de forma condicional como alternativas posibles.
Estas dos perspectivas son complementarias, pero también pueden ser conflictivas en determinadas circunstancias. Según Cohen y Franco (1988) la dificultad empieza a la hora de fijar donde termina el ámbito de actuación de uno y comienza el del otro. Esta ambigüedad en los límites, lleva a que se niegue, en ocasiones, la necesidad de respetar la existencia de uno y de otro.
Es preciso, pues, reconocer la necesidad de las perspectivas y establecer algunos criterios que permitan delimitar los ámbitos de unos y de otros.
Como punto de partida podemos tomar la expresión de Arida (1987): "las decisiones últimas de la sociedad son de carácter político, pero la preparación de cualquier decisión tiene que ser técnica".
El problema consiste en determinar a priori el punto a partir del cual las decisiones son políticas. No existen normas fijas a este respecto, aunque Cohen y Franco (1968) recomiendan estirar al máximo la esfera técnica de decisión.
Dentro de estos contextos y con un propósito meramente de ejemplo, podemos señalar las siguientes actividades evaluadoras como propias de los técnicos, entre otras:
* Identificar a los usuarios de la evaluación.
* Describir a los usuarios las posibles utilidades de la evaluación y el proceso evaluativo.
* Asesorar a la hora de especificar los objetivos de la evaluación.
* Explicar a los usuarios las ventajas y limitaciones de los modelos y métodos de evaluación, seleccionando conjuntamente los más apropiados a los objetivos y circunstancias de la evaluación.
* Proponer una combinación de métodos que recojan información basada en un conjunto de valores, lo más amplio posible.
* Diseñar y asesorar en la implantación de los sistemas de recogida de la información y registro de los sistemas para la evaluación incluyendo la información.
* Implantar el proceso de evaluación y el análisis de datos.
* Desarrollar procedimientos, mediante los cuales el usuario explicite sus valores y se posibilite la integración de la información procedente de los diversos métodos.
* Implicar a todos los actores sociales relacionados en la evaluación.
* Realizar la presentación escrita y oral del informe final.
Este análisis de actuación se amplía, como hemos mencionado anteriormente, cuando nos movemos a nivel de evaluación táctica u operativa; pero, en todo caso, siempre debe incluir el diseño de estrategias destinadas a vencer las posibles resistencias del sistema y, en especial, de los profesionales a la evaluación, ya que como señala Medina (1988): "La evaluación no sólo describe sino que también crea dinámicas e interacciones conflictivas" (pág. 103). Este mismo autor sugiere diversos procedimientos para minimizar estos conflictos:
* Creación de una estructura que, integrando representantes de todas las partes, se encargue de detectar y resolver conflictos. Esta deberá poseer mecanismos de resolución de tensiones claramente identificados y conocidas.
* Desligar el evaluador de la toma de decisiones relacionadas con la planificación y gestión, limitando su papel al de aportar información al sistema. En este sistema es preciso que el personal del programa se sienta seguro de poseer, por lo menos, tanto control como el evaluador sobre las modificaciones que se puedan realizar en los programas.
* Involucrar al personal en el desarrollo de la evaluación y, sobre todo, en la elaboración de las conclusiones. Esta involucración debe ser tanto mayor cuanto mayor sean las repercusiones que la evaluación tenga sobre los individuos.
No quisiera concluir sin indicar una responsabilidad de todos, políticos, evaluadores y responsables de programas, y que puede resumir el presente artículo, extender en todo el campo de la intervención social una actitud flexible, al admitir una diversidad de valores, y pluralista, al aconsejar los diversos multimedios.
BIBLIOGRAFIA
© 1992. This work is licensed under https://creativecommons.org/licenses/by-nc-nd/4.0/deed.es_ES (the “License”). Notwithstanding the ProQuest Terms and Conditions, you may use this content in accordance with the terms of the License.