INTRODUCCIÓN

La investigación evaluativa ha ido perfilándose como una metodología concreta en los últimos años, esta metodología queda delimitada por; una terminología propia, un conjunto de herramientas conceptuales y analíticas específicas, y unos procesos y fases también específicos (Herreras, 2003). Además de ello se constituye como un campo innovador de investigación donde convergen poderosos avances alrededor de la evaluación y de la investigación misma.

Según menciona Rivas (2010) la investigación evaluativa se desarrolla como un modelo pertinente de valoración de proyectos sociales y especialmente educativos, dada su flexibilidad y rigurosidad en términos de tiempo, espacio, actores, objetivos y resultados. Para otros investigadores como Ruthman, (citado por Cook y Reichardt, 2005), es un proceso de aplicar procedimientos científicos para acumular evidencia válida y fiable sobre la manera y grado en que un conjunto de actividades específicas produce resultados o efectos concretos.

Según esa referencia, la investigación evaluativa obtiene de manera reflexiva y sistemática información sobre un programa o proyecto, sobre su funcionamiento y sobre sus efectos y consecuencias, con el fin de construir nueva información y evidencia, para los actores del programa educativo, acerca de cómo se está desarrollando el proyecto, a que resultados se han logrado. En este sentido Correa, Puerta y Restrepo (1996) describen que en síntesis el propósito de este tipo de metodología de investigación es proporcionar información útil para tomar decisiones con respecto a un programa, ya sean estas de planeación como resultado de la evaluación de contexto; de estructuración como resultado de la evaluación de insumos; de implementación como resultado de la evaluación de proceso o de reciclaje como resultado de la evaluación de producto.

CONCEPTUALIZACIÓN

El concepto de evaluación, según señala Argilaga (1989), no es consistente, y las diversas posturas adoptadas oscilan entre la construcción de conocimientos que pudiera garantizarle el carácter de disciplina básica, y la recogida de información que trata de dar cuenta de la ejecución de ciertas actividades realizadas previamente. Cordray y Lipsey (1987) describen que existen, por tanto, múltiples puntos de vista, si no paradigmas acerca de cómo debe conducirse la evaluación.

La investigación evaluativa bebe entenderse como un proceso riguroso, controlado y sistemático de recogida y análisis de información valida y fiable para tomar decisiones acerca del programa educativo; y así aumentar la racionalidad de las decisiones acerca de la puesta en marcha, sobre su desarrollo y evaluación evitando la excesiva dependencia de las decisiones políticas (Tejedor et al, 1994). La investigación evaluativa suele englobarse, junto a la investigación-acción, en el marco de las metodologías orientadas a la práctica educativa.

En ese sentido, la investigación evaluativa es decisiva para la toma de decisiones y está orientada a determinar la eficacia de organizaciones y programas educativos (Del Rincón et al., 1996). Pina (1993) señala que algunos autores utilizan indistintamente los términos "investigación evaluativa " y "evaluación de programas". Ciertamente, a menudo se suele utilizar el concepto de investigación evaluativa para identificar una modalidad de investigación destinada fundamentalmente a la evaluación de programas.

MODELOS Y VISIONES DE LA INVESTIGACIÓN EVALUATIVA

Medina y Villar (1995) proponen cuatro modelos; conductistas, eficientistas, humanístico y holístico y tres modelos de evaluación educativa; eficientista, humanístico y holístico. Sin embargo para Boruch y Wortman (1979) no existe un modelo generalizado de investigación evaluativa.

La clasificación de los enfoques en la evaluación de programas ha originado una abundante literatura, distinguiéndose desde 1975 hasta hoy ocho tipologías de evaluación que arrojan cerca de cincuenta categorías (De la Orden, 1985). Los trabajos desarrollados por Stufflebeam y Shinkifiel (1987) han servido de base para tratar de establecer los trece tipos de evaluación que reflejan hoy en día los principales modelos para evaluar aspectos educativos. A diferencia Ramos (1991) propone cuatro aproximaciones metodológicas en la evaluación de programas: experimentalista-cuantitativo, descriptivo-cualitativo, ecléctico y analista del coste-beneficio.

En otro contexto Scriven (1994) ofrece una clasificación de los modelos de evaluación en donde identifica seis visiones o enfoques alternativos en la fase “explosiva” de los modelos que tuvo lugar en los años setenta, además de algunas más que denomina “exóticas” y que se mueven entre los modelos de jurisprudencia y de experto A continuación presentamos estas visiones y los “modelos” que se adscriben a ellas:

1. La visión fuerte hacia la toma de decisiones (visión A) concibe al evaluador investigando con el objetivo de llegar a conclusiones evaluativas que le ayuden al que debe tomar decisiones. Los que apoyan este enfoque se preocupan de si el pro grama alcanza sus objetivos, pero van más allá, cuestionándose si tales objetivos cubren las necesidades que deben cubrir. Esta posición es mantenida, aunque no la hiciera explícita, por Ralph Tyler y extensamente elaborada en el modelo CIPP (Stufflebeam, 1971).

2. la visión débil hacia la toma de decisiones concibe al evaluador proporcionando información relevante para la toma de decisiones, pero no le obliga a emitir conclusiones evaluativas o críticas a los objetivos de los programas. El representante teórico más genuino es Alkin (1969), que define a la evaluación como un proceso factual de recogida y generación de información al servicio del que toma las decisiones, pero es éste el que tiene que tomar las conclusiones evaluativas. Esta posición es lógicamente popular entre los que piensan que la verdadera ciencia no debe o no puede entrar en cuestiones de juicios de valor.

3. La visión relativista mantiene la distancia de las conclusiones evaluativas pero usando el marco de los valores de los clientes, sin un juicio por parte del evaluador cerca de esos valores o alguna referencia a otros. Esta visión junto con la anterior ha permitido su integración sin problemas en la investigación evaluativa (Escudero, 2005).

4. La visión de la descripción fértil, rica, completa, es la que entiende la evaluación como una tarea etnográfica o periodística, en la que el evaluador informa de lo que ve sin intentar emitir afirmaciones valorativas o inferir conclusiones evaluativas, ni siguiera en el marco de los valores del cliente como en la visión relativista (Escudero, 2005).

5. La visión del proceso social, resta importancia a la orientación sumativa de la evaluación (decisiones externas sobre los programas y rendición de cuentas), enfatizando la comprensión, la planificación y la mejora de los programas sociales a los que sirve. De hecho, Cronbach (1982) entiende a la evaluación de programas como un instrumento importante de desarrollo social y comunitario (Escudero, 2004) Sus posiciones quedaban claramente establecidas en noventa y cinco tesis que han tenido una enorme difusión entre los evaluadores y los usuarios de la evaluación (Escudero, 2004).

6. La visión constructivista de la cuarta generación, es la última de estas seis visiones, mantenida por Guba y Lincoln (1989). Esta visión rechaza una evaluación orientada a la búsqueda de calidad, merito, valor, etc. y favorece la idea de que ello es el resultado de la construcción por individuos y la negociación de grupos. Esto significa según el autor que el conocimiento científico de todo tipo es sospechoso, discutible y no objetivo.

TIPOS DE EVALUACIÓN DEL MODELO CIPP (CONTEXTO, ENTRADA, PROCESO Y PRODUCTO)

Según manifiesta Rodgers (1979) se puede establecer una relación entre el modelo CIPP con; los tipos de decisión, los tipos de evaluación y el desarrollo de un programa. Stufflebeam y Shinkifield (1987), percibieron con toda claridad los componentes generales de su sistema; contexto, entrada, proceso y producto. Además los trabajos desarrollados por estos investigadores han servido de base para tratar de establecer los trece tipos de evaluación que reflejan hoy en día los principales modelos para evaluar aspectos educativos.

Herreras (2003) menciona que el modelo CIPP representa un enfoque de evaluación global e integrador, vamos a analizar separadamente cada uno de sus tipos de evaluación. Con ello se llegó a la estructura básica del CIPP; evaluación de contexto como ayuda para la designación de las metas; la evaluación de entrada como ayuda para dar forma a las propuestas; la evaluación del proceso como guía de su realización, y la evaluación del producto al servicio de las decisiones de reciclaje (o continuidad del programa). Seguidamente se desarrollan los propósitos y metodologías de las categorías CIPP según Martínez (1996):

1. Evaluación del contexto: trata de identificar las características del entorno en el cual el programa de orientación se va a llevar a cabo; Establece las necesidades de orientación y define aquellos problemas que tienen que ser solucionados. Responde a la pregunta; ¿qué necesitamos hacer?. Su metodología puede incluir entrevistas, reuniones, lectura de informes.

Desatinados a generar hipótesis acerca delos cambios necesarios. Los métodos utilizados serían; (i) Análisis conceptual para definir los límites del entorno en donde desarrollamos el programa, (ii) estudios empíricos para definir las necesidades no satisfechas y las nuevas oportunidades y (iii) juicio por parte de expertos y clientes sobre las metas y objetivos que deseamos alcanzar.

2. Evaluación de Entrada: Es utilizada para determinar cómo utilizar los recursos disponibles para satisfacer las metas y objetivos del programa; trata de responder a la pregunta ¿podemos hacerlo?. La metodología se basa en la revisión del estado de la práctica con respecto a la satisfacción de las necesidades específicas, la valoración de estrategias de soluciones potencialmente aceptables, la escucha del personal para que exprese su interés para poder hacer una estimación realista de los recursos y barrear que serán necesarios abordar durante el proceso de designación de la solución. Rodgers (1979) propone que se pueden utilizar los métodos como la búsqueda de bibliografía, las visitas a programas ejemplares, los grupos asesores y ensayos pilotos.

3. Evaluación del proceso: una evaluación del proceso es una comprobación continua de la realización de un plan. Proporciona «información sobre la eficiencia y la eficacia de las estrategias (Miller y Grisdale, 1975). Persigue proporcionar la información necesaria para determinar si el programa llevado acabo sería aceptado tal cual o corregir aquellos aspectos que no han funcionado.

En cuanto a la metodología a utilizar, el evaluador del proceso puede revisar el plan del programa y cualquier evaluación anterior para identificar aspectos importantes del programa que deben ser controlados. Los métodos; (a) Una persona es asignada exclusivamente para que desempeñe el rol de evaluador, (b) Esta persona supervisa y establece un registro de las condiciones del entorno, los elementos del programa tal y como realmente ocurrieron, los obstáculos y los factores no revistos. (c) Esta persona proporciona una retroalimentación sobre las discrepancias y los defectos del programa a los que tiene que tomar las decisiones finales.

4. Evaluación del producto: es valorar, interpretar y juzgar los logros de un programa. Tiene como finalidad recoger información que nos permita analizar si los objetivos específicos que nos habíamos propuesto alcanzar en nuestro programa han sido logrados o no, con el fin de tomar determinadas decisiones de reciclaje.

Los datos relevantes son recogidos a intervalos de tiempo durante y después del programa. Los métodos que emplea son el estudios de casos y el análisis tiempo / costo. Su objetivo es valorar, interpretar y juzgar los logros de un programa. Su objetivo es averiguar hasta qué punto el programa ha satisfecho las necesidades del grupo al que pretendía servir.

Para Herreras (2003) tal vez el aspecto más difícil dentro de todo el modelo CIPP es que la evaluación del producto requiere, por parte del orientador, que establezca criterios de medida derivados de los objetivos del programa, comparar la información recogida con una serie de «estándares» predeterminados y extraer conclusiones relacionadas con los otros tres tipos de evaluación (contexto, entrada, proceso).

CONCLUSIONES

La investigación evaluativa se ha convertido en una investigación aplicada, una transdisciplina y una profesión orientada a producir conocimiento para mejorar la calidad, la eficacia, la eficiencia y el impacto de las intervenciones públicas contenidas en las políticas, programas y proyectos sociales.

La evaluación de proyectos, también denominada investigación evaluativa, es relativamente reciente como lo es la evaluación de programas en general, aunque en los últimos años se ha constituido en un área del conocimiento capaz de generar enfoques, métodos y nuevas tecnologías vinculadas principalmente a las disciplinas sociales.

Literatura citada

Alkin, M. (1969). Evaluation theory development, Evaluation Comment, 2 (1), 2-7

Argilaga, M. T. A. (1989). Innovaciones en la metodología de la evaluación de programas. Anales de Psicología/Annals of Psychology, 5, 13-42.

Borouch, R. F. & Wortman, P. M. (1979). Implications of educational evaluation for evaluation policy. Review of Research in Education, 7(1), 309-361.

Cook, T.D., Reichardt, Ch. S. (2005). Métodos cualitativos y cuantitativos en Investigación Evaluativa. Madrid: EDICIONES MORATA.

Cordray, D. S. & Lipsey, M. W. (1987). Evaluation studies for 1986: Program evaluation and program research. In D. S. Cordray & M. W. Lipsey (Eds.): Evaluation studies review annual, vol. 1, (p. 17-44) .

Correa Uribe S.; Puerta Zapata A.; Restrepo Gómez B. (1996). Investigación Evaluativa. ICFES. Bogotá.

Cronbach, L. (1982). Designings evaluations of educational and social programs. Jossey-Bass, Chicago

De la Orden, A. (1985). Investigación evaluativo. En Arturo De la Orden. (Ed.) (pp. 133-137): Investigación educativa. Diccionario de Ciencias de la Educación. Madrid:Anaya.

Escudero Escorza, T. (2004). Las tesis de Cronbach sobre la evaluación de programas: El pensamiento de un maestro. Zaragoza, 149-158.

Escudero Escorza, T. (2005). Contextos educativos. Claves identificativas de la investigación evaluativa: Análisis desde la práctica. Zaragoza: Universidad de Zaragoza.

Ramos, J. M. G. (1991). Recursos metodológicos en la evaluación de programas. Bordón. Revista de pedagogía, 43(4), 461-476.

Guba, E. G., & Lincoln, Y. S. (1989). Fourth generation evaluation Sage Publications. Newbury Park, CA.

Herreras, E. B. (2003). Metodología de la Investigación Evaluativa: Modelo CIPP1. Revista Complutense de Educación. 14(2), 361-376.

Del Rincón, D., Arnal, J., & Latorre, A. (1996). Bases metodológicas de la investigación educativa. Barcelona: GR2.

Martínez, C. (1996). Evaluación de programas educativos. Investigación evaluativa. Modelos de evaluación de programas. Madrid: UNED.

Medina Rivilla, A. & Villar Ángulo, L. M. (1995). Evaluación de programas educativos, centros y profesores. Madrid: Editorial Universitas. S.A.

Miller, J. V., & Grisdale, G. A. (1975). Guidance Program Evaluation: What's Out There?. Measurement and Evaluation in Guidance. 8(3), 145-152.

Pina, F. H. (1993). Concepciones en el estudio del aprendizaje de los estudiantes universitarios. Revista de investigación educativa, RIE, 11(22), 117-150.

Rivas, H M. (2010).La investigación evaluativa una alternativa para la valoración de proyectos educativos: caso circulos de aprendizaje. Colombia

Rodgers, R. F. (1979). A student affairs application of the CIPP evaluation model. Evaluation in Student Affairs. American College Personnel Association.

Scriven, M. (1994). Evaluation as a discipline. Studies in Educational Evaluation. 20 (1), 147-166

Stufflebeam, D. L., & Shinkfield, A. J. (1987). Evaluación sistemática: guía teórica y práctica (No. 371.26 S933e). Paidós.

Stufflebeam, D. L. y Shinkfield, A. J. (1987). Evaluación sistemática. Guía teórica y práctica. Barcelona: Paidos/MEC.

Stufflebeam, D.L. (1971). Educational Evaluation and Decision-making, F.E. Peacock Publishing, Itasca, Illinois.

Tejedor, F. J. T., Muñoz-Repiso, A. G. V., & Conde, M. J. R. (1994). Perspectivas metodológicas actuales de la evaluación de programas en el ámbito educativo: Ponencia II. Revista de investigación educativa, RIE, 12(23), 93-128.

Notas de autor

harinjoel@post.unanleon.edu.ni