La participación y la influencia del recordatorio en las encuestas panel online a estudiantes universitarios

Headnote

PALABRAS CLAVE

Panel online, participación, encuestas online, recordatorio, universidad

KEYWORDS

Web based panel, web surveys, remainder, university; academic context.

1. INTRODUCCIÓN

Aunque se puede considerar una técnica joven, en los últimos años las encuestas online se han convertido en una de las principales formas de conseguir información. Académicos y empresas han demostrado que Internet puede ser un recurso muy valioso y que, a pesar de sus limitaciones metodológicas, constituye una fuente de datos cada vez más utilizada para todo tipo de estudios.

El período de tiempo en el que ha surgido esta metodología ha sido relativamente corto, y aún se encuentra en una fase de desarrollo intensivo; no obstante, el número de artículos, ponencias y material publicado es muy abundante y de libre acceso a través de la propia web1.

Todo apunta a que las encuestas online se convertirán en el futuro de la denominada computer-assited survey information collection (CASIC) (Baker, 1998), en un proceso que comenzó hace tres décadas con las entrevistas telefónicas asistidas por ordenador (CATI) (Couper & Nicholls II, 1998), y que fue seguido por las entrevistas personales asistidas por ordenador (CAPI). Los expertos en marketing también comparten este punto de vista, afirmando que la Web es el reemplazo tecnológico para las encuestas telefónicas, tal y como ocurrió con éstas que en los años 70 reemplazaron a las entrevistas personales (Black, 1998; Cleland, 1996; Hollis, 1999).

Por supuesto hay que asumir que las encuestas online tiene ciertas desventajas, principalmente relacionadas con la falta de cobertura y con la no respuesta (Groves, 1989). Para evitar los errores de cobertura y de no respuesta se recurre al uso de paneles online «prerreclutados», en los que los panelistas han sido captados previamente por teléfono o por correo postal. De esta manera, los encuestados cumplen la principal característica para evitar el error de cobertura en encuestas online: que tengan acceso a Internet, dejando como principal preocupación la no respuestas, la cual, tal como explicaremos en el apartado referente al diseño de la investigación, puede darse en muchas y diferentes etapas del proceso (Couper, 2000). En los resultados de la encuesta que nos ocupa veremos que la participación definitiva será muy elevada debido a que este prerreclutamiento selecciona a aquellas personas que realmente están interesadas en participar, ya sea por la recompensa, por compromiso con el tema de estudio, etc. Y por lo tanto el error relacionado con la no respuesta sólo es aplicable a las primeras etapas del prerreclutamiento. Actualmente se puede decir que las encuestas online tienen una calidad alta y que son eficaces en poblaciones donde hay una elevada cobertura de Internet, aunque esto no elimina los problemas que surgen debidos a la no respuesta. Estudios comparativos de la respuesta en encuesta online y en otros tipos de encuestas muestran que las primeras normalmente obtienen niveles de respuesta inferiores, debido principalmente a la falta de principios metodológicos (sobre el diseño del cuestionario, la selección de la muestra, el acceso de los encuestados a los cuestionarios, la metodología del recordatorio...) que favorezcan la respuesta (Gösta & Varedian, 2002; Lozar Manfreda, 2001). Estos principios ya han sido desarrollados para otros tipos de encuesta (por ejemplo, Dillman, 1978, para las encuestas telefónicas), pero aún están por afianzarse para las encuestas online.

En el presente trabajo se expondrán, por un lado, la metodología desarrollada en el diseño de una encuesta panel online concreta (la Encuesta-Panel de Seguimiento de la Actividad Docente de la UCM) y, por otro, las tasas de participación y respuesta que se obtuvieron en su implementación, a la vez que se mostrará la influencia del recordatorio en la participación de los panelistas (Vehovar et al., 2002).

2. DISEÑO DE LA INVESTIGACIÓN

Algunos trabajos comienzan a tratar cuestiones metodológicas que influyen directamente en el desarrollo de las encuestas online, sobre todo centrándose en los problemas de muestreo, en la cobertura de este tipo de encuestas, en el diseño de cuestionarios web o en los incentivos que se les da a los entrevistados como recompensa por su participación (por ejemplo, Lozar Manfreda, 2002; Vehovar, 2000; Schräpler, 2004; Göritz, 2006); todo ello sin olvidar uno de los procesos incluidos en el propio diseño de la investigación: el recordatorio y su influencia en la participación.

El proceso de participación del encuestado en una encuesta online tiene varias etapas: inclusión en la muestra, captación, recepción de la encuesta, respuesta a la encuesta y recepción de las respuestas; y la no respuesta puede producirse en cada una de ellas. Esta no respuesta depende de las características sociales de los entrevistados, de los condicionantes tecnológicas del entorno en que trabajan y del diseño de la investigación (Vehovar, 2002). En este trabajo el principal interés se centra en estudiar la influencia que tienen los recordatorios en la participación de los entrevistados, tomando como ejemplo la Encuesta-Panel 2007 de Seguimiento de la Actividad Docente. Se trata de una encuesta que viene realizando la Universidad Complutense de Madrid desde el año 2005 y que tiene como fin obtener información agregada sobre las incidencias acaecidas en el desarrollo de las actividades docentes (asistencia del profesorado, recuperaciones en caso de ausencia, sustituciones, actividades realizadas en las sustituciones...). La información obtenida en la Encuesta sirve, además de para conocer el nivel de cumplimiento docente, para contrastar la propia información que obtienen los Centros con sus respectivos Sistemas de seguimiento (puede verse información sobre la Encuesta panel, tanto metodológica como referida a los resultados obtenidos, en la Web de la Inspección de Servicios de la UCM: www.ucm.es/dir/3875.htm).

Las encuestas online están adscritas a los mismos códigos y normativas que cualquier otro tipo de encuesta (telefónica, personal o por correo postal). Para garantizar su calidad es imprescindible que aquel que realiza la investigación cumpla la normativa vigente y posea una filosofía de calidad en su trabajo (Páramo Flores, 2004). Ambos requisitos han estado presentes a la hora de realizar la Encuesta-Panel de Seguimiento de la Actividad Docente de la UCM.

El punto de partida a la ahora de diseñar la investigación, tras la experiencia del año anterior (Encuesta-Panel de Seguimiento de la Actividad Docente, 2005- 2006) y la lectura de la bibliografía relacionada (Bosnjak & Tuten, 2003; Church, 1993; Frick et al., 2001; Göritz, 2004; Göritz, 2006; O'Neil & Penrod, 2001), fue la necesidad de realizar recordatorios a los participantes de la Encuesta- Panel para fomentar su participación, además de ofrecer un incentivo por participar -un crédito de libre configuración a los que intervienen regularmente en el panel. De este modo se enviaron hasta dos recordatorios a aquellos estudiantes que no contestaron a la primera comunicación para provocar su participación en el panel. La información de estos recordatorios, de la participación y de las diferentes variables de clasificación serán los datos usados para el análisis de la participación y la influencia del recordatorio en una encuesta panel online.

Así, el presente trabajo tiene dos objetivos, por un lado determinar la participación y por otro analizar la influencia del recordatorio en la participación, obteniendo datos que consideramos que pueden ser predictores del comportamiento de los estudiantes universitarios españoles, en general, en encuesta panel online.

Definición de variables

Con el fin de tratar de explicar la variable participación en el Panel, que como decimos es la variable objeto de estudio, hemos utilizado las variables que mostramos a continuación-las únicas de las que se dispone en la base de datos de la que se extrajo la muestra-, explicando en cada caso cuál es su contenido y si la información de la base de datos fue contrastada con los propios alumnos seleccionados, con el fin de ver su exactitud.

Definición del Universo y de la Muestra

La Encuesta-Panel del Seguimiento de la Actividad Docente del curso 2006- 2007 tiene como objeto conocer el nivel de asistencia a clase del profesorado de la UCM, siendo la actividad docente (clase teórica o práctica) la unidad de análisis -en el curso 2007-08 el seguimiento de las clases se está viendo complementado con el de las tutorías y demás actividades docentes no regulares organizadas por los profesores (seminarios, talleres...). En este sentido la población objeto de estudio es el total de clases que se imparten en un año en los 26 Centros (Facultades y Escuelas) de la UCM.

Con el fin de diseñar una muestra del total de clases impartidas durante el curso seleccionamos una muestra aleatoria de estudiantes (unidad de recogida de la información), que nos informan de manera continuada de las clases (unidad de análisis) a las que asisten en dos días de cada mes. Asumimos que si la muestra de estudiantes es representativa de la población de estudiantes, la muestra de clases que analicemos también lo será de la población de clases programadas durante el curso -de hecho nuestra muestra es robusta ante este supuesto, dado que cualquier alumno de la clase pude informar sobre el hecho de si hay o no hay clase; distinto sería si recogiéramos opiniones de los alumnos sobre la clase.

La muestra de estudiantes está constituida por 26 submuestras independientes de cada uno de los Centros de la UCM, con un tamaño mínimo de 15 estudiantes por Centro, que se incrementa proporcionalmente a su número de Cursos y a los Estudios (licenciaturas, diplomaturas) que imparte. Dentro de cada Centro la selección de los estudiantes se hace de manera estratificada proporcional al número de estudiantes que hay por Estudio, Curso y Turno. A la hora de analizar los datos en el nivel de la UCM la muestra se pondera según el número de profesores que tiene cada Centro, asumiendo que el número de actividades docentes que se programan en el mismo es proporcional a este número.

Para la selección de los panelistas participantes (Sánchez Carrión & Segovia Guisado, 2007) se sacó una muestra aleatoria de 3.091 estudiantes, utilizando como marco muestral un listado de 10.000 estudiantes de la UCM. El listado lo facilitaba el servicio META de la Universidad, y había sido obtenido también aleatoriamente de la totalidad del alumnado. A estos 3.091 estudiantes se les envió una carta por correo ordinario invitándoles a participar; donde se les informaba sobre la Encuesta-Panel y se les indicaba un enlace a una páginaWeb de la UCM desde la cual podían confirmar su participación. Se puede decir que existió un prerreclutamiento de los panelistas, que posiblemente influyó positivamente en los errores de cobertura y en la no respuesta (Couper, 2000), pero sin que ello haya tenido consecuencias sobre la representatividad de los resultados obtenidos, tal como tendremos ocasión de mostrar en otro artículo en el que analizaremos la eventual influencia de la no respuesta en el sesgo de las estimaciones que se hacen en la Encuesta-Panel.

Aceptada la invitación a participar, los estudiantes han recibido periódicamente (una o dos veces al mes y vía correo electrónico) un enlace personal para poder cumplimentar la encuesta, junto a los enlaces para acceder a la página que contenía los documentos y vídeos que explicaban cómo proceder en el trabajo y a la dirección de contacto dentro de la Inspección de Servicios, por si tenían alguna duda.

Tras cumplimentar la encuesta colgada de un servidor de la UCM, que almacenaba en una base de datos toda la información facilitada por los panelistas, se procedía al bloqueo del usuario hasta la siguiente ola para evitar así duplicaciones. Una vez al mes se descargaba la base de datos y se procedía a su análisis.

Como se puede intuir, la población de estudiantes de la UCM que sirve de referencia para las extracciones muestrales de la Encuesta-Panel se situaría dentro de las calificadas como poblaciones saturadas y precisadas, ya que la pobla- ción de internautas universitarios es predecible que supere el 80% de todos los universitarios (aunque no hay estudios disponibles que faciliten este dato).

Resumiendo lo anterior diremos que por lo que respecta a las muestras utilizadas en la Encuesta-Panel éstas se clasifican en tres tipos:

- Muestra 1: Primer contacto.- Muestra de 3.091 estudiantes de la UCM que recibieron una carta solicitando su participación en el panel. La participación se mide por medio de las respuestas de los alumnos que confirman su participación; los que la confirmaron pasaron a ser panelistas.

- Muestra 2: Participación de los panelistas.- Estos son los 889 alumnos que confirmaron su participación en el panel.

- Muestra 3: Actividades docentes.- Se trata de las clases (teóricas y prácticas) a las que asisten los panelistas en cada una de las olas del panel, del orden de unas 1.500, con un total de 13.615 actividades docentes para el total del período analizado.

A la hora de calcular eventuales errores de muestreo consideramos el tercer nivel (Actividades docentes), por ser el que nos interesa. La Encuesta se hace para saber a qué porcentaje de clases asiste el profesor, qué porcentaje queda sin impartir -habida cuenta que las ausencias pueden ser sustituidas por otro profesor-, así como otros parámetros siempre relacionados con las clases (sin descender del nivel de identificación Centro), y nunca con los profesores que las imparten.

Para hacernos una idea de los márgenes de error de muestreo en los que podríamos estarnos moviendo, hemos calculado el error de muestreo del parámetro «clases no impartidas», por ser el de más relieve para los objetivos de la Encuesta- Panel, tanto para el conjunto de la UCM como para un Centro con un número medio de actividades muestreadas (524 actividades).

Habida cuenta de la complejidad del diseño de la muestra, para facilitar los cálculos del error variable de muestreo-tras las ponderaciones realizadas asumimos que la muestra es insesgada- hemos supuesto que tenemos diez muestras replicadas (las diez olas de la Encuesta-Panel), cada una de ellas submuestra aleatoria e independiente de la población de clases impartidas en la UCM durante todo el año, y hemos calculado el error como si se tratase de una muestra aleatoria simple de diez observaciones (el estadístico obtenido en cada una de las olas), con una distribución muestral de la t de Student. Tras los cálculos oportunos tenemos que, con un nivel de confianza del 95%, la estimación del número de clases no impartidas en la UCM tendría un posible error muestral del 0,93% (0,26% si calculáramos los errores asumiendo que la muestra es aleatoria simple) y del 1,09% (1,32% en idénticas circunstancias) en un Centro de aproximadamente 524 actividades. Sirvan estos datos para hacerse una idea de cuál podría ser el error aproximado que se asocia a los distintos parámetros de la Encuesta- Panel, que es especialmente reducido dada la escasa variabilidad de los parámetros considerados.

Obtención de datos

Varias investigaciones inciden en la importancia de diseñar cuestionarios online teniendo en cuenta la experiencia del usuario, los principios de diseño y las pautas de accesibilidad W3C3, ya que elementos tan aparentemente insignificantes como situar las casillas de respuesta (radio-buttons, checkboxes o campos de respuesta abierta) a la izquierda del texto de las categorías, en vez de a la derecha, u obligar al encuestado a cambiar entre teclado y ratón demasiadas veces a lo largo de la encuesta pueden reducir las tasas de participación de la muestra (Lozar Manfreda et al., 2002; Lumsden, 2005a; Lumsden, 2005b; Vehovar et al., 2000).

En la actualidad existen varias formas de diseñar cuestionarios online. Por un lado está el sistema denominado «'screen-by-screen» (las preguntas del cuestionario aparecen pantalla a pantalla) (Dillman & Bowker, 1999) y por otro el cuestionario diseñado sobre una única página Web HTML4 que contenga el formulario completo (Wikipedia, 2007b; Clayton & Werking, 1998). Cualquier combinación de ambos sistema es posible. Existen varios estudios que indican las ventajas y desventajas del uso de cada uno estos diseños, aunque el avance de las tecnologías en lo referente a Internet hace que en estos análisis todavía no estén contempladas muchas nuevas formas de diseñar cuestionarios online. Todo parece indicar que el futuro del diseño de cuestionario evolucionará gracias al denominado AJAX5 (Wikipedia, 2007a), que no es una tecnología en si misma pero sí un término que engloba a varias tecnologías que trabajan conjuntamente. Los primeros prototipos de estos cuestionarios AJAX combinan el diseño de cuestionarios en una sola página HTML con la opción de mostrar bloques de preguntas pantalla a pantalla. Ello permite que el usuario no pierda la perspectiva en la marcha del cuestionario y al mismo tiempo tampoco tenga que esperar a que el servidor Web tramite las peticiones que haga con sus acciones y se las devuelva en una nueva página Web; toda la complejidad del cuestionario se ejecutará del lado del cliente.

El cuestionario online usado en la Encuesta de Seguimiento de la Actividad Docente 2006-2007 fue programado en una única página HTML. Para la realización de los filtros de las preguntas se usaba tecnología Java Script6 (Wikipedia, 2007c) y para realizar las conexiones necesarias a la base de datos en la que se almacenaban las respuestas tecnología PHP7 (Wikipedia, 2007d). Debido al diseño del cuestionario y a su escasa longitud se optó por dejar todo el contenido visible. Una serie de filtros habilitaban, deshabilitaban o informaban a los panelistas sobre las preguntas que debían contestar y una vez cumplimentado el cuestionario pulsaban un botón situado al final de la página que enviaba los datos cumplimentados a las bases de datos ubicadas en los servidores de la UCM.

En cuanto al contenido gráfico se intentó que fuera lo más agradable posible y con un esquema de colores de alto contraste para que fuera accesible a la mayor cantidad de gente posible. El uso de contenidos gráficos puede mejorar la motivación y la satisfacción de los panelitas/encuestados. Sin embargo, hay que considerar las posibles limitaciones tecnológicas que puedan tener ciertos usuarios, lo que puede influir sobre la respuesta, etc. Un estudio experimental consistente en dos diseños diferentes de cuestionarios (uno con alto contenido gráfico y otro plano) proporciona una advertencia importante sobre el uso extenso de gráficos. Aquellos que respondieron a la versión plana del cuestionario cumplimentaron más respuestas, las preguntas abiertas tenían más contenido, los encuestados abandonaron menos la cumplimentación del cuestionario y, por lo tanto, no fue necesario que regresaran otra vez para terminar de cumplimentarlo (Dillman, 2000).

Además de las cuestiones gráficas también se tuvieron en cuenta temas relacionados con la accesibilidad y la usabilidad de la página web, así como la disponibilidad del cuestionario en diferentes navegadores, permitiendo la correcta visualización del contenido prácticamente desde cualquier navegador de Internet. Este punto se puede considerar crítico a la hora de favorecer la participación, ya que en el caso de la Encuesta-Panel de las más de 6.800 visitas que recibió el cuestionario, en el 87,5% de los casos se utilizó el navegador «Internet Explorer » y en el 11,3% «Firefox» (total acumulado de la dos plataformas: 98,8%). Se trata de dos de los navegadores más populares y a su vez cada uno con formas diferentes de interpretar el código de las páginas web y las pautas establecidas por la W3C.

Lo mismo ocurrió con la resolución de pantalla8 (Wikipedia, 2007d). La mínima utilizada por los panelistas fue de 800 X 600 (14,6% de accesos, el segundo porcentaje más elevado detrás de las resoluciones de 1024 X 768, con un 55,5%), por lo que las características del cuestionario online cumplían unos requerimientos mínimos de adaptación a los recursos de casi la totalidad de los panelistas al estar pensado para una resolución mínima de 800 X 600.

2. RESULTADOS

La Encuesta-Panel del Seguimiento de la Actividad Docente (Sánchez Carrión, 2007) ha tenido un total de 11 olas (una en noviembre y otra en diciembre, dos en enero, una en febrero y dos en los restantes meses del curso, hasta mayo). Estos serán los periodos utilizados en el análisis de la participación y en el recordatorio.

La participación en el Panel

El primer paso en cualquier panel online es captar a los panelistas. Existen dos grandes métodos para reclutar a los panelistas: la captación pasiva y la captación activa (Llauradó, 2006). La captación pasiva se realiza mediante banners, campañas publicitarias en portales web o envíos masivos a bases de datos publicitarias. Este método de captación, abierto a todos los navegantes, hace que aumente la autoselección de ciertos perfiles, especialmente el de los conocidos como caza recompensas. En cambio, mediante la captación activa sólo resulta posible registrarse en el panel si la persona ha recibido una invitación individual e intransferible, y su perfil resulta interesante. El tipo de captación llevada a cabo afectará críticamente a la tasa de respuesta y al comportamiento futuro de los panelistas. Mientras que en un panel de captación pasiva la tasa de respuesta promedio puede oscilar entre el 5% y el 10%, en un panel de captación activa ésta se sitúa entorno al 50-70%. En el caso de la Encuesta-Panel de Seguimiento de la Actividad Docente de la UCM no existía una base de datos de correos electrónicos de los alumnos, por lo que se recurrió al correo postal para mandar las invitaciones y solicitar la confirmación por medio del registro en un formulario online.

En conjunto se invitó a participar a 3.091 estudiantes, de los que 889 (un 28,8%) aceptaron la invitación. Las tasas de participación en esta fase de la captación de los panelistas se puede considerar baja, especialmente si tenemos en cuenta la existencia de un incentivo por participar (1 crédito de libre configura- ción). Aunque si observamos la participación según distintas variables de clasificación podemos ver que la participación femenina es un 4% superior a la masculina (véase Gráfico 2). Igualmente se aprecia un deterioro de la participa- ción conforme aumentan los cursos (véase Gráfico 1), siendo los alumnos de los primeros años de carrera (primero y segundo curso) los que en mayor medida respondieron positivamente al proceso de solicitud de colaboradores en el panel -casi el 32% de los alumnos de primero y el 33,1% de los de segundo.

Con respecto a los distintos tipos de enseñanza, la mayor participación se da en las áreas de Experimentales y Salud, y la menor en Sociales y Jurídicas y Humanidades- particularmente en la última de las áreas, donde la participación es del 18,9%, 10 puntos por debajo de la participación total, situada en torno al 30%. Por otro lado, serán los alumnos de mañana los que en mayor medida aceptan la colaboración en el panel (el 30,3%), casi 5 puntos por encima de los de la tarde (véase Gráfico 4).

Se podría definir el perfil del alumno medio que tiene tendencia a colaborar en un panel universitario y el que no. De igual manera, se podría aventurar el perfil del alumno comprometido con la universidad, siempre y cuando la participación en una encuesta panel online se pueda considerar un indicador del compromiso (no cabe duda que estadísticamente esta afirmación es difícil de demostrar, pero cualitativamente la participación en una encuesta al igual que en cualquier otra actividad podría considerarse un indicador del compromiso del alumno universitario -sin que el hecho de no participar signifique falta de compromiso, que se puede manifestar por otras vías).

La Tasa de respuesta en las olas de la Encuesta-Panel

Una vez aceptada la invitación, los estudiantes formaban parte del panel, con una tasa de respuesta a lo largo de sus 11 olas del 75,8%. Esta tasa de respuesta fue distinta según la ola de que se tratase (véase Gráfico 5). En concreto, fue menor en el primer cuatrimestre y se incrementó desde enero, para situarse a partir de ese momento en cifras próximas al 80%.

Este incremento de la tasa de respuesta tras las dos primeras olas pudo ser debido a dos motivos, ninguno de ellos descartables y ambos muy influyentes. Por un lado, a partir de la ola de Enero se cambió el diseño del formulario online, pasando a responderse los ítems del cuestionario de forma más amigable para los usuarios. Estos cambios se realizaron tras las sugerencias de algunos panelistas, debido a que tenían dificultad a la hora de cumplimentar el cuestionario; de esta manera se confirma, una vez más, que el diseño del cuestionario influye en la tasa de respuesta. No hay que olvidar un segundo factor externo al propio Panel. La temática que el panel evaluaba, el seguimiento de la actividad de los docentes de la UCM, produjo una serie de reacciones que llegaron a la prensa, lo cual tuvo un efecto de «publicidad gratuita» que influyó en los participantes motivando su participación. No hay que olvidar que los alumnos que confirmaron su participación están dentro de lo que se ha denominado anteriormente como «comprometidos con la universidad», por lo que esta reacción mediática au- mentó su motivación, ya que cargaba al panel de una seriedad y relevancia que en ningún momento ellos preveían9.

Además de por olas, también se analiza la tasa de respuesta de los panelistas según su sexo, curso, turno y área de conocimiento en los que estaban matriculados:

Analizando las tasas de respuesta según los distintos grupos considerados vemos que las diferencias son prácticamente inapreciables (véanse Gráficos 6, 7, 8 y 9), debido posiblemente a que estamos hablando de panelistas que voluntariamente han decidido participar, «Panelistas profesionales» (Poynter, 2001).

La forma de captación y lo especializado del panel generó unos panelistas voluntarios/profesionales, con repercusión en las tasas de respuesta y en la calidad de los datos. Según la tipología de Poynter se pueden clasificar a los participantes en un panel en cuatro grupos, dependiendo de la influencia que tengan hora de contestar.

1. Panelistas Ocasionales.

2. Panelistas Infrecuentes.

3. Panelistas Frecuentes.

4. Panelistas Deshonestos.

En esta discusión no hay que olvidar al aproximadamente 25% de alumnos que confirmaron su participación en la encuesta-Panel pero que luego decidieron no responder a sus distintas olas. Entre estos panelistas encontraríamos a los que forman parte de la categoría de «Lukers» (Bosnjak, 2001), es decir, aquellos que han optado por participar y tienen posibilidad de hacerlo pero no responden a ninguna pregunta del cuestionario.

Todos los datos anteriores sirven para hacerse una idea de la participación general de los estudiantes universitarios (al menos los de la UCM, que no tienen por qué ser distintos a los de otras universidades) en las encuestas institucionales que se realizan en Internet, cada vez más de actualidad, y el efecto que esta desigual participación puede tener en los resultados obtenidos.

Por último, en el Gráfico 10 se muestran nuevamente las tasas de respuesta, en esta ocasión segmentadas por el período de captación. La captación se realizó a lo largo de tres meses, octubre, noviembre y diciembre de 2006. Como se puede ver en el gráfico, el grupo de panelistas captado en primer lugar, octubre 2006, es en principio el que mayor tasa de respuesta ha tenido; sin embargo, en el momento en que comienza a responder el grupo captado en diciembre de 2006 se aprecia que su tasa de respuesta es superior a la de octubre. La hipótesis previa planteada es que el primer grupo de panelistas debería ser el de mayor tasa de respuesta, ya que su nivel de interés y motivación es previsiblemente superior. Pero durante el desarrollo del panel apareció, como anteriormente se ha comentado, una variable imprevista, la influencia de los medios de comunicación hablando sobre el panel online de seguimiento de la actividad docente. Este hecho motivó a los alumnos de tal manera que aquellos que fueron captados en diciembre sobrepasaron en casi un 5% la tasa de respuesta de los de octubre. Nuevamente se puede ver que la comunicación/publicidad de una encuesta on- line de interés para la población que debe responderla puede ser más efectiva que los incentivos, aunque en ningún caso hay que olvidar que el incentivo realiza una función de «factor higiénico»10 (Herzberg, 2003). Se da por hecho que debe estar ahí, pero si se elimina haría que la participación disminuyera considerablemente rebajando la influencia de la comunicación.

El envío de recordatorios

Existe suficiente evidencia empírica que demuestra que los factores más significativos para aumentar la tasa de respuesta de una encuesta online son el reenvío de un recordatorio, los incentivos y la longitud del cuestionario (Deutskens et al., 2004). Aunque no hay que olvidar que el diseño y la accesibilidad a la encuesta son factores tan importantes o más que los anteriormente mencionados.

Respecto al envío de correos electrónicos recordatorios, se ha demostrado que, a pesar de que los correos tengan un bajo coste y sean rápidos, puede provocar una reacción contraria en los participantes potenciales, ya que éstos considerarán el correo electrónico como correo SPAM. El tiempo medio de retraso para responder a una encuesta enviada por correo electrónico es de 5,59 días (Llieva et al., 2002), a diferencia de los 12,21 días de las encuestas por correo tradicional. Por otro lado, cuanto antes se envíe el cuestionario (dentro del plazo que los encuestados tienen para cumplimentarlo) mayor es la tasa de respuesta (21,2% de respuesta frente al 19,5% de otros envíos realizado posteriormente), sin influir este hecho en la calidad de las respuestas (Deutskens et al., 2004).

En la Encuesta-Panel de la UCM estos envíos se han dividido en tres etapas:

1. Correo informativo (primer envío). Un primer envío en cada ola en el cual se informa a los panelistas sobre el día que deben realizar la evaluación, la fecha hasta la cual pueden cumplimentar los datos en el formulario online, URL del cuestionario, nombre de usuario y contraseña para acceder al cuestionario, etc.

2. Primer recordatorio. A partir de la primera ola de enero se empezaron a enviar estos recordatorios. Pasados unos días se enviaba un recordatorio a los panelistas que todavía no habían respondido, informándoles nuevamente sobre las fechas, acceso al formulario, etc.

3. Segundo recordatorio. A partir de la primera ola de febrero los panelista que no habían respondido tras el primer recordatorio empezaron a recibir un segundo, informándoles nuevamente sobre los datos de acceso al formulario online.

Como se puede ver en el Gráfico 11, los recordatorios han tenido una gran influencia en la Encuesta-Panel de Seguimiento de la Actividad Docente 2006-2007, sobre todo el primero de ellos ya que el segundo pasó más desa- percibido. La tasa de respuesta a lo largo de las olas muestra un envejecimiento del panel respecto a la participación de los panelistas; es decir, a medida que pasan los periodos (olas) del panel la tasa de respuesta del primer envío va disminuyendo mientras que cada vez va tomando más importancia el primer recordatorio, hasta llegar al punto, casi al final de la vida del panel, en el que el recordatorio acumula mayor tasa de respuesta que el propio envío del correo informativo.

Por otro lado, encontramos el doble efecto del segundo recordatorio. El primer efecto ha sido el de complementar al primer recordatorio, captando la atención de los más rezagados; pero en segundo lugar encontramos un efecto no esperado del segundo recordatorio: en aquellas olas en las que el primer recordatorio tenía un mayor efecto sobre la tasa de respuestas (Marzo I, Abril I y Mayo I) el segundo ha ejercido influencia sobre la tasa de respuesta de la siguiente ola, aumentando así la tasa de respuesta al primer envío del período siguiente (Marzo II y Abril II).

CONCLUSIONES

Finalmente, enumeramos las principales conclusiones extraídas de este estudio exploratorio de la participación de los estudiantes en una encuesta panel online.

* El prerreclutamiento ayuda, por un lado, a disminuir el error de cobertura, ya que previamente se informa a los futuros panelistas de la necesidad de disponer de acceso a Internet para poder responder al cuestionario, y, por otro, sirve para reducir el error de no respuesta, dado que los participantes que quedan finalmente registrados como panelistas forman parte de un colectivo que hemos denominado «alumnos comprometidos».

* Este compromiso de los panelistas deriva posteriormente en una profesionalización del alumno panelista, que mejorará notablemente la calidad de los datos.

* La opinión de los panelistas ayuda a aumentar la eficacia del cuestionario online como herramienta de recopilación de datos.

* Factores como los incentivos -recuérdese que se da un crédito de libre configuración a aquellos panelistas que participan regularmente en el panel- contribuyen a aumentar la participación. En este caso además se detectó que factores como la publicidad externa-aparición en prensa de noticias sobre la Encuesta de seguimiento docente- también ayudan a aumentar la participación. En definitiva, el panelista necesita saber que aquello que hace sirve para algo más que para obtener un incentivo.

* La participación del panelista universitario difiere en cierta medida de la participación de los panelistas, en general, ya que existe una motivación más allá del incentivo por participar, transformando al estudiante en parte de la estructura de la investigación. De hecho pasa de ser un panelista a ser un colaborador.

* El recordatorio también ejerce una influencia positiva, pero no sólo en el período (ola del panel) al que afecta sino también en el siguiente. Cuando hay proximidad entre el recordatorio y el siguiente período (ola) de la Encuesta- panel dicho recordatorio no solo influye en el período (ola) que «recuerda », sino que parte de su efecto se desplaza al siguiente período actuando como una especie de pre-recordatorio

Sidebar

RESUMEN

En los dos últimos años la Inspección de Servicios de la Universidad Complutense de Madrid (UCM) ha estado realizando una encuesta panel online basada en una muestra probabilística de 889 estudiantes. En cada una de las olas de la encuesta panel los estudiantes informan sobre las incidencias acaecidas durante las clases a las que asisten en un día concreto de la semana. Durante el año académico 2006-2007 se obtuvo una muestra de más de 10000 actividades docentes que fueron la unidad de análisis.

En este artículo se muestran las tasas de respuesta del panel online. Por un lado, la participación durante el proceso de invitación (3.091) y por otro lado las tasa de respuesta durante las diferentes olas del panel. Abordando así los siguientes aspectos:

* Características básicas de la investigación y de la encuesta.

* Datos de participación durante la invitación y tras esta en las diferentes olas de la encuesta panel online.

* Características sociodemográficas de los participantes.

* El proceso de recordatorio (2 recordatorios por ola). Los recordatorios y su incidencia en la participación en encuestas panel online universitarias.

* Implicación de los resultados en investigaciones online dentro del contexto académico.

ABSTRACT

In the last two years the Inspección de Servicios of the Universidad Complutense de Madrid (UCM) has been running a web-based panel survey with a probability sample of 889 students. In each wave of the panel students report on the incidences occurred at the academic lectures they attend in a particular day of the week. For the academic year 2006-2007, until the month of April we had a sample of more than 10.000 lectures, being the later our unit of analysis.

In this paper we will report on the response rate of the online panel, on one hand related to those invited to participate (3.091) and on the other to the specific response rate in the different waves of the panel. We will cover the following aspects:

* Basic methodological characteristics of the research and aim of the survey.

* Participation rates in the invitation process and in the different waves of the panel.

* Socio demographic characteristics of respondents.

* The recalling process (up to 2 reminders in each wave). Reminders and its incidence in the measurement basic parameters of the survey.

* Implications of the results for online based research in academic context.

Footnote

1 Más información: www.websm.org

2 El Proyecto Meta es el encargado de proporcionar las herramientas necesarias para la gestión académica de la Universidad Complutense de Madrid. Depende del Servicio Informático de Apoyo a la Gestión y forma parte del Area de Informática y Comunicaciones.

3 World Wide Web Consortium. W3C http://www.w3c.es/

4 HTML es el acrónimo inglés de Hyper Text Markup Language, que se traduce al español como Lenguaje de Marcas Hipertextuales. Es un lenguaje de marcación diseñado para estructurar textos y presentarlos en forma de hipertexto. Es el formato estándar de las páginas Web.

5 AJAX, acrónimo de Asynchronous Java Script And XML (JavaScript asíncrono y XML), es una técnica de desarrollo Web para crear aplicaciones interactivas. Éstas se ejecutan en el cliente, es decir, en el navegador de los usuarios, y mantiene comunicación asíncrona con el servidor en segundo plano. De esta forma es posible realizar cambios sobre la misma página sin necesidad de recargarla. Esto significa aumentar la interactividad, velocidad y usabilidad en la misma.

6 JavaScript es un lenguaje interpretado, es decir, no requiere compilación. Es utilizado principalmente en páginas web, y posee una sintaxis semejante a la del lenguaje Java y el lenguaje C. Al contrario que Java, JavaScript no es un lenguaje orientado a objetos propiamente dicho, ya que no dispone de Herencia, es más bien un lenguaje basado en prototipos, ya que las nuevas clases se generan clonando las clases base (prototipos) y extendiendo su funcionalidad.

Todos los navegadores interpretan el código JavaScript integrado dentro de las páginas web. Para interactuar con una página web se provee al lenguaje JavaScript de una implementación del DOM. El lenguaje fue inventado por Brendan Eich en la empresa Netscape Communications, que es la que fabricó los primeros navegadores web comerciales. Apareció por primera vez en el producto de Netscape llamado Netscape Navigator 2.0.

7 PHP es un lenguaje de programación usado frecuentemente para la creación de contenido para sitios web con los cuales se puede programar las paginas html y los codigos de fuente. PHP es un acrónimo recursivo que significa «PHP Hypertext Pre-Processor» (inicialmente PHP Tools o Personal Home Page Tools), y se trata de un lenguaje interpretado usado para la creación de aplicaciones para servidores, o creación de contenido dinámico para sitios web.

8 La resolución de pantalla es el número de píxels (o máxima resolución de imagen) que puede ser mostrada en la pantalla. Viene dada por el producto de las columnas («X»), el cual se coloca al principio, y el número de filas («Y») con el que se obtiene un producto (X * Y).

9 Afirmación basada en los datos obtenidos en la Encuesta de Evaluación de la Encuesta-Panel de Seguimiento de la Actividad Docente, que se realizó tras finalizar el trabajo de campo.

10 Frederick Herzberg formuló una teoría para explicar mejor el comportamiento de las personas en el trabajo, planteando la existencia de dos factores que orientan este comportamiento. Uno de ellos es el Factor Higiénico o Factor Extrínseco, como el ambiente que rodea a las personas y las circunstancias en las que desempeñan su trabajo. Este factor, si falta o es inadecuado, causa insatisfacción, aunque su presencia solo tenga un pequeño efecto en la satisfacción a largo plazo.

References

BIBLIOGRAFÍA

BAKER, R. P. (1998): «Computer assisted survey information collection.» Pp. 583-604, in The CASIC future, edited by M. P. Couper, R. P. Baker, J. Bethlehem, C. Z. F. Clark, J. Martin, W. L. N. II, and J. M. O'Reilly. New York: John Wiley & Sons.

BLACK, G. S. (1998): «Internet surveys: A replacement technology». In 52nd Annual Conference of the American Association for Public Opinion Research. St. Louis, Missouri.

BOSNJAK, M. (2001): «Classifying Response Behaviours in Web-based Surveys.» Journal of computer mediated communication, April 2001.

BOSNJAK, M. & TUTEN, T. L. (2003): «Prepaid and promised incentives in Web surveys- An experiment.» Social Science Computer Review 21: 208-217.

CLAYTON, R. L. & WERKING, G. S. (1998): «Business surveys of the future: The World Wide Web as a data collection methodology.» Pp. 543-562, in Computer assisted survey information collection, edited by M. P. C. e. al. New York: John Wiley & Sons.

CLELAND, K. (1996): «On-line research costs about half that of traditional methods.» Advertising Age's Business Marketing 81: B8-9.

COUPER, M. P. (2000): «Web surveys: A review of issues and approaches.» Public Opinion Quarterly 64: 464-494.

COUPER, M. P. & NICHOLLS II, W. L. (1998): «Computer assisted survey information collection. » Pp. 1-21, in The history and development of computer assisted survey information collection methods, edited by M. P. Couper, R. P. Baker, J. Bethlehem, C. Z. F. Clark, J. Martin, W. L. N. II, and J. M. O'Reilly. New York: John Wiley & Sons.

CUBILES DE LA VEGA, M. D., MUÑOZ CONDE, M. M., MUÑOZ PICHARDO, J. M. & PASCUAL ACOSTA, A. (2002): «e-Encuestas Probabilísticas I. Los Marcos.» Estadística Española 44: 281-305.

CHURCH, A. H. (1993): «Estimating the effect of incentives on mail survey rates. A meta-analysis.» Public Opinion Quarterly 57: 62-79.

DEUTSKENS, E., RUYTER, K.,WETZELS, M. & OOSTERVELD, P. (2004): «Response rate and response quality of Internet-based surveys, an experimental study.» Marketing Letters 15: 21-36.

DILLMAN, D. A. (1978): Mail and telephone surveys. The total design method. New York: John Wiley & Sons.

DILLMAN, D. A. (2000): Tailored design of mail and other self-administered surveys. New York: Wiley-Interscience.

DILLMAN, D. A. & BOWKER, D. (1999): «Principles for the design of Web surveys: A review of current practices and the need for change.» In 1999 AAPOR Conference. St. Petersburg, Florida.

FRICK, A., BÄCHTIGER, M.-T. & REIPS, U.-D. (2001): «Financial incentives, personal information and drop-out in online studies.» Pp. 209-219, in Dimensions of Internet science, edited by U.-D. Reips and M. Bosnjak. Lengerich, Germany.

GÖRITZ, A. S. (2004): «The impact of material incentives on response quantity, response quality, sample composition, survey outcome, and cost in online access panels.» International Journal of Market Research 46.

_____(2006): «Cash Lotteries as Incentives in Online Panels.» Social Science Computer Review 24: 445-459.

GÖSTA, FORSMAN & VAREDIAN, MARIA (2002): «Mail and Web Surveys: A Cost and Response Rate Comparison in a Study of Students Housing Conditions.» The International Conference on Improving Surveys.

GROVES, R. M. (1989): Survey errors and survey costs. New York: John Wiley & Sons.

HERZBERG, F. (2003): «One More Time: How Do You Motivate Employees? (HBR Article Collection) « Harvard Business Review Article:14.

HOLLIS, N. S. (1999): «Can a picture save 1,000 words? Augmenting telephone tracking with online ad recognition.» Pp. 41-49, in ARF's Online research day - Towards validation. New York,: Advertising Research Foundation.

INE, INSTITUTO NACIONAL DE ESTADÍSTICA (2006): «Encuesta sobre Equipamiento y Uso de Tecnologías de la Información y Comunicación en los hogares (2.o semestre 2006).» INE Base.

LOZAR MANFREDA, K. (2001): «Web survey errors. Unpublished Ph.D. dissertation.» Ljubljana: Faculty of Social Sciences, University of Ljubljana.

LOZAR MANFREDA, K.,BATAGELJ, Z & VEHOVAR, V. (2002): «Design of Web Survey Questionnaires: Three Basic Experiments.» Journal of Computer-Mediated Communication 7.

LUMSDEN, J. (2005a): «Guidelines for the Design of Online-Questionnaires.» National Research Council of Canada, 31.

_____ (2005b): «Online-Questionnaires Design: Establishing Guidelines and Evaluating Existing Support.» National Research Council of Canada, 31.

LLAURADÓ, O. (2006): «El trabajo de campo online: Qué hemos aprendido en los últimos 10 años.» Investigación y Marketing (AEDEMO), 91.

LLIEVA, J., BARON, S. & HEALEY, N. M. (2002): « Online surveys in marketing research: pros and cons.» International Journal of Market Research 44: 361-376.

Madrid, UCM (2006): «Datos y cifras UCM.» Universidad Complutense de Madrid.

O'NEIL, K. M. & PENROD, S. D. (2001): «Methodological variables in Web-based research that may affect results: Sample type, monetary incentives, and personal information. » Behavior Research Methods, Instruments, & Computers 33: 226- 233.

PÁRAMO FLORES, R. (2004): «Estándares de Calidad, Accesibilidad y Usabilidad para la realización y el diseño de Encuestas Online.» Monografias.com.

POYNTER, R. (2001): «A Guide to Best Practice in Online Quantitative Research.» In 2nd ASC International Conference on Survey Research Methods: The Challenge of the Internet. Edited by ASC.

Red.es. (2006): «Observatorio de las Telecomunicaciones y de la Sociedad de la Información de Red.es.» Ministerios de Industria, Turismo y Comercio & Red.es.

SÁNCHEZ CARRIÓN, J. J. (2007): «Informe Consejo de Gobierno, Julio 2007.» Universidad Complutense de Madrid (UCM), Madrid (www.ucm.es/dir/3875.htm).

SÁNCHEZ CARRIÓN, J. J. & SEGOVIA GUISADO, J. M. (2007): «Nonresponse in web-based survey panels applied to the academic context.» In ESRA 2007 Conference (European Survey Research Association). Prague.

SCHAEFER, E. (2001): «Web surveying: How to Collect Important Assessment Data Without any Paper.» Edited by O. I. I. Research: Illinois Institute of Technology.

UCM (2006): «Datos y cifras UCM.» Universidad Complutense de Madrid.

VEHOVAR, V., BATAGELJ, Z., LOZAR MANFREDA, K. & ZALETEL, M. (2002): «Nonresponse in Web Surveys.» in Survey Nonresponse, edited by R. M. Groves, A. D. Don, J. L. Eltinge, and R. J. A. Little. New York: John Wiley & Sons.

VEHOVAR, V., LOZAR MANFREDA, K. & BATAGELJ, Z. (2000): «Design Issues in Web Surveys.» Proceedings of the Survey Research Methods Section, American Statistical Association, 983-988.

Wikipedia, Colaboradores de (2007a): «AJAX.» Wikipedia, La enciclopedia libre.

_____(2007b): «HTML.» Wikipedia, La enciclopedia libre.

_____(2007c): «JavaScript.» Wikipedia, La enciclopedia libre.

_____(2007d): «Resolución de Pantalla.» Wikipedia, La enciclopedia libre.