Modelo de validação de conteúdo de Pasquali nas pesquisas em Enfermagem

Abstract

Background: The recognition of the quality of instruments that aim at verifying and assessing a given phenomenon, through the process of content validation, is essential for the legitimacy and credibility of research results. Objectives: To analyse the application of the Pasquali's model of content validation to Brazilian research studies in the Nursing field conducted over the past five years. Methodology: Integrative literature review performed between July and August, 2013, using the Latin American and Caribbean Health Sciences Literature database (LILACS) and Nursing Database (BDENF), with controlled and uncontrolled descriptors. Results: The studies adopted the Pasquali's methodological reference model based on three procedures (theoretical, empirical, and analytical). This required the completion of different steps, such as the construction of the instrument, feedback from judges and application of statistical procedures for content validation. Conclusion: The process of content validation occurred during the theoretical procedure, in association with other types of validation to comply with the empirical and analytical procedures and achieve an effective validation.

ARTIGO DE REVISÃO

Modelo de validação de conteúdo de Pasquali nas pesquisas em Enfermagem

Pasquali?s model of content validation in the Nursing researches

Modelo de validación de contenido de Pasquali en las investigaciones en Enfermería

Rosana Kelly da Silva Medeiros *; Marcos Antonio Ferreira Júnior **; Diana Paula de Souza Rêgo Pinto ***; Allyne Fortes Vitor ****; Viviane Euzébia Pereira Santos *****; Elizabeth Barichello ******

* Mestre, Enfermagem, Universidade Federal do Rio Grande do Norte. Enfermeira, Membro do grupo de Pesquisa Núcleo de Estudos e Pesquisas em Enfermagem Clínica/UFRN, CEP 59078-970, Natal, Brasil [[email protected]]. Contribuição no artigo: pesquisa bibliográfica, escrita do artigo. Morada para correspondência: Rua Minas Novas, 37, Bloco IV, Ap. 203 ? Neópolis, CEP: 59088-725 ? Natal-RN, Brasil.

** Ph.D., Saúde e Desenvolvimento, Região Centro-Oeste, Universidade Federal de Mato Grosso do Sul. Universidade Federal do Rio Grande do Norte/UFRN. Enfermeiro. Líder do grupo de Pesquisa Núcleo de Estudos e Pesquisas em Enfermagem Clínica/UFRN. Professor, Departamento de Enfermagem, Programa de Pós-Graduação em Enfermagem, Universidade Federal do Rio Grande do Norte, CEP 59078-970, Natal, Brasil [[email protected]]. Contribuição no artigo: orientação análise de dados e discussão.

*** Enfermeira. Doutoranda do Programa de Pós-Graduação em Enfermagem da Universidade Federal do Rio Grande do Norte. Membro do grupo de Pesquisa Núcleo de Estudos e Pesquisas em Enfermagem Clínica/UFRN, CEP 59078-970, Natal, Brasil [[email protected]]. Contribuição no artigo: pesquisa bibliográfica.

**** Ph.D., Enfermagem, Universidade Federal do Ceará. Universidade Federal do Rio Grande do Norte/UFRN. Vice-líder do grupo de Pesquisa Núcleo de Estudos e Pesquisas em Enfermagem Clínica/UFRN. Professora do Departamento de Enfermagem e do Programa de Pós-Graduação em Enfermagem da Universidade Federal do Rio Grande do Norte, CEP 59078-970, Natal, Brasil [[email protected]]. Contribuição no artigo: análise de dados e discussão.

***** Ph.D., Enfermagem, Universidade Federal de Santa Catarina. Universidade Federal do Rio Grande do Norte/UFRN. Enfermeira. Vice-líder do grupo de Pesquisa Laboratório de Investigação do Cuidado, Segurança e Tecnologia em Saúde e Enfermagem/UFRN. Professora, Departamento de Enfermagem, Programa de Pós-Graduação em Enfermagem, Universidade Federal do Rio Grande do Norte, CEP 59078-970, Natal, Brasil. [[email protected]]. Contribuição no artigo: análise de dados e discussão.

****** Ph.D., Enfermagem, Universidade de São Paulo, Mineiro/UFTM, Enfermeira. Professora adjunta da Universidade Federal do Triângulo, Mineiro/UFTM, Universidade Federal do Triângulo Mineiro/UFTM, UBERABA, MG. CEP 38025-180, Brasil [[email protected]]. Contribuição no artigo: análise de dados e discussão.

RESUMO

Contexto : O reconhecimento da qualidade dos instrumentos que procuram verificar e avaliar um fenómeno através do processo de validação de conteúdo, é fundamental para a legitimidade e credibilidade dos resultados de uma pesquisa.

Objetivos : Investigar a aplicação do modelo de validação de conteúdo de Pasquali nas pesquisas brasileiras em Enfermagem nos últimos cinco anos.

Metodologia : Revisão integrativa de literatura realizada no período de julho a agosto de 2013, nas bases de dados Literatura Latino-Americana e do Caribe em Ciências da Saúde (LILACS), Base de Dados de Enfermagem (BDENF), com uso de descritores controlados e não-controlados.

Resultados : Os estudos adotaram o referencial metodológico de Pasquali baseados nos três procedimentos (teóricos, empíricos e analíticos), que exigiu o cumprimento de etapas, tais como construção do instrumento, parecer dos juízes e aplicação de procedimentos estatísticos para a validação de conteúdo.

Conclusão : O processo de validação de conteúdo ocorreu no procedimento teórico e houve associação a outros tipos de validação para percorrer os procedimentos empíricos e analíticos, a fim de alcançar uma validação eficaz.

Palavras-chave : estudos de validação; pesquisa em enfermagem; enfermagem.

ABSTRACT

Background : The recognition of the quality of instruments that aim at verifying and assessing a given phenomenon, through the process of content validation, is essential for the legitimacy and credibility of research results.

Objectives : To analyse the application of the Pasquali?s model of content validation to Brazilian research studies in the Nursing field conducted over the past five years.

Methodology : Integrative literature review performed between July and August, 2013, using the Latin American and Caribbean Health Sciences Literature database (LILACS) and Nursing Database (BDENF), with controlled and uncontrolled descriptors.

Results : The studies adopted the Pasquali?s methodological reference model based on three procedures (theoretical, empirical, and analytical). This required the completion of different steps, such as the construction of the instrument, feedback from judges and application of statistical procedures for content validation.

Conclusion : The process of content validation occurred during the theoretical procedure, in association with other types of validation to comply with the empirical and analytical procedures and achieve an effective validation.

Keywords : validation studies; nursing research; nursing.

RESUMEN

Contexto : El reconocimiento de la calidad de los instrumentos, que buscan comprobar y evaluar un fenómeno por medio del proceso de validación de contenido, es fundamental para la legitimidad y credibilidad de los resultados de una investigación.

Objetivos : Investigar la aplicación del modelo de validación de contenido de Pasquali en las investigaciones en enfermería brasileñas en los últimos cinco años.

Metodología : Revisión integradora de literatura realizada en el período de julio a agosto de 2013 en las bases de datos Literatura Latinoamericana y del Caribe (LILACS) y Base de Datos de Enfermería (BDENF), para la cual se usaron descriptores controlados y no controlados.

Resultados : Los estudios adoptaron el marco metodológico de Pasquali y se basaron en los tres procedimientos (teóricos, empíricos y analíticos), lo que exigió el cumplimiento de etapas, tales como la construcción del instrumento, el parecer de los jueces y la aplicación de procedimientos estadísticos para la validación de contenido.

Conclusión : El proceso de validación de contenido tuvo lugar en el procedimiento teórico y hubo una asociación a otros tipos de validación para seguir los procedimientos empíricos y analíticos, con el objetivo de alcanzar una validación eficaz.

Palabras clave : estudios de validación; investigación en enfermería; enfermería.

Introdução

Toda a pesquisa exige um planeamento para a sua execução, de forma a garantir que o método científico seja cumprido em todos os seus aspetos. Para tanto, torna-se essencial o uso de procedimentos que garantam indicadores confiáveis, principalmente aquando da colheita de dados, para que a qualidade da pesquisa seja alcançada.

A procura da qualidade nas pesquisas reflete a preocupação em analisar o resultado dos diferentes trabalhos realizados pelo homem, com o objetivo de alcançar a excelência e a qualidade exigidas no decorrer da evolução da sociedade (Ventura, Ferreira, Loureiro, Oliveira, & Cunha, 2009).

Na área da saúde, é possível perceber um número crescente de questionários e escalas disponíveis que procuram verificar e avaliar um fenómeno nas diversas pesquisas realizadas (Alexandre & Coluci, 2011). No entanto, é imprescindível que esses instrumentos possuam fidedignidade e validade para minimizar a possibilidade de julgamentos subjetivos (Raymundo, 2009). Assim, o reconhecimento da qualidade dos instrumentos torna-se um aspeto fundamental para a legitimidade e credibilidade dos resultados de uma pesquisa, o que reforça a importância do processo de validação.

A validação é um fator determinante na escolha e/ou aplicação de um instrumento de medida e é mensurada pela extensão ou grau em que o dado representa o conceito que o instrumento se propõe a medir (Bittencourt, Creutzberg, Rodrigues, Casartelli, & Freitas, 2011).

Os métodos mais mencionados para obtenção da validade de uma medida pelos psicometristas são a validade de construto, a validade de critério e a validade de conteúdo (Pasquali, 2009).

A validade de construto ou de conceito constitui a forma direta de verificar a amplitude em que a medida corresponde à construção teórica do fenómeno a ser mensurado. Embora o conceito apresentasse outros nomes, tais como, validade intrínseca, validade fatorial e até validade aparente. Estas várias terminologias demonstram a confusa noção que o construto possuía (Pasquali, 2009).

O construto possui definições constitutivas e operacionais. A definição constitutiva relaciona-se com a definição de termos em dicionários e enciclopédias, ou seja, os conceitos, que são realidades abstratas e as definições operacionais correspondem à definição do construto por operações concretas, por meio de comportamentos físicos no qual o construto se expressa (Pasquali, 2010).

A validade de critério é a correlação existente entre a medida avaliada em relação à outra medida ou instrumento que serve como critério de avaliação, que possui atributos iguais ou semelhantes e a validade preditiva e a concorrente são dois dos seus critérios (Pasquali, 2009).

Em relação à validade de conteúdo esta inicia o processo de associação entre conceitos abstratos com indicadores mensuráveis, bem como representa a extensão com que cada item da medida comprova o fenómeno de interesse e a dimensão de cada item dentro daquilo que se propõe investigar, bem como apresenta duas etapas: a primeira constitui o desenvolvimento do instrumento e a segunda envolve a análise e julgamento dos especialistas (Rubio, Berg-Weger, Tebb, Lee, & Rauch, 2003). A análise de juízes ou análise de conteúdo é baseada, necessariamente, no julgamento realizado por um grupo de juízes experientes na área, a qual caberá analisar se o conteúdo está correto e adequado ao que se propõe (Moura, Bezerra, Oliveira, & Damasceno, 2008).

Um estudo de validade de conteúdo pode fornecer informações sobre a representatividade e clareza de cada item com a colaboração de especialistas, porém existem limitações nos estudos de validade de conteúdo que precisam ser observadas, visto que a análise dos especialistas é subjetiva e, por conseguinte, podem existir distorções nos estudos (Rubio et al., 2003).

O modelo de Pasquali, apesar de ser da psicologia e consistir na teoria da elaboração de escalas psicométricas aplicáveis à construção de testes psicológicos de aptidão, de inventários de personalidade, de escalas psicométricas de atitude e do diferencial semântico, é observado em pesquisas de Enfermagem e envolve a teoria da elaboração de instrumentos de medida de fenómenos subjetivos, com a composição de três conjuntos de procedimentos: teóricos, empíricos (experimentais) e analíticos (estatísticos) (Pasquali, 2010).

O primeiro procedimento contempla a fundamentação teórica sobre o construto para o qual se quer elaborar um instrumento de medida, isto é, a definição das suas propriedades, a conceção da dimensionalidade desses atributos, bem como a definição constitutiva e operacional desses, a construção dos itens e a validação de conteúdo. O segundo consiste nas etapas e técnicas de aplicação do instrumento piloto, bem como na colheita de informações que possam avaliar as propriedades psicométricas do instrumento; e o terceiro são os procedimentos analíticos, que determinam as análises estatísticas dos dados com vista à validação do instrumento desenvolvido (Pasquali, 2010).

Além disso, para o julgamento dos itens de um instrumento existem doze critérios, relacionados com o referencial metodológico de Pasquali que dão subsídio para a validação de conteúdo desse instrumento, embora atinjam o campo da validação aparente, uma vez que avaliam propriedades psicométricas do instrumento, que indicam se os itens são compreensíveis à população alvo. Esses constituem-se em critério comportamental, objetividade, simplicidade, clareza, relevância, precisão, variedade, modalidade, tipicidade, credibilidade, amplitude e equilíbrio (Pasquali, 2010).

Diante do exposto, o presente estudo tem como objetivo investigar a aplicação do modelo de validação de conteúdo de Pasquali nas pesquisas brasileiras em Enfermagem dos últimos cinco anos.

Procedimentos Metodológicos de Revisão Integrativa

Trata-se de um estudo de revisão integrativa da literatura, que consiste na construção de uma análise ampla da literatura, com vista a contextualizar o problema de estudo por restringir-se a estudos relevantes que apontem para novos dados relacionados com os objetivos da pesquisa, de forma a contribuir para discussões de métodos e resultados, assim como a reflexão sobre a realização de estudos futuros (Crossetti, 2012).

A revisão integrativa foi realizada em cinco etapas, sendo elas: 1) Identificação do problema; 2) Busca na literatura; 3) Avaliação dos estudos; 4) Análise dos resultados e 5) Apresentação da síntese de conhecimento (Whittemore & Knafl, 2005). Para identificação do problema considerou-se a seguinte questão norteadora para este estudo: Como se aplica o referencial metodológico de Pasquali nas pesquisas brasileiras em Enfermagem, relacionadas à validação de conteúdo de instrumentos ou protocolos que contemplem a qualidade da assistência em Enfermagem, por meio de validação de conteúdo de modelos educativos, escalas de cuidados em Enfermagem ou procedimentos em Enfermagem? Utilizou-se para a realização do estudo a Biblioteca Virtual em Saúde (BVS), que incluiu a base de dados da Literatura Latino-Americana e do Caribe em Ciências da Saúde (LILACS) e a Base de Dados de Enfermagem (BDENF), por permitirem a pesquisa com uso de descritores em português e desse modo favorecer a localização de estudos brasileiros, a fim de pontuar os estudos de validação de conteúdo no cenário científico da enfermagem brasileira, com vista à caracterização da aplicação do referencial metodológico de um pesquisador brasileiro ? Luiz Pasquali.

O interesse pelo referencial metodológico de Pasquali nas pesquisas de enfermagem brasileiras relaciona-se com a escolha da psicometria, uma vez que esta estabelece subsídio para construção e obtenção de um instrumento válido, que seja capaz de mensurar o que se espera. Dentre os três procedimentos, nos quais se baseiam esse referencial, destacam-se procedimentos, que contemplam a validação de conteúdo, apesar de outras formas de validação também poderem estar envolvidas (Pasquali, 2010).

Embora não se garanta a inclusão de todas as pesquisas brasileiras sobre o tema nas duas bases supracitadas, a forma como se realizou a pesquisa pretendeu arrolar o maior quantitativo de estudos brasileiros dos últimos cinco anos.

Para a pesquisa nas bases de dados elencadas foram utilizados os descritores controlados em Ciências da Saúde (DeCS): Estudos de Validação, Pesquisa em Enfermagem e Enfermagem e o descritor não-controlado: Validação de Conteúdo. Com o objetivo de aumentar as especificidades dos estudos, foi realizado um cruzamento por pares de descritores.

Deste modo, foram realizados cinco cruzamentos nas bases de dados supracitadas, que contemplaram os seguintes pares de descritores em cada base: Estudos de Validação e Pesquisa em Enfermagem; Estudos de Validação e Enfermagem; Estudos de Validação e Validação de Conteúdo; Pesquisa em Enfermagem e Validação de Conteúdo e Enfermagem e Validação de Conteúdo.

A pesquisa foi realizada entre julho e agosto de 2013 e os critérios de inclusão para seleção foram: artigos nos idiomas: português, espanhol e inglês; que abordassem o modelo de validação de conteúdo de Pasquali aplicado em pesquisas brasileiras de enfermagem e publicados a partir de 2008, os quais contemplassem estudos de validação mais recentes acerca da qualidade da assistência em Enfermagem, quer seja por meio da validação de conteúdo de modelos educativos aplicados à Enfermagem, escalas de cuidado em Enfermagem, ou procedimentos de Enfermagem. Excluíram-se os estudos que não responderam ao questionário proposto ou os que estivessem duplicados, além das publicações do tipo resumos, dissertações, teses, editoriais e notas ao editor.

Após a leitura dos dados colhidos, os artigos foram organizados em duas tabelas no programa Microsoft Office Excel 2010. Essa fase envolveu a elaboração de um instrumento de colheita de dados, com o objetivo de extrair as informações chaves de cada artigo selecionado.

O instrumento adotado contemplou os itens: identificação do estudo (local de publicação, local do estudo, ano), objetivos (dados do estudo), características metodológicas (técnica de análise, juízes e número de etapas).

Resultados e Interpretação

Foram encontradas, numa primeira pesquisa, 383 publicações, das quais 98 (25,6%) foram pré-selecionadas após leitura dos títulos e resumos, enquanto 206 (53,8%) foram excluídas por estarem duplicadas.

Dentre as 98 publicações pré-selecionadas, 91 (92,8%) foram excluídas após leitura na íntegra por não atenderem aos critérios de inclusão, o que resultou numa amostra final de sete estudos selecionados, os quais foram desenvolvidos no Brasil e constituem pesquisas de Enfermagem realizadas nos últimos cinco anos.

Após a seleção dos sete artigos que atenderam aos critérios de inclusão da pesquisa, foram extraídos dados quanto aos seus locais de publicação, locais de desenvolvimento das pesquisas, ano, objetivos dos estudos e modelo de validação de conteúdo utilizado nos estudos, conforme Tabela 1.

Os estudos selecionados foram todos estudos metodológicos que apresentaram referencial metodológico de validação de conteúdo de Pasquali, com aplicação de técnicas de validação que direcionam desde o número de juízes até ao número de etapas desse processo, de acordo com esse referencial, como mostra a Tabela 2.

Os estudos analisados adotaram o referencial metodológico de Pasquali (2010) baseados nos três grandes pólos ou procedimento - procedimentos teóricos, procedimentos empíricos (experimentais) e procedimentos analíticos (estatísticos).

Procedimentos Teóricos

Dentre os estudos pesquisados que especificaram os procedimentos teóricos adotados para construção dos itens, Freitas et al. (2012) e Moura et al. (2008) trataram da construção de materiais educativos para Enfermagem, com base em materiais de domínio público para a construção do instrumento, além da utilização de aspetos relacionados com o uso de tecnologias para a produção do cuidado por meio do reconhecimento de um problema prático, da formulação do problema, da procura de princípios científicos que o apoiem, do desenho do artefato ou do processo com base nos princípios, do protótipo para ser experimentado e a avaliação do resultado obtido.

Dentre outros estudos que detalharam tal procedimento, estão o referencial teórico, que trata do desenvolvimento de uma performance clínica e construção de um instrumento com base em três critérios: importância da atividade de cuidado a ser mensurada, potencial de melhoria por ela apresentada e grau de controle. O grau de controle que os profissionais executores do cuidado detêm sobre os mecanismos possibilita a melhoria desejada, permitindo a execução dos quatro passos, para construção dos itens que corresponderão: a escolha do aspeto do cuidado a ser submetido à avaliação; a seleção dos indicadores dentro de cada área; a construção de uma medida confiável e válida e submissão aos juízes para verificar clareza e pertinência dos itens, permitindo assim a construção de um Manual Operacional para cada item proposto, fundamentado por um referencial científico (Vituri & Matsuda, 2009).

Yamada e Santos (2009) contemplaram a definição constitutiva de um referencial teórico, que se propunha a construir para validação posterior, além da análise da literatura sobre outros instrumentos que medem o mesmo construto, o que corrobora com Pasquali (2010), uma vez que as fontes dos itens podem derivar da literatura por meio de outros testes que medem o construto.

No que se reporta à avaliação do conteúdo dos instrumentos pela escala Likert , em quatro estudos, utilizou-se a seguinte descrição: totalmente adequado, adequado, parcialmente adequado e inadequado , ou seja, foram utilizadas escalas de quatro pontos para colheita de informações com intuito de avaliar os itens dos instrumentos (Moura et al., 2008, Freitas et al., 2012, Honório, Caetano, & Almeida, 2011, Oliveira, Fernandes, & Sawada, 2008).

A escala Likert apresenta normalmente três ou mais pontos, onde o juíz da pesquisa diz se concorda, está em dúvida ou discorda do que é afirmado no item em relação à capacidade de medir o que o instrumento se propõe (Pasquali, 2010).

Para tanto, os itens construídos devem ser avaliados por juízes, os quais não são amostras representativas da população para a qual o instrumento foi construído. Para participar desta análise, os juízes devem ser peritos na área da tecnologia construída, pois a sua tarefa consiste em ajuizar se os itens avaliados se referem ou não ao propósito do instrumento em questão. Uma concordância de pelo menos 80% entre os juízes poderá servir de critério de decisão sobre a pertinência e/ou aceitação do item que teoricamente se refere (Pasquali, 2010). Esse percentual de concordância entre os juízes foi referido em cinco dos estudos analisados (Moura et al., 2008; Honório et al., 2011; Oliveira et al., 2008; Vituri & Matsuda, 2009; Yamada & Santos, 2009).

Para o quantitativo de juízes, alguns autores esclarecem a adoção frente às recomendações de Pasquali (2010), sugeridos de seis a vinte sujeitos, sendo necessário no mínimo três indivíduos em cada grupo de profissionais selecionados (Freitas et al., 2012). Já os estudos de Moura et al. (2008) e Oliveira et al. (2008) basearam-se no número ímpar de juízes para evitar empate nas opiniões (Vianna, 1982).

Os critérios quanto à seleção dos juízes variaram nos estudos, Freitas et al. (2012) utilizou o critério de pontuação de Barbosa (2008) com a seleção de especialistas com pontuação mínima de cinco pontos para enfermeiros obstetras, que possuíam tese ou dissertação na temática, monografia de graduação ou especialização, participação em grupos/projetos de pesquisa que envolva o pré-natal, experiência docente em pré-natal, atuação prática em atenção pré-natal, orientação de trabalhos na temática pré-natal, autoria em dois trabalhos publicados em periódicos sobre pré-natal, participação em bancas avaliadoras de trabalhos em pré-natal e escala de três pontos para profissionais da informática ? especialista em desenvolvimento de websites , experiência profissional em desenvolvimento de AVA e especialização na área de web ; enquanto Honório et al. (2011) recomendou o alcance mínimo de cinco pontos, conforme preconizado por proposta de Fehring (1994), a qual considerou a titulação académica, experiência profissional e publicação científica na área.

Foram adotados critérios para estudos, com a pontuação mínima de três pontos quanto ao título, produção científica, tempo de atuação com a temática em discussão ou pelo menos dois pontos nos critérios: trabalhar com educação em saúde para portadores de diabetes, ter experiência profissional na área há mais de dois anos, ter conhecimento sobre nutrição para diabéticos, ter trabalho científico sobre diabetes, conhecimento sobre tecnologia educativa e conhecimento sobre processo de validação de instrumentos (Moura et al., 2008; Oliveira et al., 2008).

Em relação à análise teórica e semântica dos itens, há suplantação da validação de conteúdo ocorrida até à definição constitutiva e operacional dos itens, com o uso de critérios adaptados dos que são sugeridos por Pasquali (2010) que são doze: critério comportamental, objetividade, simplicidade, clareza, relevância, precisão, variedade, modalidade, tipicidade, credibilidade, amplitude e equilíbrio, por Honório et al. (2011) e Vituri e Matsuda (2009). Uma vez, que também foi utilizado o teste de força científica de medida com vista a verificar a clareza e pertinência dos itens do instrumento em Vituri e Matsuda (2009), que caracteriza a validação aparente.

Outros critérios foram utilizados por Moura et al. (2008) e Oliveira et al. (2008) como objetivos, estrutura e apresentação, bem como relevância. Esses estudos contemplaram o desenvolvimento de materiais educativos, no entanto não foi especificada a origem dos critérios adotados.

Procedimentos Empíricos

Em relação aos procedimentos empíricos, com o intuito de avaliar as propriedades psicométricas do instrumento, a aplicação do teste piloto foi observada em quatro estudos: Martins e Mejias (2011), Oliveira et al. (2008), Vituri e Matsuda (2009) e Yamada e Santos (2009).

O teste piloto foi utilizado para observar a pertinência dos itens, compreensão e consistência interna do instrumento no estudo de Martins e Mejias (2011); enquanto no estudo de Vituri e Matsuda (2009), foi realizado por meio da aplicação do instrumento já reformulado após avaliação dos juízes para verificar a sua aplicabilidade no estudo; e no estudo de Yamada e Santos (2009), o teste piloto foi estabelecido pela aplicação na população a que se destina, com uso de uma entrevista que correspondeu ao mínimo de oito pessoas para cada item do instrumento, o que corrobora com o preconizado por Pasquali (2010), uma vez que a aplicação do teste piloto tem o propósito de testar se os sujeitos compreenderam as instruções e a entrevista consiste em solicitar às pessoas representantes da população para a qual se deseja construir o instrumento para opinarem em que tipo de comportamento tal construto se manifesta.

Embora tal aspeto já envolva a análise semântica, o que constitui uma validação aparente posterior com vista a verificar se todos os itens são compreensíveis para todos os membros da população a que se destina; tal procedimento esteve presente nos estudos de Martins e Mejias (2011), Oliveira et al. (2008), Vituri e Matsuda (2009) e Yamada e Santos (2009), que realizaram validação de conteúdo. No estudo de Oliveira et al. (2008) utilizou-se a técnica de brainstorming , que se tem mostrado mais eficaz na avaliação da compreensão dos itens. Esta técnica funciona por meio da constituição de um grupo de até quatro pessoas, com sujeitos do estrato mais baixo da população-meta, porque se supõe que se tal estrato compreende os itens, o estrato mais sofisticado também os compreenderá. A este grupo é apresentado item por item, pedindo que ele seja reproduzido pelos membros do grupo. Se a reprodução do item não deixar nenhuma dúvida, o item é corretamente compreendido. Se surgirem divergências na reprodução do item ou se o pesquisador se perceber entendido diferentemente do que ele julga que deveria ser entendido, tal item apresenta problemas (Pasquali, 2010).

Desta forma, os estudos apresentaram-se de acordo com o referencial metodológico de Pasquali, uma vez que os itens dos instrumentos foram selecionados após análise dos seus fundamentos teóricos. As fontes dos itens derivaram da literatura por meio de outros testes que medem o construto e entrevista junto à população-meta (Pasquali, 2010).

Procedimentos Analíticos

A análise dos dados, por meio de testes estatísticos, constituiu os procedimentos analíticos dos estudos. O Alfa de Cronbach foi escolhido no estudo de Martins e Mejias (2011) pela capacidade de refletir o grau de concordância dos itens entre si, sendo que quanto mais próximo do valor um, mais próximo de 100% foi a correspondência dos itens. Já Yamada e Santos (2009) adotaram o coeficiente Alfa de Cronbach menor que 0,70 para a exclusão dos itens do instrumento.

O coeficiente de Alfa de Cronbach estima a confiabilidade de consistência interna de questionários e também a estimativa da confiabilidade entre avaliadores. Dado que todos os itens de um questionário utilizam a mesma escala de medição, o coeficiente Alfa é calculado a partir da variância dos itens individuais e das covariâncias entre os itens (Freitas & Rodrigues, 2005).

As aplicações do coeficente Alfa nas diversas áreas do conhecimento são amplas e abrangentes, porém, ainda não existe um consenso entre os pesquisadores acerca da interpretação da confiabilidade de um questionário obtida a partir do valor deste coeficente - em geral, considera-se satisfatório um instrumento de pesquisa que obtenha Alfa maior ou igual a 0,70 (Freitas & Rodrigues, 2005).

O Índice de Validade de Conteúdo (IVC) e o Índice de Concordância entre os juízes dos itens do instrumento foram observados em alguns estudos (Moura et al., 2008; Honório et al., 2011; Oliveira et al., 2008; Vituri & Matsuda, 2009; Yamada & Santos, 2009). O IVC avaliou a concordância dos juízes quanto à representatividade da medida em relação ao conteúdo abordado, ao dividir o número de juízes que julgaram o item com score de extrema relevância ou relevante pelo total de juízes (IVC para cada item), que resultou na proporção de juízes que julgaram o item válido (Rubio et al., 2003).

O teste de fidegnidade ou concordância interavaliadores no que tange ao índice de clareza e pertinência dos itens do instrumento, bem como a técnica Delphi foram utilizados no estudo de Vituri e Matsuda (2009). Essa técnica objetivou obter consenso na opinião de especialistas, por meio de uma série de questionários estruturados, referidos como fases. As respostas de cada questionário foram consideradas para reformulação dos subsequentes. Desta forma, cada fase foi construída sobre as respostas da fase anterior e o processo continuou até à obtenção da concordância entre os participantes (Vituri & Matsuda, 2009).

Portanto, os modelos metodológicos de validação de conteúdo relacionaram-se com a aplicação de técnicas que objetivam a validade de conteúdo de um instrumento nos estudos analisados. Este processo exigiu o cumprimento de etapas que compreenderam desde a construção do instrumento, o parecer dos juízes até à aplicação de diferentes procedimentos estatísticos.

Conclusão

Os estudos analisados apresentaram a utilização de tecnologias criadas por enfermeiros em pesquisas brasileiras como instrumentos que auxiliam no seu trabalho, com vista à assistência segura e de qualidade ao paciente.

A elaboração de instrumentos quer seja protocolos, escalas de cuidado ou materiais educativos em Enfermagem, bem como a validação de conteúdo destes com base no referencial metodológico de Pasquali, revelam o crescimento da enfermagem brasileira no ambiente científico, com necessidades de utilização de medidas confiáveis nas pesquisas.

Os estudos analisados apresentaram como base para o seu desenvolvimento os três procedimentos de Pasquali, embora o processo de validação de conteúdo tenha ocorrido já no procedimento teórico, foram adotadas análises estatísticas com vista à validação de conteúdo do instrumento e utilizada validação aparente, por meio da análise semântica para aplicação de testes piloto e/ou utilização dos critérios de Pasquali, com vista à avaliação psicométrica dos instrumentos em alguns estudos.

Embora, o processo de validação de conteúdo envolva aspetos relacionados ao desenvolvimento do instrumento e análise e julgamento dos especialistas, é importante a associação com outros processos de validação para que o instrumento produza o efeito esperado, quando este é capaz de mensurar o que se propõe.

O estudo desenvolvido possibilita compreender o procedimento de validação de conteúdo, fundamental para utilização na construção de medidas e instrumentos confiáveis na área de Enfermagem, os quais subsidiam o conhecimento para uma prática mais segura. Deste modo, a validação de instrumentos que padronizam o cuidado torna-se útil para a realização adequada de procedimentos específicos de Enfermagem.

No entanto, outros modelos de validação precisam ser investigados na aplicação em estudos de Enfermagem para subsidiar o desenvolvimento de protocolos, escalas de cuidado e materiais educativos em Enfermagem, por forma a obter uma prática mais segura.

Referências bibliográficas

Alexandre, N. M. C., & Coluci, M. Z. O. (2011). Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Ciência & Saúde Coletiva, 16(7), 3061-3068. Recuperado de http://www.scielo.br/pdf/csc/v16n7/06.pdf

Barbosa, R. C. (2008). Validação de um vídeo educativo para a promoção do apego entre mãe soropositiva para o HIV e seu filho (Tese de doutoramento). Recuperado de http://www.repositorio.ufc.br:8080/ri/handle/123456789/2145

Bittencourt, H. R., Creutzberg, M., Rodrigues, A. C. M., Casartelli, A. O., & Freitas, A. L. S. (2011). Desenvolvimento e validação de um instrumento para avaliação de disciplinas na educação superior. Estudos em Avaliação Educacional, 22(48), 91-114.

Crossetti, M. G. O. (2012). Revisão integrativa de pesquisa na enfermagem o rigor cientifico que lhe é exigido. Revista Gaúcha de Enfermagem, 33(2), 8-9. Recuperado de http://www.scielo.br/pdf/rgenf/v33n2/01.pdf

Fehring, R. J. (1994). The Fehring model. In R. M. Carroll-Johnson & M. Paquette (Eds.), Classification of nursing diagnosis: Proceedings of the tenth conference (pp. 55-57). Philadelphia, PA: Lippincott Williams & Wilkins.

Freitas, A. L. P., & Rodrigues, S. G. A. (2005, Novembro). Avaliação da confiabilidade de questionários: Uma análise utilizando o coeficiente alfa de Cronbach. Comunicação apresentada no evento XII SIMPEP da Universidade Estadual Paulista, Bauru, SP, Brasil.

Freitas, L. V., Teles, L. M. R, Lima, T. M., Vieira, N. F. C., Barbosa, R. C. M., Pinheiro, A. K. B., & Damasceno, A. K. C. (2012). Exame físico no pré-natal: Construção e validação de hipermídia educativa para a enfermagem. Acta Paulista de Enfermagem, 25(4), 581-588. Recuperado de http://www.scielo.br/pdf/ape/v25n4/16.pdf

Honório, R. P. P., Caetano, J. A., & Almeida, P. C. (2011). Validação de procedimentos operacionais padrão no cuidado de enfermagem de pacientes com cateter totalmente implantado. Revista Brasileira de Enfermagem, 64(5), 882-889. Recuperado de http://www.scielo.br/pdf/reben/v64n5/a13v64n5.pdf

Martins, T. B., & Mejias, N. A. (2011). Adaptação transcultural e validação do instrumento nurse parent support tool para a língua portuguesa. Online Brazilian Journal of Nursing, 10(2), 1-10. Recuperado de http://www.objnursing.uff.br/index.php/nursing/article/view/3305/pdf_2

Moura, E. R. F., Bezerra, C. G., Oliveira, M. S., & Damasceno, M. M. C. (2008). Validação de jogo educativo destinado à orientação dietética de portadores de diabetes mellitus. Revista de Atenção Primária à Saúde, 11(4), 435-443. Recuperado de http://www.aps.ufjf.br/index.php/aps/article/viewArticle/156

Oliveira, M. S., Fernandes, A. F. C., & Sawada, N. O. (2008). Manual educativo para o autocuidado da mulher mastectomizada: Um estudo de validação. Texto & Contexto Enfermagem, 17(1), 115-123. Recuperado de http://bases.bireme.br/cgibin/wxislind.exe/iah/online/?IsisScript=iah/iah.xis&src=google&base=LILACS&lang=p&nextAction=lnk&exprSearch=480939&indexSearch=ID

Pasquali, L. (2009). Psicometria. Revista da Escola de Enfermagem da USP, 43(Esp.), 992-999. Recuperado de http://www.scielo.br/scielo.php?pid=S008062342009000500002&script=sci_arttext

Pasquali, L. (2010). Instrumentação psicológica: Fundamentos e práticas. Porto Alegre, Brasil: Artmed.

Raymundo, V. P. (2009). Construção e validação de instrumentos: Um desafio para a psicolinguística. Letras de Hoje, 44(3), 86-93. Recuperado de http://revistaseletronicas.pucrs.br/ojs/index.php/fale/article/viewArticle/5768

Rubio, D. M., Berg-Weger, M., Tebb, S. S., Lee, S., & Rauch, S. (2003). Objectifying content validity: Conducting a content validity study in social work research. Social Work Research, 27(2), 94-105. Recuperado de http://swr.oxfordjournals.org/content/27/2/94.short

Ventura, M. C. A. A., Ferreira, M. M. F., Loureiro, C. R. E. C., Oliveira, J. N. C. C., & Cunha, N. J. J. C. J. (2009). Qualidade e auto-avaliação no ensino superior: Validação de escalas de opinião dos estudantes de uma Escola Superior de Enfermagem. Referência, 2(10), 57-64. Recuperado de http://www.esenfc.pt/site/index.php?module=rr&target=publicationDetails&pesquisa=&id_artigo=2141&id_revista=4&id_edicao=27

Vianna, H. M. (1982). Testes em educação. São Paulo, Brasil: Ibrasa.

Vituri, D. W., & Matsuda, L. M. (2009). Validação de conteúdo de indicadores de qualidade para avaliação do cuidado de enfermagem. Revista da Escola de Enfermagem da USP, 43(2), 429-437. Recuperado de http://www.scielo.br/pdf/reeusp/v43n2/a24v43n2.pdf

Whittemore, R., & Knafl, K. (2005). The integrative review: Updated methodology. Journal of Advanced Nursing, 52(5), 546-553. Recuperado de http://onlinelibrary.wiley.com/doi/10.1111/j.1365-2648.2005.03621.x/pdf

Yamada, B. F. A, & Santos, V. L. C. G. (2009). Construção e validação do Índice de Qualidade de Vida de Ferrans & Powers: Versão feridas. Revista da Escola de Enfermagem da USP, 43(Esp.), 1105-1113. Recuperado de http://www.scielo.br/pdf/reeusp/v43nspe/a15v43ns.pdf

Recebido para publicação em: 13.01.14

Aceite para publicação em: 07.06.14

Referências bibliográficas

References

Alexandre, N. M. C., & Coluci, M. Z. O. (2011). Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Ciência & Saúde Coletiva, 16(7), 3061-3068. Recuperado de http://www.scielo.br/pdf/csc/v16n7/06.pdf

Barbosa, R. C. (2008). Validação de um vídeo educativo para a promoção do apego entre mãe soropositiva para o HIV e seu filho (Tese de doutoramento). Recuperado de http://www.repositorio.ufc.br:8080/ri/handle/123456789/2145

Bittencourt, H. R., Creutzberg, M., Rodrigues, A. C. M., Casartelli, A. O., & Freitas, A. L. S. (2011). Desenvolvimento e validação de um instrumento para avaliação de disciplinas na educação superior. Estudos em Avaliação Educacional, 22(48), 91-114.

Crossetti, M. G. O. (2012). Revisão integrativa de pesquisa na enfermagem o rigor cientifico que lhe é exigido. Revista Gaúcha de Enfermagem, 33(2), 8-9. Recuperado de http://www.scielo.br/pdf/rgenf/v33n2/01.pdf

Fehring, R. J. (1994). The Fehring model. In R. M. Carroll-Johnson & M. Paquette (Eds.), Classification of nursing diagnosis: Proceedings of the tenth conference (pp. 55-57). Philadelphia, PA: Lippincott Williams & Wilkins.

Freitas, A. L. P., & Rodrigues, S. G. A. (2005, Novembro). Avaliação da confiabilidade de questionários: Uma análise utilizando o coeficiente alfa de Cronbach. Comunicação apresentada no evento XII SIMPEP da Universidade Estadual Paulista, Bauru, SP, Brasil.

Freitas, L. V., Teles, L. M. R, Lima, T. M., Vieira, N. F. C., Barbosa, R. C. M., Pinheiro, A. K. B., & Damasceno, A. K. C. (2012). Exame físico no pré-natal: Construção e validação de hipermídia educativa para a enfermagem. Acta Paulista de Enfermagem, 25(4), 581-588. Recuperado de http://www.scielo.br/pdf/ape/v25n4/16.pdf

Honório, R. P. P., Caetano, J. A., & Almeida, P. C. (2011). Validação de procedimentos operacionais padrão no cuidado de enfermagem de pacientes com cateter totalmente implantado. Revista Brasileira de Enfermagem, 64(5), 882-889. Recuperado de http://www.scielo.br/pdf/reben/v64n5/a13v64n5.pdf

Martins, T. B., & Mejias, N. A. (2011). Adaptação transcultural e validação do instrumento nurse parent support tool para a língua portuguesa. Online Brazilian Journal of Nursing, 10(2), 1-10. Recuperado de http://www.objnursing.uff.br/index.php/nursing/article/view/3305/pdf_2

Moura, E. R. F., Bezerra, C. G., Oliveira, M. S., & Damasceno, M. M. C. (2008). Validação de jogo educativo destinado à orientação dietética de portadores de diabetes mellitus. Revista de Atenção Primária à Saúde, 11(4), 435-443. Recuperado de http://www.aps.ufjf.br/index.php/aps/article/viewArticle/156

Oliveira, M. S., Fernandes, A. F. C., & Sawada, N. O. (2008). Manual educativo para o autocuidado da mulher mastectomizada: Um estudo de validação. Texto & Contexto Enfermagem, 17(1), 115-123. Recuperado de http://bases.bireme.br/cgibin/wxislind.exe/iah/online/?IsisScript=iah/iah.xis&src=google&base=LILACS&lang=p&nextAction=lnk&exprSearch=480939&indexSearch=ID

Pasquali, L. (2009). Psicometria. Revista da Escola de Enfermagem da USP, 43(Esp.), 992-999. Recuperado de http://www.scielo.br/scielo.php?pid=S008062342009000500002&script=sci_arttext

Pasquali, L. (2010). Instrumentação psicológica: Fundamentos e práticas. Porto Alegre, Brasil: Artmed.

Raymundo, V. P. (2009). Construção e validação de instrumentos: Um desafio para a psicolinguística. Letras de Hoje, 44(3), 86-93. Recuperado de http://revistaseletronicas.pucrs.br/ojs/index.php/fale/article/viewArticle/5768

Rubio, D. M., Berg-Weger, M., Tebb, S. S., Lee, S., & Rauch, S. (2003). Objectifying content validity: Conducting a content validity study in social work research. Social Work Research, 27(2), 94-105. Recuperado de http://swr.oxfordjournals.org/content/27/2/94.short

Ventura, M. C. A. A., Ferreira, M. M. F., Loureiro, C. R. E. C., Oliveira, J. N. C. C., & Cunha, N. J. J. C. J. (2009). Qualidade e auto-avaliação no ensino superior: Validação de escalas de opinião dos estudantes de uma Escola Superior de Enfermagem. Referência, 2(10), 57-64. Recuperado de http://www.esenfc.pt/site/index.php?module=rr&target=publicationDetails&pesquisa=&id_artigo=2141&id_revista=4&id_edicao=27

Vianna, H. M. (1982). Testes em educação. São Paulo, Brasil: Ibrasa.

Vituri, D. W., & Matsuda, L. M. (2009). Validação de conteúdo de indicadores de qualidade para avaliação do cuidado de enfermagem. Revista da Escola de Enfermagem da USP, 43(2), 429-437. Recuperado de http://www.scielo.br/pdf/reeusp/v43n2/a24v43n2.pdf

Whittemore, R., & Knafl, K. (2005). The integrative review: Updated methodology. Journal of Advanced Nursing, 52(5), 546-553. Recuperado de http://onlinelibrary.wiley.com/doi/10.1111/j.1365-2648.2005.03621.x/pdf

Yamada, B. F. A, & Santos, V. L. C. G. (2009). Construção e validação do Índice de Qualidade de Vida de Ferrans & Powers: Versão feridas. Revista da Escola de Enfermagem da USP, 43(Esp.), 1105-1113. Recuperado de http://www.scielo.br/pdf/reeusp/v43nspe/a15v43ns.pdf

Recebido para publicação em: 13.01.14

Aceite para publicação em: 07.06.14