Abstract: Aim: to evaluate the dimensionality and internal consistency of the belief scale; to verify the existence of relations between criterion variables and belief variables; to investigate predictive variables of beliefs in the evaluation process of educational actions of the health team. Method: quantitative correlational study developed in 14 health institutions, with the participation of 992 workers, in which a Likert scale was applied, consisting of 31 items related to the team beliefs in the training evaluation process. The dimensionality/internal structure of the scale was carried out by means of exploratory factorial analyses; standard multiple regression analyses, Student t tests, ANOVA and post hoc analyses were also applied. Results: three factors were found; the predictive variables were "number of trainings in the last 12 months", "participation in training at the time of the research" and "age." Conclusions: the scale presented internal consistency and there was identification of correlations and predictor variables.

Descriptors: Staff Development; Continuing education; Educacional Measurement

Resumen: Objetivos: evaluar la dimensionalidad y la consistencia interna de la escala de creencias; verificar la existencia de relaciones entre variables criterio y variables creencias; investigar variables predictoras de creencias en el proceso de evaluación de acciones educativas del equipo de salud. Método: estudio cuantitativo correlacional, desarrollado en 14 instituciones de salud, con la participación de 992 trabajadores, en el cual se aplicó escala Likert, compuesta por 31 artículos relacionados a las creencias del equipo en el proceso de evaluación de entrenamientos. La dimensionalidad/estructura interna de la escala fue realizada por medio de análisis factoriales exploratorios; también se aplicó análisis de regresión múltiple estándar, pruebas t de Student, ANOVA y análisis post hoc. Resultados: encontrados tres factores; las variables predictoras fueron "número de entrenamientos en los 12 meses", "participación en entrenamiento en el momento de la investigación" y "edad". Conclusiones: la escala presentó consistencia interna y hubo identificación de correlaciones y variables predictoras.

Descriptores: Desarrollo de personal; Educación continuada; Evaluación educacional

Introdução

Um dos avanços nas pesquisas sobre Treinamento, Desenvolvimento e Educação (TD&E) diz respeito à identificação de fatores que afetam a sua eficácia. Por essa razão, os profissionais que atuam em gestão de pessoas necessitam conhecer melhor a forma como as pessoas lidam com as ações de capacitação e o que pode ser feito para aumentar seu efeito.¹

Nos últimos anos, tem havido crescente interesse dos pesquisadores pela investigação das relações entre as ações dos treinandos e a transferência de treinamento, que pode ser definida como o grau em que os participantes aplicam em seus trabalhos, os conhecimentos, habilidades e atitudes (CHA) adquiridos na ação educativa, afetando, assim, o grau em que ele transfere para o contexto de trabalho o que aprendeu. Em outras palavras, sua conduta é decorrente de crenças existentes em vários níveis.¹

Crer é uma condição inerente à raça humana; é um sentimento, uma subjetividade, a sensação de convicção possui a mesma raiz epistemológica da palavra opinião ou doxa em grego. Logo, crer é tomar algo por verdade certa, convicção para a qual não cabe dúvida ou incerteza e não há necessidade de aprovação social ou científica. É, portanto, uma conclusão advinda de um processo interno, reflexivo, de livre observação acerca de um fato, evento, ou uma regra. Partindo dessa premissa, uma crença pode ser compartilhada por um indivíduo, ou um grupo de pessoas, transpondo o tempo, idiomas, culturas, meio ambiente e regras sociais.²

Crenças são estruturas cognitivas básicas sobre as quais se fundamentam as ações e, portanto, são essenciais para promover mudança de atitudes já estabelecidas. No trabalho em saúde, essa mudança exige um esforço contínuo e processos educativos bem estruturados viabilizando, na prática, os princípios da educação permanente em saúde.^2-3

As ações educativas dirigidas aos trabalhadores da área da saúde são importantes para promoção da qualidade e segurança da assistência para tanto, é recomendável saber se essas ações estão alcançando seus objetivos, o que deveria ocorrer por meio de avaliação sistematizada.^3-4

Desse modo, é substancial conhecer os resultados das ações educativas, sendo a avaliação o processo indicado para tal. A avaliação de resultados dos programas de capacitação são os aspectos menos desenvolvidos nas propostas de educação e, embora reconhecida sua importância, sua efetiva realização e alocação de recursos é secundária.^4-⁵

Ainda são poucos os estudos que abordam as crenças dos profissionais no processo de avaliação de treinamento, sendo esta uma das etapas menos desenvolvidas nos sistemas de TD&E. Considerando a avaliação como o fim de um ciclo e o início de outro, a investigação das crenças dos profissionais nesta etapa adicionará informações pertinentes à eficácia esperada no processo educativo e se os resultados obtidos são posteriormente aplicados no trabalho.⁵

Desse modo, objeto deste estudo são as crenças dos profissionais de saúde no processo de avaliação de treinamento e desenvolvimento institucional.

Além disso, há distintos mecanismos de funcionamento cognitivo fundamentados nas crenças individuais sobre o ajustamento ao mundo do trabalho, o que motiva o entendimento das associações existentes entre as variáveis.⁶ Pressupondo, também, que as crenças advêm das experiências e vivências das pessoas, foi questionado se variáveis tais como sexo, idade e formação acadêmica, estão relacionadas às crenças dos indivíduos no processo avaliativo.

A inspeção das relações entre essas variáveis poderá fundamentar a promoção de estratégias gerenciais para o refinamento de todo o processo.

Assim, os objetivos deste estudo foram: avaliar a dimensionalidade e a consistência interna da escala de crenças; verificar existência de relações entre as variáveis-critério e variáveis crenças e investigar variáveis preditoras de crenças no processo de avaliação de ações educativas da equipe de saúde.

Método

Este estudo integra a pesquisa “Crenças da equipe de saúde nas ações educativas institucionais”, que recebeu apoio financeiro do CNPq-Edital Universal 2011/13.

De natureza quantitativa, com recorte transversal e delineamento correlacional, o presente estudo foi de desenvolvido em 14 instituições de saúde do município de São Paulo (SP) e de Sorocaba/SP, escolhidas considerando o vínculo de ensino prático com a Escola de Enfermagem da Universidade de São Paulo (USP) e com os integrantes do Grupo de Pesquisa cadastrado no Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) – “Núcleo de estudos e pesquisas sobre aspectos psicossociais do ensino e gerenciamento em enfermagem e em saúde” (NEPAPEGES) que realizou este estudo.

Das 14 instituições participantes, oito representaram a atenção primária (19,7%); quatro a atenção terciária (50,3%) e duas a secundária (30,0%); nove são da rede pública e cinco de natureza privada; todos possuem serviços de recursos humanos ou educação estruturados, ministram cursos regulares e avaliações formais de reação, aprendizagem, quatro delas empregam, também, a avaliação de impacto de treinamento.

A população foi composta por 3539 trabalhadores de saúde participantes em programas educativos das instituições, incluindo os profissionais dos níveis médio e superior das áreas de enfermagem, medicina, farmácia, nutrição, odontologia e outras. A amostra foi aleatória, proporcional ao tamanho dos estratos, por unidade de trabalho e função, utilizando o recurso de Amostragem Estratificada Proporcional (AEpr).⁷ Ainda, utilizou-se a estimativa considerando a população finita, com nível de significância de 5% e erro relativo máximo de 2% da média estimada do escore para mais ou para menos.⁸ A amostra resultou em 992 participantes, conforme distribuição por instituição exibida na Tabela 1.

Tabela 1- Distribuição dos participantes por Instituição, São Paulo/SP, Brasil, 2014. (N=992)

Instituição	Frequência	%
1	19	1,91
2	11	1,10
3	22	2,21
4	15	1,51
5	27	2,72
6	3	0,30
7	5	0,50
8	85	8,57
9	240	24,19
10	95	9,58
11	101	10,18
12	134	13,51
13	79	7,96
14	156	15,73
Total válido	992	100

O instrumento utilizado, Escala de Crenças no processo de avaliação de treinamento e desenvolvimento, foi construído em estudo original⁹, em que constatou as evidências de validade de conteúdo de seus itens,¹⁰ Nesta ocasião, o instrumento não foi aplicado, portanto, não foi submetido às análises estatísticas. Foi utilizado pela primeira vez, na pesquisa principal, da qual se originou o presente estudo e na qual foram realizadas as primeiras análises para verificação de evidências de consistência interna e dimensionalidade¹¹.

Constituído, originalmente, por 31 itens relativos às crenças da equipe de saúde a respeito do processo de avaliação de treinamentos, respondidos em uma escala Likert com cinco pontos: Discordo Totalmente – DT, Discordo – D, Nem Concordo e Nem Discordo – NCND, Concordo – C e Concordo Totalmente – CT. Assim, os participantes puderam expressar as crenças favoráveis e as desfavoráveis com relação ao sistema de treinamento e desenvolvimento implementado nestas instituições. Além dos itens do ECPA, o protocolo de coleta de dados apresentava questões de caracterização sociodemográfica, além de perguntas sobre a participação em treinamentos recebidos, a saber: idade; sexo; formação e tempo de formado; unidade, tempo e turno de trabalho; função e tempo na função; número de participações em treinamentos e número de horas de treinamentos nos últimos 12 meses e se estava participando de algum treinamento no momento da coleta de dados.

O protocolo de coleta de dados foi distribuído pelos pesquisadores aos participantes do estudo, tendo sido recolhidos aproximadamente 10 dias depois. A coleta de dados se estendeu pelos anos de 2012 e 2013, devido à diversidade e disponibilidade de cada Instituição participante.

Como procedimentos de análise de dados, a princípio, foi avaliada a dimensionalidade/estrutura interna do instrumento, por meio de análises fatoriais exploratórias (AFE), realizadas a partir do método Exploratory Structural Equation Modeling – ESEM¹²no software Mplus 7. A indicação do número de fatores a extrair foi dada por resultados de análises paralelas.^13,14 As análises fatoriais foram realizadas tendo a matriz de correlações policóricas como fonte de informação, método dos mínimos quadrados ponderados robustos (WLSMV) e rotação oblíqua GEOMIN. Adotou-se como critério de manutenção de itens nos fatores a saturação ≥ 0,40. Também foram definidos, a priori, os seguintes índices bondade de ajuste do modelo fatorial: Índice de Ajuste Comparativo (CFI), valores ≥0,90 indicam ajuste aceitável; Raiz do Erro Quadrático Médio Aproximado (RMSEA) e sua versão padronizada (SRMR), segundo os quais valores ≤ 0,06 indicam ajuste, com limite máximo aceitável de 0,08¹⁵. Para cada dimensão retida, foram calculados coeficientes de consistência interna, Alfa de Cronbach, adotando-se como critério valores ≥ 0,60 como satisfatórios para estudos iniciais/exploratórios.¹⁵

Na sequência, utilizando o software Statistical Package for the Social Sciences 23® (SPSS), foram criados escores para representar a média das respostas dadas aos itens que se agruparam nas dimensões/fatores aferidos pelo instrumento de medida. Verificados os pressupostos das análises de regressão, estes escores foram utilizados como variáveis-critério em análises de regressão múltipla padrão, reproduzindo os procedimentos adotados em estudo semelhante¹⁶, tendo sido definidas as seguintes variáveis preditoras: idade, tempo de formado, tempo na unidade, quantidade e carga horária de treinamentos realizados nos últimos 12 meses e se estava participando de treinamento no momento da pesquisa. Devido à pluralidade das variáveis formação, escolaridade e função, para viabilizar as análises de regressão, estas foram transformadas em variáveis dummy.

Por fim, com o objetivo de avaliar a existência de diferenças significativas nas pontuações dos fatores da escala de crenças em função das características da amostra também utilizando o SPSS, foram realizados dois tipos de testes estatísticos: teste t de Student para comparação de dois grupos e ANOVA para comparação de três ou mais grupos. Para compreender melhor as diferenças identificadas por meio da ANOVA, análises post hoc foram utilizadas. Naqueles casos em que foi observado padrão homoscedástico entre as variáveis em comparação, utilizou-se o teste de comparações múltiplas das diferenças honestamente significativas de Tukey. Já naqueles casos nos quais a variância entre os grupos não foi homogênea, utilizou-se o teste de comparações Dunnett T3¹⁷. O nível de significância adotado para todos os testes foi de 5%.

O projeto de pesquisa foi aprovado em 2011 pelo Comitê de Ética em Pesquisa – (CEP) da Escola de Enfermagem da USP – Instituição proponente, sob o protocolo nº 1043/2011 e pelos CEP das instituições coparticipantes. A pesquisa foi conduzida respeitando os padrões éticos exigidos, com explicações no termo de consentimento livre e esclarecido sobre os objetivos do estudo e métodos empregados, voluntariedade da participação, ausência de custos e danos, respeito aos princípios de confidencialidade e sigilo, direito de recusa em qualquer momento sem prejuízos ao participante.

Resultados

No que se refere ao sexo dos participantes, 80,2% (n = 796) eram do sexo feminino, 19,4% (n = 192) masculino e 0,4% (n = 4) não responderam. O intervalo de idade variou de 18 a 70 anos (M = 37 anos; DP = 8,98); a faixa etária prevalente foi de 41 anos ou mais (30,1%; n = 299), seguida por até 30 anos (26,5%; n = 263). Os participantes do estudo com idade maior que 31 anos corresponderam a 70% (n = 695). O agrupamento da variável formação foi realizado pelo nível de escolaridade e resultou em 49,5% (n = 491) de nível médio; 38,8% (n = 385) de nível superior; 3,8% (n = 38) ensino fundamental; 0,9% (n = 9) de pós-graduação; 7,0% (n = 69) não responderam. A distribuição dos participantes por tempo de formado variou de 0,5 a 40 anos (M = 9,2; DP = 7,6), com prevalência no intervalo de formados até cinco anos (26,1%; n = 259)[1].

Quanto a os turnos de trabalho, a distribuição foi a seguinte: manhã (29,0%; n = 288); noturno (28,6%; n = 284); período integral (20,9%; n = 207) e tarde (16,9%; n = 168). Já em relação à função dos participantes, a de técnico de enfermagem foi a predominante (41,3%; n = 410), seguido de enfermeiro (23,7%; n = 235); auxiliar de enfermagem (9,5%; n = 94); educador físico (6,1%; n = 61); enfermeiro com cargo de chefia (5,54%; n = 55); agente comunitário de saúde (4,3%; n = 43); médico (1,4%; n = 14); nutricionista (1,4%; n = 14); as demais funções como psicólogo, farmacêutico, dentista, fisioterapeuta, técnico operacional e de farmácia corresponderam a menos de 1,0% cada.

Pela preponderância de profissionais da equipe de enfermagem e, também, porque, tradicionalmente, essa área desenvolve ações educativas estruturadas, procedeu-se ao seguinte agrupamento: equipe de enfermagem (80,0%; n = 794) e demais funções (17,0%; n = 169); dados perdidos 3,0% (n = 29). Foram agrupadas, ainda, no interior da equipe de enfermagem, as funções com e sem cargo de chefia, sendo, 5,5% (n = 55) de enfermeiros em cargos de liderança ou de chefia e 74,5% (n = 739) sem estes cargos (enfermeiros, técnicos e auxiliares de enfermagem), 20,0% (n = 198) dos dados foram perdidos.

A quantidade de treinamentos realizados pelos participantes nos últimos 12 meses apresentou amplitude de 0 (zero) a 60 (M = 5,7; DP = 5,9). A amplitude até 60, que a princípio parece excessiva, é devido à Instituição 10 computar como treinamento todas as ações educativas realizadas no cotidiano do trabalho. Para esta variável, os participantes foram agrupados nos seguintes grupos: nenhum treinamento (6,7%; n = 66); entre um e dois treinamentos (22,9%; n = 227); três a quatro (13,5%; n = 134); cinco a dez (20,3%; n = 201); 11 ou mais (15,3%; n = 152); dados perdidos/sem informação (21,3%; n = 212). Para a quantidade de horas de treinamento nos últimos 12 meses, a amplitude foi de 0 (zero) a 264 horas (M = 15,8; DP = 19,8), sendo mais frequente o intervalo de até 6 horas de treinamento (24,0%; n = 238). No momento da coleta de dados, 65,2% (n = 647) não participavam de treinamentos, 28,1% (n = 279) participavam e 6,7% (n = 66) não responderam.

As análises da dimensionalidade da escala indicaram a solução de três fatores como a que produziu melhor ajuste teórico e empírico. Os índices de bondade de ajuste do modelo fatorial obtidos para esta solução de três fatores foram os seguintes: CFI = 0,91; RMSEA = 0,057 [IC90%: 0,054 - 0,060]; SRMR = 0,048. Essa solução foi a que apresentou menor número de itens com cargas cruzadas. Tendo em vista o critério de manutenção de itens, aqueles cujas cargas fatoriais fossem ≥ 0,40, foram excluídos oito itens do instrumento (itens 05, 09, 15, 19, 24, 25, 28 e 30), ficando a versão final composta por 23 itens, distribuídos em três fatores, assim denominados[2]:

Fator 1. Finalidade e resultados do processo de avaliação com 16 itens; amplitude das cargas fatoriais de 0,40 a 0,78; alfa de Cronbach = 0,82. Expressa crenças favoráveis às técnicas e resultados das avaliações de reação e aprendizagem empregadas nas instituições;

Fator 2. Perspectivas de implementação da avaliação de impacto com 3 itens; amplitude das cargas fatoriais de 0,50 a 0,74; alfa de Cronbach = 0,61. Descreve crenças favoráveis às avaliações feitas no cotidiano do trabalho pela chefia, pelo desempenho e aplicação do aprendido no exercício profissional;

Fator 3. Interferências individuais nas medidas de avaliação com 04 itens; amplitude das cargas fatoriais de 0,50 a 0,70; alfa de Cronbach = 0,60. Agrega crenças desfavoráveis ao processo de avaliação tais como descompromisso, falta de atenção e de sinceridade na apreciação dos critérios avaliativos.

No procedimento de criação dos escores fatoriais, os itens que representam o Fator 3, que avaliam crenças negativas, foram invertidos para que a interpretação dos fatores pudesse se dar na mesma direção dos demais fatores, ou seja, quanto maior o escore, maior a concordância com o item e mais fortes as crenças. As médias obtidas para os fatores da ECPA, considerando a amostra total, foram as seguintes: Fator 1 = 4,00; Fator 2 = 3,902 e Fator 3 = 3,98, sugerindo crenças favoráveis aos processos de avaliação.

Para as análises de regressão, ao se considerar que o elevado número de dados perdidos em algumas variáveis preditoras era alto, optou-se pelo tratamento listwise deletion como aquele capaz de produzir resultados mais seguros e adequados. Assim, ficaram mantidos para as análises, 450 casos com informações completas em todas as variáveis que entraram na equação. Foram realizadas três regressões, cada uma delas tendo como variável-critério um dos três fatores aferidos pela ECPA. No geral os pressupostos básicos da regressão múltipla foram respeitados, contudo foram observados pequenos desvios da normalidade na distribuição das variáveis-critério. Foi testada a pertinência de aplicar transformações nestas variáveis, mas esta estratégia não contribuiu com a melhoria do modelo de regressão, de modo que são relatados os resultados considerando as variáveis brutas, conforme apresentado na Tabela 2.

Tabela 2 - Análises de regressão múltipla padrão para as crenças no processo de avaliação, São Paulo/SP, Brasil, 2014. (N = 450)

Variáveis preditoras	Variáveis-critério
	Fator 1- Finalidade e resultados do processo de avaliação			Fator 2 - Perspectivas de implementação da avaliação de impacto			Fator 3 – Interferências individuais nas medidas de avaliação
	B	β	sr²	B	β	sr²	B	β	sr²
A	0,01	0,04	0,03	0,01*	0,14	0,12	-0,01	-0,14	-0,11
B	-0,01	-0,12	-0,09	0,01	0,03	0,02	0,02	0,21	0,15
C	-0,01	-0,05	-0,04	-0,01	-0,05	-0,04	-0,01	-0,12	-0,09
D	0,01*	0,13	0,11	-0,01	-0,01	-0,01	0,01	0,01	0,01
E	-0,01	-0,07	-0,06	-0,01	-0,07	-0,07	0,01	-0,01	-0,01
F	-0,09**	-0,11	-0,11	0,07	0,06	0,06	0,04	0,03	0,03
Sumário	M = 3,99; DP=0,85; [F = 3,375; p ≤ 0,01]; R ²= 0,044; R²ajustado = 0,031			M = 3,91; DP=0,58; [F = 2,100; p ≤ 0,05]; R²= 0,028; R²ajustado = 0,015.			M = 1,95; DP=0,65; [F = 1,388; p ≤ 0,218]; R²= 0,018; R²ajustado = 0,005

*p<0,01; **p<0,05

Legenda para variáveis preditoras: A = Idade em anos; B = Tempo de formado; C = Tempo na unidade (anos); D = Número de treinamentos realizados nos últimos 12 meses; E = Horas que passaram em treinamentos nos últimos 12 meses; F = Participação em algum treinamento no momento da coleta.

Conforme resultados apresentados na Tabela 2, as variáveis “número de treinamentos que participou nos últimos 12 meses” e se “estava participando em treinamento no momento da pesquisa” foram capazes de gerar pesos de regressão significativos para a predição das crenças do Fator 1, explicando 3,1% das variações nas pontuações das crenças aferidas neste fator. Para o Fator 2, a variável “idade” foi a única capaz de gerar pesos de regressão significativos, com explicação de 1,5% das variações destas crenças. Em relação ao Fator 3, nenhuma das variáveis em tela foram capazes de produzir resultados preditivos significativos no modelo de regressão.

Por fim, as análises de comparação de grupo revelaram que os participantes se diferenciam significativamente em termos de suas crenças em várias configurações de grupos. No que se refere ao sexo do participante, o sexo masculino (M = 4,06) apresentou pontuação significativamente superior no Fator 1 – Crença na finalidade e resultados do processo de avaliação (t = -1,965; gl = 976; p ≤ 0,05) na comparação com o grupo feminino (M = 3,99). No Fator 2 – Perspectivas de implementação da avaliação de impacto (t = 1,925; gl = 975; p ≤ 0,05), o sexo feminino (M = 3,92) apresentou média significativamente superior ao grupo masculino (M = 3,82). Não foi observada diferença significativa para o Fator 3. Ressalta-se, porém a diferença no tamanho dos grupos. Em relação à faixa etária, o grupo mais jovem, com até 30 anos (M = 4,07), apresentou média significativamente superior no Fator 3 – Interferências individuais nas medidas de avaliação [F(3,944) = 3,368, p ≤ 0,018], na comparação com o grupo de maior idade, 41 anos ou mais (M = 3,91). Não foram observadas diferenças significativas entre outros grupos etários.

No que se refere à formação, o Fator 3 – Interferências individuais nas medidas de avaliação captou diferenças significativas entre os grupos [F(3,910)=4,784, p ≤ 0,003]. O grupo com pós-graduação (M = 4,39) apresentou média significativamente superior na comparação com o grupo com nível fundamental (M = 3,74). Não houve diferenças entre os outros grupos. Para a variável tempo de formado não foram encontradas diferenças significativas para nenhum dos fatores.

O grupo que estava participando de treinamento no momento da pesquisa (M = 4,06) apresentou pontuação significativamente superior no Fator 1 (t = 2,526; gl = 918; p ≤ 0,015) em relação ao grupo que não estava participando (M = 3,99). Não houve diferença significativa para os fatores 2 e 3.

No agrupamento das funções, grupo equipe de enfermagem e grupo de outras áreas, observamos que o grupo da enfermagem (M = 4,02) apresentou pontuação significativamente superior no Fator 1 (t = 2,387; gl = 952; p ≤ 0,017) na comparação com os grupos que exercem funções em outras áreas (M = 3,94). No Fator 2, não houve diferença significativa entre os grupos. No Fator 3, o grupo da enfermagem (M = 4,02) apresentou pontuação significativamente superior (t = 3,998; gl = 952; p ≤ 0,001) na comparação com os grupos que exercem funções em outras áreas (M = 3,80). Na equipe de enfermagem dividida em dois grupos, cargos de liderança e outras funções, não foram observadas diferenças significativas para nenhum dos fatores.

Na comparação dos participantes divididos por turno de trabalho, foram observadas diferenças significativas para as pontuações no Fator 1 [F(3,935)=6,488, p ≤ 0,001] e no Fator 3 [F(3,935)=5,061, p ≤ 0,002]. O grupo de período integral pontuou significativamente superior no Fator 1 na comparação com os grupos da manhã (M = 4,05) e da noite (M = 4,03). No Fator 3, o grupo que trabalha no período da noite (M = 3,88) apresentou média significativamente inferior na comparação com os grupos da tarde (M = 4,06) e da manhã (M = 4,06).

Quando os participantes foram comparados em função do nível de atenção à saúde que atuam prioritariamente, foram observadas diferenças significativas para os três fatores. No Fator 1 [F(2,979)=5,418, p ≤ 0,005], o grupo da atenção primária (M = 3,93) apresentou média significativamente inferior na comparação com o grupo da atenção terciária (M = 4,04). No Fator 2 [F(2,977)=3,730, p ≤ 0,024], o grupo da atenção primária (M = 3,84) apresentou pontuação significativamente inferior aos grupos da atenção secundária (M = 3,98). Por fim, no Fator 3 [F(2,979)=3,369, p ≤ 0,035], o grupo da atenção primária (M = 3,88) apresentou média significativamente inferior na comparação com os grupos da atenção secundária (M = 4,02).

Discussão

Não foram encontrados na literatura, estudos que abordassem crenças no processo de avaliação de treinamento e desenvolvimento, nem tampouco que focasse o caráter preditor ou que associasse as variáveis critério. Por esta razão, os achados neste estudo são discutidos à luz de pesquisas que se aproximem dos construtos crenças e avaliação e retratem a área de educação.

Assim, por consonância, o estudo¹⁶ acerca das crenças no Sistema de treinamento, desenvolvimento e educação (TD&E), é resgatado para discussão, pois considerou a própria acepção de crenças, no sentido de representações mentais provenientes de experiências que poderiam explicar alguns resultados de crenças, tais como experiência profissional, cargo e grau de escolaridade.

A predição do número de treinamentos e estar participando de treinamentos sobre as crenças na finalidade e resultados da avaliação ratifica que a experiência fundamenta a crença. Em outras palavras, os profissionais com maior experiência própria, conhecem melhor as ações de educação e avaliação e, por conseguinte avaliam, com mais propriedade, as referidas ações.

Em contrapartida, outra pesquisa apontou que as crenças nos resultados e processos de treinamento não apresentaram diferenças significativas entre quem já participou de treinamento e quem não participou, sugerindo que a participação em ações educacionais não tem levado a um aumento das crenças acerca dos resultados do processo de treinamento.¹⁶

A experiência está representada, também, na predição da idade sobre as crenças na viabilidade de utilização da avaliação de impacto.

Por outro lado, os indivíduos mais jovens apresentam menos interferências negativas, como desatenção e desinteresse para proceder à avaliação sugerindo, neste caso, que a maior experiência resultou em acúmulo de estigmas.

Neste estudo, assim como em pesquisa sobre crenças no sistema de treinamento, os resultados mostraram que as pessoas mais velhas e que têm mais experiência de trabalho tendem a ter crenças mais positivas,³ destacando que a avaliação é um subsistema deste. Logo, o menor tempo de experiência sugere a não compreensão da importância da avaliação.

As diferenças nas crenças entre os sexos deve ser analisada criteriosamente, visto que o grupo feminino é sobejamente maior que o masculino.

O fato de indivíduos com maior escolaridade apresentarem menos interferência negativa nas avaliações indica, mais uma vez, que a experiência pode levar à maior seriedade em sua execução. A experiência é aqui entendida pela maior frequência com que esses profissionais são submetidos a avaliações e que, por princípio, são mais preparados para tal.

Com isso, quanto maior a escolaridade, maior a compreensão da importância da avaliação e seus potenciais benefícios à prática. De outro modo, um estudo mostrou que a percepção de impacto do treinamento na prática é maior nos indivíduos com menor escolaridade, o que pode ser atribuído ao fato de terem menos possibilidades, fora da instituição, de verem suas necessidades de aprendizagem atendidas.¹⁸

Os profissionais mais velhos e com mais experiência de trabalho têm crenças mais positivas na avaliação do impacto. Se, por um lado, o menor tempo de experiência sugere a não compreensão da importância da avaliação,³ por outro, deve ser considerada a necessidade de aprimoramento das estratégias de treinamento e avaliação para reforçar as crenças nos indivíduos mais jovens. Assim, devem ser agregadas estratégias relacionadas à aprendizagem ativa que estimulem a participação e criticidade dos indivíduos, considerando a incorporação tecnológica inerente às novas gerações.¹⁹

Em relação às classes de profissionais, na atual pesquisa, a enfermagem aparece com maior mediana de crenças no processo de avaliação de TD&E, e justamente é a classe profissional que também apresenta a maior mediana de opiniões negativas do processo de avaliação de TD&E. Este achado pode estar relacionado ao fato da equipe de enfermagem, tradicionalmente, nas instituições de saúde, possuir serviço de educação estruturado, o que lhe confere maior experiência e, supostamente, maior capacidade crítica que, como visto neste estudo, acreditam mais na finalidade e resultados da avaliação, imprimindo menos sentimentos negativos.

O fato dos profissionais do período noturno apresentarem menores escores de crença pode ser entendido pelas características do trabalho de instituições hospitalares, cujo desgaste provocado pelo trabalho noturno interfere diretamente no desenvolvimento de conhecimentos, habilidades e atitudes abordados nas ações de TD&E e na consequente avaliação destas ações. Assim, a literatura reforça que atividades educativas após o plantão noturno apresentam aprendizado pouco produtivo devido ao cansaço dos treinandos; porém, no início do plantão, a adesão é baixa devido à dinâmica das unidades.²⁰

Destacando o antigo dilema das instituições de saúde de como treinar os indivíduos que trabalham no período noturno, a ação sugerida é que os treinamentos aconteçam no horário de trabalho, evitando ações educativas após o plantão que podem ocasionar diminuição do interesse, da apreensão e retenção do conhecimento.

Os níveis de atenção secundária e terciária com modelo biomédico predominante, têm em seu escopo de trabalho processos que envolvem procedimentos técnicos e utilização de equipamentos tecnológicos de alta complexidade, o que demanda mais horas de ações educativas formais com enfoque técnico, e assim, maior familiaridade com o processo de treinamento e avaliação.

A atenção primária, por sua vez, transcende os treinamentos formais para ações educativas, que analisam o contexto social da saúde e propõem acordos para resolução das situações-problema do cotidiano de trabalho. Nessa forma de educação, a avaliação formal não está presente determinando menor experiência dos profissionais deste nível de assistência.

Em compensação, estudos desenvolvidos com o apoio do Ministério da Saúde, após a implantação da Política Nacional de Educação Permanente em Saúde, relataram que a busca pela inserção de ações educativas e formativas na atenção primária, existe e aponta para dificuldades relacionadas a problemas de infraestrutura e não à falta de adesão ou interesse dos profissionais de saúde.^21-22

Apesar das crenças favoráveis apresentadas neste estudo mostrando a fertilidade para incrementar novas estratégias de avaliação, não se pode prescindir dos óbices referentes ao processo de treinamento nas instituições de saúde em geral, pois há uma inconstância do sistema de treinamento formal em que seus três principais componentes – avaliação de necessidades, planejamento e execução, e avaliação de resultados – não apresentam a conexão e inter-relação necessárias à efetividade da ação educativa.^23-24

Tal fato, na prática, aponta a existência de fragilidades nos três fatores ora estudados – ou seja, a finalidade e resultados do processo de avaliação, perspectivas de implementação da avaliação de impacto e interferências individuais nas medidas de avaliação.

Este resultado pode implicar em duas questões: mesmo não sendo realizadas em sua plenitude, os profissionais apreciam e acreditam nas ações educativas para melhoria de suas práticas. A segunda questão ainda pouco conhecida e divulgada, é a avaliação de resultados, mais especificamente, o impacto das ações educativas na prática.

Historicamente, as instituições têm em seus processos de treinamento, a avaliação de resultados imediatos à ação educativa, com testes de conhecimento antes e depois do treinamento e avaliação de satisfação após. Porém, são mais raras as ações de acompanhamento do impacto e da transferência para a prática.^16,18

Há poucos estudos brasileiros que relacionam aprendizado e impacto dos treinamentos em instituições de saúde. No entanto, somente a partir da avaliação dos treinamentos é possível averiguar se os programas de TD&E estão sendo efetivos, quais aspectos facilitam ou dificultam o desempenho dos treinandos envolvidos e, até mesmo, o quanto essas ações são válidas para o retorno financeiro das organizações. Portanto, são necessárias pesquisas e reflexões que avaliem a transferência de aprendizagem adquirida nos treinamentos como o benefício real alcançado pelos treinandos e pela organização.¹

Estudos que problematizam as ações de TD&E à equipe de enfermagem mostram, como principais fatores que dificultam a realização de capacitações efetivas, a inconstância do processo, com realização desvinculada das necessidades dos indivíduos e equipes; ausência de profissionais com perfis de educadores; falta de dimensionamento de tempo associado ou não à sobrecarga de trabalho e distanciamento do setor que planeja e executa o programa educacional dos setores assistenciais que o recebe.^1,3,19

A literatura aborda a importância das ações educativas, também, aos profissionais recém-admitidos, em que os treinamentos devem permitir ao novo trabalhador, conhecer os protocolos e diretrizes assistenciais e organizacionais, novas tecnologias e apropriar-se da cultura da instituição.^19,25Sendo que o conhecimento da cultura pode alterar o padrão da crença.

Além disso, apesar dos treinamentos serem apontados como eficazes, as instituições devem se preocupar em desenvolver estratégias de avaliação de comportamento e dos resultados como forma de melhorarem o diagnóstico de necessidades de aprendizagem.²⁴ Nesse sentido, a prática regular de avaliação de desempenho profissional contribui como ferramenta gerencial para avaliação de resultados de ações educacionais.

A avaliação de desempenho remete à cultura punitiva que também está presente nas avaliações em educação. Participar de treinamentos é um ato comum aos trabalhadores, no entanto, ser submetido a um teste de conhecimento antes da ação educativa, não é tão comum e pode causar temor quanto a sua exposição, distorcendo o sentido de avaliação da aprendizagem com perspectiva de avanço no processo de ensino.

O aprimoramento do processo de avaliação, especialmente, na avaliação prática e na divulgação dos resultados é requerido para destituir da avaliação seu caráter punitivo e de meritocracia e, assim, partir para construção de uma cultura dialética em que os conceitos e finalidades da avaliação sejam discutidos com clareza e transparência entre as pessoas envolvidas.

Este avanço não será imediato, e, além disso, as relações interpessoais e a ainda rígida hierarquia nas instituições de saúde incluem as relações de poder, um elemento não técnico, e sim, ético-político. Isso significa que, para além das opções técnicas, o processo avaliativo é uma opção política, dependente do modelo de gestão adotado.

Embora complexo, e antes mesmo da avaliação, é preciso refletir sobre o processo ensino aprendizagem, almejando uma aprendizagem significativa, por meio de estratégias pedagógicas ativas.

As metodologias ativas fundamentadas no construtivismo, instituem posturas colaborativas de ensinar e aprender e implicam em novos papéis; o professor passa a ser o mediador e o estudante assume o protagonismo no processo.²⁶

Como epistemologicamente, crença retrata o componente subjetivo do conhecimento e é considerada uma convicção,²⁷ reforçar as crenças por meio de ações educativas contínuas ampliará, também, o estímulo para participação em eventos educacionais e mais fecundidade para avaliação dessas ações. Logo, boas experiências em educação e avaliação permitirão diminuir o receio do caráter punitivo e difundir sua natureza de crescimento.

Conclusões

O instrumento utilizado apresentou dimensionalidade com ajuste teórico e empírico de três fatores: 1. Interferências individuais nas medidas de avaliação, com Alpha de Cronbach de 0,82; 0,61 e 0,60, respectivamente, o que lhe confere consistência interna.

A influência das variáveis-critério sobre as variáveis crenças com diferença significativa encontrada foram: Sexo - nos Fatores 1 e 2; Faixa etária - no Fator 3; Formação - no Fator 3; Se estava participando de treinamento no momento da pesquisa - no Fator 1; Função agrupada - Fatores 1 e 3; Turno de trabalho - Fatores 1 e 3; Nível de atenção à saúde - Fatores 1, 2 e 3.

A análise de regressão múltipla apontou como variáveis preditoras: No Fator 1: número de treinamentos em que participou nos últimos 12 meses; participação em treinamento no momento da pesquisa; No Fator 2: idade. No Fator 3, não houve resultado preditivo.

Apesar do número suficiente de participantes para as análises de associação, os resultados foram interpretados com cautela, uma vez que os grupos eram muito diferentes em número de respondentes, o que pode ser considerado como uma limitação do estudo.

O conhecimento das crenças que se referem aos estados comportamentais e cognitivos relacionados à experiência, é importante para tornar claro o direcionamento dos esforços a determinadas populações e para a consecução de ações para transformar crenças negativas em crenças favoráveis.

Os resultados deste estudo esboçam um cenário favorável à implementação de melhorias no processo de avaliação das ações educativas na área da saúde, visto que os profissionais demonstraram acreditar nas implicações práticas do processo de avaliação.

Por ser uma temática pouco estudada, há necessidade de estudos que incluam variáveis intervenientes às ações educativas e avaliativas tal como crenças no suporte à transferência de aprendizagem, prospectando o impacto individual e organizacional.

Este estudo ratificou, claramente, como a experiência influencia a crença, a predição pelo número de treinamentos e estar participando de treinamento exemplificam tal evidência.

Do mesmo modo, é importante oferecer mais oportunidades de ações educativas seguidas de avaliação para ampliar a experiência, sobretudo, dos profissionais do turno da noite, dos trabalhadores da atenção básica e daqueles que atuam em áreas que não a enfermagem. A educação interprofissional pode contribuir para melhorar a prática educativa e avaliativa.

Seria prescindível afirmar, no entanto, que para conquistar crenças positivas, é condição que a experiência de aprendizagem seja significativa e a avaliação seja reconhecida como profícua promotora de melhoria qualitativas.

Referências

1. Balarin CS, Zerbini T, Martins LB. A relação entre suporte à aprendizagem e impacto de treinamento no trabalho. REAd Rev Eletrônica Adm [Internet]. 2014 [acesso em 2017 jun 15]; 2(2):341-70. Disponível em: http://www.scielo.br/scielo.php?pid=S1413-23112014000200341&script=sci_abstract&tlng=pt.

2. Brant SRC, Borges-Andrade JE. Crenças no contexto do trabalho: características da pesquisa nacional e estrangeira. Rev Psicol Organ Trab [Internet]. 2014 [acesso em 2017 jun 15];14(3):292-302. Disponível em: http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1984-66572014000300005.

3. Bastos LFL, Ciampone MHT, Mira VL. Avaliação de suporte à transferência e impacto de treinamento no trabalho dos enfermeiros. Rev Latinoam Enferm [Internet]. 2013 [acesso em 2017 abr 03];21(6):1274-81. Disponível em: http://www.scielo.br/pdf/rlae/v21n6/pt_0104-1169-rlae-21-06-01274.pdf.

4. Ferreira RR, Abbad GS. Training needs assessment: where we are and where we should go. BAR Braz Adm Rev [Internet]. 2013 [acesso em 2017 abr 03];10(1):77-99. Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1807-76922013000100006.

5. Otrenti E, Mira VL, Bucchi SM, Borges-Andrade JE. Evaluation of formal educational processes for healthcare professionals. Invest Educ Enferm [Internet]. 2014 [acesso em 2017 maio 24];32(1):103-11. Disponível em: https://www.ncbi.nlm.nih.gov/pubmed/25229909.

6. Frank DH, Wertenbroch K, Maddux WW. Performance pay or redistribution? Cultural differences in just-world beliefs and preferences for wage inequality. Organ Behav Hum Decis Process [Internet]. 2015 [acesso em 2017 mar 05];130:160–70. Disponível em: http://www.sciencedirect.com/science/article/pii/S074959781500028X.

7. Bolfarine H, Bussab WO. Elementos de Amostragem. Rio de Janeiro: Blucher; 2017. Amostragem aleatória simples; p. 61-90.

8. Levy PS, Lemeshow S. Sampling of populations: methods and applications. 4th ed. USA: Wiley-Blackwell; 2009.

9. Mira VL. Avaliação de programas de treinamento e desenvolvimento da equipe de enfermagem de dois hospitais do município de São Paulo [livre-docência]. São Paulo: Escola de Enfermagem da Universidade de São Paulo; 2010. 225 p.

10. American Educational Research Association. American Psychological Association. National Council on Measurement in Education. Standards for educational and psychological testing. Washington (DC); 2014.

11. Mira VL. Relatório de pesquisa apresentado e aprovado pelo CNPq: crenças da equipe de saúde nas ações educativas institucionais. São Paulo; 2014.

12. Aparuhov T, Muthen LK, Muthen BO. Exploratory structural equation modeling. Struct Equ Model Multidiscip J. 2009;16(3):397-438.

13. Horn JL. A rationale and technique for estimating the number of factors in factor analysis. Psychometrika [Internet]. 1965 [acesso em 2015 mar 11];30(1):179-85. Disponível em: http://cda.psych.uiuc.edu/psychometrika_johnson/horn_citation_classic_number_of_factors.pdf.

14. Damasio BF. Uso da análise fatorial exploratória em psicologia. Aval Psico [Internet]. 2012 [acesso em 2015 abr 25];11(2):213-28. Disponível em: http://pepsic.bvsalud.org/pdf/avp/v11n2/v11n2a07.pdf.

15. Kline RB. Principles and practice of Structural Equation Modeling. 3th. The Guilford Press: New York, London; 2011.

16. Lopes JM, Mourão L. Crenças acerca do sistema de treinamento: a predição de variáveis pessoais e funcionais. Estud Psicol [Internet]. 2010 [acesso em 2017 abr 22];27(2):197-206. Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0103-166X2010000200007.

17. Dancey CP, Reidy J. Statistics without maths for psychology. 3th ed. New Jersey: Pearson Education International; 2006.

18. Flores GE, Oliveira DLL, Zocche DAA. Educação permanente no contexto hospitalar: a experiência que ressignifica o cuidado em enfermagem. Trab Educ Saúde [Internet]. 2016 [acesso em 2017 mai 23];14(2):487-504. Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1981-77462016000200487.

19. Cardoso RB, Ferreira BJ, Martins WA, Paludeto SB. Programa de educação permanente para o uso do prontuário eletrônico do paciente na enfermagem. J Health Inform [Internet]. 2017 [acesso em 2017 set 08]; 9(1):25-30. Disponível em: http://www.jhi-sbis.saude.ws/ojs-jhi/index.php/jhi-sbis/article/view/429/302.

20. Oliveira B, Martino MMF. Análise das funções cognitivas e sono na equipe de enfermagem nos turnos diurno e noturno. Rev Gaúch Enferm [Internet]. 2013 [acesso em 2017 jun 15];34(1):30-6. Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1983-14472013000100004.

21. Lemos CLS. Educação Permanente em Saúde no Brasil: educação ou gerenciamento permanente. Ciênc Saúde Colet [Internet]. 2016 [acesso em 2017 ago 13];21(3):913-22. Disponível em: http://www.scielo.br/scielo.php?pid=S1413-81232016000300913&script=sci_abstract&tlng=pt.

22. Pinto HA, Ferla AA, Ceccim RB, Florêncio AR, Matos IB, Barbosa MG et al. Atenção básica e educação permanente em saúde: cenário apontado pelo Programa Nacional de Melhoria do Acesso e da Qualidade da Atenção Básica (PMAQ-AB). Divulg Saúde Debate [Internet]. 2014 [acesso em 2017 set 05];(51):145-60. Disponível em: http://cebes.org.br/site/wp-content/uploads/2014/12/Divulgacao-51.pdf.

23. Abbad GS, Mourão L. Avaliação de necessidades de TD&E: proposição de um novo modelo. Rev Adm Mackenzie [Internet]. 2012 [acesso em 2017 set 23];13(6):107-37. Disponível em: https://www.redalyc.org/html/1954/195424913006/.

24. Mourão L, Gondim SMG, Macêdo MEC, Luna AF. Avaliação de necessidades de treinamento como preditora do impacto do treinamento no trabalho. Rev Psicol Organ Trab [Internet]. 2013 [acesso em 2017 maio 23];13(2):203-16. Disponível em: http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1984-66572013000200008.

25. Sapatini, TF, Gasparino RC, Polli L, Oliveira AS. Avaliação de um programa admissional para a equipe de enfermagem. Esc Anna Nery Rev Enferm [Internet]. 2016 [acesso em 2017 jun 22];20(3). Disponível em: http://www.redalyc.org/articulo.oa?id=127745807010.

26. Francisco THA, Vefago YB, Ramos AM, Souza IR. Para além das metodologias ativas: uma reflexão sobre a indução da qualidade em cursos de Administração. Rev Bras Ensino Super [Internet]. 2017 [acesso em 2018 abr. 27];3(2):38-57. Disponível em: https://seer.imed.edu.br/index.php/REBES/article/view/2024. doi: https://doi.org/10.18256/2447-3944.2017.v3i2.2024.

27. Gerhardt TE, Silveira DT [organizadoras]. Métodos de pesquisa. Coordenado pela Universidade Aberta do Brasil – UAB/UFRGS e pelo Curso de Graduação Tecnológica – Planejamento e Gestão para o Desenvolvimento Rural da SEAD/UFRGS. – Porto Alegre: Ed. UFRGS; 2009. Disponível em: http://www.ufrgs.br/cursopgdr/downloadsSerie/derad005.pdf.

Autor correspondente: Gabriela Cristina da Costa Gonçalves

E-mail: gabriela.goncalves@usp.br

Endereço: Rua Agostinho Ferreira Campos, 388, Bairro Cidade da Saúde, Itapevi- SP

CEP: 06693-120

Contribuições de Autoria

1 – Gabriela Cristina da Costa Gonçalves

Interpretação dos dados, redação e revisão crítica

2 – Daniela Miori Pascon

Concepção e planejamento do projeto de pesquisa, obtenção dos dados e revisão crítica

3 – Melissa Messias

Concepção e planejamento do projeto de pesquisa, obtenção e interpretação dos dados e redação

4 – Patrícia Tavares dos Santos

Concepção e planejamento do projeto de pesquisa e obtenção dos dados

5 – Everson Cristiano de Abreu Meireles

Contribuições : análise dos dados e revisão crítica

6 – Vera Lucia Mira

Concepção e planejamento do projeto de pesquisa, redação e revisão crítica

Como citar este artigo

Gonçalves GCC, Pascon DM, Messias M, Santos PT, Meireles ECA, Mira VL. Preditores de crenças no processo de avaliação das ações educacionais à equipe de saúde. Rev. Enferm. UFSM. 2019 [Acesso em: 2019 jun 15];vol ex:1-25. DOI:https://doi.org/10.5902/2179769229250

[1] N = número da amostra total; n = número de participantes nos subgrupos de caracterização da amostra; M = média; DP = desvio-padrão.