http://dx.doi.org/10.5902/1984686X63164

Family APGAR Scale: evidências iniciais de validade para utilização em familiares de pessoas com deficiência intelectual

Family APGAR Scale: initial evidence of validity for use in family members of people with intellectual disabilities

Escala APGAR familiar: evidencia inicial de validez para su uso en familiares de personas con discapacidad intelectual

Crystian Moraes Silva Gomes

Doutorando na Universidade Federal do Espírito Santo, Vitória, ES, Brasil

E-mail: crystian_salazar@hotmail.com ORCID: https://orcid.org/0000-0003-0675-0868

Lilian Gazzoli Zanotelli

Doutoranda na Universidade Federal do Espírito Santo, Vitória, ES, Brasil

E-mail: liliangazzoli@yahoo.com.br ORCID: https://orcid.org/0000-0002-4869-1504

Alexsandro Luiz de Andrade

Professor pós-doutor da Universidade Federal do Espírito Santo, Vitória, ES, Brasil

E-mail: alexsandro.deandrade@yahoo.com ORCID: https://orcid.org/0000-0003-4953-0363

Recebido em 20 de novembro de 2020

Aprovado em 10 de fevereiro de 2021

Publicado em 23 de março de 2021

RESUMO

A presença de pessoas com deficiência intelectual em uma família pode modificar o funcionamento e relações familiares. Este estudo teve como objetivo verificar as evidências iniciais de validade de estrutura interna e convergência da versão brasileira da Family APGAR Scale, a fim de avaliar a percepção da funcionalidade familiar em familiares de pessoas com deficiência intelectual, usuárias de serviços da Assistência Social. Participaram deste estudo 185 familiares de pessoas com deficiência, usuárias de um serviço de uma entidade não governamental de atendimentos a pessoas com deficiência em uma capital do sudeste brasileiro. Os resultados a partir de procedimentos fatoriais exploratórios demonstraram a estrutura interna unidimensional da medida adaptada, composta por cinco itens, tendo bons indicadores de precisão do tipo coeficiente de Alpha (α = 0,96) e Ômega (ω=0,96). Também foram observadas evidências de validade convergente entre a medida adaptada neste estudo e a Escala Total de Apoio Social do Medical Outcomes Study (MOS). Com isso, os resultados indicam que a versão brasileira adaptada da medida apresentou propriedades psicométricas adequadas e pode ser utilizada neste contexto e população.

Palavras-chave: Família; Deficiência; Assistência Social; Evidência de Validade; Psicometria.

ABSTRACT

The presence of people with disabilities in a family can modify family functioning and relationships. This study aimed to verify the initial evidence of internal structure validity and convergence of the Brazilian version of the Family APGAR Scale, in order to evaluate the perception of family functionality in family members of people with disabilities, users of Social Assistance services. Participated in this study 185 family members of people with disabilities, users of a service of a non-governmental entity providing assistance to people with disabilities in a capital of southeastern Brazil. The results from exploratory factorial procedures demonstrated the internal one-dimensional structure of the adapted measure, composed of five items, with good precision indicators of the Alpha (α = 0,96) and Omega (ω = 0.96). Evidence of convergent validity between the adapted measure in this study and the Total Social Support Scale of the Medical Outcomes Study (MOS) was also observed. Thus, the results indicate that the adapted Brazilian version of the measure had adequate psychometric properties and can be used in this context and population.

Keywords: Family; Deficiency; Social Assistance; Evidence of Validity; Psychometrics.

RESUMEN

La presencia de personas con discapacidad intelectual en una familia puede modificar el funcionamiento y las relaciones familiares. Este estudio tuvo como objetivo verificar la evidencia inicial de validez de estructura interna y convergencia de la versión brasileña de la Escala APGAR Familiar, con el fin de evaluar la percepción de funcionalidad familiar de familiares de personas con discapacidad intelectual, usuarios de los servicios de Asistencia Social. En este estudio participaron 185 familiares de personas con discapacidad, usuarios de un servicio de una entidad no gubernamental que brinda asistencia a personas con discapacidad en una capital del sureste de Brasil. Los resultados de los procedimientos factoriales exploratorios demostraron que la estructura interna unidimensional de la medida adaptada, compuesta por cinco ítems, posee buenos indicadores de precisión del tipo de coeficiente Alfa (α = 0,96) y Omega (ω = 0,96). También se observó evidencia de validez convergente entre la medida adaptada en este estudio y la Escala de Apoyo Social Total del Estudio de Resultados Médicos (MOS). Así, los resultados indican que la versión brasileña adaptada de la medida presenta propiedades psicométricas adecuadas y puede ser utilizada en este contexto y con esta población.

Palabras clave: Familia; Discapacidad; Asistencia Social; Evidencia de validez; Psicometría.

Introdução

As deficiências são complexas, dinâmicas, multidimensionais, e questionadas, sendo o resultado da interação entre pessoas com deficiência, barreiras comportamentais e ambientais que impedem a participação plena e igualitária do indivíduo na sociedade (MUNDIAL, 2012). A deficiência intelectual (DI) é definida como limitações significativas no funcionamento intelectual e no comportamento adaptativo, devendo ser compreendida a partir de uma perspectiva multidimensional, funcional e bioecológica (AAIDD, 2012). Sua etiologia engloba uma grande variabilidade de condições de saúde, desde distúrbios metabólicos e genéticos a alterações funcionais em decorrência de traumas neonatais ou lesões cerebrais. O diagnóstico da DI é realizado por meio do preenchimento dos seguintes critérios: déficits nas funções intelectuais, limitações no comportamento adaptativo e o período de desenvolvimento em que os déficits se iniciaram (APA, 2014).

A Secretaria Nacional de Assistência Social (SNAS) define o conceito de família referindo-se a grupos de pessoas com laços consanguíneos e/ou alianças e/ou afinidades, cujos vínculos circunscrevem obrigações recíprocas, organizados em torno de relações de gênero e de geração (MEYER; KLEIN; FERNADES, 2012; BRASIL, 2016). A presença de pessoas com deficiência em uma família pode modificar o funcionamento e as relações familiares, necessitando muitas vezes de estratégias de assistência e suporte (MORRIS; ZAIDEI, 2020; BRANCO; CIANTELLI, 2017). A família dispõe de um grupo de dinâmicas de relação muito diversificada, cujo funcionamento muda em decorrência de qualquer alteração que venha a ocorrer entre um de seus membros ou no grupo como um todo (BRANCO; CIANTELLI, 2017).

Um conjunto crescente de evidências empíricas do mundo inteiro indica que as pessoas com deficiência e suas famílias têm maior chance de enfrentar desvantagens econômicas e sociais do que aqueles indivíduos sem deficiência (MORRIS; ZAIDEI, 2020; LEE; MATTHEWS; PARK, 2019; PINILLA-RONCANCIO, 2018). Dados do Relatório Mundial sobre a Deficiência (MUNDIAL, 2012) evidenciam que, em todo o mundo, pessoas com deficiência apresentam piores perspectivas de saúde, níveis mais baixos de escolaridade, participação econômica menor e taxas de pobreza mais elevadas em comparação às pessoas sem deficiência. O Relatório evidencia a importância dos serviços socioassistenciais, uma vez que a falta desses dispositivos pode fazer com que a pessoa com deficiência se torne extremamente dependente de suas famílias, impedindo que ambas as partes se tornem economicamente ativas e socialmente incluídas (MORRIS; ZAIDEI, 2020; MUNDIAL, 2012).

A pessoa com DI não pode ser compreendida isoladamente da família, visto a ocorrência de trocas, interações e atribuições de papéis sociais distintos estabelecidos entre seus membros, de modo que os aspectos físicos, afetivos, sociais e intelectuais da pessoa estão atrelados a sua condição familiar (BRANCO; CIANTELLI, 2017). Para muitas pessoas com deficiência intelectual, a assistência social e o suporte são pré-requisitos para sua participação na sociedade (MORRIS; ZAIDEI, 2020; LEE; MATTHEWS; PARK, 2019; PINILLA-RONCANCIO, 2018). Este grupo populacional pode ter suas limitações agravadas por situação de dependência de cuidados de terceiros e por violações de direitos, tais como: isolamento social, confinamento, falta de cuidados adequados, alto grau de estresse do cuidador familiar (MORRIS; ZAIDI, 2020; PINILLA-RONCANCIO, 2018). Essas, dentre outras condições agravam a dependência e comprometem o desenvolvimento da autonomia (MORRIS; ZAIDI, 2020).

De acordo com o que preconiza a Política Nacional de Assistência Social (PNAS), o Serviço de Convivência e Fortalecimento de Vínculos (SCFV) promove o enfrentamento da vulnerabilidade social, da socialização, da promoção da autonomia e do protagonismo do usuário enquanto cidadão de direito (MINATEL; ANDRADE, 2020; BRASIL, 2017). Destacam-se com isso, a possibilidade de acesso a benefícios e serviços socioassistenciais, de modo a fortalecer a rede, o acesso à educação, cultura, esporte e lazer, a fim de propiciar a troca de experiências e respeito vivenciados pela convivência e pelo fortalecimento dos vínculos familiares (BRASIL, 2017; MEYER; KLEIN; FERNADES, 2012).

A Family APGAR Scale foi desenvolvida por Smilkstein, Ashworth e Montano (1982), que com base na experiência do primeiro autor como Médico da Família, propuseram a elaboração e uso deste instrumento para equipes da Atenção Básica em Saúde, em sua abordagem para a análise da função familiar. A APGAR mensura a percepção de membros de uma família sobre o nível de operação da unidade familiar de forma global, evidenciando a maneira pela qual uma pessoa percebe o funcionamento da sua família em um determinado momento (SMILKSTEIN; ASHWORTH; MONTANO, 1982).

A escala avalia cinco funções básicas da família, onde cada letra refere-se a uma inicial da palavra em inglês que denota um aspecto da função familiar estudada (SMILKSTEIN; ASHWORTH; MONTANO, 1982). Ou seja, para avaliar a funcionalidade: Adaptação (adaptability) é a capacidade de usar recursos intra e extras familiares para resolver problemas em situações de estresse familiar ou períodos de crise. Participação (partnertship) é o envolvimento dos membros familiares na tomada de decisões e em responsabilidades relacionadas com a manutenção da família. Crescimento (growth) é o desenvolvimento da maturação física, emocional e autorrealização que os componentes de uma família desenvolvem graças ao apoio e conselho mútuo. Afeição (affection) é a relação de amor afetivo que existe entre os membros da família. Resolução (resolve) é o compromisso em gastar tempo assistindo a necessidades físicas e emocionais de outros membros da família, geralmente envolve compartilhar renda e espaços (SMILKSTEIN; ASHWORTH; MONTANO, 1982).

Os itens da escala são estruturados para resposta a partir de uma escala de 0 a 4 pontos, que varia de nunca a sempre. As pontuações totais do instrumento variam no intervalo de 0 a 20. Uma pontuação total entre 0 e 9 indica grave disfunção familiar; entre 10 e 13, disfunção moderada; entre 14 e 17 pontos, leve disfunção e, se for igual ou superior a 18 é considerada funcional (SMILKSTEIN; ASHWORTH; MONTANO, 1982). No Brasil, os estudos de adaptação transcultural e de verificação das propriedades psicométricas da Family APGAR Scale, foram realizados com idosos independentes, idosos dependentes e seus cuidadores em municípios do Sudeste brasileiro (DUARTE, 2001). Todavia, se desconhece que seus resultados tenham sido publicados em formato de artigo.

Silva et al., (2014) investigaram as evidências de confiabilidade e validade do instrumento junto a idosos residentes na região nordeste do Brasil, que apresentou índices satisfatórios de adequação da medida, com coeficiente do tipo alpha de Cronbach 0,80 e coeficiente de discriminação entre 0,52 e 0,68. Faz-se importante salientar que a utilização deste instrumento é preconizada pelo Ministério da Saúde para a avaliação da funcionalidade de famílias desde 2006 (BRASIL, 2017; SILVA et al., 2014). Sendo amplamente empregado na prática clínica em saúde pública, especialmente, no âmbito da Estratégia Saúde da Família, uma vez que é apontado como ferramenta facilitadora da observação e análise das unidades familiares, principal foco de intervenção desse modelo de Atenção Primária à Saúde (SILVA et al., 2014).

Apesar da Family APGAR Scale ter sido originalmente desenvolvida e divulgada cientificamente nos anos 80, evidências científicas internacionais posteriores demonstram seu uso com diferentes populações com deficiências e seus familiares. Na Colômbia, o instrumento foi investigado com familiares de pessoas com deficiência visual e auditiva (BORJA; QUENGUAN; CAMPO, 2016), jovens com deficiência intelectual na Colômbia e Argentina (URBANO; CABRERA; CAIZA, 2010; VALDÉS; TOLOZA; FIGUEROA, 2012), gestantes com anormalidades fetais na China (SUN et al., 2020), familiares de crianças com deficiência no México (LÓPEZ-MÁRQUEZ, 2017), pessoas com lesão medular no Brasil (TRIERVEILER et al., 2015), familiares e cuidadores de pessoas com Esquizofrenia na Espanha (RIBÉ et al., 2018), e familiares de idosos com doença de Alzheimer nos Estados Unidos (ROSE et al., 2020).

Em um Serviço de Convivência e Fortalecimento de Vínculos deve-se desenvolver tecnologias para a identificação das necessidades sociais e a implementação de indicadores com a perspectiva quantitativa e qualitativa para estruturação do Plano de Atendimento Individual ou Familiar (MINATEL; ANDRADE, 2020; BRASIL, 2017). Este se configura como um instrumento dinâmico utilizado para monitorar e avaliar periodicamente resultados individuais, grupais, familiares e do serviço como um todo (MINATEL; ANDRADE, 2020; BRASIL, 2017). Apesar da Family APGAR Scale ter sido idealizada e construída para ser utilizada em serviços de saúde, acredita-se que seus constructos teóricos dialogam com a Política Nacional de Assistência Social, possibilitando a aplicação em populações usuárias de serviços socioassistenciais.

Até o momento da realização deste estudo não foram encontrados na literatura estudos metodológicos de evidência de validade do instrumento para utilização em familiares e pessoas com deficiência intelectual em contextos socioassistenciais. Entre os elementos que determinam o desenvolvimento e adaptação de um instrumento estão o público-alvo e os contextos nos quais a ferramenta deve ser utilizada (DAMÁSIO; BORSA, 2017). Deste modo, este estudo tem por objetivo verificar as evidências iniciais de validade de estrutura interna e de validade convergente da versão brasileira da Family APGAR Scale, a fim de mensurar a percepção da funcionalidade familiar em familiares de pessoas com deficiência intelectual, usuárias de serviços da Assistência Social.

Método

Participantes

Participaram deste estudo um total de 185 familiares de pessoas com deficiência intelectual, sendo destes 160 do sexo feminino (86,5%) e 25 do sexo masculino (13,5%). Dentre os familiares participantes a média de idade foi de 57,2 anos (DP = 10,4 anos). Além disso, dentre estes familiares 74,6% correspondem a mães, 13,5% a irmãos, 7,6% aos pais e 4.3% a cuidadores e outros familiares. Quanto à escolaridade, 98 participantes declararam ter nível fundamental (52,8%), 60 relataram ter ensino médio (32,4%); e apenas 19 o ensino superior (10,2%); tendo ainda 8 participantes que declararam ser analfabetos ou não souberam informar (4,3%). No que diz respeito ao estado civil dos participantes, 86 responderam ser casados (46,5%); 36 declararam estar solteiros (19,5%); 34 afirmaram ser divorciados (18,4%); e 28 declararam ser viúvos (15,1%), tendo apenas 1 participante que não soube informar (0,5%). Em relação à atividade laboral dos familiares participantes, 44,0% se declararam do lar, 13,6% aposentados, 10,9% autônomos, 6,5% pensionistas e 3,8% desempregados, tendo os demais participantes exercendo atividades diversas. Sobre a classe econômica 36.2% pertencem a C2, 23,8% a C1, 22,2% a D-E, 13,5% a B2 e 4,3% a B1-A. A Tabela 1 apresenta resumidamente as características dos membros familiares.

Tabela 1 – Características dos Membros Familiares

CARACTERÍSTICAS

DESCRIÇÃO

%

 

Vínculo Familiar

 

Mães

74,6

Irmãos

13,5

Pais

7,6

Outros

4,3

Sexo

Feminino

86,5

Masculino

13,5

Idade

Média

57,2

Desvio Padrão

10,4

Escolaridade

Ensino Fundamental

52,8

Ensino Médio

32,4

Ensino Superior

10,2

Analfabetos/não sabem

4,3

 

Estado Civil

 

Casados

46,5

Solteiros

19,5

Divorciados

18,4

Viúvos

15,1

Não sabe informar

0,5

 

Atividade Laboral

 

Do lar

44,0

Aposentados

13,6

Autônomos

10,9

Pensionistas

6,5

Desempregados

3,8

 

Classe Econômica

 

C2

36,2

C1

23,8

D-E

22,2

B2

13,5

B1-A

4,3

Fonte: Dados da pesquisa (2020).

Sobre os usuários do serviço propriamente dito, das 185 pessoas com deficiência intelectual, 88 eram do sexo feminino (47,6%) e 97 do sexo masculino (52,4%). Dentre estes, a média de idade foi de 30,2 anos (DP = 9,26 anos), sendo a faixa etária composta por 23,2% de 20 a 24 anos (N=43), 23,2% de 30 a 34 anos (N=43), 20,0% de 25 a 29 anos (N=37), 12,4% de 35 a 39 anos (N=23), 8,1% de 15 a 19 anos (N=15), 5,4% de 40 a 44 anos (N=10), 2,2% de 45 a 49 anos (N=4), 2,2% de 55 a 59 anos (N=4), 2,2% de 50 a 54 anos (N=4) e 1,1% de 60 a 64 anos (N=2). Além disso, 92 pessoas com deficiência intelectual apresentavam renda individual provenientes do BPC, (49,7%), 29 provenientes de algum tipo de pensão (15,7%), 1 do auxílio do Bolsa Família (0,5%), 61 não possuem nenhuma renda individual (33,0%) e 1 não soube informar (0,5%). Em relação ao diagnóstico, segundo a Classificação Internacional de Doenças (CID), organizado pela Organização Mundial da Saúde (OMS), 103 usuários estão classificados com CID F70 - Retardo mental leve (55,7%), 47 usuários com CID F71 - Retardo mental moderado (25,4%), 12 usuários com CID F72 - Retardo mental grave (6,5%), 6 usuários com CID F79 - Retardo mental não especificado (3,2%), 5 usuários com CID Q90 - Síndrome de Down (2,7%), 2 usuários com CID G80 - Paralisia Cerebral (1,1%), e os demais usuários com outras classificações (5,0%). A Tabela 2 apresenta resumidamente as características dos usuários do serviço.

Tabela 2 Características dos Usuários do Serviço

CARACTERÍSTICAS

DESCRIÇÃO

%

Sexo

Masculino

52,4

Feminino

47,6

Idade

Média

30,2

Desvio Padrão

9,2

 

Tipo de Renda Individual

BPC

49,7

Pensão

15,7

Bolsa Família

0,5

Nenhuma renda

33,0

Não soube informar

0,5

 

Classificação Internacional de Doenças – CID

CID F70 – Retardo Mental Leve

55,7

CID F71 – Retardo Mental Moderado

25,4

CID F72 – Retardo Mental Grave

6,5

CID F79 – Retardo Mental não Especificado

3,2

CID Q90 – Síndrome de Down

2,7

CID G80 – Paralisia Cerebral

1,1

Outros

5,0

Fonte: Dados da pesquisa (2020).

Instrumentos utilizados

(I) Questionário Sociodemográfico: esse instrumento teve como objetivo levantar o perfil dos participantes, sendo composto por perguntas sobre sexo, idade, escolaridade, estado civil, grau de parentesco, atividade laboral, dentre outras características dos usuários e membros familiares. O tempo médio de aplicação do instrumento foi de 5 minutos.

(II) Critério de Classificação Econômica Brasil: índice proposto pela Associação Brasileira de Empresas de Pesquisa (BRASIL, 2015). A aplicação deste questionário teve por objetivo classificar as classes econômicas dos participantes, em um dos seis estratos socioeconômicos denominados A, B1, B2, C1, C2 e D-E. O tempo médio de aplicação do instrumento foi de 5 minutos.

(III) Family APGAR Scale (SMILKSTEIN; ASHWORTH; MONTANO, 1982), instrumento composto por 5 itens do tipo Likert (0 = quase nunca, 1 = às vezes e 2 = quase sempre). A escala avalia a satisfação do membro da família em relação à percepção do funcionamento do seu sistema familiar (por exemplo, Estou satisfeito (a) com a maneira pela qual minha família e eu compartilhamos o tempo juntos). O tempo médio de aplicação do instrumento foi de 5 minutos.

(IV) Escala de Apoio Social do Medical Outcomes Study (MOS) adaptada para versão portuguesa por Zanini, Verolla-Moura e Queiroz (2009), o instrumento é composto por 19 itens que avaliam o tipo de apoio social percebido por pacientes com doenças crônicas, usuários de serviços de saúde. A medida subdivide-se em 4 dimensões de apoio social, com alphas variando de 0,95 a 0,76. Dentre as dimensões destacam-se: apoio emocional/informacional (por exemplo, “...para ouvi-lo quando precisa falar”), interação social (por exemplo, “...com quem fazer coisas agradáveis”), apoio material (por exemplo, “...para ajudá-lo diariamente se ficar doente”) e apoio afetivo (por exemplo, “...que demonstre amor e afeto por você”). Os itens foram respondidos em uma escala Likert de 5 pontos que varia de 1 (nunca) a 5 (sempre). O tempo médio de aplicação do instrumento foi de 10 minutos.

Procedimentos éticos

Este estudo faz parte de uma pesquisa desenvolvida em uma entidade não governamental de atendimentos a pessoas com deficiência em um município capital do sudeste. Esta pesquisa foi aprovada pelo Comitê de Ética da Sociedade de Ensino Superior de Vitória (CAAE: 22829319.1.0000.5073), sob o parecer de número 3.775.581, conforme preconiza a Resolução 466/2012 e a Resolução 510/2016 do Conselho Nacional de Saúde. Todos os participantes foram esclarecidos sobre os objetivos e riscos da pesquisa, bem como concordaram e assinaram o Termo de Consentimento Livre e Esclarecido (TCLE) apresentado.

Procedimento de coleta e análise dos dados

Os dados foram coletados durante o período de recadastramento anual (novembro de 2018 a janeiro de 2019), de uma entidade não governamental de atendimentos a pessoas com deficiência em um município, capital do sudeste. Os critérios de inclusão dos familiares foram ser o cuidador primário da pessoa com deficiência intelectual, ou seja, aquele que presta assistência durante a maior parte do dia, com carga horaria diária mínima de 8 horas, há pelo menos 6 meses, que não fosse remunerado para exercer tais atividades e apresentasse idade igual ou superior a 18 anos. O processo de avaliação foi conduzido por profissionais qualificados, especificamente com formação em Serviço Social, Psicologia e Terapia Ocupacional.

Após a coleta de dados, foi realizado o registro dos dados manualmente em uma planilha de processamento de dados. Sequencialmente, procedeu-se uma análise paralela para decisão da estrutura interna e uma análise fatorial exploratória, utilizando uma matriz policórica e o método de Extração Robust Diagonally Weighted Least Squares – RDWLS (DAMÁSIO; BORSA, 2017). Todas as análises foram realizadas com apoio do software Factor 10.8 (LORENZO-SEVA; FERRANDO, 2013). Também foram verificados os indicadores de ajuste da medida. Para avaliação da precisão da medida recorreu-se o coeficiente obtido pelos indicadores do tipo alpha de Cronbach e ômega de McDonald. Para evidências de validade convergente, foi realizada análise da correlação do tipo r de Pearson entre a Escala de Apoio Social do Medical Outcomes Study (MOS) e a Family APGAR Scale, realizado com auxílio do software JAMOVI (SAHIN; AYBEK, 2019).

Resultados

Visando levantar as primeiras evidências de validade da estrutura interna da Family APGAR Scale, foi realizada, inicialmente, uma análise fatorial exploratória (AFE). Os resultados apontararam a fatorabilidade da matriz de dados com índices adequados do Kaiser-Meyer-Olkin (KMO = 0,91) e do teste de esfericidade de Bartlett significativos (x2 = 1106,5; p 0,001). A natureza dimensional da Escala foi explorada pelo critério da análise paralela (TIMMERMAN; LORENZO-SEVA, 2011), o qual apontou a estrutura unidimensional da medida adaptada, composta por cinco itens. A Tabela 3 indica a variância estabelecida pelos valores empíricos e aleatórios gerados pela análise paralela.

Tabela 3 Resultados da Análise Paralela

VARIÂNCIA

COMPONENTES

1

2

3

4

5

Empíricos

95,44

2,46

1,14

0,94

-

Aleatórios

41,29

29,50

19,54

9,65

-

Fonte: Dados da pesquisa (2020).

Nota 1: O número de fatores a ser retido é um, pois somente um fator dos dados reais apresenta 95,44% de variância explicada maior do que os dados aleatórios.

Ainda sobre a natureza dimensional da escala, cabe destacar que os indicadores de unidimensionalidade suportaram a estrutura unifatorial da medida, (UNICO=1,00, EVC= 0,98 e MIREAL= 0,10). Pois, valores de congruência única (UNICO) maior que 0,95, de variância comum explicada (EVC) maior que 0,85 e de média das cargas absolutas do item residual (MIREAL) inferior a 0,30 sugerem que os dados podem ser tratados como essencialmente unidimensionais (FERRANDO; LORENZO-SEVA, 2018).

Os itens apresentaram cargas fatoriais adequadas, mostrando-se todas elevadas (acima de 0,40). Sendo que a menor carga fatorial encontrada foi 0,78, no item 4. Todas as cargas fatoriais dos itens podem ser observadas na Tabela 4.

Tabela 4 Estrutura Fatorial dos Itens

ITEM

ESTRUTURA FATORIAL DOS ITENS - CORRELAÇÃO POLICÓRICA

1

1,00

-

-

-

-

2

0,86

1,00

-

-

-

3

0,85

0,89

1,00

-

-

4

0,78

0,84

0,85

1,00

-

5

0,81

0,86

0,84

0,83

1,00

Fonte: Dados da pesquisa (2020).

No que concernem os aspectos de ajuste do modelo, verificou-se que a estrutura unifatorial apresentou bons índices de ajuste, sendo estes: x2 / df = 4620,47; CFI = 1,00, NNFI ou TLI = 1,00, AGFI = 1,00 e RMSEA = 0,00 (0,00-0,011). Os indicadores de precisão, a partir dos coeficientes de confiabilidade de Alpha (Cronbach's α = 0,96) e Ômega (McDonald's ω = 0,96), respectivamente, apontaram boa evidência de precisão do instrumento.

Considerando as análises anteriores e visando levantar evidências de validade convergente do instrumento, a etapa seguinte consistiu na realização da relação entre a Family APGAR Scale (adaptada neste estudo) com a escala de Apoio Social do Medical Outcomes Study (MOS) (ZANINI; VEROLLA-MOURA; QUEIROZ, 2009). As evidências externas da APGAR foram obtidas com procedimentos de correlação do tipo análise de correlação de Pearson, conforme destaca a tabela 5.

Tabela 5 – Matrix de Correlação de Pearson

CORRELAÇÃO ENTRE OS ITENS - PEARSON

Apgar Total

Apoio Social do Medical Outcomes Study - MOS

MOS Total

Apoio Material

Apoio Afetivo

Apoio Emocional/ Informacional

Apoio Interação Social Positiva

Apgar Total

-

-

-

-

-

-

MOS Total

0,20**

-

-

-

-

-

Apoio Material

0,24 ***

0,80***

-

-

-

-

Apoio Afetivo

0,18*

0,68***

0,49***

-

-

 

Apoio Emocional/ Informacional

0,14*

0,93***

0,63***

0,56***

-

-

Apoio Interação Social Positiva

0,15*

0,78***

0,51***

0,45***

0,62***

-

Fonte: Dados da pesquisa (2020).

Nota 2: * p 0,05, ** p 0,01, *** p 0,001

Os resultados demonstram associação positiva entre a escala total de Apoio Social do Medical Outcomes Study (MOS) com as variáveis de funcionalidade familiar (r= 0,20; p 0,001). Entretanto, quando analisada as relações da Family APGAR Scale isoladamente com cada dimensão da escala de Apoio Social do Medical Outcomes Study (MOS), verificou-se que a funcionalidade familiar se correlacionou de forma significativa apenas com a dimensão apoio material da Escala de Apoio Social do Medical Outcomes Study (r= 0,24; p 0,001). A Tabela 5 apresenta a Matriz de Correlação de Pearson.

Sobre a interpretação dos escores da Family APGAR Scale, em relação à percepção da funcionalidade familiar dos familiares participantes, 59,5% apresentaram boa funcionalidade familiar, 10,8% moderada disfunção familiar e 29,7% elevada disfunção familiar.

Discussão

O objetivo deste estudo foi verificar as evidências iniciais de validade de estrutura interna e convergência da versão brasileira da Family APGAR Scale, a fim de mensurar a percepção da funcionalidade familiar em familiares de pessoas com deficiência intelectual, usuárias de serviços socioassistenciais. Originalmente, este instrumento foi concebido para utilização no contexto da medicina da família. Sendo seu design, objetivo e evidências específicos para que o profissional de saúde pudesse utilizá-lo nesta área, sendo recomendado inclusive pelo Ministério da Saúde, para uso em âmbito nacional (BRASIL, 2017; SILVA et al., 2014).

A evidência de validade de um teste está diretamente relacionada às interpretações propostas para os dados do instrumento sustentados teoricamente por meio de evidências empíricas (DAMÁSIO; BORSA, 2017). Quando utilizada em outros contextos, é essencial verificar as evidências de validade de todos os elementos citados da Family APGAR Scale. Isso serve para investigar se o instrumento se comporta de forma confiável e válida, para que o profissional inserido nesse novo contexto, como o da assistência social possa utilizá-la com segurança. Em um Serviço de Convivência e Fortalecimento de Vínculos, deve-se avaliar quantitativamente e qualitativamente os resultados do serviço, na oferta direta ou indiretamente do serviço, na sua contribuição para a superação de barreiras, construção da autonomia e ampliação da participação social das pessoas com deficiência e suas famílias (BRASIL, 2017).

Na análise do comportamento de cada item da escala, em relação à contribuição para a consistência interna do instrumento, observou-se pequena variação (0,90 a 0,92) nos valores de Alpha de Cronbach's e Ômega, indicando que os de itens são individualmente convergentes ou complementares. Resultados similares foram encontrados por outros pesquisadores, com populações distintas, em diferentes contextos socioculturais e geográficos no processo de adaptação da APGAR (MAYORGA-MUÑOZ; GALLARDO-PERALTA; GALVEZ-NIETO, 2019; DÍAZ-CÁRDENAS; TIRADO-AMADOR; SIMANCAS-PALLARES, 2017).

Desde o estudo inicial de desenvolvimento, foi evidenciado que a Family APGAR Scale é uma medida unidimensional. Os resultados da análise fatorial exploratória deste estudo corroboram a estrutura subjacente da escala. Ou seja, o peso fatorial de cada item encontrou-se apenas em um único fator, em consonância com o construto funcionalidade familiar, desenvolvido por Smilkstein, Ashworth e Montano (1982). Isso demonstrou ainda, que a Family APGAR Scale no modelo unifatorial, utilizada no contexto socioassistencial com familiares de pessoas com deficiência intelectual, apresentou evidências de validade adequadas, com cargas fatoriais elevadas e com uma alta confiabilidade (α = 0,96) e (ω = 0,96). Estes resultados coincidiram com os encontrados por Mayorga-Muñoz, Gallardo-Peralta e Galvez Nieto (2019), Gómez Clavelina e Ponce Rosas (2010) e Forero Ariza et al., (2006), estes, ao realizarem a análise fatorial, também encontraram em suas pesquisas a existência de um modelo com um único fator da medida.

As análises convergentes realizadas neste estudo, demostraram através da análise de correlação de Pearson, associação positiva entre a escala total de Apoio Social do Medical Outcomes Study (MOS), com as variáveis da funcionalidade familiar da APGAR. O apoio social pode servir como um recurso de enfrentamento e otimização do bem-estar na saúde dos cuidadores. Isso evidencia que cuidadores de um membro da família com deficiência intelectual em circunstâncias socioeconômicas desfavoráveis, mas com suporte social relativamente alto, administram melhor a sobrecarga de cuidados quando comparados aqueles com menos suporte social (LEE; MATTHEWS; PARK, 2019). Não é incomum que os cuidadores experimentem esgotamento, sofrimento emocional e doenças associadas à sobrecarga. Nesta direção, o apoio social configura-se como um recurso fundamental para combater esses efeitos negativos da sobrecarga, mitigando os efeitos negativos do estresse (VEJA et al, 2019; FAW, 2018).

Outro resultado interessante deste estudo refere-se à correlação, significativa e positiva entre a funcionalidade familiar e a dimensão apoio material da Escala de Apoio Social do Medical Outcomes Study. Na América Latina, as pessoas com deficiência e suas famílias estão em piores condições de pobreza, do que as famílias pobres sem membros com deficiência (PINILLA-RONCANCIO, 2018). Dentre as principais implicações de ter um membro da família com deficiência estão: custos elevados de criar filhos com deficiência, baixos níveis de acesso a benefícios de transferência de renda, dificuldade de equilibrar emprego dos pais e responsabilidades do cuidado, tratamentos necessários indisponíveis e/ou de alto custo e tempo livre inadequado para permitir que os pais atendam às necessidades do membro familiar com deficiência (MORRIS; ZAIDEI, 2020; PINILLA-RONCANCIO, 2018).

Constata-se que a presença da deficiência é um fator determinante de maior vulnerabilidade econômica. O que justifica a correlação positiva com o fator apoio material na MOS, que se refere a provisão de recursos práticos e ajuda material disponibilizada. Nesse contexto, entende-se que quanto maior o apoio material, maiores são a chances de uma melhor funcionalidade familiar. O custo extra, relacionado às deficiências, é um fator preditor de aumento da sobrecarga dos cuidadores, sendo o apoio social um fator moderador dessa sobrecarga (MORRIS; ZAIDEI, 2020; LEE; MATTHEWS; PARK, 2019; PINILLA-RONCANCIO, 2018).

São inúmeras as barreiras existentes no dia a dia das pessoas com deficiência intelectual que podem colocá-las em situação de dependência, vulnerabilidade, risco pessoal e social. Famílias que vivem com pessoas com deficiência intelectual, muitas vezes, necessitam de apoio multidisciplinar para garantir uma melhor qualidade de vida de seus membros. Estas atividades de acompanhamento multidisciplinar devem ser focadas na perspectiva biopsicossocial da deficiência, já que as incapacidades e as barreiras existentes podem causar exclusão social e violações de direitos (BRASIL, 2017). Sendo importante salientar ainda, que além da forte dependência de seus membros e da sobrecarga de trabalho, as famílias, enfrentam os altos custos financeiros decorrentes das situações de incapacidade provenientes da dependência (PINILLA-RONCANCIO, 2018).

A Family APGAR Scale demonstrou ser uma medida atrativa para avaliar o funcionamento da família. A possibilidade de seu uso multidisciplinar aliada ao curto período de tempo necessário para completá-la evidencia a utilidade do instrumento para diversos contextos socioassistenciais. Dentre eles, destacam-se: o acolhimento, a estruturação do plano de atendimento familiar, a avaliação dos efeitos do acompanhamento familiar, além de estudos de triagem com grandes populações. Os resultados descritos neste estudo, embora semelhante ao modelo hierárquico previsto pelo estudo original, demonstraram que o instrumento apresenta adequadas evidências de validade. Estas características estão refletidas tanto nos aspectos de estrutura, como na capacidade discriminante, demonstrando também estimativas favoráveis de confiabilidade. Estes indicadores apontam que o uso da medida é relevante na população e no contexto supracitado.

Conclusões

O presente estudo representa um passo inicial importante na tentativa de suprir a carência de instrumentos quantitativos destinados à avaliação da funcionalidade familiar na Assistência Social. Como limitação, aponta-se a pouca representatividade amostral dos participantes, estes, provenientes da região sudeste do Brasil. Assim, considerando a grande diversidade cultural do país, sugere-se, para estudos futuros, a ampliação da amostra populacional a fim de elevar a representatividade de outros estados.

Um fator importante sobre a possibilidade de uso do instrumento no contexto socioassistencial e em pesquisas futuras, diz respeito à possibilidade de utilização da percepção informada por mais de um membro familiar, para mensuração da funcionalidade. Torna-se desejável na medida do possível, obter respostas de vários membros da família, incluindo a pessoa com deficiência intelectual, visto que, a Family APGAR Scale apresenta sentenças curtas, claras e objetivas, permitindo inclusive o preenchimento através de entrevista com esta população. Com a agregação de respostas de todos os membros de uma família, pode-se criar uma pontuação única para cada família, proporcionada pelo uso de análises estatísticas, como modelos multiníveis ou modelos de equações estruturais, para que as várias respostas por família possam ser incluídas. Isso tende a eliminar possíveis discrepâncias, sem reduzir com isso, as informações do resultado.

Referências

AMERICAN, Association on Intellectual and Developmental Disabilities. User’s guide to accompany the 11th edition of Intellectual disability: Definition, classification, and systems of supports. Washington: AAIDD. (2012).

AMERICAN, Psychiatric Association (APA). Manual diagnóstico e estatístico de transtornos mentais. 5th ed. Porto Alegre, RS: Artmed. (2014) 

BORJA, Hilda Patricia Morales; QUENGUAN, Olivia Ramírez; CAMPO, Luis Fernando Rendón. Apoyo familiar en la intervención integral de la población con discapacidad visual y auditiva matriculada en la unidad de rehabilitación del Instituto para Niños Ciegos y Sordos del Valle del Cauca, Cali, Colombia. Revista Colombiana Salud Libre, v. 11, n. 1, p. 8-15, 2016. Disponível em: https://doi.org/10.18041/1900-7841/rcslibre.2016v11n1.1617. Acesso em: 2 nov. 2020.

BRANCO, Ana Paula Silva Cantarelli; CIANTELLI, Ana Paula Camilo. Interações familiares e deficiência intelectual: uma revisão de literatura. Pensando famílias, v. 21, n. 2, p. 149-166, 2017. Disponível em: http://pepsic.bvsalud.org/scielo.php?script=sci_abstract&pid=S1679-494X2017000200012&lng=pt&nrm=iso. Acesso em: 2 nov. 2020.

BRASIL. Ministério do Desenvolvimento Social e Combate à Fome. Caderno de Orientações: Serviço de Proteção e Atendimento Integral à Família e Serviço de Convivência e Fortalecimento de Vínculos. Brasília: Ministério do Desenvolvimento Social e Combate à Fome. 2016.

BRASIL. Ministério do Desenvolvimento Social e Combate à Fome. Serviço de Convivência e Fortalecimento de Vínculos (SCFV). Brasília: Ministério do Desenvolvimento Social e Combate à Fome. 2017.

BRASIL, CORTES DO CRITÉRIO. Critério de classificação econômica Brasil. Associação Brasileira de Empresas de Pesquisa (ABEP). 2015.

DAMÁSIO, Bruno Figueiredo; BORSA, Juliane Callegaro. (Eds.). Manual de desenvolvimento de instrumentos psicológicos. São Paulo: Vetor. 2017.

DÍAZ-CÁRDENAS, Shyrley; TIRADO-AMADOR, Lesbia; SIMANCAS-PALLARES, Miguel. Validez de constructo y confiabilidad de la APGAR familiar en pacientes odontológicos adultos de Cartagena, Colombia. Revista de la Universidad Industrial de Santander. Salud, v. 49, n. 4, p. 541-548, 2017. Disponível em: http://dx.doi.org/10.18273/revsal.v49n4-2017003. Acesso em: 2 nov. 2020.

DUARTE, Yeda Aparecida de Oliveira. Família: rede de suporte ou fator estressor: a ótica de idosos e cuidadores familiares. Tese (Doutorado em Enfermagem). Escola de Enfermagem, Universidade de São Paulo. São Paulo. 2001.

ELOSUA. Oliden Paula; EGAÑA, Martín. Psicometría aplicada. Guía para el análisis de datos y escalas con jamovi. 2020.

FAW, Meara H. Supporting the supporter: Social support and physiological stress among caregivers of children with severe disabilities. Journal of Social and Personal Relationships, v. 35, n. 2, p. 202-223, 2018. Disponível em: https://doi.org/10.1177/0265407516680500. Acesso em: 2 nov. 2020.

FERRANDO, Pere J.; LORENZO-SEVA, Urbano. Assessing the quality and appropriateness of factor solutions and factor score estimates in exploratory item factor analysis. Educational and Psychological Measurement, v. 78, n. 5, p. 762-780, 2018. Disponível em: https://doi.org/10.1177/0013164417719308. Acesso em: 2 nov. 2020.

FORERO ARIZA, Laura Marcela et al. Internal Consistency and Factorial Analysis of Family Functioning APGAR Scale in Middle School Students. Revista Colombiana de Psiquiatría, v. 35, n. 1, p. 23-29, 2006. Disponível em: http://www.scielo.org.co/scielo.php?script=sci_arttext&pid=S0034-74502006000100003. Acesso em: 2 nov. 2020.

GRIEP, Rosane Harter et al. Validade de constructo de escala de apoio social do Medical Outcomes Study adaptada para o português no Estudo Pró-Saúde. Cadernos de Saúde Pública, v. 21, p. 703-714, 2005. Disponível em: https://doi.org/10.1590/S0102-311X2005000300004. Acesso em: 2 nov. 2020.

GÓMEZ CLAVELINA, Francisco Javier; PONCE ROSAS, Efrén Raúl. Una nueva propuesta para la interpretación de Family APGAR (versión en español). Atención familiar, v. 17, n. 4, 2010. Disponível em: http://www.revistas.unam.mx/index.php/atencion_familiar/article/view/21348/20149. Acesso em: 2 nov. 2020.

LEE, Meen Hye; MATTHEWS, Alicia K.; PARK, Chang. Determinants of health-related quality of life among mothers of children with cerebral palsy. Journal of pediatric nursing, v. 44, p. 1-8, 2019. Disponível em: https://doi.org/10.1016/j.pedn.2018.10.001. Acesso em: 2 nov. 2020.

LÓPEZ-MÁRQUEZ, Norma Graciela. Funcionalidad familiar y participación escolar de las familias de niños con discapacidad. IE Revista de investigación educativa de la REDIECH, v. 8, n. 14, p. 111-128, 2017. Disponível em: https://doi.org/10.33010/ie_rie_rediech.v8i14.28. Acesso em: 2 nov. 2020.

LORENZO-SEVA, Urbano; FERRANDO, Pere J. Factor 9.2: A comprehensive program for fitting exploratory and semiconfirmatory factor analysis and IRT models. Applied Psychological Measurement, 2013. Disponível em: https://doi.org/10.1177/0146621613487794. Acesso em: 2 nov. 2020.

MAROTO, Michelle; PETTINICCHIO, David; PATTERSON, Andrew C. Hierarchies of Categorical Disadvantage: Economic Insecurity at the Intersection of Disability, Gender, and Race. Gender & Society, v. 33, n. 1, p. 64-93, 2019. Disponível em: https://doi.org/10.1177/0891243218794648. Acesso em: 2 nov. 2020.

MAYORGA-MUÑOZ, Cecilia; GALLARDO-PERALTA, Lorena; GALVEZ-NIETO, José Luis. Propiedades psicométricas de la escala APGAR-familiar en personas mayores residentes en zonas rurales multiétnicas chilenas. Revista médica de Chile, v. 147, n. 10, p. 1283-1290, 2019. Disponível em: http://dx.doi.org/10.4067/s0034-98872019001001283. Acesso em: 2 nov. 2020.

MEYER, Dagmar Estermann; KLEIN, Carin; FERNANDES, Letícia Prezzi. Noções de família em políticas de 'inclusão social' no Brasil contemporâneo. Revista Estudos Feministas, v. 20, n. 2, p. 433-449, 2012. Disponível em: https://doi.org/10.1590/S0104-026X2012000200005. Acesso em: 12 nov. 2020.

MINATEL, Martha Morais; ANDRADE, Lívia Costa de. Serviço de Convivência e Fortalecimento de Vínculos e a terapia ocupacional: um relato de experiência na construção da cidadania e participação social. Cadernos Brasileiros de Terapia Ocupacional, v. 28, n. 1, p. 309-329, 2020. Disponível em: https://doi.org/10.4322/2526-8910.ctore1917. Acesso em: 2 nov. 2020.

MORRIS, Zachary A.; ZAIDI, Asghar. Estimating the extra costs of disability in European countries: Implications for poverty measurement and disability-related decommodification. Journal of European Social Policy, p. 0958928719891317, 2020. Disponível em: https://doi.org/10.1177/0958928719891317. Acesso em: 3 nov. 2020.

MUNDIAL, Banco. ORGANIZAÇÃO MUNDIAL DA SAÚDE. Relatório mundial sobre a deficiência. World Health Organization, The World Bank. Tradução Lexicus Serviços Lingüísticos. São Paulo: SEDPcD, 2012.

PINILLA-RONCANCIO, Mónica. The reality of disability: Multidimensional poverty of people with disability and their families in Latin America. Disability and health journal, v. 11, n. 3, p. 398-404, 2018. Disponível em: https://doi.org/10.1016/j.dhjo.2017.12.007. Acesso em: 10 nov. 2020.

RIBÉ, José M. et al. Quality of life in family caregivers of schizophrenia patients in Spain: caregiver characteristics, caregiving burden, family functioning, and social and professional support. International journal of psychiatry in clinical practice, v. 22, n. 1, p. 25-33, 2018. Disponível em: https://doi.org/10.1080/13651501.2017.1360500. Acesso em: 10 nov. 2020.

ROSE, Karen M. et al. Development and Validation of the Family Quality of Life in Dementia Scale. The Gerontologist, 2020. Disponível em: https://doi.org/10.1093/geront/gnaa022 . Acesso em: 13 nov. 2020.

SAHIN, Murat Dogan; AYBEK, Eren Can. Jamovi: An Easy to Use Statistical Software for the Social Scientists. International Journal of Assessment Tools in Education, v. 6, n. 4, p. 670-692, 2019. Disponível em: https://eric.ed.gov/?id=EJ1243495. Acesso em: 2 nov. 2020.

SILVA, Maria Josefina da et al. Análise das propriedades psicométricas do APGAR de família com idosos do nordeste brasileiro. Escola Anna Nery, v. 18, n. 3, p. 527-532, 2014. Disponível em: https://doi.org/10.5935/1414-8145.20140075. Acesso em: 2 nov. 2020.

SMILKSTEIN, Gabriel; ASHWORTH, Clark; MONTANO, Dan. Validity and reliability of the family APGAR as a test of family function. The Journal of Family Practice, v. 15, n. 2, p. 303-311, 1982. Disponível em: https://www.mdedge.com/familymedicine/article/181143/validity-and-reliability-family-apgar-test-family-function. Acesso em: 2 nov. 2020.

SUN, Shiwen et al. Family support for pregnant women with foetal abnormality requiring pregnancy termination in China. Health & Social Care in the Community, v. 28, n. 3, p. 1020-1029, 2020. Disponível em: https://doi.org/10.1111/hsc.12935. Acesso em: 2 nov. 2020.

TIMMERMAN, Marieke E.; LORENZO-SEVA, Urbano. Dimensionality assessment of ordered polytomous items with parallel analysis. Psychological methods, v. 16, n. 2, p. 209, 2011. Disponível em: https://doi.org/10.1037/a0023353. Acesso em: 8 nov. 2020.

TRIERVEILER, Kamila Santos et al. Funcionalidade familiar da pessoa com lesão medular. Texto & Contexto Enfermagem, v. 24, n. 4, p. 993-1002, 2015. Disponível em: https://doi.org/10.1590/0104-0707201500003610014. Acesso em: 2 nov. 2020.

URBANO, Doris Lucia Córdoba; CABRERA, María Isabel Portilla; CAIZA, Guillermo Arteaga. Dinámica familiar interna e higiene bucal en personas con discapacidad intelectual leve. Revista Hacia la Promoción de la Salud, v. 15, n. 2, p. 81-93, 2010. Disponível em: http://www.scielo.org.co/scielo.php?script=sci_abstract&pid=S0121-75772010000200006&lng=en&nrm=iso&tlng=pt. Acesso em: 2 nov. 2020.

VALDÉS, Yohanina Andrea Muñoz; TOLOZA, Yohanna del Pilar Poblete; FIGUEROA, Andrés Eduardo Jiménez. Calidad de vida familiar y bienestar subjetivo en jóvenes con discapacidad intelectual de un establecimiento con educación especial y laboral de la ciudad de Talca. Interdisciplinaria, v. 29, n. 2, p. 207-221, 2012. Disponível em: https://www.redalyc.org/articulo.oa?id=18026361003&idp=1&cid=271973. Acesso em: 2 nov. 2020.

VEGA, Rocío de la et al. Changes in perceived social support predict changes in depressive symptoms in adults with physical disability. Disability and health journal, v. 12, n. 2, p. 214-219, 2019. Disponível em: https://doi.org/10.1016/j.dhjo.2018.09.005. Acesso em: 13 nov. 2020.

ZANINI, Daniela Sacramento; VEROLLA-MOURA, Adriana; QUEIROZ, Ivana Pinheiro de Abreu Rabelo. Apoyo social: aspectos de la validez del constructo en estudiantes universitarios. Psicologia em estudo, v. 14, n. 1, p. 195-202, 2009. Disponível em: https://doi.org/10.1590/S1413-73722009000100023. Acesso em: 11 nov. 2020.

 

 This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International (CC BY-NC 4.0)