Resumo
Na adaptação transcultural de instrumentos o componente qualitativo da adaptação é geralmente pouco relatado, às vezes tratado de maneira superficial. Este estudo objetivou descrever o componente qualitativo do processo de adaptação transcultural e demonstrar evidências de validade baseadas no conteúdo do Recovery Self Assessment-RSA-R família/Brasil. Foi realizado um estudo qualitativo que incluiu as fases de preparação, tradução, retrotradução, avaliação por especialistas, workshop com pesquisadora da Universidade de Yale e dois estudos pilotos com familiares de usuários atendidos nos serviços de saúde mental. Dentre os resultados encontrou-se boa evidência de validade baseada no conteúdo com uma porcentagem de concordância acima de 80% entre especialistas. Os estudos pilotos contribuíram para acentuar essa evidência, na adequação das frases e na equivalência operacional do instrumento. O processo da adaptação do RSA-R família/Brasil demonstrou-se complexo, sendo que, a partir dessa experiência, conclui-se que apresentar evidência de validade baseadas no conteúdo é essencial para garantir aplicabilidade dos instrumentos à cultura alvo. O instrumento ainda será avaliado quanto às características psicométricas por meio de técnicas estatísticas.
Palavras-chave:
Recovery; Serviços de Saúde Mental; Família; Estudos de validação; Análise qualitativa
Introdução
As normas para testes educacionais e psicológicos da American Educational Research Association estabelecem a evidência de validade baseada no conteúdo, também conhecida, no geral, como validade de conteúdo, como uma das cinco fontes de evidência de validade de um instrumento. O conteúdo do teste refere-se aos temas, palavras e formato dos itens, à administração e à pontuação do teste11 American Educational Research Association. American Psychological Association. National Council on Measurement in Education. Standards for educational and psychological testing. Washington, DC: American Educational Research Association; 2014.,22 Sireci S, Faulkner-Bond M. Validity evidence based on test content. Psicothema 2014]; 26(1):100-107..
A evidência de validade baseada no conteúdo, por sua vez, refere-se ao nível em que o conteúdo é congruente com os propósitos de um teste11 American Educational Research Association. American Psychological Association. National Council on Measurement in Education. Standards for educational and psychological testing. Washington, DC: American Educational Research Association; 2014., ou seja, “avalia o grau em que cada elemento de um instrumento de medida é relevante e representativo para um específico constructo que possui um propósito particular de avaliação”33 Alexandre NMC, Coluci MZO. Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Cien Saude Colet 2011; 16(7):3061-3068.(p.3063).
Os estudos de adaptação transcultural, no geral, estão concentrados para oferecer evidências estatísticas que demonstrem a validade e a confiabilidade de um instrumento. Por isso, dá-se pouca ênfase à evidência baseada no conteúdo e no processo qualitativo de adaptação de um questionário para uma nova cultura. No entanto, este processo deve ser igualmente importante à evidência estatística, pois uma boa adaptação não pode desconhecer as diferenças decorrentes do idioma, do contexto cultural e do estilo de vida, já que os resultados desse processo irão reverter nos resultados estatísticos33 Alexandre NMC, Coluci MZO. Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Cien Saude Colet 2011; 16(7):3061-3068..
Este estudo trata da adaptação transcultural de um instrumento que avalia a orientação ao recovery de serviços de saúde mental, dando especial ênfase ao processo qualitativo envolvido na adaptação ao contexto brasileiro. Entendendo, nesse contexto, o recovery, no campo da saúde mental, “como um processo profundamente pessoal e único para mudar as atitudes, os valores e os papéis de uma pessoa. É, pois, uma maneira de viver uma vida satisfatória, esperançosa e contributiva, mesmo com as limitações causadas pela doença”44 Anthony WA. Recovery from mental illness: The guiding vision of the mental health service system in the 1990s. Psychosoc Rehabil J 1993; 16(4):11-23.(p.525; tradução nossa).
Foi escolhido o instrumento Recovery Self- Assessment RSA-R família porque foi identificada necessidade de envolver familiares dos usuários dos serviços de saúde mental, devido a que, após a reforma psiquiátrica no Brasil, grande parte da responsabilidade pelo cuidado dos usuários recaiu sobre os parentes. Assim, fornecer ferramentas que os inclua permitiria estabelecer relação de parceria entre as famílias com os serviços, autorizando que familiares participassem das decisões, dividindo com eles o tempo e responsabilidade do cuidado55 Rosa LCS. Transtorno mental e o cuidado na familia. 2ª ed. São Paulo: Cortez; 2008..
O RSA é das escalas mais utilizadas para avaliar a orientação ao recovery dos serviços de saúde mental66 Williams J, Leamy M, Bird V, Harding C, Larsen J, Le Boutillier C, Oades L, Slade M. Measures of the recovery orientation of mental health services : systematic review. Soc Psychiatry Psychiatr Epidemiol 2012; 47(11):1827-1835.. Tal uso facilita reflexão sobre os pontos fortes, bem como as limitações dos serviços dentro deste enfoque77 O'Connell M, Tondora J, Croog G, Evans A, Davidson L. From rhetoric to rutine: assessing perceptions of recovery-oriented practices in a state mental health and addiction system. Psychiatr Rehabil J 2005; 28(4):378-386.. Esta escala apresenta boas propriedades psicométricas, sendo comumente utilizada em avaliações dos serviços de saúde mental em outros países88 Barbic SP, Kidd SA, Davidson L, Connell MJO. Validation of the brief version of the recovery self-assessment (rsa-b) using rasch measurement theory. Psychiatr Rehabil J 2015; 38(4):349-358.
9 Bola J, Chan THC, Chen EH, Ng R. Cross-validating chinese language mental health recovery measures in Hong Kong. Res Soc Work Pract 2016; 26(6):630-640.
10 Burgess P, Pirkis J, Coombs T, Rosen A. Assessing the value of existing recovery measures for routine use in Australian mental health services. Aust N Z J Psychiatry 2011; 45(4):267-280.
11 Kidd SA, George L, O'Connell M, Sylvestre J, Kirkpatrick H, Browne G, Thabane L. Fidelity and recovery-orientation in assertive community treatment. Community Ment Health J 2010; 46(4):342-350.
12 Leamy M, Clarke E, Boutillier C Le, Bird V, Choudhury R, Macpherson R, Pesola F, Sabas K, Williams P, Slade M. Recovery practice in community mental health teams: national survey. Br J Psychiatry 2016; 209(4):340-346.
13 Petrakis M, Brophy L, Lewis J, Stylianou M, Scott M, Cocks N, Buckley L, Halloran K. Consumer measures and research co-production: a pilot study evaluating the recovery orientation of a mental health program collaboration. Asia Pac J Soc Work Dev 2014; 24(1-2):94-108.
14 Rosenberg D, Svedberg P, Schon U-K. Establishing a recovery orientation in mental health services: evaluating the recovery self-assessment (rsa) in a Swedish context. Psychiatr Rehabil J 2015; 38(4):328-335.
15 Simpson A, Hannigan B, Coffey M, Barlow S, Cohen R, Jones A, Všetečková, J, Faulkner A, Thornton A, Cartwright M. Recovery-focused care planning and coordination in England and Wales: a cross-national mixed methods comparative case study. BCM Psychiatry 2016; 16:147.
16 Waldemar AK, Esbensen BA, Korbek L, Petersen L, Arnfred S. Recovery orientation in mental health inpatient settings: Inpatient experiences? Int J Ment Health Nurs 2018; 27(3):1177-1187.
17 Ye S, Pan J, Wong DFK, Bola JR. Cross-validation of mental health recovery measures in a Hong Kong chinese sample. Res Soc Work Pract 2013; 23(3):1177-1187.-1818 Zuaboni G, Kieser LD, Glavanovits K, Utschakowski J, Behrens J. Recovery Self Assessment: Translation and cultural adaption of a recovery oriented assessment instrument. Pflege 2015; 28(4):233-243..
O objetivo deste estudo foi descrever o componente qualitativo do processo de adaptação transcultural do RSA-R família/Brasil e demonstrar evidências acerca da validade baseadas no conteúdo. A investigação apresenta os principais resultados do processo de adaptação do instrumento, analisando o tratamento dado ao componente qualitativo. O estudo torna-se relevante porque expõe revisão dos processos metodológicos nas pesquisas de adaptação transcultural, a partir da experiência relatada em cada fase, evidenciando, por consequência, a forte potencialidade de vinculação da população alvo nesse tipo de pesquisa.
Ademais, fazer investimento na adaptação de instrumentos avaliativos dos serviços de saúde mental, dentro do enfoque do recovery, trará ganhos no campo da saúde coletiva. Entre esses ganhos está que o instrumento permite saber o grau em os serviços de saúde mental envolvem os usuários e familiares no tratamento; do mesmo modo, está o ganho de viabilizar a execução de serviços que promovam a autonomia das pessoas com transtornos mentais, uma vez que estudos feitos1919 Thomas EC, Despeaux KE, Drapalski AL, Bennett M. Person-oriented recovery of individuals with serious mental illnesses: a review and meta-analysis of longitudinal findings. Psychiatr Serv 2018; 69(3):259-267.
20 Zipursky RB, Reilly TJ, Murray RM. The myth of schizophrenia as a progressive brain disease. Schizophr Bull 2012; 39(6):1363-1372.-2121 Leonhardt BL, Huling K, Hamm JA, Roe D, Hasson-Ohayon I, McLeod HJ, Lysaker PH. Recovery and serious mental illness: a review of current clinical and research paradigms and future directions. Expert Rev Neurother 2017; 17(11):1117-1130., até então, apontam para redução da cronicidade da doença e das desabilidades surgidas a partir dela, permitindo melhoria das condições de saúde e aumento da qualidade de vida das pessoas com transtornos mentais e das suas famílias.
Métodos
Trata-se de estudo qualitativo que envolveu familiares de usuários atendidos nos Centros de Atenção Psicossocial (CAPS) e Centros de Convivência (CECOs) de Campinas-SP, Brasil, no período de junho de 2016 a dezembro de 2017. Foram elegíveis para o estudo familiares de usuários atendidos nesses serviços por um período maior a três meses, com idade maior que 18 anos, capazes de se comunicar em português brasileiro, sem qualquer déficit cognitivo e que aceitaram participar. Nessa amostra de conveniência, os indivíduos foram convidados a participar do estudo de forma voluntária e não receberam incentivos financeiros. O estudo foi aprovado pelo Comitê de Ética em Pesquisa da Universidade Estadual de Campinas.
Instrumento de Medida
O RSA-R foi elaborado pela Universidade de Yale dos Estados Unidos, contém 32 itens para cada grupo de interesse (usuário, familiar, trabalhador e gestor). Entretanto, na versão família e dos gestores, o instrumento contém, respectivamente, apêndices com 8 e 4 itens adicionais e avalia 6 domínios do recovery77 O'Connell M, Tondora J, Croog G, Evans A, Davidson L. From rhetoric to rutine: assessing perceptions of recovery-oriented practices in a state mental health and addiction system. Psychiatr Rehabil J 2005; 28(4):378-386.,2222 O'Connell M, Tondora J, Kidd, Stayner, Hawkins, Davidson L. RSA-R Family Member/Significant Other Version [Internet]. Yale University; 2007 [accesado 2017 fev 14]. Disponivel em: http://medicine.yale.edu/psychiatry/prch/tools/RSA_Family_Advocate_tcm800-204209_tcm800-284-32.pdf.
http://medicine.yale.edu/psychiatry/prch... .
A versão RSA-R família está composta por 32 itens e 8 apêndices, com possibilidade de escolher cinco possíveis respostas: 1 (discordo fortemente) a 5 (concordo fortemente) e duas opções adicionais N/S (não sei) e N/A (não se aplica). Está dividido em seis fatores: metas de vida, envolvimento, diversidade de opções de tratamento, escolhas, serviços personalizados, acolhimento e o apêndice familia77 O'Connell M, Tondora J, Croog G, Evans A, Davidson L. From rhetoric to rutine: assessing perceptions of recovery-oriented practices in a state mental health and addiction system. Psychiatr Rehabil J 2005; 28(4):378-386.,2222 O'Connell M, Tondora J, Kidd, Stayner, Hawkins, Davidson L. RSA-R Family Member/Significant Other Version [Internet]. Yale University; 2007 [accesado 2017 fev 14]. Disponivel em: http://medicine.yale.edu/psychiatry/prch/tools/RSA_Family_Advocate_tcm800-204209_tcm800-284-32.pdf.
http://medicine.yale.edu/psychiatry/prch... .
Procedimento
A adaptação transcultural para o contexto brasileiro da escala RSA-R família foi realizada seguindo, principalmente, os Princípios das Boas Práticas para o Processo de Tradução e Adaptação Cultural aos Resultados Relatados por Pacientes23 e outros guias propostos na literatura22 Sireci S, Faulkner-Bond M. Validity evidence based on test content. Psicothema 2014]; 26(1):100-107.,33 Alexandre NMC, Coluci MZO. Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Cien Saude Colet 2011; 16(7):3061-3068.. Envolveu ao todo sete etapas, conforme descritas a seguir.
Preparação
Obteve-se autorização da autora principal da escala para que ela fosse traduzida e adaptada para o português do Brasil. Também se fez revisão narrativa do conceito do recovery e sua equivalência com a noção de reabilitação psicossocial, geralmente usada no Brasil2424 Onocko Campos RT, Costa M, Pereira MB, Ricci EC, Silva TEG, Erazo CLJ, Reis G, Davidson L. Recovery, citizenship, and psychosocial rehabilitation: A dialog between Brazilian and American mental health care approaches. Am J Psychiatr Rehabil 2017; 20(3):311-326..
Idealmente, o processo de adaptação transcultural de um instrumento deve alcançar o máximo de equivalência entre o instrumento original e sua versão adaptada. Segundo Gorenstein et al.2525 Gorenstein C, Wang Y, Hungerbühler I. Fundamentos de mensuração em saúde mental. In: Gorenstein C, Wang Y, Hungerbühler I, editores. Instrumentos de avaliação em saúde mental. Porto Alegre: Artmed; 2016. p. 1-52., “a equivalência implica que as diferenças efetivamente observadas entre amostras de diferentes culturas são o resultado de diferenças culturais, as quais não são causadas pela forma ou a avaliação dos construtos de interesse”2525 Gorenstein C, Wang Y, Hungerbühler I. Fundamentos de mensuração em saúde mental. In: Gorenstein C, Wang Y, Hungerbühler I, editores. Instrumentos de avaliação em saúde mental. Porto Alegre: Artmed; 2016. p. 1-52.(p.13). A equivalência é dividida em várias categorias. Na literatura não existe consenso sobre as categorias e suas nomeações, porém, em geral, estão incluídas equivalências associadas a definições conceituais, a tradução do instrumento, a aplicação e as propriedades psicométricas2525 Gorenstein C, Wang Y, Hungerbühler I. Fundamentos de mensuração em saúde mental. In: Gorenstein C, Wang Y, Hungerbühler I, editores. Instrumentos de avaliação em saúde mental. Porto Alegre: Artmed; 2016. p. 1-52..
Tradução e Retrotradução
Inicialmente, um tradutor bilíngue, cuja língua materna era o português, ciente dos objetivos da pesquisa, traduziu a escala do inglês para o português. Em seguida, um segundo tradutor bilíngue, cuja língua materna era o inglês, que não conhecia os objetivos da pesquisa, fez a retradução, vertendo o instrumento novamente para o inglês. A partir dessas duas versões a equipe de pesquisa comparou a retrotradução com o instrumento original, a fim de identificar inconsistências e realizar correções.
Avaliação por Especialistas
A versão decorrente das fases anteriores foi avaliada por cinco especialistas na área de saúde mental, bilíngues, cuja língua materna era o português. Foram quatro psicólogos e um terapeuta ocupacional, que trabalharam em serviços de saúde mental e tinham conhecimento sobre o construto do recovery. Tais profissionais estavam familiarizados com a população-alvo e com o construto (Quadro 1)2626 Pereira MB. Avaliação de serviços de saúde mental: validação da versão para trabalhadores de instrumento de avaliação de Recovery [tese]. Campinas: Universidade Estadual de Campinas; 2019.. Tiveram como objetivo verificar as evidências de validade baseada no conteúdo por meio da avaliação da equivalência conceitual, semântica, idiomática e experimental, referente ao título, às instruções, às alternativas de resposta e aos itens. A porcentagem de concordância nesses aspectos foi acima de 80%. Após a análise de concordância e, considerando-se as sugestões dos especialistas, a equipe de pesquisa fez uma análise qualitativa e se ajustou o instrumento.
Piloto I-Avaliação por Grupos Focais
Um primeiro estudo piloto foi feito com a participação de nove familiares, utilizando a técnica do Grupo Focal (GF), dividida em três encontros. Nos dois primeiros foi explicado os objetivos da pesquisa, preenchido o Termo de Consentimento Livre e Esclarecido (TCLE) e, discutiu-se os itens presentes no instrumento. No terceiro, foi aplicado aos mesmos participantes o instrumento já modificado, e discutiu-se - além dos itens -, os aspectos referentes ao layout (título, instruções, alternativas de resposta) do instrumento para que, dessa forma, pudesse garantir as equivalências conceitual, semântica e operacional do instrumento2727 Beaton DE, Bombardier C, Guillemin F, Ferraz MB. Guidelines for the process of cross-cultural adaptation of self-report measures. Spine (Phila Pa 1976) 2000; 25(24):3186-3191..
Workshop pesquisadora de Universidade de Yale
Foi realizado o “Workshop: Recovery-Oriented Mental Health Systems of care: assessment, indicators and meaning”, que contou com participação da Professora Doutora Maria O’Connell da Universidade de Yale, Estados Unidos, autora principal do instrumento original. Nesse espaço se discutiram os itens identificados no GF como desafiadores, previamente retrotraduzidos, a fim de garantir a equivalência entre o instrumento original e o destino.
Piloto II- Entrevistas
Foi aplicado o questionário pré-final em 10 familiares, por meio da técnica de congnitive debriefing interviews. Essa técnica implicou numa entrevista em profundidade, durante a qual os participantes puderam explicar as questões em voz alta e comentar qualquer dificuldade de compreensão2323 Wild D, Grove A, Martin M, Eremenco S, McElroy S, Verjee-Lorenz A, Erikson P, ISPOR Task Force for Translation and Cultural Adaptation. Principles of good practice for the translation and cultural adaptation process for patient-reported outcomes (pro) measures: report of the ISPOR Task Force for Translation and Cultural Adaptation. Value Health 2005; 8(2):94-104.,2828 Eremenco SL, Cella D, Arnold BJ. A comprehensive method for the translation and cross-cultural validation of health status questionnaires. Eval Health Prof 2005; 28(2):212-232.. Foi vinculada, à discussão sobre o instrumento, uma profissional da área de educação (graduada em Pedagogia), que trabalha com Educação Popular no município de Campinas, para analisar o material e propor alterações.
Uma fase de harmonização foi realizada depois de cada etapa, a partir da qual, conforme os achados e ao consenso da equipe de pesquisa, se ajustou o instrumento tentando manter a proximidade do conteúdo original, sem desconhecer a aproximação ao contexto cultural da língua brasileira2323 Wild D, Grove A, Martin M, Eremenco S, McElroy S, Verjee-Lorenz A, Erikson P, ISPOR Task Force for Translation and Cultural Adaptation. Principles of good practice for the translation and cultural adaptation process for patient-reported outcomes (pro) measures: report of the ISPOR Task Force for Translation and Cultural Adaptation. Value Health 2005; 8(2):94-104.. Essas etapas estão ilustradas na Figura 1.
Análise dos Dados
A análise qualitativa destas etapas seguiu os postulados da hermenêutica-crítica, que procura a articulação de forma inteligível das várias percepções, obtendo ao final um resultado mais complexo e fidedigno do objeto em estudo. Construindo uma relação dialógica entre os participantes e os pesquisadores, assumindo que qualquer análise só será possível nesse encontro2929 Onocko-Campos R. O planejamento no labirinto: uma viagem hermeneutica. São Paulo: Hucitec Editora; 2003..
Resultados
A validação envolve cuidadosa atenção a possíveis distorções de significados decorrentes da representação inadequada do construto e, também, aos aspectos de medição, como o formato do teste e as condições de administração ou nível de linguagem, que podem limitar, ou qualificar, materialmente a interpretação dos escores dos testes11 American Educational Research Association. American Psychological Association. National Council on Measurement in Education. Standards for educational and psychological testing. Washington, DC: American Educational Research Association; 2014.. A contribuição dos especialistas e familiares neste estudo foi importante para identificar esses aspectos.
Como resultado da etapa de avaliação dos especialistas, obteve-se porcentagem de concordância acima de 80%, tanto do layout do instrumento, quanto dos itens. Assim, para o RSA-R família/Brasil, a porcentagem de concordância mínima entre os juízes foi de 87,5% (itens 26 e 38), e máximo de 100% (itens 7, 8, 10, 11, 12, 19, 20, 28, 35 e 36). Em relação ao layout, houve concordância de 98,75% referente ao título do instrumento, 96,25% às instruções e 98,75% às alternativas de escala de resposta (Tabela 1).
Também participaram deste estudo 19 familiares, sendo 9 no piloto I e 10 no piloto II, os dados sociodemográficos são apresentados na Tabela 2. A maioria dos participantes eram mulheres, com média de idade de 53,22 anos (±18,1) no piloto I e 57,60 (±18,4) no piloto II. Em relação ao vínculo com o usuário, a maioria dos participantes eram pais, ou cônjuges, de pessoas com diagnostico de esquizofrenia ou depressão e que estavam em tratamento há mais de 12 anos em serviços de saúde mental.
As observações e sugestões dos especialistas e dos familiares foram analisadas e adotadas ao longo do processo de adaptação transcultural, resultando em cinco modificações da escala RSA-R família/Brasil (Quadro 2).
Descrição do RSA-R família/Brasil conforme o processo de adaptação transcultural. Campinas-SP 2016-2017.
A partir da análise do piloto I e II, identificaram-se limitações na equivalência operacional, especificamente na forma de aplicação do questionário na população alvo, especialmente com participantes com baixo nível de escolaridade. A primeira modificação foi tornar a aplicação da escala em formato entrevista, e não em autoaplicável, como era na escala original. Foi necessário, também, criar uma folha de apresentação das instruções e das alternativas de resposta que seriam lidas pelo entrevistador e dadas aos participantes para facilitar suas respostas. O entrevistador também corresponderia a leitura das afirmações e alternativas de resposta, anotando cada uma das respostas dadas pelos participantes.
Ao longo do processo de adaptação transcultural foram observadas dificuldades para adaptar a frase “my loved one” que, na versão original, era usada para se referir ao usuário. Inicialmente se optou por traduzi-lo como “meu familiar”. Entretanto, nos estudos piloto, algumas dificuldades foram identificadas no momento da resposta, principalmente, nos participantes cujo nível de escolaridade era baixo. Assim, aproveitando que a escala não seria mais autoaplicável, a segunda modificação foi deixar as frases com uma indicação para que o entrevistador pudesse dizer o nome do usuário no lugar do “meu familiar”. Essa modificação foi feita nos itens 1, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 34, 35 e 36. Isto fez com que as frases ficassem mais concretas e fáceis de entender, evitando que pudessem ter mais de uma interpretação.
A terceira modificação refere-se à divisão da escala em duas partes, devido ao fato de que 32 itens estavam relacionados à percepção do familiar sobre o atendimento do usuário, e os 8 itens restantes estavam formulados em primeira pessoa, indagando na própria experiência como familiar, o que gerava confusão na hora de responder. Devido a isso, optou-se por colocar na primeira parte os 8 itens que se referem à própria experiência do familiar participante e, na segunda parte, os 32 itens restantes relacionados à percepção do familiar participante sobre a experiência do usuário.
A quarta modificação foi feita a partir da sugestão dos especialistas e aprimorada, posteriormente, com a profissional da educação popular na etapa piloto. Segundo os especialistas, a nomeação de todas as alternativas de resposta facilitaria o entendimento da escala. Na escala original eram nomeadas apenas as alternativas de resposta “1=discordo muito” e “5=concordo muito”. Na versão brasileira da escala, todas as alternativas de respostas foram nomeadas, “1=não concordo mesmo”, “2=não concordo”, “3=tanto faz”, “4=concordo” e “5=concordo muito”. Também foram adicionados elementos gráficos para facilitar o entendimento.
As frases da escala original eram muito compridas e tinham exemplos para melhorar o entendimento. Porém, nos dois estudos pilotos, isso se tornou um problema, pois, no geral, os participantes ficavam centrados somente no entendimento de alguns exemplos e não na frase como um todo. Neste sentido, como quinta modificação, foi preciso encurtar e reformular a redação das frases para linguagem mais simples, aumentando sua clareza e facilitando sua compreensão por parte dos participantes. Também, foram excluídos os exemplos dos itens 2, 9, 16, 19 e 22.
Ademais, alguns itens se tornaram desafiadores ao longo do processo de adaptação transcultural (itens 13, 21, 25, 29, 30, 32) devido às diferenças culturais e, em alguns casos, à falta dessas práticas nos serviços de saúde mental no Brasil. Por exemplo, o item 21 que se refere à prática do “peers support” foi dividida em dois itens que questionam, de forma geral, a existência dessas estratégias, e outras similares, nos equipamentos de saúde mental.
Finalmente, o uso do constructo “recovery” - ao qual se refere a escala - foi um desafio ao longo da adaptação transcultural, pois desde a avaliação dos especialistas, advertia-se que a tradução literal “recuperação” poderia evocar interpretação simplistas do termo. Inicialmente, pensou-se em deixar o termo em inglês, opção que tem sido discutida em alguns artigos acadêmicos3030 Baccari IOP, Onocko-Campos R, Stefanello S. Recovery: revisão sistemática de um conceito. Cien Saude Colet 2015; 20(1):125-136.,3131 Vasconcelos EM. As abordagens Anglo-Saxônicas de empoderamento e recovery (recuperação, restabelecimento) em saúde mental II: uma avaliação crítica para uma apropriação criteriosa no cenário brasileiro. Cad Bras Saude Ment 2017; 9(21):48-65.. No entanto, no primeiro estudo piloto, restou evidente a necessidade de encontrar termo adequado no português brasileiro. Esse aspecto foi discutido no workshop realizado entre a equipe de pesquisa e a pesquisadora responsável dos EUA. Chegou-se ao consenso de manter a palavra “recuperação” como tradução literal, mas inserir breve explicação do conceito na folha de apresentação que precisa ser lida pelo entrevistador antes de preencher o questionário junto aos participantes.
Discussão
Fornecer instrumentos de avaliação dos serviços de saúde mental no Brasil, que não estejam centrados só em visão gerencial, é tarefa imperativa. O RSA-R família/Brasil permite a inclusão de um grupo de interesse bastante esquecido nas pesquisas avaliativas do país. Essa inserção pode contribuir para a melhoria da qualidade dos serviços de saúde mental, quando as informações colhidas são incorporadas ao tratamento3232 Dantas CDR, Oda AMGR. Cartografia das pesquisas avaliativas de serviços de saúde mental no Brasil (2004-2013). Physis Rev Saude Colet 2014; 24(4):1127-1179..
A evidência de validade baseada no conteúdo foi apoiada pelo fato de que, fundamentalmente, o instrumento foi avaliado e discutido por especialistas advindos da área de saúde mental, que o analisaram e levaram em conta as equivalências conceitual, semântica, idiomática e experimental, no que resultou em boa concordância entre os itens e o construto a ser mensurado.
A equivalência do instrumento original com sua versão adaptada para o Brasil foi mantida com a vinculação dos familiares como grupo de interesse nos dois estudos pilotos. Houve especial ênfase em utilizar técnicas que permitiram encontro face a face com os participantes, envolvendo-lhes não só como espectadores que preenchessem os questionários, como também, estimulando-os para que pudessem falar sobre as fortalezas, fraquezas e aplicabilidade do instrumento ao contexto brasileiro.
Esta escolha foi feita com o objetivo de manter os procedimentos realizados na criação do RSA original, na qual houve envolvimento dos grupos de interesse (usuário, familiar, trabalhador e gestor) que avaliaram a escala quanto ao conteúdo e compreensão77 O'Connell M, Tondora J, Croog G, Evans A, Davidson L. From rhetoric to rutine: assessing perceptions of recovery-oriented practices in a state mental health and addiction system. Psychiatr Rehabil J 2005; 28(4):378-386.. Esta estratégia foi repetida na maioria das adaptações transculturais do RSA feitas em outros países, especialmente nas versões de trabalhadores e usuários1010 Burgess P, Pirkis J, Coombs T, Rosen A. Assessing the value of existing recovery measures for routine use in Australian mental health services. Aust N Z J Psychiatry 2011; 45(4):267-280.,1515 Simpson A, Hannigan B, Coffey M, Barlow S, Cohen R, Jones A, Všetečková, J, Faulkner A, Thornton A, Cartwright M. Recovery-focused care planning and coordination in England and Wales: a cross-national mixed methods comparative case study. BCM Psychiatry 2016; 16:147.,3333 Mcloughlin KA, Wick A Du, Collazzi CM, Puntil C. Recovery-oriented practices of psychiatric-mental health nursing staff in an acute hospital setting. J Am Psychiatr Nurses Assoc 2013; 19(3):152-159.,3434 Lodge AC, Kuhn W, Earley J, Manser SS. Initial development of the recovery-oriented services assessment: a collaboration with peer-provider consultants. Psychiatr Rehabil J 2018; 41(2):92-102.. No processo de adaptação transcultural do RSA família realizados no Canadá e China, não se identificou envolvimento dos familiares no processo, apenas participação em responder o questionário99 Bola J, Chan THC, Chen EH, Ng R. Cross-validating chinese language mental health recovery measures in Hong Kong. Res Soc Work Pract 2016; 26(6):630-640.,1111 Kidd SA, George L, O'Connell M, Sylvestre J, Kirkpatrick H, Browne G, Thabane L. Fidelity and recovery-orientation in assertive community treatment. Community Ment Health J 2010; 46(4):342-350..
No Brasil, tal como aponta Vasconcelos3131 Vasconcelos EM. As abordagens Anglo-Saxônicas de empoderamento e recovery (recuperação, restabelecimento) em saúde mental II: uma avaliação crítica para uma apropriação criteriosa no cenário brasileiro. Cad Bras Saude Ment 2017; 9(21):48-65., existem diferenças socioeconômicas e culturais (baixa escolaridade, dificuldade de acesso aos direitos e ao exercício da cidadania) que desafiam ao diálogo sobre o recovery e sua implementação. Essa afirmação ficou evidenciada na adaptação transcultural do RSA-R família/Brasil em quatro fatos, senão vejamos:
O primeiro foi a dificuldade para que os participantes preenchessem, sem orientação, o instrumento, o que fez com que a versão brasileira do RSA-R família/Brasil fosse aplicada mediante entrevista. Nos estudos específicos sobre a versão do familiar, não se evidenciou o uso de estratégias presenciais para o preenchimento do questionário99 Bola J, Chan THC, Chen EH, Ng R. Cross-validating chinese language mental health recovery measures in Hong Kong. Res Soc Work Pract 2016; 26(6):630-640.,1111 Kidd SA, George L, O'Connell M, Sylvestre J, Kirkpatrick H, Browne G, Thabane L. Fidelity and recovery-orientation in assertive community treatment. Community Ment Health J 2010; 46(4):342-350.. No estudo chinês, a forma de preenchimento foi mediante correio, o que gerou grande perda de dados99 Bola J, Chan THC, Chen EH, Ng R. Cross-validating chinese language mental health recovery measures in Hong Kong. Res Soc Work Pract 2016; 26(6):630-640..
Entretanto, observa-se a adoção de outras estratégias para dar suporte aos participantes no preenchimento do questionário - especificamente na versão RSA usuário -, tal como a leitura das questões pela equipe para usuários analfabetos na China1717 Ye S, Pan J, Wong DFK, Bola JR. Cross-validation of mental health recovery measures in a Hong Kong chinese sample. Res Soc Work Pract 2013; 23(3):1177-1187.. Também, a possibilidade de responder mediante entrevistas face a face, ou por meio de entrevistas telefônicas com os pesquisadores no Reino Unido1212 Leamy M, Clarke E, Boutillier C Le, Bird V, Choudhury R, Macpherson R, Pesola F, Sabas K, Williams P, Slade M. Recovery practice in community mental health teams: national survey. Br J Psychiatry 2016; 209(4):340-346.,1515 Simpson A, Hannigan B, Coffey M, Barlow S, Cohen R, Jones A, Všetečková, J, Faulkner A, Thornton A, Cartwright M. Recovery-focused care planning and coordination in England and Wales: a cross-national mixed methods comparative case study. BCM Psychiatry 2016; 16:147.. Ainda, a contratação de trabalhadores do programa de apoio de pares, no recrutamento e assistência aos usuários, no preenchimento do questionário na Suécia e no Canadá1111 Kidd SA, George L, O'Connell M, Sylvestre J, Kirkpatrick H, Browne G, Thabane L. Fidelity and recovery-orientation in assertive community treatment. Community Ment Health J 2010; 46(4):342-350.,1414 Rosenberg D, Svedberg P, Schon U-K. Establishing a recovery orientation in mental health services: evaluating the recovery self-assessment (rsa) in a Swedish context. Psychiatr Rehabil J 2015; 38(4):328-335.. Estas estratégias obtiveram resultados positivos, principalmente na Suécia, já que os usuários relataram que se sentiam seguros com os pares trabalhadores e que apreciavam o apoio dado1414 Rosenberg D, Svedberg P, Schon U-K. Establishing a recovery orientation in mental health services: evaluating the recovery self-assessment (rsa) in a Swedish context. Psychiatr Rehabil J 2015; 38(4):328-335..
No questionário RSA-R original, o item 21 faz referência à existência dos programas de apoio a pares nos serviços de saúde mental. Porém, tais programas ainda não foram implementados no Brasil e, por conseguinte, ao logo do processo de adaptação transcultural, esse foi um tópico desafiador. Após a avaliação dos especialistas e familiares, optou-se por mantê-lo, devido ao desafio da implementação de práticas que incluam usuários e suas famílias de forma direta. Essa discussão reforça a importância de se utilizar instrumentos desenvolvidos internacionalmente, que não avaliam apenas as práticas e estratégias atualmente disponíveis, como também aquelas que mobilizem a criação de novas estratégias, aprendizados e projetos nos serviços de saúde mental que orientem ao recovery e permitam o diálogo internacional.
A investigação permite afirmar que, aplicar o RSA-R família/Brasil em formato de entrevista torna-se estratégia válida. De mais a mais, essa estratégia já foi empregada em outro estudo que adaptou outra escala de saúde mental para usuário e familiares no Brasil3535 Bandeira M, Calzavara MGP, Costa CS, Cesari L. Avaliação de serviços de saúde mental: adaptação transcultural de uma medida da percepção dos usuários sobre os resultados do tratamento. J Bras Psiquiatr 2009; 58(2):107-114.,3636 Bandeira M, Felicio CM, Cesari L. Validation of the perception of change scale - family version (emp-f) as a treatment outcome measure in mental health services. Rev Bras Psiquiatr 2010; 32(3):283-287.. Embora isso não impossibilite que, no futuro possam-se pensar novas estratégias - como a implementação de programas de apoio de pares, tanto para usuários, como familiares -, pois existem vários estudos que sustentam que a implementação dos programas de pares (e seu apoio nas pesquisas) gera resultados positivos em usuários e familiares que, geralmente, sentem-se menos constrangidos ao responder para um par, do que para um profissional3434 Lodge AC, Kuhn W, Earley J, Manser SS. Initial development of the recovery-oriented services assessment: a collaboration with peer-provider consultants. Psychiatr Rehabil J 2018; 41(2):92-102..
O segundo fato que tornou desafiadora a adaptação do RSA-R família para o contexto brasileiro foi o número de itens e a linguagem usada na versão original, que requer grandes habilidades de alfabetização. Para a versão brasileira foi necessário diminuir a extensão dos itens, retirando os exemplos e adequando para linguagem mais simples, com a ajuda de educadora popular. Tal fato fora advertido em uma revisão bibliográfica66 Williams J, Leamy M, Bird V, Harding C, Larsen J, Le Boutillier C, Oades L, Slade M. Measures of the recovery orientation of mental health services : systematic review. Soc Psychiatry Psychiatr Epidemiol 2012; 47(11):1827-1835. e em estudos prévios realizados em Canadá e Estados Unidos1111 Kidd SA, George L, O'Connell M, Sylvestre J, Kirkpatrick H, Browne G, Thabane L. Fidelity and recovery-orientation in assertive community treatment. Community Ment Health J 2010; 46(4):342-350.,3434 Lodge AC, Kuhn W, Earley J, Manser SS. Initial development of the recovery-oriented services assessment: a collaboration with peer-provider consultants. Psychiatr Rehabil J 2018; 41(2):92-102.. Neles, é recomendado que em futuras tentativas de desenvolver novos itens para o RSA, seja considerado o planejamento de perguntas simples e claras que indaguem sobre parte do construto, isso pode não apenas melhorar a estrutura da escala, mas também facilitar a interpretação dos resultados futuros por participantes, pesquisadores e clínicos88 Barbic SP, Kidd SA, Davidson L, Connell MJO. Validation of the brief version of the recovery self-assessment (rsa-b) using rasch measurement theory. Psychiatr Rehabil J 2015; 38(4):349-358.. Neste sentido, a versão brasileira do RSA-R família seria precursor na possibilidade de tornar a escala a uma linguagem mais acessível, ampliando as possibilidades de comparação com outros países com padrões sociais similares.
O RSA-R, em todas as suas versões, tem uma escala de respostas de concordância de cinco pontos. Adequar essa escala de respostas foi o terceiro fato desafiador na versão brasileira do RSA-R família. Para isso, foi necessária a criação de palavras mais simples em cada número da escala e inserção de elementos gráficos. Embora em outros países não se apresentem experiências similares, na Suécia, por exemplo, a escala likert foi repetida como cabeçalho em cada nova página1414 Rosenberg D, Svedberg P, Schon U-K. Establishing a recovery orientation in mental health services: evaluating the recovery self-assessment (rsa) in a Swedish context. Psychiatr Rehabil J 2015; 38(4):328-335.. Em estudo nos Estados Unidos, criou-se instrumento a partir do RSA, com a mudança para escala de frequência de cinco pontos3434 Lodge AC, Kuhn W, Earley J, Manser SS. Initial development of the recovery-oriented services assessment: a collaboration with peer-provider consultants. Psychiatr Rehabil J 2018; 41(2):92-102.. Acredita-se que as mudanças feitas na versão brasileira do RSA-R família ajudem no preenchimento e aplicabilidade do questionário por parte dos familiares, que permitirá em estudos futuros, aportar evidências psicométricas de variabilidade e distribuição entre respostas. Entretanto, não se descarta a possibilidade de adaptar, na versão brasileira do RSA-R família, a escala de frequên cia para questionários futuros ou diminuir o número de categorias de resposta. O estudo da versão abreviada do RSA sugere que o número reduzido de categorias pode ser mais favorável para usuários de saúde mental, como também na população em geral, e estimula trabalhos futuros a testarem o RSA com menos categorias de respostas para melhorar o potencial de medição válida da orientação ao recovery em pessoas com doença mental88 Barbic SP, Kidd SA, Davidson L, Connell MJO. Validation of the brief version of the recovery self-assessment (rsa-b) using rasch measurement theory. Psychiatr Rehabil J 2015; 38(4):349-358..
A adaptação do conceito do recovery foi o último fator desafiador, ele foi inserido na maioria dos itens como “recuperação” após consenso no GF com familiares. Tal como relatado na literatura, foi difícil encontrar termo equivalente no português. No geral, o termo “recuperação” se confunde com “cura”. Acredita-se, tanto quanto outros países (China, Alemanha e Suécia) que adaptaram esta escala, que o recovery, como paradigma de atenção em saúde mental, pode ampliar o espectro de intervenção e estimular a criação de atividades e práticas que permitam superar o modelo biomédico, potencializando a autonomia dos usuários e de seus familiares em atividades, tais como a geração de emprego, acesso educacional e cultural, e a implementação de estratégias como os programas de apoio de pares99 Bola J, Chan THC, Chen EH, Ng R. Cross-validating chinese language mental health recovery measures in Hong Kong. Res Soc Work Pract 2016; 26(6):630-640.,1010 Burgess P, Pirkis J, Coombs T, Rosen A. Assessing the value of existing recovery measures for routine use in Australian mental health services. Aust N Z J Psychiatry 2011; 45(4):267-280.,1414 Rosenberg D, Svedberg P, Schon U-K. Establishing a recovery orientation in mental health services: evaluating the recovery self-assessment (rsa) in a Swedish context. Psychiatr Rehabil J 2015; 38(4):328-335.,1818 Zuaboni G, Kieser LD, Glavanovits K, Utschakowski J, Behrens J. Recovery Self Assessment: Translation and cultural adaption of a recovery oriented assessment instrument. Pflege 2015; 28(4):233-243..
Embora este estudo obedeça a um exercício de adaptação do instrumento RSA-R família para o contexto brasileiro, foi possível trazer à luz elementos de discussão sobre as diferenças culturais do Brasil e as possibilidades de aplicabilidade do construto, quando comparado a outros países. Procurou-se manter, nessa versão, o maior nível de equivalência com o questionário original, e tentando respeitar, em todas as etapas, a cultura para a qual estava sendo adaptada. Portanto, cabe dizer que, para demonstrar evidências de confiabilidade e validade desta escala no presente contexto, futuros estudos psicométricos serão necessários.
Agradecimentos
Os autores agradecem ao Espaço da Escrita - Pró-Reitoria de Pesquisa (UNICAMP) - pelo serviço de tradução prestado.
Referências
- 1American Educational Research Association. American Psychological Association. National Council on Measurement in Education. Standards for educational and psychological testing. Washington, DC: American Educational Research Association; 2014.
- 2Sireci S, Faulkner-Bond M. Validity evidence based on test content. Psicothema 2014]; 26(1):100-107.
- 3Alexandre NMC, Coluci MZO. Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Cien Saude Colet 2011; 16(7):3061-3068.
- 4Anthony WA. Recovery from mental illness: The guiding vision of the mental health service system in the 1990s. Psychosoc Rehabil J 1993; 16(4):11-23.
- 5Rosa LCS. Transtorno mental e o cuidado na familia. 2ª ed. São Paulo: Cortez; 2008.
- 6Williams J, Leamy M, Bird V, Harding C, Larsen J, Le Boutillier C, Oades L, Slade M. Measures of the recovery orientation of mental health services : systematic review. Soc Psychiatry Psychiatr Epidemiol 2012; 47(11):1827-1835.
- 7O'Connell M, Tondora J, Croog G, Evans A, Davidson L. From rhetoric to rutine: assessing perceptions of recovery-oriented practices in a state mental health and addiction system. Psychiatr Rehabil J 2005; 28(4):378-386.
- 8Barbic SP, Kidd SA, Davidson L, Connell MJO. Validation of the brief version of the recovery self-assessment (rsa-b) using rasch measurement theory. Psychiatr Rehabil J 2015; 38(4):349-358.
- 9Bola J, Chan THC, Chen EH, Ng R. Cross-validating chinese language mental health recovery measures in Hong Kong. Res Soc Work Pract 2016; 26(6):630-640.
- 10Burgess P, Pirkis J, Coombs T, Rosen A. Assessing the value of existing recovery measures for routine use in Australian mental health services. Aust N Z J Psychiatry 2011; 45(4):267-280.
- 11Kidd SA, George L, O'Connell M, Sylvestre J, Kirkpatrick H, Browne G, Thabane L. Fidelity and recovery-orientation in assertive community treatment. Community Ment Health J 2010; 46(4):342-350.
- 12Leamy M, Clarke E, Boutillier C Le, Bird V, Choudhury R, Macpherson R, Pesola F, Sabas K, Williams P, Slade M. Recovery practice in community mental health teams: national survey. Br J Psychiatry 2016; 209(4):340-346.
- 13Petrakis M, Brophy L, Lewis J, Stylianou M, Scott M, Cocks N, Buckley L, Halloran K. Consumer measures and research co-production: a pilot study evaluating the recovery orientation of a mental health program collaboration. Asia Pac J Soc Work Dev 2014; 24(1-2):94-108.
- 14Rosenberg D, Svedberg P, Schon U-K. Establishing a recovery orientation in mental health services: evaluating the recovery self-assessment (rsa) in a Swedish context. Psychiatr Rehabil J 2015; 38(4):328-335.
- 15Simpson A, Hannigan B, Coffey M, Barlow S, Cohen R, Jones A, Všetečková, J, Faulkner A, Thornton A, Cartwright M. Recovery-focused care planning and coordination in England and Wales: a cross-national mixed methods comparative case study. BCM Psychiatry 2016; 16:147.
- 16Waldemar AK, Esbensen BA, Korbek L, Petersen L, Arnfred S. Recovery orientation in mental health inpatient settings: Inpatient experiences? Int J Ment Health Nurs 2018; 27(3):1177-1187.
- 17Ye S, Pan J, Wong DFK, Bola JR. Cross-validation of mental health recovery measures in a Hong Kong chinese sample. Res Soc Work Pract 2013; 23(3):1177-1187.
- 18Zuaboni G, Kieser LD, Glavanovits K, Utschakowski J, Behrens J. Recovery Self Assessment: Translation and cultural adaption of a recovery oriented assessment instrument. Pflege 2015; 28(4):233-243.
- 19Thomas EC, Despeaux KE, Drapalski AL, Bennett M. Person-oriented recovery of individuals with serious mental illnesses: a review and meta-analysis of longitudinal findings. Psychiatr Serv 2018; 69(3):259-267.
- 20Zipursky RB, Reilly TJ, Murray RM. The myth of schizophrenia as a progressive brain disease. Schizophr Bull 2012; 39(6):1363-1372.
- 21Leonhardt BL, Huling K, Hamm JA, Roe D, Hasson-Ohayon I, McLeod HJ, Lysaker PH. Recovery and serious mental illness: a review of current clinical and research paradigms and future directions. Expert Rev Neurother 2017; 17(11):1117-1130.
- 22O'Connell M, Tondora J, Kidd, Stayner, Hawkins, Davidson L. RSA-R Family Member/Significant Other Version [Internet]. Yale University; 2007 [accesado 2017 fev 14]. Disponivel em: http://medicine.yale.edu/psychiatry/prch/tools/RSA_Family_Advocate_tcm800-204209_tcm800-284-32.pdf
» http://medicine.yale.edu/psychiatry/prch/tools/RSA_Family_Advocate_tcm800-204209_tcm800-284-32.pdf - 23Wild D, Grove A, Martin M, Eremenco S, McElroy S, Verjee-Lorenz A, Erikson P, ISPOR Task Force for Translation and Cultural Adaptation. Principles of good practice for the translation and cultural adaptation process for patient-reported outcomes (pro) measures: report of the ISPOR Task Force for Translation and Cultural Adaptation. Value Health 2005; 8(2):94-104.
- 24Onocko Campos RT, Costa M, Pereira MB, Ricci EC, Silva TEG, Erazo CLJ, Reis G, Davidson L. Recovery, citizenship, and psychosocial rehabilitation: A dialog between Brazilian and American mental health care approaches. Am J Psychiatr Rehabil 2017; 20(3):311-326.
- 25Gorenstein C, Wang Y, Hungerbühler I. Fundamentos de mensuração em saúde mental. In: Gorenstein C, Wang Y, Hungerbühler I, editores. Instrumentos de avaliação em saúde mental. Porto Alegre: Artmed; 2016. p. 1-52.
- 26Pereira MB. Avaliação de serviços de saúde mental: validação da versão para trabalhadores de instrumento de avaliação de Recovery [tese]. Campinas: Universidade Estadual de Campinas; 2019.
- 27Beaton DE, Bombardier C, Guillemin F, Ferraz MB. Guidelines for the process of cross-cultural adaptation of self-report measures. Spine (Phila Pa 1976) 2000; 25(24):3186-3191.
- 28Eremenco SL, Cella D, Arnold BJ. A comprehensive method for the translation and cross-cultural validation of health status questionnaires. Eval Health Prof 2005; 28(2):212-232.
- 29Onocko-Campos R. O planejamento no labirinto: uma viagem hermeneutica. São Paulo: Hucitec Editora; 2003.
- 30Baccari IOP, Onocko-Campos R, Stefanello S. Recovery: revisão sistemática de um conceito. Cien Saude Colet 2015; 20(1):125-136.
- 31Vasconcelos EM. As abordagens Anglo-Saxônicas de empoderamento e recovery (recuperação, restabelecimento) em saúde mental II: uma avaliação crítica para uma apropriação criteriosa no cenário brasileiro. Cad Bras Saude Ment 2017; 9(21):48-65.
- 32Dantas CDR, Oda AMGR. Cartografia das pesquisas avaliativas de serviços de saúde mental no Brasil (2004-2013). Physis Rev Saude Colet 2014; 24(4):1127-1179.
- 33Mcloughlin KA, Wick A Du, Collazzi CM, Puntil C. Recovery-oriented practices of psychiatric-mental health nursing staff in an acute hospital setting. J Am Psychiatr Nurses Assoc 2013; 19(3):152-159.
- 34Lodge AC, Kuhn W, Earley J, Manser SS. Initial development of the recovery-oriented services assessment: a collaboration with peer-provider consultants. Psychiatr Rehabil J 2018; 41(2):92-102.
- 35Bandeira M, Calzavara MGP, Costa CS, Cesari L. Avaliação de serviços de saúde mental: adaptação transcultural de uma medida da percepção dos usuários sobre os resultados do tratamento. J Bras Psiquiatr 2009; 58(2):107-114.
- 36Bandeira M, Felicio CM, Cesari L. Validation of the perception of change scale - family version (emp-f) as a treatment outcome measure in mental health services. Rev Bras Psiquiatr 2010; 32(3):283-287.
Datas de Publicação
- Publicação nesta coleção
30 Ago 2021 - Data do Fascículo
2021
Histórico
- Recebido
27 Nov 2019 - Aceito
27 Mar 2020 - Publicado
29 Mar 2020