Resumo

Revisão integrativa da literatura, que teve como objetivo identificar evidências acerca da avaliação de desempenho de programas de controle de tuberculose no contexto brasileiro e espanhol. Foram selecionados materiais produzidos no Brasil e na Espanha indexados em bases de dados, diretórios de busca e bibliotecas virtuais, publicados entre 2002-2013. Para a análise foram incluídas 17 produções (9 brasileiras e 8 espanholas). Foi feita a identificação de conceitos relacionados à avaliação de programas, assim como métodos e indicadores utilizados para avaliação de programas de controle de tuberculose em ambos os países. No contexto espanhol identifica-se uma preocupação com a gestão orientada por resultados e o desenvolvimento de indicadores amplos para avaliação de uma série de programas em saúde, incluindo o de tuberculose. Já as produções brasileiras apresentaram maior proximidade com o método da pesquisa avaliativa clássica, e uma maior variedade de objetos de investigação dentro das atividades de controle da doença. Os resultados refletem a complexidade da avaliação de programas que envolvem múltiplas atividades e diversos atores, apontam para a necessidade da integração de indicadores epidemiológicos e operacionais em tuberculose.

Tuberculose; Avaliação de programas; Pesquisa sobre Serviços de Saúde; Indicadores de qualidade em assistência à saúde

Introdução

Para aqueles envolvidos com a saúde pública, questionar o desempenho de intervenções estabelecidas por meio de programas e políticas públicas é um ato contínuo e extremamente necessário. Em meio a interesses sociais, políticos e econômicos, há nesses questionamentos a busca por um modelo de atenção capaz de propiciar eficácia, eficiência e efetividade na prestação à saúde, alcançando, assim, um projeto de saúde integral para indivíduos e comunidades¹1. Viacava F, Ugá MAD, Porto S, Laguardia J, Moreira RS. Avaliação de Desempenho de Sistemas de Saúde: um modelo de análise. Cien Saude Colet 2012;17(4):921-934..

No Brasil, ao longo dos 26 anos do Sistema Único de Saúde (SUS), a demanda por evidências capazes de reorganizar o modo com que os serviços prestam assistência tem sido crescente²2. Figueiredo ANA, Tanaka O. A avaliação no SUS como estratégia na reordenação da saúde. Cad Fundap 1996; 19:98-105.,³3. Paim JS. A Constituição Cidadã e os 25 anos do Sistema Único de Saúde (SUS). Cad Saude Publica 2013; 29(10):1927-1936., tendo estimulado diversas discussões a respeito da condução de avaliações de programas em saúde, tanto no interior de instituições governamentais quanto no ambiente acadêmico e científico⁴4. Santos TMMG, Silva NS, Nogueira LT, Vilarinho LM, Nunes GBL. Tendências da produção científica sobre avaliação em saúde no Brasil.Rev. Rene 2010; 11(3):171-179.,⁵5. Fernandes FMB, Ribeiro JM, Moreira MG. Reflexões sobre avaliação de políticas de saúde no Brasil. Cad Saude Publica 2011; 27(9):1667-1677.. Essa necessidade também é destacada em outros países que optaram por modelos de sistemas de saúde nacionais e de caráter universal, como é o caso da Espanha e de seu Sistema Nacional de Salud (SNS), que, à semelhança do Brasil, realizou sua reforma sanitária atrelada a um movimento intenso de redemocratização após décadas de ditadura⁶6. Campos PM. Estructuras Político-Administrativas y Salud Pública en España. Rev San Hig Púb 1994; 68:57-64..

Faz-se preciso relembrar que as reformas sanitárias ocorridas nesses dois países foram fruto de mobilizações que geraram e ainda hoje geram conflitos entre as instâncias de poder instituído e a sociedade⁷7. Somoza EJL. La evaluación de la reforma sanitaria, una base necesaria para reformas futuras. Rev Esp Salud Pública 2008; 65(4):287-297.,⁸8. Paim JS, Teixeira, CF. Política, planejamento e gestão em saúde: balanço do estado da arte. Rev Saude Publica 2006, 40(Esp):73-78., exemplificando o dinamismo da mediação entre os anseios de diferentes grupos da sociedade e a resposta do Estado e seus governos, e por consequência do próprio processo de formulação de políticas públicas em saúde⁸8. Paim JS, Teixeira, CF. Política, planejamento e gestão em saúde: balanço do estado da arte. Rev Saude Publica 2006, 40(Esp):73-78..

Os recentes recortes nas políticas sociais espanholas, em decorrência da crise econômica⁹9. Ortún V, Callejón M. Crisis en España: ¿cómo renovar los servicios sanitarios. In: Casajuana J, Gérvas J, organizadores. La renovación de la Atención Primaria desde la consulta. Madrid: Springer Healthcare; 2012. p. 157-170., e os entraves sofridos pelo SUS, na consecução de seus princípios e diretrizes²2. Figueiredo ANA, Tanaka O. A avaliação no SUS como estratégia na reordenação da saúde. Cad Fundap 1996; 19:98-105.,¹⁰10. Fleury S. Reforma sanitária brasileira: dilemas entre o instituinte e o instituído. Cien Saude Colet 2009; 14(3):743-752., apontam uma conjuntura comum que impõe aos avaliadores um posicionamento crítico em relação às suas funções e reafirma o caráter de controle social dos julgamentos de valor realizados. O caminho feito pela avaliação para o enfrentamento desses desafios ainda é longo, e para que de fato as evidências subsidiem a gestão de serviços e programas, é preciso lidar com a diversidade conceitual sobre o tema, a falta de institucionalização do processo avaliativo e as múltiplas interfaces que ele assume diante de outras esferas sociais¹¹11. Tanaka OY, Melo C. Avaliação de serviços e programas de saúde para a tomada de decisão. In: Rocha AA, César CLG, organizadores. Saúde pública: bases conceituais. São Paulo: Atheneu; 2008. p. 119-131..

Dentre os problemas de saúde que geram intervenções programáticas, destacamos a tuberculose (TB), doença cujas bases diagnósticas e terapêuticas estão bem estabelecidas há décadas, mas cujo manejo exige do sistema de saúde uma atenção coordenada entre diversos pontos de atenção, impondo uma organização complexa de suas ações de prevenção e controle¹²12. Villa TCS, Ruffino-Netto A, Scatena LM, Andrade RLP, Brunello MEF, Nogueira JA, Palha PF, Sá LD, Assis MMA, Vendramini SHF, Monroe AA, Arcêncio RA, Arakawa T. Health services performance for TB treatment in Brazil: a cross-sectional study. BMC Health Services Research [serial on the internet] 2011; 11(241) [cited 2013 Oct 10]. Available from: http://www.biomedcentral.com/1472-6963/11/241.
http://www.biomedcentral.com/1472-6963/1... .

Os indicadores epidemiológicos em TB e os desfechos de tratamento apresentados por ambos os países elucidam a relevância de investigar a capacidade de resposta dos Programas de Controle da Tuberculose (PCT) no contexto de seus sistemas de saúde: no Brasil, a TB persiste como a principal causa de morte entre as pessoas vivendo com HIV/aids, e a quarta causa de óbitos por doenças infecciosas entre a população geral¹³13. Brasil. Ministério da Saúde. Programa Nacional de Controle de Tuberculose. Tuberculose em números. [acessado 2014 jan 23]. Disponível em: http://www.saude.gov.br
http://www.saude.gov.br... , com uma incidência de 35,8 casos/100.000 habitantes, no ano de 2012, e uma taxa de cura entre casos novos de 69,7%, em 2011¹³13. Brasil. Ministério da Saúde. Programa Nacional de Controle de Tuberculose. Tuberculose em números. [acessado 2014 jan 23]. Disponível em: http://www.saude.gov.br
http://www.saude.gov.br... . Já na Espanha, a incidência de TB foi de 13,0 casos/100.000 habitantes, em 2012, com uma taxa de cura para casos novos de apenas 73,3%, no ano de 2011¹⁴14. Centro Nacional de Epidemiología, Instituto de Salud Carlos III.Informe epidemiológico sobre la situación de la tuberculosis en España. Año 2012. Madrid: Centro Nacional de Epidemiología, Instituto de Salud Carlos III; 2013.. Na Espanha, 46,3% dos casos notificados nesse mesmo período ocorreu entre a população estrangeira, com procedência majoritária de indivíduos originários da América do Sul, de países do leste europeu e do norte da África. As condições de vida desses imigrantes e suas vulnerabilidades constituem alguns dos principais desafios para o controle da doença no país¹⁴14. Centro Nacional de Epidemiología, Instituto de Salud Carlos III.Informe epidemiológico sobre la situación de la tuberculosis en España. Año 2012. Madrid: Centro Nacional de Epidemiología, Instituto de Salud Carlos III; 2013..

Tanto no Brasil quanto na Espanha, a descentralização e o fortalecimento do papel coordenador da Atenção Primária à Saúde – considerados como estratégias para possibilitar a reforma de seus sistemas de saúde – estabelecem um contexto que influencia como as questões específicas de controle da TB e de vigilância em saúde são desenvolvidas, e, consequentemente, como seus desafios são enfrentados.

Instigado pela complexidade operacional do controle de uma doença como a TB e considerando que evidências acerca do monitoramento de desempenho de programas em saúde são potencialmente interessantes a pesquisadores e gestores de ambos os países, este artigo tem como objetivo realizar um levantamento bibliográfico sobre a avaliação de desempenho de programas de controle de TB na literatura produzida no Brasil e na Espanha. A escolha dos dois países se justifica pelas similaridades de suas propostas de sistemas públicos e nacionais de saúde e pela trajetória de desafios comuns no que tange à gestão de seus serviços e ao desenvolvimento de programas de controle de doenças e agravos.

Materiais e métodos

Trata-se de uma revisão integrativa da literatura, cujo propósito primordial é aprofundar o entendimento de um determinado fenômeno, evidenciando suas possíveis fortalezas e/ou lacunas, possibilitando o raciocínio crítico na análise do objeto proposto¹⁵15. Whittemore R, Knafl K. The integrative review: update methodology.J Adv Nurs 2005; 52(5):546-553..

A revisão integrativa consiste em um método ordenado e sistemático de síntese de resultados obtidos na literatura, e prevê o desenvolvimento de seis etapas ou passos¹⁵15. Whittemore R, Knafl K. The integrative review: update methodology.J Adv Nurs 2005; 52(5):546-553., a saber: 1) delineamento de uma questão investigativa, a qual compõe a estrutura do tema a ser pesquisado e norteia a escolha dos descritores e palavras-chave para a busca da literatura; 2) estabelecimento das estratégias de busca e definição dos critérios para a inclusão e exclusão dos estudos e materiais disponíveis; 3) categorização da amostra selecionada com a definição das informações de interesse para a revisão; 4) análise crítica da amostra final; 5) interpretação dos achados; e 6) apresentação da revisão/síntese do conhecimento.

Para este estudo, a questão investigativa correspondeu à pergunta: “Como o desempenho de programas de controle de TB tem sido abordado na produção técnica-científica desenvolvida no Brasil e na Espanha?”

Foram consideradas pesquisas científicas originais, artigos de reflexão/debate, revisões da literatura, estudos de caso e relatos de experiência, monografias, dissertações e teses, assim como publicações institucionais (informes, relatórios e planos) e protocolos/guias de prática clínica (practical guidelines) produzidos no Brasil e na Espanha, disponíveis nos idiomas português, espanhol e inglês, publicados na última década (período de 2002-2013) e indexados nas bases de dados CINAHL (Cumulative Index to Nursing and Allied Health Literature), Medline (Medical Literature Analysis and Retrieval System Online), Lilacs (Literatura Latino-Americana e do Caribe em Ciências de Saúde) e SCOPUS (Web of Science). A biblioteca virtual SciELO (Scientific Eletronic Library Online) também foi selecionada como fonte relevante para busca. A ferramenta de busca Google Scholar (Google Acadêmico) complementou as buscas de forma a possibilitar a identificação de materiais de interesse não disponíveis nas bases acima citadas.

A escolha dos descritores de busca foi realizada previamente a partir de consulta às bibliotecas de terminologia em saúde – Descritores em Ciências da Saúde (DeCS) da Biblioteca Regional de Medicina da Organização Pan-Americana de Saúde (OPAS/Bireme) e Medical Subject Headings (MSH) da National Library of Medicine, e termos-chave foram definidos a partir de seus conceitos, de forma a possibilitar a busca por linguagem livre não controlada quando a procura por descritores não oferecia resultados satisfatórios.

O levantamento bibliográfico foi realizado nas bases e fontes acima citadas por meio do cruzamento dos descritores e termos mencionados no Quadro 1, entre os meses de outubro e dezembro de 2013. Foi aplicado como estratégia de busca o uso do descritor tuberculose e a operação booleana ¨AND¨ com os demais assuntos selecionados para o estudo, que foram combinados entre si com o uso da operação ¨OR¨. A recuperação de materiais produzidos no contexto brasileiro e espanhol foi realizada pela utilização das palavras ¨Brasil¨ e ¨Espanha¨ nos campos de busca relativos ao país de afiliação da pesquisa, título e/ou resumo do material.

O critério de inclusão dos artigos identificados pela busca foi delimitado como a presença de conceitos teóricos e/ou evidências a respeito da avaliação de PCTs no contexto do sistema de saúde, assim como dos indicadores utilizados ou propostos para tal fim. Foram excluídos duplicações e materiais cujo escopo não se adequasse às questões de interesse do estudo.

A partir da amostra final, procedeu-se uma leitura crítica para compor o produto final do estado da arte. Os dados de interesse foram descritos e agrupados em categorias temáticas para operacionalizar a apresentação e discussão dos resultados. A identificação e a categorização dos indicadores utilizados nesses materiais seguiram os conceitos de Waldman¹⁶16. Waldman EA. Vigilância em Saúde Pública. São Paulo: Universidade de São Paulo; 1998.e da Rede Interagencial de Informações em Saúde (RIPSA)¹⁷17. Rede Interagencial de Informações para a Saúde (RIPSA).Indicadores e dados básicos para a saúde (IDB); 2011. [acessado 2014 jun 11]. Disponível em: http://www.ripsa.org.br/php/level.php?lang=pt&component=68&item=23.
http://www.ripsa.org.br/php/level.php?la... , que definem indicador como uma medida, de ordem quantitativa ou qualitativa, que organiza e capta informações relevantes dos elementos que compõem o objeto avaliado. Os indicadores foram categorizados em epidemiológicos (que expressavam magnitude da doença) e operacionais (que mediam atividades realizadas e a quantidade/qualidade das ações decorrentes da intervenção proposta)¹⁷17. Rede Interagencial de Informações para a Saúde (RIPSA).Indicadores e dados básicos para a saúde (IDB); 2011. [acessado 2014 jun 11]. Disponível em: http://www.ripsa.org.br/php/level.php?lang=pt&component=68&item=23.
http://www.ripsa.org.br/php/level.php?la... .

A Figura 1 mostra a quantidade de materiais levantados e selecionados de acordo com os critérios estabelecidos. A amostra final foi composta por 17 materiais, entre artigos, monografias, teses e protocolos.

Resultados

Os Quadros 2 e 3 sintetizam os principais dados relacionados aos materiais levantados, de acordo com ano, fonte, tipologia documental, considerações sobre delineamento do estudo e principal objetivo (quando pertinente) dos materiais selecionados, no contexto espanhol e brasileiro, respectivamente.

De uma forma geral, a produção espanhola se concentra em um período anterior à brasileira, com a maioria dos artigos selecionados divulgados antes de 2010. Já a busca por materiais brasileiros resultou em artigos mais recentes – a amostra final concentrou maior número de publicações dos últimos 5 anos (2009-2013). No que concerne aos tipos de materiais identificados, destaca-se que metade das publicações selecionadas era de outras tipologias documentais, além de artigos com resultados de pesquisas originais, apontando que artigos de revisão/debate e de revisão narrativa (n = 5), teses e monografias (n = 3) e protocolos (n = 1) constituíram uma importante fonte de conhecimento nessa área para a presente revisão.

Em relação ao delineamento dos artigos originais, percebe-se uma variedade de estratégias, com destaque à presença de elementos da investigação epidemiológica na maioria dos artigos originais (6 no total de 9 publicações de ambos os países), e uma maior referência a componentes da pesquisa avaliativa no contexto brasileiro (4 artigos brasileiros quando comparados a apenas 1 material espanhol).

A citação de indicadores e parâmetros utilizados para julgamento do desempenho foi um item comum ao longo da leitura analítica. Diferentes conceitos embasaram as avaliações propostas, com destaque para o referencial de estrutura, processo e resultado¹⁸18. Villalbi JR, Tresseras R. Evaluación de políticas y planes de salud. Gac Sanit 2011; 25(Supl. 1):17-24.

19. Gonzales RIC, Monroe AA, Assis EG, Palha PF, Villa TCS, Ruffino-Netto A. Desempenho de serviços de saúde no tratamento diretamente observado no domicílio para controle da tuberculose. Rev esc enferm USP 2008; 42(4):628-634.

20. Dos Santos DMLR. Implementação do programa de controle da tuberculose do município de Abreu e Lima [monografia]. Recife: Fundação Oswaldo Cruz; 2010.-²¹21. Gonçalves MJF. Avaliação de Programa de Saúde: O Programa Nacional de Controle de Tuberculose no Brasil. Saúde Transform Soc 2012; 3(1):13-17., incluindo as categorias de cobertura, qualidade, satisfação e aceitabilidade¹⁸18. Villalbi JR, Tresseras R. Evaluación de políticas y planes de salud. Gac Sanit 2011; 25(Supl. 1):17-24. – considerados como elementos do processo; e as definições de eficiência, eficácia e efetividade¹⁸18. Villalbi JR, Tresseras R. Evaluación de políticas y planes de salud. Gac Sanit 2011; 25(Supl. 1):17-24.,²²22. Chaulk PC, Kazandin VA, Vellejo Gutierrez P. Evaluación en salud pública: lecciones aprendidas de la gestión de la tuberculosis pulmonar.Gac Sanit 2008; 22(4):362-370..

A avaliação de estrutura foi definida nos materiais como a análise dos recursos, de natureza material ou humana, e dos serviços e atividades que são geradas a partir destes¹⁸18. Villalbi JR, Tresseras R. Evaluación de políticas y planes de salud. Gac Sanit 2011; 25(Supl. 1):17-24.,²¹21. Gonçalves MJF. Avaliação de Programa de Saúde: O Programa Nacional de Controle de Tuberculose no Brasil. Saúde Transform Soc 2012; 3(1):13-17.. A avaliação de processo consta como a investigação das atividades de um programa, de sua cobertura e sua qualidade, incluindo aspectos da satisfação dos pacientes e da aceitabilidade da intervenção pelos atores envolvidos¹⁸18. Villalbi JR, Tresseras R. Evaluación de políticas y planes de salud. Gac Sanit 2011; 25(Supl. 1):17-24.,²¹21. Gonçalves MJF. Avaliação de Programa de Saúde: O Programa Nacional de Controle de Tuberculose no Brasil. Saúde Transform Soc 2012; 3(1):13-17.. E, por fim, a avaliação de resultados enfoca o questionamento sobre os objetivos estabelecidos por tais serviços e atividades¹⁸18. Villalbi JR, Tresseras R. Evaluación de políticas y planes de salud. Gac Sanit 2011; 25(Supl. 1):17-24.,²¹21. Gonçalves MJF. Avaliação de Programa de Saúde: O Programa Nacional de Controle de Tuberculose no Brasil. Saúde Transform Soc 2012; 3(1):13-17..

A eficiência é definida como a medida de relação entre os recursos empregados e a consecução dos objetivos das intervenções¹⁸18. Villalbi JR, Tresseras R. Evaluación de políticas y planes de salud. Gac Sanit 2011; 25(Supl. 1):17-24.,²²22. Chaulk PC, Kazandin VA, Vellejo Gutierrez P. Evaluación en salud pública: lecciones aprendidas de la gestión de la tuberculosis pulmonar.Gac Sanit 2008; 22(4):362-370.,²³23. Rodrigo TS. Evaluación de programas de prevención y control de tuberculosis [tese]. Barcelona: Universidad Autonóma de Barcelona; 2003.; ou, no marco da avaliação econômica, como a análise de custos e benefícios para a otimização na aplicação de recursos¹⁸18. Villalbi JR, Tresseras R. Evaluación de políticas y planes de salud. Gac Sanit 2011; 25(Supl. 1):17-24.,²²22. Chaulk PC, Kazandin VA, Vellejo Gutierrez P. Evaluación en salud pública: lecciones aprendidas de la gestión de la tuberculosis pulmonar.Gac Sanit 2008; 22(4):362-370.. A eficácia é considerada como a mensuração dos resultados entre a população-alvo de um programa/intervenção, e a efetividade expressa o impacto dos resultados de um programa na comunidade¹⁸18. Villalbi JR, Tresseras R. Evaluación de políticas y planes de salud. Gac Sanit 2011; 25(Supl. 1):17-24.,²²22. Chaulk PC, Kazandin VA, Vellejo Gutierrez P. Evaluación en salud pública: lecciones aprendidas de la gestión de la tuberculosis pulmonar.Gac Sanit 2008; 22(4):362-370.,²³23. Rodrigo TS. Evaluación de programas de prevención y control de tuberculosis [tese]. Barcelona: Universidad Autonóma de Barcelona; 2003..

As dimensões e os indicadores próprios dos referenciais da pesquisa avaliativa também foram citados²⁴24. Oliveira LGD, Natal S. Avaliação de implantação do Programa de Controle da Tuberculose no município de Niterói/RJ. Rev Bras Pneum Sanitaria 2007; 15(1):29-38.

25. Oliveira LGD, Natal S, Felisberto E, Alves CKA, Santos AM. Modelo de avaliação do programa de controle da tuberculose. Cien Saude Colet 2010; 15(1):997-1008.-²⁶26. Heufemann NEC, Gonçalves MJF, Garnelo ML. Avaliação do programa de controle da tuberculose em cenário Amazônico: desafios em Coari. Acta Amaz 2013; 43(1):33-42.. A avaliação de implantação utiliza um modelo lógico, formado pela descrição de componentes, insumos, atividades, produtos, resultados e impacto esperados para um PCT, e um modelo teórico de avaliação, no qual se investiga a medida em que os recursos e serviços oferecidos são adequados e empregados de forma a atingir os resultados esperados, e como os resultados obtidos se aproximam ou se diferenciam das metas propostas. Nesta proposta, consideram-se como dimensões o contexto político-organizacional (autonomia político-financeira, ações intersetoriais, vulnerabilidade social, gerência), a implementação das ações (cobertura, acesso, diagnóstico e apoio laboratorial, tratamento e assistência farmacêutica, integralidade, vigilância epidemiológica), e seus efeitos (desfechos clínicos e satisfação do usuário). Cada dimensão é subdividida em categorias, que por sua vez possuem critérios/indicadores que compõem uma matriz de julgamento para avaliação do grau de implantação do PCT no sistema de saúde.

Um modelo de continuidade de atenção e indicadores para sua mensuração foram identificados em um dos materiais espanhóis, considerando como continuidade da atenção uma associação racional entre as intervenções clínicas propostas, as mudanças alcançadas no estado de saúde dos indivíduos e a modificação subsequente na utilização de serviços de saúde²²22. Chaulk PC, Kazandin VA, Vellejo Gutierrez P. Evaluación en salud pública: lecciones aprendidas de la gestión de la tuberculosis pulmonar.Gac Sanit 2008; 22(4):362-370.. A definição ainda inclui que indicadores de continuidade da atenção em tuberculose devem considerar a participação dos pacientes no período durante e posterior ao tratamento e a integração entre diferentes organizações sanitárias e comunitárias envolvidas nesse processo²²22. Chaulk PC, Kazandin VA, Vellejo Gutierrez P. Evaluación en salud pública: lecciones aprendidas de la gestión de la tuberculosis pulmonar.Gac Sanit 2008; 22(4):362-370..

Os principais indicadores identificados foram categorizados como epidemiológicos ou operacionais e listados no Quadro 4.

Discussão

Há uma dificuldade, no campo da TB, de concretizar os limites do que seria uma pesquisa sobre o desempenho de ações específicas do programa, ou sobre os serviços que operacionalizam o programa, ou ainda sobre o PCT em si enquanto um órgão que reúne determinados atributos e atividades. Os materiais identificados corroboram que, quando as intervenções avaliadas consistem em um amplo conjunto de serviços que envolvem diversas organizações e profissionais e se orientam a enfermidades multifatoriais como no caso da TB, maior a dificuldade no estabelecimento de medidas de avaliação das intervenções capazes de identificar a responsabilidade de cada um dos atores/elementos envolvidos¹⁸18. Villalbi JR, Tresseras R. Evaluación de políticas y planes de salud. Gac Sanit 2011; 25(Supl. 1):17-24.,²²22. Chaulk PC, Kazandin VA, Vellejo Gutierrez P. Evaluación en salud pública: lecciones aprendidas de la gestión de la tuberculosis pulmonar.Gac Sanit 2008; 22(4):362-370.,³¹31. Villalbi JR, Casasa C, Bartoll X, Artazcoz L, Ballestín M, Borrell C, Camprubí E, Durán J, García R, Rodríguez P, Salamero, M. Indicadores para la gestión de los servicios de salud pública. Gac Sanit 2010; 24(5):378-384.. O recorte necessário realizado nas produções sobre o tema não exclui uma discussão ampla e que integra questões pertinentes a cada uma das instâncias envolvidas, porém dificulta a sistematização das evidências construídas em meio à diversidade de publicações disponíveis.

A escassez de publicações na área de avaliação de PCT é citada ao longo dos materiais levantados, em ambos os países²²22. Chaulk PC, Kazandin VA, Vellejo Gutierrez P. Evaluación en salud pública: lecciones aprendidas de la gestión de la tuberculosis pulmonar.Gac Sanit 2008; 22(4):362-370.,²³23. Rodrigo TS. Evaluación de programas de prevención y control de tuberculosis [tese]. Barcelona: Universidad Autonóma de Barcelona; 2003.,²⁷27. Alonso JLP, García-Martos P, Casanova PM, Saldarreaga MA, Vega J, Gutiérrez JM. Valoración de la aplicación de un programa de prevención y control de tuberculosis. Enferm Infec Microb Clínica 2002; 20(4).,²⁹29. 29 Rodrigo TS, Cayla JA. Efectividad de los programas de control de la tuberculosis en España. Med Clínica 2003; 121(10):375-377.,³³33. Gonçalves MJF, Penna MLF. Morbidade por tuberculose e desempenho do programa de controle em municípios brasileiros, 2001-2003. Rev Saude Publica 2007; 41(Supl. 1):95-102.. O tema da avaliação, apesar de embasado em correntes teóricas bem estabelecidas, ainda é uma área cuja divulgação está aquém de outros temas frequentemente estudados quando se trata da TB. Kritski et al.³⁵35. Kritski AL, Villa TCS, Trajman A, Lapa e Silva JR, Medronho RA, Ruffino-Netto A. Duas décadas de pesquisa em tuberculose no Brasil: estado da arte das publicações científicas. Rev Saude Publica 2007; 41(Supl. 1):9-14. apontaram que, no Brasil, houve uma crescente divulgação de resultados de pesquisas sobre TB em periódicos indexados e de alto rigor científico a partir dos anos 2000, no entanto, com predominância de estudos relacionados às ciências básicas. Na Espanha, Ramos et al.³⁶36. Ramos JM, Padilla S, Masiá M, Gutiérrez F. A bibliometric analysis of tuberculosis research indexed in PubMed, 1997–2006. Int J Tuberc Lung Dis 2008; 12(12): 1461-1468.aponta que a produção em TB é majoritariamente de estudos clínicos e de bancada, sendo médicos os principais autores dos estudos identificados entre 1997 e 2006, e os hospitais as principais instituições responsáveis pelas publicações. O achado de produções brasileiras mais recentes, identificado neste estudo, pode estar relacionado à priorização da implementação das ações do PCT em serviços de atenção primária no país e editais de pesquisa apoiando a realização de estudos deste gênero.

A tarefa de avaliar o desempenho de um programa de controle de um agravo/doença exige a utilização de um referencial bem delimitado que permita a seleção e a análise de indicadores pertinentes para a condução da análise e da interpretação de seus resultados³⁷37. Novaes HMD. Avaliação de programas, serviços e tecnologias em saúde. Rev Saude Publica 2000; 34(5):155-159.. No entanto, na área de avaliação, novas definições são criadas constantemente, e mesmo os conceitos e métodos existentes são utilizados de forma distinta e até de maneiras divergentes, o que resulta em uma grande diversidade terminológica³⁸38. Silva LMV, Formigli VLA. Avaliação em saúde: limites e perspectivas. Cad Saude Publica 1994; 10(1):80-91.,³⁹39. Furtado JP. Um método construtivista para a avaliação em saúde.Cien Saude Colet 2001; 6(1):165-182.e metodológica⁴⁰40. Uchimura KY, Bosi MLM. Avaliação da qualidade ou avaliação qualitativa do cuidado em saúde? Rev Saude Publica 2007; 41(1):150-153., incluindo desde a epidemiologia até as teorias clássicas da pesquisa avaliativa, passando tanto pela abordagem quantitativa quanto pela qualitativa. Fernandes et al.⁵5. Fernandes FMB, Ribeiro JM, Moreira MG. Reflexões sobre avaliação de políticas de saúde no Brasil. Cad Saude Publica 2011; 27(9):1667-1677., comentam que, apesar da natureza não consensual do campo de avaliação possibilitar a criatividade dos pesquisadores, ela também pode apontar para riscos de inadequação na concepção, operacionalização e divulgação dos resultados e achados das pesquisas.

Os métodos e indicadores identificados nesta revisão confirmam a existência de duas vertentes, uma circunscrita às bases da avaliação normativa, com indicadores específicos e limitados aos componentes do programa de controle, e outra que se aproxima da pesquisa avaliativa, com indicadores que procuram relacionar os diferentes contextos em que os componentes do programa se relacionam, incluindo aspectos de ordem subjetiva²⁰20. Dos Santos DMLR. Implementação do programa de controle da tuberculose do município de Abreu e Lima [monografia]. Recife: Fundação Oswaldo Cruz; 2010.,²⁴24. Oliveira LGD, Natal S. Avaliação de implantação do Programa de Controle da Tuberculose no município de Niterói/RJ. Rev Bras Pneum Sanitaria 2007; 15(1):29-38.,²⁶26. Heufemann NEC, Gonçalves MJF, Garnelo ML. Avaliação do programa de controle da tuberculose em cenário Amazônico: desafios em Coari. Acta Amaz 2013; 43(1):33-42..

A relevância do uso de indicadores epidemiológicos é discutida no material identificado³²32. Braga JU. Vigilância epidemiológica e o sistema de informação da tuberculose no Brasil, 2001-2003. Rev Saude Publica 2007; 41(Supl. 1):77-87.,³⁴34. Santos MSLG. A estratégia DOTS no estado de São Paulo: desafios políticos, técnicos e operacionais no controle da Tuberculose [tese]. Ribeirão Preto: Universidade de São Paulo; 2009., uma vez que a magnitude da doença pode influenciar no reconhecimento do problema pelos serviços de saúde. Indicadores que fazem referência à aids e à coinfecção pelo HIV também foram identificados no material desta revisão³²32. Braga JU. Vigilância epidemiológica e o sistema de informação da tuberculose no Brasil, 2001-2003. Rev Saude Publica 2007; 41(Supl. 1):77-87.,³³33. Gonçalves MJF, Penna MLF. Morbidade por tuberculose e desempenho do programa de controle em municípios brasileiros, 2001-2003. Rev Saude Publica 2007; 41(Supl. 1):95-102., sendo seu uso justificado pela conhecida interface entre essas duas condições crônicas, o que gera maior complexidade para o manejo do cuidado prestado e pode influenciar o desempenho do programa de controle de ambas as doenças.

A limitação no uso de dados secundários e a arbitrariedade da escolha dos pontos de corte usados nos critérios de classificação dos municípios também foi citada³²32. Braga JU. Vigilância epidemiológica e o sistema de informação da tuberculose no Brasil, 2001-2003. Rev Saude Publica 2007; 41(Supl. 1):77-87. como um fator que corrobora a carência de informações para o Brasil e seus municípios, sobre o desempenho no Programa Nacional de Controle da Tuberculose³³33. Gonçalves MJF, Penna MLF. Morbidade por tuberculose e desempenho do programa de controle em municípios brasileiros, 2001-2003. Rev Saude Publica 2007; 41(Supl. 1):95-102.. Considerando esses dados, o papel da vigilância epidemiológica e a avaliação dos diversos sistemas de informação em saúde que agregam dados de interesse para a compreensão do funcionamento de um PCT também aparecem como tema frequente nas produções identificadas¹⁸18. Villalbi JR, Tresseras R. Evaluación de políticas y planes de salud. Gac Sanit 2011; 25(Supl. 1):17-24.,²²22. Chaulk PC, Kazandin VA, Vellejo Gutierrez P. Evaluación en salud pública: lecciones aprendidas de la gestión de la tuberculosis pulmonar.Gac Sanit 2008; 22(4):362-370.,²³23. Rodrigo TS. Evaluación de programas de prevención y control de tuberculosis [tese]. Barcelona: Universidad Autonóma de Barcelona; 2003.,²⁵25. Oliveira LGD, Natal S, Felisberto E, Alves CKA, Santos AM. Modelo de avaliação do programa de controle da tuberculose. Cien Saude Colet 2010; 15(1):997-1008.,²⁹29. 29 Rodrigo TS, Cayla JA. Efectividad de los programas de control de la tuberculosis en España. Med Clínica 2003; 121(10):375-377.,³¹31. Villalbi JR, Casasa C, Bartoll X, Artazcoz L, Ballestín M, Borrell C, Camprubí E, Durán J, García R, Rodríguez P, Salamero, M. Indicadores para la gestión de los servicios de salud pública. Gac Sanit 2010; 24(5):378-384..

Os indicadores utilizados para avaliação devem ser claramente definidos e mensuráveis objetivamente e seus critérios deveriam se pautar em evidências científicas, de forma que os mecanismos de consenso sejam capazes de fornecer parâmetros relevantes e pertinentes, uma prerrogativa na avaliação voltada à gestão de serviços²⁸28. Grupo de trabajo TIR (TB e infecciones respiratorias). Sociedad Española de Neumología y Cirugía Torácica (SEPAR). Normativa sobre la prevención de la tuberculosis, Arch Bronconeumol 2002; 38(9):441-451.,⁴¹41. Tanaka OY, Tamaki EM. O papel da avaliação para a tomada de decisão na gestão de serviços de saúde. Cien Saude Colet 2012; 17(4):821-828.. Além disso, os indicadores devem ser flexíveis e considerar o contexto, uma vez que é preciso assumir que, em determinadas ocasiões, as metas não são realistas, e é preciso reconsiderar pretensões de forma a estimular o alcance de resultados²⁸28. Grupo de trabajo TIR (TB e infecciones respiratorias). Sociedad Española de Neumología y Cirugía Torácica (SEPAR). Normativa sobre la prevención de la tuberculosis, Arch Bronconeumol 2002; 38(9):441-451.. De modo geral, a leitura dos materiais brasileiros aponta uma diversidade maior de delineamentos e proposições metodológicas para a avaliação do PCT. Os indicadores operacionais identificados são voltados à qualidade de detecção, diagnóstico e tratamento, e compatíveis com a situação epidemiológica do país. Já na Espanha, o exame de contatos e multidrogarresistência emergem como temas relevantes e exemplificados nos indicadores utilizados nas publicações inclusas neste estado da arte.

Apesar disso, as produções brasileira e espanhola se complementam no sentido de identificar a necessidade de integração dos recursos e atividades de uma intervenção, e da coordenação destes na rede de serviços no sistema de saúde para a consecução dos objetivos propostos. Para o monitoramento e avaliação do programa, é preciso determinar responsabilidades, assinalar os recursos utilizados e estabelecer critérios.

Villalbi e Tresseras¹⁸18. Villalbi JR, Tresseras R. Evaluación de políticas y planes de salud. Gac Sanit 2011; 25(Supl. 1):17-24. argumentam sobre o enredamento presente na avaliação de programas em saúde, ao expor que os componentes reais de programas complexos nem sempre são explícitos e que, ao longo de sua operacionalização, eles se distanciam do que se enuncia em sua formulação inicial. Gonçalves²¹21. Gonçalves MJF. Avaliação de Programa de Saúde: O Programa Nacional de Controle de Tuberculose no Brasil. Saúde Transform Soc 2012; 3(1):13-17., nesse sentido, discute que o programa como um todo não pode ser avaliado com base em um único indicador, vários devem ser analisados em conjunto. Para a avaliação da efetividade de um programa e de seus resultados, muitas vezes é preciso lançar mão de indicadores em outras fontes de informação que muitas vezes não estão integrados na gestão da intervenção em si.

Vale ressaltar que o Brasil, organizado como república com 27 unidades federativas e regido sob um governo de modelo presidencialista, possui um sistema de saúde de responsabilidade compartilhada entre as três esferas do governo (União, estados e municípios), com comando único em cada um dos entes da federação. Os PCTs são organizados formalmente em cada um dos entes federados. São os órgãos locais que delimitam as metas esperadas para a atenção à doença e definem os principais recursos e processos necessários para o seu alcance em cada um de seus níveis de atuação e contextos⁴²42. Brasil. Ministério da Saúde (MS). Secretaria de Vigilância em Saúde. Departamento de Vigilância de Doenças Transmissíveis.Experiências de Monitoramento e Avaliação no Controle da Tuberculose no Brasil. Brasília: MS; 2013..

Dentro do SUS, cabe à instância municipal a organização da rede de saúde local para a execução das ações de controle da TB, incluindo o mapeamento e a capacitação das unidades de saúde para tal, assim como o estabelecimento de fluxos assistenciais e logísticos⁴²42. Brasil. Ministério da Saúde (MS). Secretaria de Vigilância em Saúde. Departamento de Vigilância de Doenças Transmissíveis.Experiências de Monitoramento e Avaliação no Controle da Tuberculose no Brasil. Brasília: MS; 2013.. Ao se organizarem de acordo com as especificidades de suas características administrativas, políticas e geográficas, os municípios compõem um quadro nacional de grandes especificidades locais, gerando organizações e desempenhos diferenciados que demandam uma metodologia de avaliação que considere essas peculiaridades²¹21. Gonçalves MJF. Avaliação de Programa de Saúde: O Programa Nacional de Controle de Tuberculose no Brasil. Saúde Transform Soc 2012; 3(1):13-17.,³²32. Braga JU. Vigilância epidemiológica e o sistema de informação da tuberculose no Brasil, 2001-2003. Rev Saude Publica 2007; 41(Supl. 1):77-87.,³³33. Gonçalves MJF, Penna MLF. Morbidade por tuberculose e desempenho do programa de controle em municípios brasileiros, 2001-2003. Rev Saude Publica 2007; 41(Supl. 1):95-102..

Já a Espanha, regida por um governo parlamentar sob uma monarquia constitucional, é organizada sob um estado unitário e descentralizada em comunidades autônomas (CCAA). A estruturação do sistema de saúde é de competência da administração do Estado Unitário e compartilhada com as comunidades autônomas, que possuem independência para gestão de seus sistemas locais de saúde¹⁴14. Centro Nacional de Epidemiología, Instituto de Salud Carlos III.Informe epidemiológico sobre la situación de la tuberculosis en España. Año 2012. Madrid: Centro Nacional de Epidemiología, Instituto de Salud Carlos III; 2013.. A atenção à TB na Espanha é coordenada, ao nível do Estado Unitário, por um Grupo de Trabalho (GT) formado por técnicos de cada uma das CCAA. Cada Comunidade Autônoma desenvolve seu próprio plano de atividades, organizando Programas ou Comitês Regionais e operacionalizando o controle da TB da forma mais adequada a suas especificidades locais¹⁴14. Centro Nacional de Epidemiología, Instituto de Salud Carlos III.Informe epidemiológico sobre la situación de la tuberculosis en España. Año 2012. Madrid: Centro Nacional de Epidemiología, Instituto de Salud Carlos III; 2013..

Nos sistemas de saúde brasileiro e espanhol, as propostas de incorporação de ferramentas de monitoramento e avaliação na rotina dos serviços apontam uma tendência de gestão orientada por resultados. Na Espanha, onde os serviços de saúde pública cobrem um espectro de atividades amplo e heterogêneo, definidos por carteiras e catálogos de serviço, a avaliação por indicadores adequados permite que o desempenho das intervenções ganhe visibilidade e legitimidade dentro do sistema, e para o próprio profissional na ponta. O profissional pode avaliar sua prática profissional de forma ágil, os gerentes poderão avaliar a cobertura e efetividade de suas atividades, e os responsáveis governamentais poderão saber o que se realiza, para que e com qual custo³¹31. Villalbi JR, Casasa C, Bartoll X, Artazcoz L, Ballestín M, Borrell C, Camprubí E, Durán J, García R, Rodríguez P, Salamero, M. Indicadores para la gestión de los servicios de salud pública. Gac Sanit 2010; 24(5):378-384.. A identificação de dois protocolos com diretrizes para a avaliação do PCT entre o material identificado exemplifica os esforços para a institucionalização de processos e rotinas de avaliação na gestão dos programas regionais; assim como artigos¹⁸18. Villalbi JR, Tresseras R. Evaluación de políticas y planes de salud. Gac Sanit 2011; 25(Supl. 1):17-24.,³¹31. Villalbi JR, Casasa C, Bartoll X, Artazcoz L, Ballestín M, Borrell C, Camprubí E, Durán J, García R, Rodríguez P, Salamero, M. Indicadores para la gestión de los servicios de salud pública. Gac Sanit 2010; 24(5):378-384. desenvolvidos com o propósito de debater o uso de indicadores na prática de gestores de programas e serviços, enfatizando a necessidade de um sistema de informação capaz de fornecer dados válidos e com comparabilidade entre diferentes CCAA.

No Brasil, apesar dos esforços do Ministério da Saúde, ainda há uma fragmentação dos processos avaliativos que impedem sua utilização de fato em ações coordenadas e uma institucionalização focada na criação de novas instancias organizacionais, reforçando seu caráter burocratizante⁴³43. Carvalho ALB, Souza MF, Shimizu HE, Senra IMVB, Oliveira KC. A gestão do SUS e as práticas de monitoramento e avaliação: possibilidades e desafios para a construção de uma agenda estratégica. Cien Saude Colet 2012; 17(4):901-911.. Há de se destacar, no entanto, que a agenda de monitoramento e avaliação (M&A) nas políticas de saúde brasileira obteve avanços com a discussão de painéis de indicadores e processos de pactuação⁴⁴44. Lima LD, Queiroz LFN, Machado CV, Viana ALA. Descentralização e regionalização: dinâmica e condicionantes da implantação do Pacto pela Saúde no Brasil. Cien Saude Colet 2012; 17(7):1903-1914.

45. Tamaki EM, Tanaka OY, Felisberto E, Almeida CKA, Junior MD, Albuquerque LCB, Miranda ASD. Metodologia de construção de um painel de indicadores para o monitoramento e a avaliação da gestão do SUS. Cien Saude Colet 2012; 17(4):839-849.-⁴⁶46. Fontenelle LF. Mudanças recentes na Política Nacional de Atenção Básica: uma análise crítica. Rev Bras Med Fam Comunidade 2012; 7(22):5-9.baseados em metas, proposições estas iniciadas em 2006, com o lançamento do Pacto pela Saúde (Portaria 399/2006) e, atualmente, representadas por meios inovadores de contratação – como o Contrato Organizativo de Ação Pública de Saúde (COAP), criado por meio do decreto 7508/11 – e por propostas de gestão baseadas em resultados, como o Programa Nacional de Melhoria do Acesso e da Qualidade da Atenção Básica (PMAQAB), estabelecido pela portaria 1.654/2011, e o Programa de Qualificação das Ações de Vigilância em Saúde (PQAVS), estabelecido pela portaria 1708/2013.

O próprio Programa Nacional de Controle da Tuberculose possui atividades de monitoramento e avaliação desde 2000, atualmente realizadas por uma equipe de profissionais do Ministério da Saúde e um grupo de monitores externos, composto porexperts em TB de todo o país, com o objetivo de contribuir política e tecnicamente para a melhoria da capacidade de resposta dos estados e municípios ao controle da TB⁴²42. Brasil. Ministério da Saúde (MS). Secretaria de Vigilância em Saúde. Departamento de Vigilância de Doenças Transmissíveis.Experiências de Monitoramento e Avaliação no Controle da Tuberculose no Brasil. Brasília: MS; 2013..

Destaca-se como principal limitação do estudo o fato de que publicações relevantes possam não ter sido incluídas no material final, pelas dificuldades no percurso de levantamento dos materiais, com o escasso número de resultados obtidos por meio da busca por descritores, mesmo utilizando termos correlatos ou semelhantes. A problemática na definição do melhor descritor para a pesquisa bibliográfica é um desafio para temas complexos e que geralmente refletem uma variedade de subtemas, como corroborado em outras revisões na área da avaliação em saúde⁴4. Santos TMMG, Silva NS, Nogueira LT, Vilarinho LM, Nunes GBL. Tendências da produção científica sobre avaliação em saúde no Brasil.Rev. Rene 2010; 11(3):171-179.,⁵5. Fernandes FMB, Ribeiro JM, Moreira MG. Reflexões sobre avaliação de políticas de saúde no Brasil. Cad Saude Publica 2011; 27(9):1667-1677.. Os autores sistematizaram os termos de busca com o objetivo de aperfeiçoar a seleção de documentos relevantes e minimizar essa debilidade. Outro ponto a ser esclarecido foi de que diversos artigos excluídos da amostra final tinham como foco principal um subtema mais específico dentro das ações de controle da TB (acessibilidade ao tratamento, retardo diagnóstico), e, por este motivo, não contemplavam o escopo pretendido por este manuscrito.

Há de se ressaltar ainda que o campo de avaliação de programas apresenta uma literatura cinza, ou seja, que escapa dos canais convencionais de recuperação por meio das bases de dados, e acaba por ser de difícil acesso. Uma considerável quantidade de avaliações de programas de controle é realizada em informes técnicos cuja divulgação permanece centrada na própria administração sanitária local, a qual também executa/coordena as ações de controle. No entanto, esta não possui uma tradição de sistematizar esse conteúdo em artigos científicos.

Considerações finais

Os resultados refletem a complexidade na avaliação de programas que envolvem múltiplas atividades e diversos atores, apontam para a necessidade da integração de indicadores epidemiológicos e operacionais, e sugerem o uso de diversos conceitos para a interpretação dos dados relacionados ao desempenho dos PCT. A produção no tema se encontra difusa na diversidade de publicações com diferentes recortes (enfocando ações do programa, atributos do serviço ou atividades em populações específicas) e ainda possui uma divulgação menor quando comparada a outras temáticas relacionadas à TB, como estudos clínicos ou relacionados às ciências básicas. No entanto, identifica-se um acúmulo importante de debates voltados à gestão de serviços orientados pela avaliação de indicadores em ambos os países, com destaque para as publicações de pesquisas avaliativas no contexto brasileiro e os debates acerca do uso de indicadores na saúde pública no contexto espanhol.

A possibilidade de aplicação desses conceitos na prática diária da gestão em saúde, por exemplo, pela criação de painéis de indicadores e metas e sistemas de monitoramento e avaliação, constitui uma importante contribuição da literatura científica no desenvolvimento de sistemas mais efetivos para o controle da TB. Finalmente, sugere-se o desenvolvimento de estudos comparativos entre sistemas universais de saúde como os estabelecidos no Brasil e na Espanha, de forma a aprofundar o corpo de conhecimento acerca das convergências e divergências na organização e desempenho de serviços e programas em saúde em contextos diversos.

Referências

Datas de Publicação

Histórico