Avaliação da eficiência técnica em saúde dos municípios da região de saúde Rota dos Bandeirantes do estado de São Paulo, Brasil

João Alves dos Santos-Neto Áquilas Nogueira Mendes Antonio Carlos Pereira Luiz Renato Paranhos Sobre os autores

Resumo

Embora haja uma unanimidade nas falas dos gestores que o Sistema Único de Saúde é subfinanciado, é unânime também o fato de haver problemas na eficiência da gestão dos gastos. Nesta perspectiva, este estudo faz uma avaliação da eficiência técnica em saúde dos sete municípios da região de saúde Rota dos Bandeirantes do estado de São Paulo no período de 2009 a 2012, utilizando-se o Índice de Eficiência Técnica em Saúde. Este índice é composto por meio de indicadores estruturais e indicadores de resultados, oriundos principalmente, do sistema de pactuação de metas e indicadores e coletados da base de dados do Departamento de Informática do SUS. Identificou-se que apenas o município de Barueri atingiu alta eficiência técnica em saúde, enquanto que os demais apresentaram baixa eficiência. Concluiu-se que os municípios com maior receita disponível e maior gasto per capita atingiram os melhores resultados nos indicadores de saúde e, portanto, melhores índices de eficiência técnica em saúde. Todavia alguns municípios, mesmo com uma pequena estrutura, atingiram resultados melhores que seus vizinhos, demostrando eficiência na gestão de sua estrutura e, desta forma, o recurso mostrou-se como condição necessária para que haja eficiência, porém, não suficiente.

Palavras-chave
Eficiência; Indicadores de Serviços; Sistema Único de Saúde

Introdução

O subfinanciamento do Sistema Único de Saúde (SUS) é unânime nas falas dos seus gestores que, embora reconheçam que há problemas na eficiência da gestão dos gastos, defendem que o sistema funciona com um financiamento muito abaixo do necessário. Até o momento, não foi construído um financiamento compatível com uma política de saúde que se propõe ser universal e integral11 Mendes A. A longa batalha pelo financiamento do SUS. Saude Soc 2013; 22(4):987-993.

2 Mendes A, Marques RM. O financiamento do SUS sob os "ventos" da financeirização. Cien Saude Colet 2009; 14(3):841-850.

3 Mendes A, Leite MG, Marques RM. Discutindo uma Metodologia para a Alocação Equitativa de Recursos Federais para o Sistema Único de Saúde. Saude Soc 2011; 20(3):673-690.

4 Espirito Santo ACG, Fernando VCN, Bezerra AFB. Despesa pública municipal com saúde em Pernambuco, Brasil, de 2000 a 2007. Cien Saude Colet 2012; 17(4):861-871.

5 Marques RM, Mendes A. A problemática do financiamento da saúde pública brasileira: de 1985 a 2008. Econ Soc 2012; 21(45):345-362.
-66 Mendes EV. 25 anos do Sistema Único de Saúde: resultados e desafios. Estud Av 2013; 27(78):27-34..

A eficiência na gestão é importante em todas as áreas e em todas as situações, porém em sistemas públicos com financiamento escasso, a eficiência é essencial para reduzir os efeitos deletérios na qualidade dos serviços prestados77 Smith PC, Street A. Measuring the efficiency of public services: the limits of analysis. J R Statist Soc A 2005; 168(2):401-417.. Medir desempenho é uma forma de se alcançar eficiência nos serviços públicos e cada vez mais essa abordagem ganha força dentro dos modelos de gestão pública88 Greiling D. Performance measurement: a remedy for increasing the efficiency of public services. Int J Product Performance Manag 2006; 55(6):448-465..

Realizar avaliação da eficiência na gestão da saúde pública é uma tarefa difícil e desafiadora, pois o ambiente possui um elevado nível de complexidade e é influenciado por diferentes variáveis77 Smith PC, Street A. Measuring the efficiency of public services: the limits of analysis. J R Statist Soc A 2005; 168(2):401-417.. Por outro lado, a avaliação da eficiência é essencial para a observação de como os recursos são aplicados e qual o retorno proporcionado aos cidadãos99 Marinho A. Avaliação da eficiência técnica nos serviços de saúde nos municípios do estado do Rio de Janeiro. Rev Bras Econ 2003; 57(3):515-534..

Em 2010, a Organização Mundial da Saúde (OMS), por meio do Relatório Mundial da Saúde1010 Organização Mundial da Saúde (OMS). Relatório mundial da saúde: Financiamento dos sistemas de saúde. O caminho para a cobertura universal [Internet]. Genebra: OMS; 2010 [acessado 2015 Nov 25]. Disponível em: http://www.who.int/eportuguese/publications/pt/
http://www.who.int/eportuguese/publicati...
, já mostrava que não adianta dispor de recursos financeiros suficientes se sua aplicação for ineficiente. Além disso, estima que 20 a 40% dos recursos gastos em saúde são desperdiçados e sugere a avaliação das causas do processo ineficiente para que sejam criadas políticas públicas capazes de reduzir esta ineficiência na gestão1010 Organização Mundial da Saúde (OMS). Relatório mundial da saúde: Financiamento dos sistemas de saúde. O caminho para a cobertura universal [Internet]. Genebra: OMS; 2010 [acessado 2015 Nov 25]. Disponível em: http://www.who.int/eportuguese/publications/pt/
http://www.who.int/eportuguese/publicati...
.

Mesmo diante do cenário nacional da falta de recursos no sistema, há diferenças importantes nos modelos de financiamento do SUS municipal e, consequentemente, na eficiência dos serviços de saúde prestados pelos municípios inseridos neste sistema. Desta forma, identificar e mensurar estas diferenças de modelos e de eficiência pode contribuir para divulgar os modelos de maior sucesso e até utilizá-los como parâmetros para os municípios menos eficientes1111 Politelo L, Scarpin JE, Hein N. Eficiência do atendimento do SUS nas microrregiões do estado de Santa Catarina. Rev Admin Hosp 2013; 10(1):19-35..

Diante do exposto, este estudo avaliou a eficiência técnica na gestão dos recursos disponíveis utilizando o método do Índice de Eficiência Técnica em Saúde (IETS)1212 Mendes A. Financiamento, gasto e gestão do Sistema Único de Saúde: a gestão descentralizada semiplena e plena do sistema municipal no Estado de São Paulo (1995- 2001) [tese]. Campinas: Universidade Estadual de Campinas; 2005., dos sete municípios da região de saúde Rota dos Bandeirantes do estado de São Paulo, Brasil, no período de 2009 a 2012. O IETS foi utilizado nesta pesquisa por ser uma metodologia, relativamente simples, e que pode ser replicada do mesmo modo, em outros períodos e em outras regiões de saúde.

Métodos

Tipo e caracterização do local do estudo

Tratou-se de um estudo ecológico, que utilizou dados secundários de domínio público, disponibilizados pelo Ministério da Saúde por meio do Departamento de Informática do SUS (DATASUS), dos municípios da região de saúde Rota dos Bandeirantes do estado de São Paulo, Brasil, durante os anos de 2009 a 2012. A região de saúde Rota dos Bandeirantes é composta por sete municípios: Osasco, Carapicuíba, Barueri, Jandira, Itapevi, Santana de Parnaíba e Pirapora do Bom Jesus, sua caracterização foi obtida por meio do Mapa da Saúde da Região da Rota dos Bandeirantes – 20141212 Mendes A. Financiamento, gasto e gestão do Sistema Único de Saúde: a gestão descentralizada semiplena e plena do sistema municipal no Estado de São Paulo (1995- 2001) [tese]. Campinas: Universidade Estadual de Campinas; 2005.,1313 Rede Regional de Atenção à Saúde 05 (RRAS 05). Mapa da Saúde da Região da Rota dos Bandeirantes. São Paulo: Secretaria de Estado da Saúde; 2014..

A região de saúde Rota dos Bandeirantes foi selecionada para este estudo, pelo fato de haver uma grande heterogeneidade nos municípios que a compõe e, pela diferença de padrões de arrecadação e a existência de diferentes modelos de gestão de gastos em saúde pública1414 Santos-Neto JA, Mendes AN, Pereira AC, Paranhos LR. Análise do financiamento e gasto do Sistema Único de Saúde dos municípios da região de saúde Rota dos Bandeirantes do estado de São Paulo, Brasil. Cien Saude Colet 2017; 22(4):1269-1280.. O período de 2009 a 2012 foi definido para o estudo por ser o último período concluído de gestão de governo municipal com dados disponíveis para análise.

Seleção de indicadores

Todos os indicadores utilizados para se avaliar a eficiência dos municípios foram obtidos de banco de dados de acesso livre, por meio do “Portal da Saúde” do Ministério da Saúde. O indicador financeiro (Gasto Total per capita) foi obtido por meio do SIOPS1515 Sistema de Informações sobre Orçamentos Públicos em Saúde (SIOPS). Ministério da Saúde (MS). Departamento de Economia da Saúde, Investimentos e Desenvolvimento. Dotação atualizada. [acessado 2015 Nov 20]. Disponível em: http://siops-asp.datasus.gov.br/cgi/siops/siops_indic/municipio/anual/prv_index.htm
http://siops-asp.datasus.gov.br/cgi/siop...
. O indicador socioeconômico (PIB per capita) foi obtido por meio das informações demográficas e socioeconômicas disponíveis no TABNET DO DATASUS1616 Departamento de Informática do SUS (DATASUS). Ministério da Saúde. Coordenação-Geral de Disseminação de Informações em Saúde. Brasília 2015. [acessado 2015 Nov 20]. Disponível em: http://www2.datasus.gov.br/DATASUS/index.php?area=0201
http://www2.datasus.gov.br/DATASUS/index...
. Os demais indicadores foram obtidos de uma série histórica no rol dos indicadores definidos na pactuação de 2013/2015 e também disponibilizados por meio do TABNET DO DATASUS1616 Departamento de Informática do SUS (DATASUS). Ministério da Saúde. Coordenação-Geral de Disseminação de Informações em Saúde. Brasília 2015. [acessado 2015 Nov 20]. Disponível em: http://www2.datasus.gov.br/DATASUS/index.php?area=0201
http://www2.datasus.gov.br/DATASUS/index...
.

Para selecionar os indicadores de estrutura e de resultado utilizados na avaliação da eficiência dos municípios foram considerados os seguintes critérios de inclusão: disponibilização de forma sistemática pelas fontes de dados; possibilidade, por meio de ações e atividades realizadas pelo município, de interferência positiva ou negativa no resultado deste indicador; possibilidade de ser utilizado para todos os municípios da região, independente do seu porte populacional e de outras variáveis que os diferenciam; apresentados em formato de proporção, de percentual ou de razão, cujo tamanho da população estudada não interfira no formato de apresentação do resultado.

Os critérios de exclusão na seleção dos indicadores foram os seguintes: indicadores descontinuados na sua disponibilização pelos bancos de dados ou calculados em períodos maiores que anualmente; indicadores cujos resultados independam de ações e atividades que possam ser realizadas pelos municípios; indicadores que avaliam situações ou eventos que não são comuns a todos os municípios estudados; indicadores cujos resultados são apresentados por números absolutos ou no formato de taxas (1/1000, 1/10.000, 1/100.000) e que não possam ser comparados entre todos os municípios analisados, independente do seu porte populacional. Neste sentido, foram excluídos os indicadores de mortalidade, que são apresentados no formato de taxas (1/1000) e que no caso de municípios de pequeno porte (menos de 100.000 habitantes), como é o caso do município de Pirapora do Bom Jesus, estas taxas podem flutuar muito, devido ao pequeno número de ocorrências de óbitos e nascimentos, sendo recomendado, nestes casos, analisá-las agregando-se vários anos ou segundo o número absoluto de óbitos1717 Brasil. Ministério da Saúde (MS). Secretaria de Gestão Estratégica e Participativa. Departamento de Articulação Interfederativa. Caderno de diretrizes, objetivos, metas e indicadores 2013-2015. 3ª ed. Brasília: MS; 2015. (Série Articulação Interfederativa, v. 1)., impossibilitando sua comparação com os demais municípios da região.

Indicadores de estrutura

Os indicadores de estrutura selecionados foram os seguintes: Gasto total per capita do SUS; Cobertura populacional estimada pelas equipes de atenção básica e Produto Interno Bruto (PIB) per capita. O PIB per capita, embora não seja um indicador de recurso em saúde, foi utilizado neste estudo, como indicador de estrutura, pois quantifica a atividade econômica do município, a qual reflete na arrecadação municipal que, por sua vez, impacta diretamente na oferta de serviços à população, partindo do pressuposto que há uma relação entre riqueza municipal e uma maior capacidade de gestão do município para desenvolver seu sistema de saúde1818 Duarte LS. Região Metropolitana de Campinas: uma análise metodológica do PIB dos Municípios. In: Anais do II Encontro Nacional de Produtores e Usuários de Informações Sociais, Econômicas e Territoriais; IBGE 2006; Rio de Janeiro. p.1-15.. O indicador “Gasto total per capita do SUS” foi selecionado em detrimento a outros indicadores de financiamento como “Receita disponível ou “Percentual da receita própria do município aplicada em saúde” por representar o aporte total de recursos no sistema de saúde, tanto por meio de recursos próprios como por meio de transferências federal ou estadual.

Indicadores de resultado

Os indicadores de resultado selecionados foram os seguintes: proporção de Internações por Condições Sensíveis à Atenção Básica (ICSAB); razão de procedimentos ambulatoriais de média complexidade na população residente; razão de internações clínico-cirúrgicas de média complexidade na população residente; razão de exames citopatológicos do colo do útero em mulheres de 25 a 64 anos; razão de exames de mamografia de rastreamento realizados em mulheres de 50 a 69 anos; proporção de nascidos vivos de mães com 7 (sete) ou mais consultas de pré-natal; proporção de vacinas do calendário básico de vacinação da criança com coberturas vacinais alcançadas e proporção de cura de casos novos de tuberculose pulmonar bacilífera.

O ICSAB foi selecionado como forma de medir resultados da atenção básica e, embora haja estudos1919 Parchman ML, Culler S. Primary care physicians and avoidable hospitalizations. J Fam Pract 1994; 39(2):123-128.

20 Ricketts TC, Randolph R, Howard HA, Pathman D, Carey T. Hospitalization rates as indicators of access to primary care. Health & Place 2001; 7(1):27-38.
-2121 Steiner JF. Hospitalizations for ambulatory care sensitive conditions: where do we go from here? Ambul Pediatr 2007; 7(3):263-264. que mostram que a taxa de ICSAB é condicionada por fatores que a atenção básica não controla e que está associada fortemente às condições socioeconômicas da população, Nedel et al.2222 Nedel FB, Facchini LA, Martín M, Navarro A. Características da atenção básica associadas ao risco de internar por condições sensíveis à atenção primária: revisão sistemática da literatura. Epidemiol Serv Saúde 2010; 19(1):61-75., por meio de uma revisão sistemática, mostraram que os princípios fundamentais da atenção básica associaram-se a um menor risco de internações por condições sensíveis à atenção básica.

As internações clínico-cirúrgicas de média complexidade, os procedimentos ambulatoriais de média complexidade, os exames citopatológicos de colo de útero e as mamografias de rastreamento, embora não sejam realizados totalmente e diretamente por todos os municípios, sofrem interferência da estruturação da atenção primária e da organização do acesso aos serviços de referências regionais. Os demais indicadores de resultado são todos inerentes à atuação da atenção primária, que, segundo a Política Nacional da Atenção Básica, é responsabilidade dos municípios, sua organização, execução e gerenciamento dos serviços e ações.

Análise dos dados

Para o cálculo da eficiência dos municípios utilizou-se o Índice de Eficiência Técnica em Saúde (IETS)1212 Mendes A. Financiamento, gasto e gestão do Sistema Único de Saúde: a gestão descentralizada semiplena e plena do sistema municipal no Estado de São Paulo (1995- 2001) [tese]. Campinas: Universidade Estadual de Campinas; 2005.. Este método serve para medir eficiência por comparação entre os outros municípios avaliados, portanto é uma forma de se comparar os municípios sempre dentro de uma região1212 Mendes A. Financiamento, gasto e gestão do Sistema Único de Saúde: a gestão descentralizada semiplena e plena do sistema municipal no Estado de São Paulo (1995- 2001) [tese]. Campinas: Universidade Estadual de Campinas; 2005.. Primeiramente, avaliam-se de um lado as variáveis que agregam os indicadores de estrutura de cada um dos sete municípios em cada ano estudado e, do outro lado, analisados separadamente, as variáveis que agregam os indicadores de resultados dos municípios em cada ano estudado. Portanto, inicialmente calcula-se o Índice de Eficiência de Estrutura (IEE) para cada um dos indicadores selecionados e para cada um dos municípios em cada ano avaliado, em seguida calcula-se o Índice de Eficiência de Resultado (IER), também para cada indicador selecionado e para cada um dos municípios em cada ano avaliado. A fórmula para se calcular estes índices é a seguinte:

ÍndicedeEficiência=1RmelhorRcalc.RmelhorRpior

Nesta fórmula, Rmelhor representa o melhor resultado no período avaliado de cada variável, Rcalc. corresponde ao indicador do município que se quer calcular na variável e Rpior refere-se ao pior resultado no período avaliado de cada variável.

Após calcular o IEE de cada variável, extrai-se a média aritmética simples dos resultados dos IEE de cada município apurando então o IEE municipal. O mesmo é feito para apurar o IER municipal.

Após calcular o IEE e IER de cada município, extrai-se a média aritmética simples dos resultados destes dois índices para o cálculo final do IETS que é expresso no intervalo entre 0 e 1, de forma que, valores abaixo de 0,500 são considerados como eficiência “baixa”, entre 0,500 e 0,799 eficiência “média”, entre 0,800 e 0,899 eficiência “alta” e a partir de 0,900 eficiência “muito alta”1212 Mendes A. Financiamento, gasto e gestão do Sistema Único de Saúde: a gestão descentralizada semiplena e plena do sistema municipal no Estado de São Paulo (1995- 2001) [tese]. Campinas: Universidade Estadual de Campinas; 2005..

Resultados

Os municípios que compõem a região de saúde Rota dos Bandeirantes estão localizados a oeste da região metropolitana de São Paulo, numa região contígua e de municípios próximos geograficamente, mas com profundas diferenças, inclusive demográficas. Suas populações variam de 16.238 habitantes em Pirapora do Bom Jesus, 110.842 habitantes em Jandira, 113.945 em Santana de Parnaíba, 206.558 habitantes em Itapevi, para 373.358 habitantes em Carapicuíba e 668.877 habitantes em Osasco. O Índice de Desenvolvimento Humano (IDH) de 2010 também mostra a heterogeneidade dos municípios da Rota dos Bandeirantes. O município de Pirapora do Bom Jesus apresenta o IDH mais baixo da região (0,727) ficando em 418º no ranking dos municípios do estado de São Paulo; seguido pelo município de Itapevi (0,735) - 345º no ranking; Carapicuíba (0,749) - 236º no ranking; Jandira (0,760) - 164º no ranking, bem distantes de Barueri e Santana de Parnaíba que apresentam IDH de 0,786 e 0,814, respectivamente, e colocação de 47º e 9º no ranking dos municípios do estado de São Paulo.

Os resultados dos indicadores de estrutura, utilizados para o cálculo do IEE pode ser observado na Tabela 1. Nota-se a diferença da estrutura do município de Barueri em relação à média regional e aos demais municípios.

Tabela 1
Resultados dos indicadores de estrutura dos sete municípios e média regional da região de saúde Rota dos Bandeirantes nos anos de 2009 a 2012.

O IEE de cada município e a média da região, bem como o ranking regional que classifica do primeiro ao sétimo colocado pode ser verificado na Tabela 2. Na avaliação de eficiência de estrutura, o único município que atingiu padrão de eficiência “muito alta” foi Barueri. Os demais apresentaram “baixa” eficiência.

Tabela 2
Índice de Eficiência de Estrutura (IEE), média do período, padrão de eficiência e ranking regional, segundo municípios e média regional no período de 2009 a 2012.

Na Tabela 3 é possível verificar os resultados de cada um dos indicadores que serviram de cálculo para o IER. Pode-se observar que o município de Barueri obteve resultados superiores à média regional em todos os indicadores e em todos os anos avaliados.

Tabela 3
Resultados dos indicadores de resultado dos sete municípios e média regional da região de saúde Rota dos Bandeirantes nos anos de 2009 a 2012.

Na Tabela 4 é apresentado o IER de cada município e a média regional além do padrão de eficiência e o ranking de cada município na região. Nesta avaliação da eficiência de resultado, Barueri e Santana de Parnaíba atingiram eficiência “média” os demais municípios ficaram com “baixa” eficiência nos resultados.

Tabela 4
Índice de Eficiência de Resultado (IER), média do período, padrão de eficiência e ranking regional, segundo municípios e média regional no período de 2009 a 2012.

Na Tabela 5 é possível observar os resultados do IETS, dos municípios e a média da região, bem como o padrão de eficiência e o ranking regional de cada município. O único município que atingiu “alta” eficiência foi Barueri que, em alguns anos obteve eficiência “muito alta”. Os demais municípios apresentaram “baixa” eficiência técnica em saúde.

Tabela 5
Índice de Eficiência Técnica em Saúde (IETS), média do período, padrão de eficiência e ranking regional, segundo municípios e média regional no período de 2009 a 2012.

Discussão

Este estudo mostra que os municípios da região de saúde Rota dos Bandeirantes, embora se apresentem como um espaço geográfico contínuo, com identidades culturais, econômicas e sociais e, com uma rede de comunicação e de infraestrutura de transporte e de comércio compartilhadas, conforme a definição de região de saúde do Pacto pela Saúde 20062323 Brasil. Ministério da Saúde (MS). Portaria nº 399, de 22 de fevereiro de 2006. Divulga o Pacto pela Saúde 2006 - Consolidação do SUS e aprova as Diretrizes Operacionais do Referido Pacto. Diário Oficial da União 2006; 22 fev., possuem diferenças evidentes tanto nas suas características populacionais, situação econômica e social, quanto na estrutura disponível e na eficiência da gestão desta estrutura para produzir resultados positivos nos indicadores de saúde.

Para se avaliar a eficiência técnica na gestão da estrutura de saúde dos municípios, utilizou-se o método do Índice de Eficiência Técnica em Saúde (IETS), também utilizado em outras pesquisas1212 Mendes A. Financiamento, gasto e gestão do Sistema Único de Saúde: a gestão descentralizada semiplena e plena do sistema municipal no Estado de São Paulo (1995- 2001) [tese]. Campinas: Universidade Estadual de Campinas; 2005.,2424 Mazon LM. Reflexos da aplicação dos recursos financeiros públicos em saúde no desenvolvimento regional [dissertação]. Canoinhas: Universidade do Contestado; 2012 [acessado 2015 Nov 20]. Disponível em: http://www.unc.br/mestrado/editais/DISSERTACAO_LUCIANA_MARIA_MAZON.pdf
http://www.unc.br/mestrado/editais/DISSE...
,2525 Mazon LM, Mascarenhas LPG, Dallabrida VR. Eficiência dos gastos públicos em saúde: desafio para municípios de Santa Catarina, Brasil. Saude Soc 2015; 24(1):23-33.. Algumas pesquisas utilizaram a metodologia de Análise Envoltória de Dados (DEA – Data Envelopment Analisys)99 Marinho A. Avaliação da eficiência técnica nos serviços de saúde nos municípios do estado do Rio de Janeiro. Rev Bras Econ 2003; 57(3):515-534.,1111 Politelo L, Scarpin JE, Hein N. Eficiência do atendimento do SUS nas microrregiões do estado de Santa Catarina. Rev Admin Hosp 2013; 10(1):19-35.,2424 Mazon LM. Reflexos da aplicação dos recursos financeiros públicos em saúde no desenvolvimento regional [dissertação]. Canoinhas: Universidade do Contestado; 2012 [acessado 2015 Nov 20]. Disponível em: http://www.unc.br/mestrado/editais/DISSERTACAO_LUCIANA_MARIA_MAZON.pdf
http://www.unc.br/mestrado/editais/DISSE...
,2626 Portulhak H, Raffaelli, SCD, Scarpin JE. A Eficiência das Aplicações de Recursos Voltadas à Saúde Pública nos Municípios Brasileiros: Uma Análise Baseada no Índice de Desenvolvimento do Sistema Único de Saúde (IDSUS) [Internet]. XXXVII Encontro da Associação Nacional de Pesquisa em Administração (ANPAD), Rio de Janeiro, 2013 [acessado 2015 Dez 27]. Disponível em: http://www.anpad.org.br/admin/pdf/2013_EnANPAD_APB2223.pdf
http://www.anpad.org.br/admin/pdf/2013_E...

27 Queiroz MFM, Silva JLM, Figueiredo JS, Vale FFR. Eficiência no Gasto Público com Saúde: uma análise nos municípios do Rio Grande do Norte. Rev Econ NE 2013; 44(3):761-776.

28 Ferreira MP, Pitta MT. Avaliação da eficiência técnica na utilização dos recursos do sistema único de saúde na produção ambulatorial. Sao Paulo Persp 2008; 22(2):55-71.
-2929 Ferreira FML, Mendes CM, Oliveira VM. Análise da Eficiência técnica do Sistema Único de Saúde (SUS) nos Municípios de Mato Grosso, nos anos de 2008 a 2010. Eixo: Financiamento dos Sistemas de Saúde. Anais Congresso da Associação Brasileira de Economia da Saúde (ABRES): VI Jornada [Internet]. Brasília; 2012. [acessado 2015 Dez 27]. Disponível em: http://abresbrasil.org.br/sites/default/files/trabalho_05.pdf.
http://abresbrasil.org.br/sites/default/...
que, segundo seus autores, apresenta como limitação o fato dos modelos clássicos serem benevolentes na avaliação, o que provoca um grande número de unidades (municípios) 100% eficientes, reduzindo a comparação entre eles99 Marinho A. Avaliação da eficiência técnica nos serviços de saúde nos municípios do estado do Rio de Janeiro. Rev Bras Econ 2003; 57(3):515-534.,2424 Mazon LM. Reflexos da aplicação dos recursos financeiros públicos em saúde no desenvolvimento regional [dissertação]. Canoinhas: Universidade do Contestado; 2012 [acessado 2015 Nov 20]. Disponível em: http://www.unc.br/mestrado/editais/DISSERTACAO_LUCIANA_MARIA_MAZON.pdf
http://www.unc.br/mestrado/editais/DISSE...
,2525 Mazon LM, Mascarenhas LPG, Dallabrida VR. Eficiência dos gastos públicos em saúde: desafio para municípios de Santa Catarina, Brasil. Saude Soc 2015; 24(1):23-33.. Houve um trabalho que utilizou os dois métodos de avaliação da eficiência2525 Mazon LM, Mascarenhas LPG, Dallabrida VR. Eficiência dos gastos públicos em saúde: desafio para municípios de Santa Catarina, Brasil. Saude Soc 2015; 24(1):23-33. e foi observado que os resultados obtidos pelo método IETS se mostraram, em boa parte, compatíveis com os resultados alcançados pelo método DEA.

O método IETS foi utilizado nesta pesquisa por ser uma metodologia, relativamente simples, que não necessita de software específico ou capacitação para sua operacionalização. É desenvolvido totalmente em planilhas do Excel e pode ser replicada do mesmo modo, em outros períodos e em outras regiões de saúde - utilizando indicadores selecionados.

Além disso, merece menção alguns estudos internacionais recentes sobre a utilização do conceito de eficiência, orientados muito mais à perspectiva dos sistemas de saúde em geral. Cetin e Bahce3030 Cetin VR, Bahce S. Measuring the efficiency of health systems of OECD countries by data envelopment analysis. J Applied Economics 2016; 48(37):3497-3507. publicaram um estudo no qual avaliaram a eficiência dos sistemas de saúde dos países da Organização para a Cooperação e Desenvolvimento Econômico (OCDE) e, assim como neste trabalho, os resultados mostram que a eficiência varia bastante entre os países da OCDE, indicando a heterogeneidade dos seus serviços de saúde ofertados. Em um estudo3131 Allin S, Grignon M, Wang L. The determinants of efficiency in the Canadian health care system. Health Econ Policy Law 2016; 11(1):39-65. sobre os determinantes da eficiência do sistema de saúde do Canadá foi concluído que o sistema local possui grandes ineficiências (variando de 18 a 35%), as quais são resultados de três conjuntos de fatores: fatores relacionados à gestão (como readmissões hospitalares), fatores ligados à saúde pública (como taxas de fumo e obesidade) e fatores ambientais (como renda média da região).

Neste trabalho específico de análise da eficiência em sistemas de saúde locais na Região da Rota dos Bandeirantes utilizou-se indicadores, tanto de estrutura quanto de resultado, diferentes dos utilizados em outras pesquisas3232 Marinho A. Avaliação da eficiência técnica nos serviços de saúde nos municípios do Estado do Rio de Janeiro. Rev Bras Econ 2003; 57(3):515-534.,3333 Faria PF, Jannuzzi PM, Silva SJ. Eficiência dos gastos municipais em saúde e educação: uma investigação através da análise envoltória no estado do Rio de Janeiro. Rev Adm Pública 2008; 42(1):155-177.. O conteúdo desses indicadores se apoia na noção de eficiência sugerida pela Comissão Econômica para América Latina e Caribe (Cepal)3434 Comissão Econômica para América Latina e Caribe (Cepal). Equidad, desarrollo y cidadania. Santiago de Chile: Publicación de las Naciones Unidas; 2000.. É importante registrar que esse organismo vem dando ênfase à questão da eficiência no tratamento da política social integrada e seu processo de descentralização no contexto da região latino-americana, incluindo os princípios de universalidade e solidariedade e também da equidade, que se relacionam com a perspectiva dos princípios do SUS no Brasil. Nessa linha de reflexão cepalina, autores3535 Cominetti R. Descentralización de la atención de la salud em América Latina: um análiseis comparativo. Santiago do Chile: Cepal; 1997.,3636 Draibe S. Avaliação da descentralização das políticas sociais no Brasil: saúde e educação fundamental. Santiago do Chile: Cepal; 1997. [Informe Final do Projeto Estudios de Descentralización de Servicios Sociales, División de Desarrollo Económico]. desenvolveram suas análises sobre a eficiência e o processo de descentralização na saúde. Para alguns estudos3434 Comissão Econômica para América Latina e Caribe (Cepal). Equidad, desarrollo y cidadania. Santiago de Chile: Publicación de las Naciones Unidas; 2000.

35 Cominetti R. Descentralización de la atención de la salud em América Latina: um análiseis comparativo. Santiago do Chile: Cepal; 1997.
-3636 Draibe S. Avaliação da descentralização das políticas sociais no Brasil: saúde e educação fundamental. Santiago do Chile: Cepal; 1997. [Informe Final do Projeto Estudios de Descentralización de Servicios Sociales, División de Desarrollo Económico]. espera-se que uma política de descentralização da saúde gere ganhos de eficiência sem que se deteriore a equidade. Esta deve ser medida pelo impacto da descentralização sobre as disparidades regionais (diferenças fiscais e de localização dos serviços das unidades subnacionais; diferenças socioeconômicas da população, etc.). Embora esses estudos3434 Comissão Econômica para América Latina e Caribe (Cepal). Equidad, desarrollo y cidadania. Santiago de Chile: Publicación de las Naciones Unidas; 2000.

35 Cominetti R. Descentralización de la atención de la salud em América Latina: um análiseis comparativo. Santiago do Chile: Cepal; 1997.
-3636 Draibe S. Avaliação da descentralização das políticas sociais no Brasil: saúde e educação fundamental. Santiago do Chile: Cepal; 1997. [Informe Final do Projeto Estudios de Descentralización de Servicios Sociales, División de Desarrollo Económico]. reconheçam a possibilidade de “ganhos” de eficiência com o processo de descentralização, cabe assinalar a preocupação com a relação entre aumento de eficiência e redução da equidade.

A seleção dos indicadores específicos para o presente estudo seguiu alguns critérios de inclusão e de exclusão que tornaram os resultados da avaliação mais factível de terem sido influenciados positivamente ou negativamente pelas ações de gestão do município avaliado e ainda possível de ser aplicado em qualquer outra região de saúde, independentemente das características dos municípios que compõem esta região, sempre respeitando os aspectos equitativos.

A utilização do PIB per capita neste trabalho partiu do pressuposto que há uma relação entre riqueza municipal e uma maior capacidade de gestão do município para desenvolver seu sistema de saúde. Tendo em vista as dificuldades em se obter informações econômicas confiáveis e regulares, fruto das políticas de contenção dos gastos públicos, pode-se dizer que há uma série de vantagens que um indicador econômico como o PIB dos municípios oferece. Duarte1818 Duarte LS. Região Metropolitana de Campinas: uma análise metodológica do PIB dos Municípios. In: Anais do II Encontro Nacional de Produtores e Usuários de Informações Sociais, Econômicas e Territoriais; IBGE 2006; Rio de Janeiro. p.1-15. afirma que o PIB per capta é construído com registros administrativos, o que o torna um indicador menos dispendioso, possibilitando a análise da dinâmica econômica setorial. É um recorte municipal comparável em todo o território nacional, com periodicidade anual. Tal dimensão setorial torna-se relevante à medida que é difícil encontrar no Estado de São Paulo indicadores municipais que agregam de forma considerada, sob a mesma metodologia, as três esferas econômicas: agropecuária, indústria e serviços.

Barueri foi o único município da região a apresentar “alta” eficiência técnica (entre 0,800 e 0,899). Este município atingiu os melhores resultados, em todos os anos da pesquisa, tanto na eficiência de estrutura, quanto na eficiência de resultados e eficiência técnica em saúde. O município de Santana de Parnaíba ficou em segundo lugar, também nas três formas de avaliação, porém, não atingindo o patamar de “alta” eficiência técnica. O município de Barueri, seguido de Santana de Parnaíba possui a maior receita per capita da região, demostrando, como em outro estudo2727 Queiroz MFM, Silva JLM, Figueiredo JS, Vale FFR. Eficiência no Gasto Público com Saúde: uma análise nos municípios do Rio Grande do Norte. Rev Econ NE 2013; 44(3):761-776., que os municípios com maior receita disponível e maior gasto per capita atingem os melhores resultados nos indicadores de saúde, portanto, melhores IETS.

A pequena quantidade de municípios eficientes, também foi observada em outros trabalhos99 Marinho A. Avaliação da eficiência técnica nos serviços de saúde nos municípios do estado do Rio de Janeiro. Rev Bras Econ 2003; 57(3):515-534.,1111 Politelo L, Scarpin JE, Hein N. Eficiência do atendimento do SUS nas microrregiões do estado de Santa Catarina. Rev Admin Hosp 2013; 10(1):19-35.,1212 Mendes A. Financiamento, gasto e gestão do Sistema Único de Saúde: a gestão descentralizada semiplena e plena do sistema municipal no Estado de São Paulo (1995- 2001) [tese]. Campinas: Universidade Estadual de Campinas; 2005.,2525 Mazon LM, Mascarenhas LPG, Dallabrida VR. Eficiência dos gastos públicos em saúde: desafio para municípios de Santa Catarina, Brasil. Saude Soc 2015; 24(1):23-33.

26 Portulhak H, Raffaelli, SCD, Scarpin JE. A Eficiência das Aplicações de Recursos Voltadas à Saúde Pública nos Municípios Brasileiros: Uma Análise Baseada no Índice de Desenvolvimento do Sistema Único de Saúde (IDSUS) [Internet]. XXXVII Encontro da Associação Nacional de Pesquisa em Administração (ANPAD), Rio de Janeiro, 2013 [acessado 2015 Dez 27]. Disponível em: http://www.anpad.org.br/admin/pdf/2013_EnANPAD_APB2223.pdf
http://www.anpad.org.br/admin/pdf/2013_E...

27 Queiroz MFM, Silva JLM, Figueiredo JS, Vale FFR. Eficiência no Gasto Público com Saúde: uma análise nos municípios do Rio Grande do Norte. Rev Econ NE 2013; 44(3):761-776.
-2828 Ferreira MP, Pitta MT. Avaliação da eficiência técnica na utilização dos recursos do sistema único de saúde na produção ambulatorial. Sao Paulo Persp 2008; 22(2):55-71. os quais encontraram poucos ou nenhum município eficiente. Na avaliação da eficiência de estrutura, Barueri atingiu a avaliação máxima, eficiência “muito alta”, em todos os anos avaliados. Santana de Parnaíba nesta avaliação ficou em segundo lugar no ranking regional, porém, só obteve eficiência média no ano de 2012 nos demais anos avaliados e na média dos quatro anos obteve “baixa” eficiência.

Na avaliação da eficiência de resultado, Barueri apresentou “média” eficiência, - o que demonstra que embora conte com uma ótima estrutura de saúde seus resultados não são compatíveis com esta estrutura - indicando que há necessidade de aperfeiçoamento da gestão desta estrutura para melhorar seus resultados. Santana de Parnaíba apresentou uma estrutura avaliada, na média regional, como “baixa” - resultados médios, indicando uma boa gestão de sua estrutura.

O que chama a atenção nos resultados desta pesquisa é o município de Itapevi, que, embora não possua uma grande estrutura, apresenta resultados melhores que alguns de seus vizinhos. Por outro lado, o município de Osasco que apresenta uma boa estrutura em relação aos demais municípios da região, não conseguiu, no período avaliado, atingir bons resultados nos indicadores. Destaca-se ainda os resultados do menor município em população e capacidade de arrecadação da região, Pirapora do Bom Jesus, que apresentou bons resultados dos indicadores e, embora também não tenha atingido “alta” eficiência técnica, apareceu à frente de outros municípios bem maiores. Essa situação se diferencia dos resultados identificados em outro trabalho2727 Queiroz MFM, Silva JLM, Figueiredo JS, Vale FFR. Eficiência no Gasto Público com Saúde: uma análise nos municípios do Rio Grande do Norte. Rev Econ NE 2013; 44(3):761-776., em que municípios pequenos, que dispõem de menores magnitudes de recursos, em geral, foram mais ineficientes.

Ficou evidente neste trabalho que municípios com uma pequena estrutura podem atingir bons resultados demonstrando eficiência na gestão. Por outro lado, municípios com uma estrutura maior podem fracassar nos resultados dos indicadores de saúde (indicadores que medem exatamente aquilo que os municípios devem fazer) e se mostrarem ineficientes na gestão de sua estrutura. Esta situação também foi observada em outros trabalhos1212 Mendes A. Financiamento, gasto e gestão do Sistema Único de Saúde: a gestão descentralizada semiplena e plena do sistema municipal no Estado de São Paulo (1995- 2001) [tese]. Campinas: Universidade Estadual de Campinas; 2005.,2525 Mazon LM, Mascarenhas LPG, Dallabrida VR. Eficiência dos gastos públicos em saúde: desafio para municípios de Santa Catarina, Brasil. Saude Soc 2015; 24(1):23-33.,2626 Portulhak H, Raffaelli, SCD, Scarpin JE. A Eficiência das Aplicações de Recursos Voltadas à Saúde Pública nos Municípios Brasileiros: Uma Análise Baseada no Índice de Desenvolvimento do Sistema Único de Saúde (IDSUS) [Internet]. XXXVII Encontro da Associação Nacional de Pesquisa em Administração (ANPAD), Rio de Janeiro, 2013 [acessado 2015 Dez 27]. Disponível em: http://www.anpad.org.br/admin/pdf/2013_EnANPAD_APB2223.pdf
http://www.anpad.org.br/admin/pdf/2013_E...
, que concluíram que municípios que tiveram maior alocação de recursos, não apresentaram melhor desempenho em relação a alguns indicadores de saúde, e que o aumento do gasto em saúde não significa, necessariamente, o alcance de melhores resultados dos indicadores, portanto, melhor eficiência.

Conclusão

É possível concluir que o recurso mostrou-se como condição necessária para que haja eficiência, porém, não suficiente. Espera-se que os resultados obtidos na avaliação da eficiência técnica dos municípios selecionados possam servir de subsídios para os gestores do SUS, das três esferas de governo, refletirem sobre a necessidade de adotarem mecanismos que busquem alterar o padrão de eficiência técnica desses sistemas locais de saúde, promovendo um apoio para que possam lograr a categoria da “alta” eficiência técnica.

Assim, sugere-se a necessidade de políticas públicas que reduzam as iniquidades entre os municípios brasileiros, e o apoio dos demais entes federados no sentido de oferecer tecnologias de aperfeiçoamento da gestão municipal, para se utilizar melhor os recursos disponíveis.

Referências

  • 1
    Mendes A. A longa batalha pelo financiamento do SUS. Saude Soc 2013; 22(4):987-993.
  • 2
    Mendes A, Marques RM. O financiamento do SUS sob os "ventos" da financeirização. Cien Saude Colet 2009; 14(3):841-850.
  • 3
    Mendes A, Leite MG, Marques RM. Discutindo uma Metodologia para a Alocação Equitativa de Recursos Federais para o Sistema Único de Saúde. Saude Soc 2011; 20(3):673-690.
  • 4
    Espirito Santo ACG, Fernando VCN, Bezerra AFB. Despesa pública municipal com saúde em Pernambuco, Brasil, de 2000 a 2007. Cien Saude Colet 2012; 17(4):861-871.
  • 5
    Marques RM, Mendes A. A problemática do financiamento da saúde pública brasileira: de 1985 a 2008. Econ Soc 2012; 21(45):345-362.
  • 6
    Mendes EV. 25 anos do Sistema Único de Saúde: resultados e desafios. Estud Av 2013; 27(78):27-34.
  • 7
    Smith PC, Street A. Measuring the efficiency of public services: the limits of analysis. J R Statist Soc A 2005; 168(2):401-417.
  • 8
    Greiling D. Performance measurement: a remedy for increasing the efficiency of public services. Int J Product Performance Manag 2006; 55(6):448-465.
  • 9
    Marinho A. Avaliação da eficiência técnica nos serviços de saúde nos municípios do estado do Rio de Janeiro. Rev Bras Econ 2003; 57(3):515-534.
  • 10
    Organização Mundial da Saúde (OMS). Relatório mundial da saúde: Financiamento dos sistemas de saúde. O caminho para a cobertura universal [Internet]. Genebra: OMS; 2010 [acessado 2015 Nov 25]. Disponível em: http://www.who.int/eportuguese/publications/pt/
    » http://www.who.int/eportuguese/publications/pt/
  • 11
    Politelo L, Scarpin JE, Hein N. Eficiência do atendimento do SUS nas microrregiões do estado de Santa Catarina. Rev Admin Hosp 2013; 10(1):19-35.
  • 12
    Mendes A. Financiamento, gasto e gestão do Sistema Único de Saúde: a gestão descentralizada semiplena e plena do sistema municipal no Estado de São Paulo (1995- 2001) [tese]. Campinas: Universidade Estadual de Campinas; 2005.
  • 13
    Rede Regional de Atenção à Saúde 05 (RRAS 05). Mapa da Saúde da Região da Rota dos Bandeirantes São Paulo: Secretaria de Estado da Saúde; 2014.
  • 14
    Santos-Neto JA, Mendes AN, Pereira AC, Paranhos LR. Análise do financiamento e gasto do Sistema Único de Saúde dos municípios da região de saúde Rota dos Bandeirantes do estado de São Paulo, Brasil. Cien Saude Colet 2017; 22(4):1269-1280.
  • 15
    Sistema de Informações sobre Orçamentos Públicos em Saúde (SIOPS). Ministério da Saúde (MS). Departamento de Economia da Saúde, Investimentos e Desenvolvimento. Dotação atualizada [acessado 2015 Nov 20]. Disponível em: http://siops-asp.datasus.gov.br/cgi/siops/siops_indic/municipio/anual/prv_index.htm
    » http://siops-asp.datasus.gov.br/cgi/siops/siops_indic/municipio/anual/prv_index.htm
  • 16
    Departamento de Informática do SUS (DATASUS). Ministério da Saúde. Coordenação-Geral de Disseminação de Informações em Saúde. Brasília 2015. [acessado 2015 Nov 20]. Disponível em: http://www2.datasus.gov.br/DATASUS/index.php?area=0201
    » http://www2.datasus.gov.br/DATASUS/index.php?area=0201
  • 17
    Brasil. Ministério da Saúde (MS). Secretaria de Gestão Estratégica e Participativa. Departamento de Articulação Interfederativa. Caderno de diretrizes, objetivos, metas e indicadores 2013-2015 3ª ed. Brasília: MS; 2015. (Série Articulação Interfederativa, v. 1).
  • 18
    Duarte LS. Região Metropolitana de Campinas: uma análise metodológica do PIB dos Municípios. In: Anais do II Encontro Nacional de Produtores e Usuários de Informações Sociais, Econômicas e Territoriais; IBGE 2006; Rio de Janeiro. p.1-15.
  • 19
    Parchman ML, Culler S. Primary care physicians and avoidable hospitalizations. J Fam Pract 1994; 39(2):123-128.
  • 20
    Ricketts TC, Randolph R, Howard HA, Pathman D, Carey T. Hospitalization rates as indicators of access to primary care. Health & Place 2001; 7(1):27-38.
  • 21
    Steiner JF. Hospitalizations for ambulatory care sensitive conditions: where do we go from here? Ambul Pediatr 2007; 7(3):263-264.
  • 22
    Nedel FB, Facchini LA, Martín M, Navarro A. Características da atenção básica associadas ao risco de internar por condições sensíveis à atenção primária: revisão sistemática da literatura. Epidemiol Serv Saúde 2010; 19(1):61-75.
  • 23
    Brasil. Ministério da Saúde (MS). Portaria nº 399, de 22 de fevereiro de 2006. Divulga o Pacto pela Saúde 2006 - Consolidação do SUS e aprova as Diretrizes Operacionais do Referido Pacto. Diário Oficial da União 2006; 22 fev.
  • 24
    Mazon LM. Reflexos da aplicação dos recursos financeiros públicos em saúde no desenvolvimento regional [dissertação]. Canoinhas: Universidade do Contestado; 2012 [acessado 2015 Nov 20]. Disponível em: http://www.unc.br/mestrado/editais/DISSERTACAO_LUCIANA_MARIA_MAZON.pdf
    » http://www.unc.br/mestrado/editais/DISSERTACAO_LUCIANA_MARIA_MAZON.pdf
  • 25
    Mazon LM, Mascarenhas LPG, Dallabrida VR. Eficiência dos gastos públicos em saúde: desafio para municípios de Santa Catarina, Brasil. Saude Soc 2015; 24(1):23-33.
  • 26
    Portulhak H, Raffaelli, SCD, Scarpin JE. A Eficiência das Aplicações de Recursos Voltadas à Saúde Pública nos Municípios Brasileiros: Uma Análise Baseada no Índice de Desenvolvimento do Sistema Único de Saúde (IDSUS) [Internet]. XXXVII Encontro da Associação Nacional de Pesquisa em Administração (ANPAD), Rio de Janeiro, 2013 [acessado 2015 Dez 27]. Disponível em: http://www.anpad.org.br/admin/pdf/2013_EnANPAD_APB2223.pdf
    » http://www.anpad.org.br/admin/pdf/2013_EnANPAD_APB2223.pdf
  • 27
    Queiroz MFM, Silva JLM, Figueiredo JS, Vale FFR. Eficiência no Gasto Público com Saúde: uma análise nos municípios do Rio Grande do Norte. Rev Econ NE 2013; 44(3):761-776.
  • 28
    Ferreira MP, Pitta MT. Avaliação da eficiência técnica na utilização dos recursos do sistema único de saúde na produção ambulatorial. Sao Paulo Persp 2008; 22(2):55-71.
  • 29
    Ferreira FML, Mendes CM, Oliveira VM. Análise da Eficiência técnica do Sistema Único de Saúde (SUS) nos Municípios de Mato Grosso, nos anos de 2008 a 2010. Eixo: Financiamento dos Sistemas de Saúde. Anais Congresso da Associação Brasileira de Economia da Saúde (ABRES): VI Jornada [Internet]. Brasília; 2012. [acessado 2015 Dez 27]. Disponível em: http://abresbrasil.org.br/sites/default/files/trabalho_05.pdf
    » http://abresbrasil.org.br/sites/default/files/trabalho_05.pdf
  • 30
    Cetin VR, Bahce S. Measuring the efficiency of health systems of OECD countries by data envelopment analysis. J Applied Economics 2016; 48(37):3497-3507.
  • 31
    Allin S, Grignon M, Wang L. The determinants of efficiency in the Canadian health care system. Health Econ Policy Law 2016; 11(1):39-65.
  • 32
    Marinho A. Avaliação da eficiência técnica nos serviços de saúde nos municípios do Estado do Rio de Janeiro. Rev Bras Econ 2003; 57(3):515-534.
  • 33
    Faria PF, Jannuzzi PM, Silva SJ. Eficiência dos gastos municipais em saúde e educação: uma investigação através da análise envoltória no estado do Rio de Janeiro. Rev Adm Pública 2008; 42(1):155-177.
  • 34
    Comissão Econômica para América Latina e Caribe (Cepal). Equidad, desarrollo y cidadania. Santiago de Chile: Publicación de las Naciones Unidas; 2000.
  • 35
    Cominetti R. Descentralización de la atención de la salud em América Latina: um análiseis comparativo Santiago do Chile: Cepal; 1997.
  • 36
    Draibe S. Avaliação da descentralização das políticas sociais no Brasil: saúde e educação fundamental Santiago do Chile: Cepal; 1997. [Informe Final do Projeto Estudios de Descentralización de Servicios Sociales, División de Desarrollo Económico].

Datas de Publicação

  • Publicação nesta coleção
    26 Set 2019
  • Data do Fascículo
    Out 2019

Histórico

  • Recebido
    09 Maio 2017
  • Aceito
    05 Mar 2018
  • Publicado
    07 Mar 2018
ABRASCO - Associação Brasileira de Saúde Coletiva Rio de Janeiro - RJ - Brazil
E-mail: revscol@fiocruz.br