Eficiência do gasto público em atenção primária em saúde nos municípios do Rio de Janeiro, Brasil: escores robustos e seus determinantes

Efficiency of public spending on primary health care in the municipalities of Rio de Janeiro, Brazil: robust scores and their determinants

Alexandre de Cássio Rodrigues Tiago Silveira Gontijo Carlos Alberto Gonçalves Sobre os autores

Resumo

Os serviços de saúde, cujo acesso é um direito de todos e dever do Estado, devem ser prestados com eficiência, pois os recursos públicos são escassos e há uma crescente demanda por parte da população. Nesse contexto, o objetivo deste artigo é avaliar a eficiência dos gastos públicos em atenção básica em saúde (ABS) nos municípios do Rio de Janeiro (n = 70) em 2015. Para isso, primeiramente, usa-se o procedimento jackstrap para identificar possíveis outliers e aplica-se a técnica de análise envoltória de dados para calcular escores robustos de eficiência. Em seguida, esses escores são regredidos, por meio de um modelo tobit, em variáveis ​​não discricionárias que possam afetar a eficiência dos municípios. Os resultados encontrados revelam que 63,9% dos municípios avaliados aplicaram eficientemente os recursos em ABS, mas que, diante dos gastos efetuados, os outputs em ABS poderiam ter sido em média 6,0% maiores. Além disso, não foram encontradas evidências de que municípios mais ricos, socialmente desenvolvidos e/ou populosos tenham sido mais (ou menos) eficientes com relação ao gasto público em ABS do que aqueles não o são.

Key words:
Primary health care; Efficiency analysis; Tobit regression

Abstract

Health services, the access to which is a right of all citizens and the duty of the state, must be efficiently provided, as public resources are scarce and there is a growing demand called for by the population. In this context, the objective was to evaluate the efficiency of public spending on Primary Health Care in the municipalities of Rio de Janeiro (n = 70) in 2015. Initially, the jackstrap procedure was used to identify possible outliers, and Data Envelopment Analysis was then applied to calculate robust efficiency scores. In the second stage, the efficiency scores were regressed into non-discretionary variables using the Tobit method, that may affect the efficiency of municipalities. The results show that 63.9% of municipalities efficiently applied ABS resources, however, given the expenses incurred, ABS outputs could have been, on average, 6% higher. In addition, no evidence was found that wealthier, more socially developed and/or populous municipalities, were more (or less) efficient in public spending on ABS than not.

Key words:
Primary health care; Efficiency analysis; Tobit regression

Introdução

O acesso à saúde exerce papel estratégico na agenda de desenvolvimento de qualquer nação, pois está atrelado à melhoria do bem-estar da população, bem como a geração de emprego, renda e inovação11 Gadelha CAG, Costa LS. Saúde e desenvolvimento no Brasil: avanços e desafios. Rev Saude Publica 2012; 46(Supl. 1):13-20.. Nesse sentido, a Constituição Federal brasileira prevê que “a saúde é um direito de todos e dever do Estado, garantido mediante políticas sociais e econômicas que visem à redução do risco de doença e de outros agravos e ao acesso universal e igualitário às ações e serviços para sua promoção, proteção e recuperação”22 Brasil. Constituição da República Federativa do Brasil. Brasília: Senado Federal; 1988.. Para garantir esse direito, parte da receita proveniente dos impostos arrecadados pela União, estados, Distrito Federal e municípios deve ser aplicada em serviços públicos de saúde. Nesse contexto, a conhecida escassez de recursos, sobretudo no nível municipal, e a necessidade de atendimento às crescentes demandas têm motivado o desenvolvimento de pesquisas com o propósito de mensurar a eficiência dos gastos públicos em saúde33 Varela PS, Martins GA, Fávero LPL. Desempenho dos municípios paulistas: uma avaliação de eficiência da atenção básica à saúde. Rev Adm 2012; 47(4):624-637..

Nesse sentido, deve-se ressaltar que o Sistema Único de Saúde (SUS), com seus 30 anos de existência, representa um avanço constitucional fundamental e é motivo de orgulho para a sociedade brasileira. Destaca-se, entretanto, que o SUS possui notados desafios, por exemplo: a dificuldade em se levar a saúde para os 5.570 municípios do Brasil, que apresentam características culturais e sociais diversas; o congelamento dos gastos governamentais pelos próximos 20 anos; o impacto da alternância de poder nas políticas para a saúde, além de uma série de determinantes econômicos representados pelo subfinanciamento do sistema.

Neste artigo, tem-se particular interesse na mensuração da eficiência dos gastos públicos em atenção básica em saúde (ABS), isto é, a relação entre os produtos gerados em função dos recursos empregados44 Zhu J. Quantitative models for performance evaluation and benchmarking. Worcester: Springer; 2014.. A ABS contempla ações que abrangem a promoção e a proteção da saúde, a prevenção de agravos, o diagnóstico, o tratamento, a reabilitação, redução de danos e a manutenção da saúde. Assim, o objetivo dessa política pública é desenvolver uma atenção integral que impacte na situação de saúde e na autonomia das pessoas, devendo portanto ser o contato preferencial dos usuários e funcionar como um filtro capaz de organizar o fluxo dos serviços na rede do SUS, dos mais simples aos mais complexos55 Brasil. Ministério da Saúde. Portaria nº 2.488, de 21 de outubro de 2011. Aprova a Política Nacional de Atenção Básica, estabelecendo a revisão de diretrizes e normas para a organização da Atenção Básica, para a Estratégia Saúde da Família (ESF) e o Programa de Agentes Comunitários de Saúde (PACS). Brasília: Ministério da Saúde; 2011..

A avaliação da eficiência em estudos relacionados à saúde pública é recorrente na literatura internacional66 Ozcan, YA. Evaluation of performance in health care. In: Ozcan YA. Health care benchmarking and performance evaluation. Boston: Springer; 2014. p. 3-14.

7 Kawaguchi H, Tone K, Tsutsui M. Estimation of the efficiency of Japanese hospitals using a dynamic and network data envelopment analysis model. Health Care Manag Sci 2014; 17(2):101-112.

8 Campos MS, Fernández-Montes A, Gavilan JM, Velasco F. Public resource usage in health systems: a data envelopment analysis of the efficiency of health systems of autonomous communities in Spain. Public health 2016; 138(1):33-40.

9 Arfa C, Leleu H, Goaied M, van Mosseveld C. Measuring the capacity utilization of public district hospitals in Tunisia: using dual data envelopment analysis approach. Int J Health Policy Manag 2017; 6(1):9-18.

10 Khushalani J, Ozcan YA. Are hospitals producing quality care efficiently? An analysis using Dynamic Network Data Envelopment Analysis (DEA). Socio-Economic Planning Sciences 2017; 60(1):15-23.
-1111 Johny V, Rajeev A. Data envelopment analysis of components of comprehensive index for community health assessment of Maharashtra. Indian J Community Med 2017; 42(3):183-184.. No contexto nacional, a avaliação da eficiência em ABS foi recentemente tratada em um estudo realizado pelo Banco Mundial1212 World Bank. Um ajuste justo: análise da eficiência e equidade do gasto público no Brasil [artigo na Internet]; 2017. [acessado 2019 Dez 14]. Disponível em: https://www.worldbank.org/pt/country/brazil/publication/brazil-expenditure-review-report
https://www.worldbank.org/pt/country/bra...
. De acordo com os resultados do trabalho, o Brasil, em comparação com outros países, deveria ser capaz de melhorar seus resultados de saúde em 9% gastando a mesma quantidade de recursos. O estudo ainda revela que a eficiência média dos serviços primários de saúde é de 63% (ou seja, apresenta ineficiência de 37%), ao passo que nos serviços de saúde secundária e terciária a eficiência média é ainda mais baixa: 29%. Isso significa que há possibilidade de melhorar consideravelmente a prestação de serviços utilizando o mesmo nível de recursos. Outros trabalhos13,14 também discorrem sobre a mensuração da eficiência no contexto local.

Costa, Balbinotto e Sampaio, por sua vez, mensuraram a eficiência dos estados brasileiros no tocante aos transplantes públicos renais e efetuaram uma análise sobre a eficiência produtiva de hospitais do SUS de Santa Catarina1515 Costa CKF, Balbinotto Neto G, Sampaio LMB. Eficiência dos estados brasileiros e do Distrito Federal no sistema público de transplante renal: uma análise usando método DEA (análise envoltória de dados) e índice de Malmquist. Cad Saude Publica 2014; 30(8):1667-1679.,1616 Cesconetto A, Lapa JS, Calvo MCM. Avaliação da eficiência produtiva de hospitais do SUS de Santa Catarina, Brasil. Cad Saude Publica 2008; 24(10):2407-2417.. Em comum, para medir a relação entre outputs e inputs do processo de prestação dos serviços em saúde, as investigações anteriores empregaram a técnica de análise envoltória de dados (data envelopment analysis - DEA), que “pode ser considerada uma ferramenta importante para pesquisadores e gestores no estudo de eficiência e na formulação de políticas de saúde”1717 Lobo MSC, Lins, MPE. Avaliação da eficiência dos serviços de saúde por meio da análise envoltória de dados. Cad Saude Colet 2011; 19(1):93-102..

No entanto, ainda que relevantes, os trabalhos citados ignoraram o fato de que os escores de eficiência podem ser subestimados pela existência de outliers (unidades de análise que apresentaram desempenho notadamente diferente das demais)1818 Andersen P, Petersen NC. A procedure for ranking efficient units in data envelopment analysis. Manag Sci 1993; 39(10):1261-1264.

19 Sousa MCS, Stošić B. Technical efficiency of the Brazilian municipalities: correcting nonparametric frontier measurements for outliers. Journal of Productivity Analysis 2005; 24(2):157-181.

20 Ahamed SK, Naidu MM, Subba RRC. Outliers: most influential observations in variable returns to scale data envelopment analysis. Indian J Sci Technol 2016; 9(2):1-7.
-2121 Boyd T, Docken G, Ruggiero J. Outliers in data envelopment analysis. JCC 2016; 9(2):168-183.. Outros que o fizeram, como Duarte e colaboradores, embora reconheçam que variáveis que não podem ser controladas pelos gestores possam influenciar os escores de eficiência, não avaliaram com o devido rigor o efeito delas2222 Duarte JMS, Diniz JÁ, Nobre CJF, Aráujo RJR, autor; Frezatti F. A eficiência dos gastos públicos nos serviços de saúde municipal. In: 16º Congresso USP de controladoria e contabilidade. São Paulo, 2016 Jun 26..

Para suprir essas lacunas, o presente artigo tem por objetivo apresentar um modelo DEA de super eficiência que pode ser aplicado para avaliar a eficiência dos serviços municipais de saúde. Especificamente, pretende-se: (i) ilustrar o uso da técnica jackstrap para identificar possíveis outliers e assim calcular estimadores robustos para os escores de eficiência; e (ii) verificar, por meio de um modelo de regressão tobit, a influência do desenvolvimento humano, do PIB per capta e do tamanho populacional na eficiência dos municípios. Destaca-se que, a partir de um estudo de caso, avaliou-se a eficiência dos gastos públicos em ABS dos municípios do Rio de Janeiro, estado que, devido à falta de recursos financeiros gerada pela redução na arrecadação pela queda do preço do petróleo e pela crise da Petrobras, tem enfrentado notáveis problemas no sistema de saúde pública2323 Puff J. Saúde pública: como o RJ chegou a uma de suas piores crises no ano dos Jogos. BBC (Brasil) 2016; 11 jan..

Além dessa introdução, este artigo contém mais quatro sessões. A segunda discute os métodos: a técnica DEA, o procedimento jackstrap e os instrumentos de coleta e análise dos dados. Na terceira seção são apresentados os escores de eficiência obtidos por meio do modelo DEA de super eficiência com base na técnica jackstrap e são discutidos os resultados do modelo de regressão tobit. Por fim, têm-se a discussão dos resultados e as conclusões.

Métodos

Data envelopment analysis (DEA)

Eficiência é um conceito relativo, que compara o que uma firma (decision making units - DMU) produziu (outputs), dados os recursos disponíveis (inputs), com o que poderia ser produzido com os mesmos recursos44 Zhu J. Quantitative models for performance evaluation and benchmarking. Worcester: Springer; 2014.. A DEA é uma técnica não paramétrica de mensuração de eficiência que foi difundida sobretudo a partir dos trabalhos seminais de Charnes, Cooper e Rhodes2424 Charnes A, Cooper WW, Rhodes, E. Measuring the efficiency of decision making units. European Journal of Operational Research 1978; 2(6):429-444. e de Banker, Charnes e Cooper2525 Banker RD, Charnes A, Cooper WW. Some models for estimating technical and scale inefficiencies in data envelopment analysis. Manag Sci 1984; 30(9):1078-1092.. A principal diferença entre esses modelos clássicos é que enquanto o primeiro2424 Charnes A, Cooper WW, Rhodes, E. Measuring the efficiency of decision making units. European Journal of Operational Research 1978; 2(6):429-444. pressupõe retornos constantes de escala (RCE), isto é, que qualquer variação nos inputs implique variação proporcional nos outputs, o segundo2525 Banker RD, Charnes A, Cooper WW. Some models for estimating technical and scale inefficiencies in data envelopment analysis. Manag Sci 1984; 30(9):1078-1092. contempla o pressuposto de retornos variáveis de escala (RVE), ou seja, que para determinados volumes de inputs a variação de outputs perca a proporcionalidade.

Na formulação matemática dos modelos DEA admite-se que N unidades tomadoras de decisão (DMUs) utilizem uma mesma tecnologia de produção para transformar m inputs x n = (x n1 , ..., x m ) ? ?m + em s outputs y n = (y n1 , ..., y m ) ? ?s + . Assim, o escore de eficiência da DMUo (objetivo),θ0 , é dado por2626 Bogetoft P, Otto L. Benchmarking with Dea, Sfa, and R (v. 157). New York: Springer Science & Business Media; 2010.:

θ0=j=1suyoji=1mvixoi=outputvirtualinputvirtual(1)

Onde vi (i = 1,..., m) e uj (j = 1, ..., s) denotam, respectivamente, os pesos que a DMUo atribui aos inputs e outputs. Tal atribuição, que é feita de modo a maximar a eficiência da DMUo, o que lhe é mais favorável, é restrita ao fato de que os pesos aplicados às demais DMUs não podem gerar escores de eficiência superior à unidade. Tais condições são formalizadas no seguinte problema de programação matemática2626 Bogetoft P, Otto L. Benchmarking with Dea, Sfa, and R (v. 157). New York: Springer Science & Business Media; 2010.:

θ0=Maxv,uj=1sujyoji=1mvixoij=1sujynji=1mvixni1vi,uj0,i,j(2)

Ainda que permita interpretar facilmente a eficiência de uma DMU, o problema expresso em (2) admite infinitas soluções44 Zhu J. Quantitative models for performance evaluation and benchmarking. Worcester: Springer; 2014.. No caso de modelos orientados a outputs, como os utilizados neste trabalho, para contornar essa situação deve-se tornar o numerador da função objetivo igual a uma constante, normalmente 1, e transformar a restrição em uma diferença entre o numerador e denominador, o que faz com que os escores de eficiência variem entre 0 e 1. Dessa forma, obtêm-se os modelos de multiplicadores44 Zhu J. Quantitative models for performance evaluation and benchmarking. Worcester: Springer; 2014., que são mostrados a seguir na formulação para RCE, modelo (3), e para RVE, modelo (4).

ModeloDEA/RCEθ0=Maxw,u1i=1mvixoi=Minv,ui=1mvixoij=1sujynji=1mvixni0vi,uj0,i,j(3)

ModeloDEA/RVEθ0=Maxv,u1i=1mvixoi=Minv,ui=1mvixoi+v0j=1sujynji=1mvixni0vi,uj0,i,j(4)

Note que na equação (4) v 0 é uma variável irrestrita, em sinal que indica se o retorno de escala é constante (v 0 = 0) ou variável (v 0 ≠ 0). Denotando-se a solução ótima de (3) e (4) por (θ?, u ?, v ?), a DMUo será eficiente se, e somente se, θ? = 1 e todos os valores de u ? e v ? forem positivos. Caso contrário, ou seja, se θ? < 1 ou θ? = 1 e algum valor de u ? ou v ? for nulo, a DMUo será considerada ineficiente.

O procedimento Jackstrap

Embora a técnica DEA seja flexível quanto à adequação aos dados, os escores de eficiência por ela gerados são sensíveis à presença de outliers. Isso porque a ocorrência de inputs ínfimos ou outputs muito acima do esperado para alguma DMU acarretaria níveis mais baixos de eficiência para as DMUs restantes, o que pode levar a uma subestimativa substancial dos escores gerais de eficiência. A rigor, a DEA é baseada no conceito de fronteira, composto por um número relativamente reduzido de observações, em que uma única DMU distante da média pode empurrar a fronteira e assim deslocar artificialmente os requisitos de eficiência para todos os municípios. Destaca-se que os outliers podem ser de fato “outliers reais”, e não apenas o produto de distorções nos dados, devendo os mesmos ser estudados separadamente pelos formuladores de políticas públicas em saúde1919 Sousa MCS, Stošić B. Technical efficiency of the Brazilian municipalities: correcting nonparametric frontier measurements for outliers. Journal of Productivity Analysis 2005; 24(2):157-181..

Para identificar possíveis outliers, Andersen e Petersen propuseram um modelo DEA de super eficiência, que permite que a DMUs influentes possam ser atribuídos escores de eficiência superiores à unidade1818 Andersen P, Petersen NC. A procedure for ranking efficient units in data envelopment analysis. Manag Sci 1993; 39(10):1261-1264.. No entanto, o modelo de super eficiência depende de inspeção manual dos dados, o que não é exigido pela técnica jackstrap, proposta por Souza e Stošić, que detecta outliers automaticamente1919 Sousa MCS, Stošić B. Technical efficiency of the Brazilian municipalities: correcting nonparametric frontier measurements for outliers. Journal of Productivity Analysis 2005; 24(2):157-181.. O procedimento jackstrap se baseia no conceito de alavancagem, que é o impacto da remoção da DMU0 sobre os escores de eficiência das demais DMUs. Utilizando reamostragem jackknife, a alavancagem é dada pelo desvio-padrão dos escores de eficiência antes e depois daquela remoção:

l0=n=1;n0N(δ^n0δ^n)2N1(5)

Em que {δ ^ n |n = 1, ..., N} se refere aos escores calculados para cada DMU utilizando todos os dados, enquanto {δ ^ n 0- |n = 1, ..., N ≠ 0} denota os escores calculados sem a DMU0.

Tal abordagem pode ser computacionalmente intensiva, pois para N grande o cálculo da alavancagem de todas as DMUs exigiria que N.(N-1) problemas de programação linear tivessem que ser resolvidos. Por isso, Souza e Stošić combinaram as técnicas jackknife e bootstrap, originando o procedimento jackstrap, que torna o processo de identificação de outliers mais eficiente1919 Sousa MCS, Stošić B. Technical efficiency of the Brazilian municipalities: correcting nonparametric frontier measurements for outliers. Journal of Productivity Analysis 2005; 24(2):157-181.. Os passos para a realização do procedimento jackstrap são os seguintes:

a) Selecionar aleatoriamente um subconjunto de L DMUs e calcular as alavancagens ℓ~ 1 , em que ℓ assume L valores distintos sorteados do conjunto {1, ..., N}, pois não há reposição;

b) Repetir o passo anterior B vezes para calcular as alavancagens ℓ~ b (b = 1, ..., B). Assim, para B suficientemente grande, cada DMU ℓ será selecionada n1 ? B/L N vezes;

c) Calcular a alavancagem média para cada DMU:

l˜l=b=1nll˜lbnl(6)

E a alavancagem média global:

l˜=l=1Nl˜lN(7)

A seguir, as DMUs devem ser ordenadas de acordo com suas respectivas alavancagens. Para identificar as DMUs potencialmente influentes, deve-se comparar aquelas alavancagens com um valor limiar. Assim, os trabalhos de Schettini e de Sousa e Souza sugerem que esse limiar seja definido a partir da função Heaviside, dada por2727 Schettini BP. Eficiência técnica dos municípios Brasileiros na educação pública: escores robustos e fatores determinantes. Texto para Discussão. Brasília: Instituto de Pesquisa Econômica Aplicada (IPEA); 2014.,2828 Sousa MCS, Souza JCF. Escores robustos de eficiência e seus determinantes: o caso das agências do banco do Brasil. Pesquisa e Planejamento Econômico 2014; 44(1):37-69.:

P(l˜0)={1,l˜0<l˜logN0,l˜0l˜logN(8)

Em que l˜*<l˜ log N é o valor limiar, o qual depende do tamanho da amostra (N). Apresentada a técnica DEA e o procedimento jackstrap, a seguir são expostos os métodos utilizados no estudo.

Coleta e análise dos dados

Nesta pesquisa mensurou-se a eficiência dos gastos públicos em atenção básica em saúde dos municípios do Rio de Janeiro, que foram admitidos como DMUs. Para isso, realizou-se uma avaliação ex post, quantitativa e descritiva. Trata-se de um estudo observacional seccional que fez uso de dados administrativos (uso secundário dos dados) para o ano de 2015. A amostra, não probabilística e intencional, foi constituída por 70 dos 92 municípios fluminenses, para os quais a base de dados referente ao ano de 2015, a mais recente, era completa. Por não terem prestado contas dos gastos em ABS ou terem tido algum output nulo, foram excluídos os seguintes municípios: Aperibé, Araruama, Bom Jardim, Cabo Frio, Cambuci, Carmo, Duas Barras, Iguaba Grande, Itaboraí, Itaguaí, Itaocara, Laje do Muriaé, Mangaratiba, Miguel Pereira, Nilópolis, Paraíba do Sul, São Gonçalo, São João de Meriti, São José do Vale do Rio Preto, Saquarema, Seropédica e Sumidouro.

Definidas as DMUs, passou-se à escolha dos inputs e outputs, que é uma etapa fundamental para a DEA, pois os escores de eficiência são diretamente influenciados por essas variáveis2929 Cook WD, Tone K, Zhu J. Data envelopment analysis: prior to choosing a model. Omega 2014; 44:1-4.. No entanto, há que se frisar que na literatura não há consenso sobre quais inputs e outputs devam ser empregados na avaliação da eficiência em atenção básica em saúde. Com o objetivo de exemplificar a variabilidade de modelos utilizados pela literatura, destaca-se que: (i) Cabral e colaboradores utilizaram os seguintes inputs: recurso ABS; números de agentes comunitários de saúde, de unidades básicas de saúde instaladas e de equipes relativas à Estratégia Saúde da Família implantadas (per capita). Os outputs adotados foram: percentual de gestantes maiores de 20 anos, nascidos vivos cujas mães realizaram sete ou mais consultas pré-natais, média de cobertura vacinal, proporção de internações hospitalares por condições não sensíveis à atenção ambulatorial da população de um a cinco anos, e proporção de internações hospitalares por condições não sensíveis à atenção ambulatorial da população de 60 anos ou mais1313 Cabral KFD, Batista RS, Ferreira MAM, Cerqueira FR. Análise da eficiência na atenção primária à saúde sob a ótica dos profissionais da área. RGSS 2016; 5(2):71-83.; (ii) Duarte e colaboradores, por sua vez, adotaram como inputs o total da despesa com a função saúde e escolheram múltiplos outputs, a saber: quantidades aprovadas de produção ambulatorial realizada pelo SUS, de doses aplicadas em ações de vacinação por município considerando população alvo, número de visitas das equipes de Saúde da Família (ESF) e de agentes comunitários de saúde e o total de famílias cadastradas nas equipes de Saúde da Família2222 Duarte JMS, Diniz JÁ, Nobre CJF, Aráujo RJR, autor; Frezatti F. A eficiência dos gastos públicos nos serviços de saúde municipal. In: 16º Congresso USP de controladoria e contabilidade. São Paulo, 2016 Jun 26.; e (iii) Braga, Ferreira e Braga utilizaram o número de equipes de saúde e os gastos municipais com atenção básica como inputs, e como outputs o número de famílias acompanhadas pelo Programa de Saúde da Família e a quantidade de visitas domiciliares1414 Braga GB, Ferreira MAM, Braga BB. A eficiência da atenção primária à saúde: avaliando discrepâncias. Administração Pública e Gestão Social 2015; 7(2):100-107..

Neste trabalho considerou-se um input similar ao utilizado nos trabalhos anteriores: o gasto per capita em ABS. Este input faz parte do Finbra, banco de dados formado pelas informações das declarações recebidas pelo Tesouro Nacional, de acordo com a Lei de Responsabilidade Fiscal 101/2000. Assim, extraíram-se as despesas empenhadas, referentes ao registro contábil n° 10.301 (atenção básica), para o exercício de 2015 de cada um dos municípios do estado do Rio de Janeiro30Sinconfi. Secretaria do Tesouro Nacional (STN) - Contas Nacionais [Internet]. [acessado 2019 Dez 14]. Disponível em: https://siconfi.tesouro.gov.br/siconfi.
https://siconfi.tesouro.gov.br/siconfi...
.

Quanto aos outputs, consideraram-se os indicadores relacionados à universalização do acesso à ABS (expressos em escala numérica que varia de 0 a 100), os quais constam no rol de “Diretrizes, objetivos, metas e indicadores 2013-2015”, pactuado pelo Conselho Nacional de Saúde3131 Brasil. Ministério da Saúde (MS). Secretaria de Gestão Estratégica e Participativa. Departamento de Articulação Interfederativa. Caderno de diretrizes, objetivos, metas e indicadores: 2013-2015. Brasília: MS; 2014.. Todos os outputs utilizados foram coletados no sítio do Ministério da Saúde e estão expressos no Quadro 1, a seguir3131 Brasil. Ministério da Saúde (MS). Secretaria de Gestão Estratégica e Participativa. Departamento de Articulação Interfederativa. Caderno de diretrizes, objetivos, metas e indicadores: 2013-2015. Brasília: MS; 2014.. Para manter a coerência com as metas expostas no Quadro 1, no cálculo dos escores de eficiência foram considerados como outputs o inverso da proporção de internações por condições sensíveis à ABS e o inverso da proporção de exodontia em relação aos procedimentos, pois se espera que, quanto mais eficiente a gestão, menores serão esses indicadores, ou seja, maiores serão os inversos deles.

Quadro 1
Outputs do modelo DEA.

Destaca-se que a escolha dessas variáveis reside no fato de o SUS ser o financiador de políticas de saúde, portanto deseja-se mensurar a qualidade e o alcance desses gastos. Caso o estudo tivesse outro escopo, como a mensuração da eficiência na perspectiva do usuário final, outros outputs deveriam ser escolhidos, por exemplo: as distâncias entre as unidades de saúde e o domicílio do usuário, o tempo de espera até a consulta, a comunicação com o profissional, entre outros.

Por fim, reitera-se que a escolha dos inputs e outputs impacta não só a formulação dos modelos de eficiência da classe DEA, mas a qualidade da informação disponível. Assim, a formulação de avaliações econômicas e análises de eficiência deve levar em consideração informações com confiabilidade. O presente artigo está alicerçado em dados oficiais do governo brasileiro, entretanto o sistema de informações governamental apresenta variabilidades intrínsecas, a saber: (i) em geral os dados administrativos não foram explicitamente criados para fins de pesquisa; e (ii) como as informações são referentes a municípios distintos, há a possibilidade de viés de classificação de despesas por subfunção, assim como outros parâmetros. De modo a controlar tais problemas, tanto a Secretaria do Tesouro Nacional30Sinconfi. Secretaria do Tesouro Nacional (STN) - Contas Nacionais [Internet]. [acessado 2019 Dez 14]. Disponível em: https://siconfi.tesouro.gov.br/siconfi.
https://siconfi.tesouro.gov.br/siconfi...
quanto o Ministério da Saúde3131 Brasil. Ministério da Saúde (MS). Secretaria de Gestão Estratégica e Participativa. Departamento de Articulação Interfederativa. Caderno de diretrizes, objetivos, metas e indicadores: 2013-2015. Brasília: MS; 2014. têm empreendido esforços de melhoria contínua no sentido de dar maior transparência ao processo de coleta e disponibilização dos dados.

A orientação de modelos DEA a outputs ou a inputs depende da possibilidade de controle das variáveis produzidas e dos objetivos dos gestores das DMUs2929 Cook WD, Tone K, Zhu J. Data envelopment analysis: prior to choosing a model. Omega 2014; 44:1-4.. No caso em questão, considerou-se a orientação a outputs. Logo, foram classificados como eficientes os municípios que, considerando o input aplicado, conseguiram maximizar a obtenção de outputs. A orientação a outputs foi apropriada porque, se fosse adotada a orientação a inputs, o objetivo seria reduzir os insumos, mantendo-se os níveis atuais de produtos. Isso não seria adequado porque os gastos municipais em saúde são limitados pela Constituição e sobretudo, conforme já exposto, porque o propósito é ampliar os outputs.

Além disso, foi admitido o pressuposto de retornos variáveis de escala, pois, segundo Ferreira e Gomes, a hipótese de retornos constantes de escala: “somente é apropriada quando todas as DMUs estão operando em escala ótima. Competição imperfeita, restrições financeiras, dentre outras causas, podem levar uma DMU a não operar em escala de produção ótima”3232 Ferreira CMDC, Gomes AP. Introdução à análise envoltória de dados: teoria, modelos e aplicações. Viçosa: UFV; 2009.. Silva, por sua vez, reconhece que o gap entre o empenho da despesa e a efetiva aplicação dos recursos faz com que os municípios não consigam operar em escala ótima3333 Silva AC. Eficiência e equidade no gasto público com ensino fundamental nos municípios baianos selecionados: uma estimativa por meio de uma função de bem-estar [monografia]. Brasília: Escola Nacional de Administração Pública; 2010..

Na execução do procedimento jackstrap, utilizou-se uma aplicação gentilmente cedida por Borko Stosic, professor associado da Universidade Federal Rural de Pernambuco. Dessa forma, os outliers foram destacados. Realizada a exclusão deles, utilizou-se o software Efficiency Measurement System (EMS) para, por meio da técnica DEA, calcular os escores de eficiência.

Posteriormente, utilizando-se o software Gretl, esses valores foram regredidos em variáveis não discricionárias que poderiam afetar a eficiência das DMUs. Assim, para explicar os determinantes de eficiência do gasto público em atenção básica em saúde dos municípios do Rio de Janeiro, foram estimados os coeficientes de um modelo de regressão tobit, que, segundo McDonald, justifica-se porque a variável dependente, o escore de eficiência calculados pela DEA (θ), é limitada à unidade3434 Mcdonald J. Using least squares and tobit in second stage DEA efficiency analyses. Eur J Oper Res 2009; 197(2):792-798.:

θn={θn*,if0<θn*<10,ifθn*<01,ifθn*1(9)

Conforme sugerido por Greene, tomou-se o logaritmo de todas as variáveis, originando o modelo dado pela equação (10)3535 Greene WH. The econometric approach to efficiency analysis. In: Fried HO, Lovell CAK, Schimidt SS, editors. The measurement of productive efficiency and productivity growth. USA: Oxford University Press; 2008. p. 92-250.. Desse modo, os coeficientes estimados fornecem a elasticidade, isto é, a variação percentual dos escores de eficiência correspondente à variação percentual dos fatores explicativos.

ln(θn)=βo+β1ln(PIB)n+β2ln(IFDM)n+β3ln(pop)n+εi(10)

Resultados

A detecção de outliers

Com o propósito de detectar a presença de outliers, a base de dados relativa a 70 dos 92 municípios do Rio de Janeiro foi submetida ao teste de sensibilidade dos escores de eficiência por meio do procedimento jackstrap. No cálculo da alavancagem média de cada DMU, bem como o valor limiar, foram construídas B = 1.000 réplicas de amostras aleatórias (bolhas) de tamanho L = 21, correspondendo portanto a 30% da amostra. Na definição do tamanho da bolha, levou-se em consideração a recomendação de Banker e colaboradores de que o número de DMUs seja igual a no mínimo três vezes a soma do o número de inputs (1) e outputs (6)3636 Banker RD, Cooper WW, Seiford LM, Thrall RM, Zhu J. Returns to scale in different DEA models. Eur J Oper Res 2004; 154(2):345-362.,3737 Banker RD, Chang H. The super-efficiency procedure for outlier identification, not for ranking efficient units. Eur J Oper Res 2006; 175(2):1311-1320., pois a pequena quantidade de DMUs em comparação com o número de inputs e outputs diminui o poder de discriminação da DEA2929 Cook WD, Tone K, Zhu J. Data envelopment analysis: prior to choosing a model. Omega 2014; 44:1-4..

A Tabela 1 mostra a alavancagem média das DMUs (leverage), quantas vezes foram selecionadas em uma bolha (total hits) e o número de vezes que tiveram alavancagem não nula (leverage hits). Observa-se que como as DMUs têm em média a mesma probabilidade de ser selecionadas, o total hits delas são semelhantes. Contudo, aquelas que apresentam elevados leverage hits têm alta alavancagem e portanto representam potenciais outliers.

Tabela 1
Leverage, total hits e leverage hits.

O valor limiar do leverage calculado pelo procedimento jackstrap foi cotado em 0,006. Esse valor foi inferior ao leverage de nove DMUs (Tabela 2), o que indica que são outliers. De fato, conforme esperado, quando comparado à média das 70 DMUs analisadas, essas DMUs apresentaram baixo input e/ou elevados outputs. Isso revela a pertinência da adoção do procedimento jackstrap, pois permitiu detectar DMUs com dados não plausíveis em um contexto real, o que pode ter sido consequência de problemas de informação, com valores ínfimos de gastos informados ou produção muito acima do esperado.

Tabela 2
Input e outputs das DMUs classificadas como outliers.

Os resultados apresentados na Tabela 2 merecem destaque. Em média, o gasto per capta em ABS nos municípios do estado do Rio de Janeiro é igual a R$ 404,94. Perceba que os municípios classificados como outliers apresentaram valores sensivelmente discrepantes à média estadual. Aparentemente, há três agrupamentos locais entre os outliers: (i) o primeiro ao sudoeste do estado, formado pelos municípios limítrofes Barra Mansa, Valença e Volta Redonda; (ii) o segundo pelos municípios da faixa sul do estado, São Pedro da Aldeia e Silva Jardim; e por fim,(iii) o terceiro, no setor nordeste do estado, abarcando Campos dos Goytacazes, São João da Barra e São José de Ubá.

Identificados os outliers, que foram excluídos da amostra, adiante são mostrados os escores de eficiência calculados por meio da aplicação da técnica DEA para os municípios do estado do Rio de Janeiro.

Escores de eficiência dos gastos públicos em ABS dos municípios do RJ

As estatísticas descritivas dos escores de eficiência do gasto público em atenção básica em saúde dos municípios do Rio de Janeiro antes (DEA) e depois (Heaviside) da exclusão de nove das DMUs classificadas como outliers são mostradas na Tabela 3. Observa-se que o procedimento jackstrap reduziu o número de DMUs eficientes de 43 para 39. Todavia, haja vista que o percentual de DMUs eficientes aumentou, a eficiência média subiu de 0,91 para 0,94. Assim, esses resultados indicam que, mesmo desconsiderando-se as DMUs influentes, os municípios avaliados poderiam, em média, aumentar os outputs em ABS em até 6,0% (1 - 0,94) sem aumentar os gastos per capita naquela área.

Tabela 3
Estatísticas descritivas dos escores de eficiência.

A Tabela 4 apresenta os escores de eficiência, os alvos para os outputs e o principal benckmark dos 22 municípios do Rio de Janeiro classificados como ineficientes. Os alvos, em particular, podem ser interpretados como a meta a ser perseguida pelos municípios para que se tornem eficientes, mantidos fixos os gastos per capita em ABS. Naturalmente, o alcance das metas é mais desafiador para os municípios mais ineficientes.

Tabela 4
Escores de eficiência, alvos e benchmark das DMUs ineficientes.

É importante ressaltar que embora a DEA possibilite calcular os escores de eficiência das DMUs, essa técnica, isoladamente, não identifica os fatores que influenciam a eficiência. Assim, para completar a análise, foram estimados os coeficientes de um modelo econométrico com o propósito de verificar o efeito de variáveis não discricionárias, que, ao menos no curto prazo, não podem ser controladas pelos gestores.

Determinantes da eficiência do gasto público em ABS dos municípios do Rio de Janeiro

Nesse contexto, buscou-se analisar se os escores de eficiência eram afetados pelo Produto Interno Bruto (PIB) per capita, em milhares de reais, e pelo nível de desenvolvimento socioeconômico do município, expresso pelo Índice Firjan de Desenvolvimento Municipal (IFDM)3838 Federação das Indústrias do Estado do Rio de Janeiro (Firjan). Índice Firjan de Desenvolvimento Municipal [Internet]. [acessado 2019 Dez 16]. Disponível em: https://www.firjan.com.br/
https://www.firjan.com.br...
. Além disso, esses efeitos foram controlados pelo tamanho populacional dos municípios (pop) em milhares de habitantes. Os resultados das estimações dos coeficientes do modelo de regressão são mostrados na Tabela 5. Testes realizados não detectaram problemas de colinearidade, endogeneidade ou heterocedasticidade.

Tabela 5
Efeitos sobre a eficiência do gasto público em ABS dos municípios do Rio de Janeiro - 2015.

Analisando-se os resultados mostrados na Tabela 5, constata-se que as variáveis dependentes consideradas no modelo não explicam a variabilidade dos escores de eficiência (IC = 95%). Em outras palavras, não foram encontradas evidências de que municípios mais ricos, desenvolvidos e/ou populosos foram mais (ou menos) eficientes com relação ao gasto público em ABS do que aqueles que não o são.

Discussão

Neste artigo empregou-se uma abordagem em dois estágios. No primeiro, usando-se o procedimento jackstrap, que combina técnicas de reamostragem jackknife e bootstrap para identificar possíveis outliers, calcularam-se estimadores robustos dos escores de eficiência para o modelo DEA de super eficiência. Em seguida, por meio de uma regressão tobit, regrediram-se aqueles escores em variáveis não discricionárias que poderiam afetar a eficiência das instituições. De modo a ilustrar o método apresentado, avaliou-se a eficiência dos gastos públicos em ABS dos municípios do Rio de Janeiro.

Os resultados obtidos por meio da aplicação do procedimento jackstrap mostraram que nove dos 70 municípios avaliados eram outliers, o que significa que eles, em comparação com os demais, apresentaram baixo gasto per capita em ABS e/ou elevados outputs. Excluídos os outliers por meio da técnica DEA, foram calculados escores de eficiência e identificados os alvos para os outputs e o principal benchmark.

Não foram encontrados fatores associados a maior eficiência dos municípios a partir das estimativas do modelo de regressão tobit, ou seja, a eficiência dos gastos públicos em ABS dos municípios do Rio de Janeiro não foi influenciada pelo PIB per capita, o nível de desenvolvimento socioeconômico ou o porte populacional. Esses resultados contradizem os apurados por Dias, pois se verificou que quanto mais populoso e desenvolvido é um município brasileiro, maior é a tendência de que os gastos públicos em saúde sejam eficientes3939 Dias RH. Eficiência da atenção primária à saúde nos municípios brasileiros [dissertação]. Brasília: Universidade de Brasília; 2011.. Assim, possivelmente os ganhos de escala observados em outros municípios brasileiros não se aplicam aos municípios fluminenses.

Há que se destacar que, em estudo similar, o Banco Mundial1212 World Bank. Um ajuste justo: análise da eficiência e equidade do gasto público no Brasil [artigo na Internet]; 2017. [acessado 2019 Dez 14]. Disponível em: https://www.worldbank.org/pt/country/brazil/publication/brazil-expenditure-review-report
https://www.worldbank.org/pt/country/bra...
mostrou que, considerando todo o Brasil, a eficiência média dos serviços primários de saúde foi apurada em 63%, ao passo que neste artigo a eficiência média encontrada foi da ordem de 94%. A divergência entre os resultados pode ser explicada por alguns motivos: (i) pelo corte de municípios não ser o mesmo; (ii) pela diferença entre as variáveis utilizadas (o estudo do Banco Mundial1212 World Bank. Um ajuste justo: análise da eficiência e equidade do gasto público no Brasil [artigo na Internet]; 2017. [acessado 2019 Dez 14]. Disponível em: https://www.worldbank.org/pt/country/brazil/publication/brazil-expenditure-review-report
https://www.worldbank.org/pt/country/bra...
utilizou quatro indicadores selecionados dos sistemas de saúde, a saber: anos de vida padronizados por idade e ajustados por incapacidade; a probabilidade de morte entre 30 e 70 anos de idade por doenças cardiovasculares, câncer, diabete ou problemas respiratórios crônicos; a percentagem de gastos de recursos próprios sobre as despesas totais com saúde (como indicador de proteção financeira); e um indicador de equidade na saúde, que inclui a imunização infantil contra sarampo, o índice de mortalidade infantil e o risco vitalício de morte materna); e (iii) a adoção da técnica jackstrap, que ao excluir os municípios classificados como outliers, elevou a eficiência média.

Os resultados aqui expostos não podem ser extrapolados, pois se limitam aos municípios fluminenses e para o período especificado. Além disso, salienta-se que, como os escores de eficiência calculados pela DEA são diretamente influenciados pelos inputs e outputs selecionados, pelo tipo de retorno de escala, pela orientação do modelo e, no contexto desta pesquisa, pela remoção de outliers, a adoção de novas escolhas podem gerar resultados diferentes. Ainda assim, os métodos aqui empregados podem ser utilizados para avaliar a eficiência dos gastos públicos em ABS de municípios de outros estados.

Conclusão

Reconhece-se neste artigo o avanço constitucional representado pelo SUS, que acaba de completar trinta anos, e junto ao National Health Service (NHS), representam notáveis exemplos de sistemas de saúde coletiva em nível internacional. Apesar dos pontos positivos do SUS, há espaço para melhorias na gestão dos gastos e aumento da eficiência no serviço prestado. Ressalta-se que este estudo pode ajudar os gestores públicos a definirem estratégias para incrementar a eficiência do gasto em ABS, o que é muito importante, sobretudo no cenário atual, caracterizado pela escassez de recursos públicos, pelo congelamento de gastos e pela necessidade de atendimento às crescentes demandas de saúde no Brasil.

Nesse sentido, a detecção de benchmarks pode ser um bom elemento para a tomada de decisão por parte dos municípios, pois por meio da comparação do desempenho na prestação de serviços de saúde é possível aprender com as melhores práticas de gestão e assim estimular ações eficientes na gerência do gasto público em saúde. Em acréscimo, destaca-se que as análises aqui apresentadas poderiam constituir uma ferramenta de gestão para a negociação da Pactuação Programada e Integrada e assim fomentar quotas de repasse financeiro baseado em metas, por exemplo.

Sugere-se, para trabalhos futuros: (i) analisar a importância relativa de inputs e outputs do modelo com base em métodos multicriteriais que incorporem o julgamento de especialistas em saúde; (ii) estudar em detalhes a existência de folgas do modelo em relação ao input (gasto), com o objetivo de estimar a possibilidade de recursos adicionais serem melhor aplicados nas demais ações de saúde básica; (iii) o desenvolvimento de um estudo centrado na análise espacial georreferenciada dos municípios, o que permitiria detectar clusters de ineficiência e ou eficiência; e por fim (iv) o desenvolvimento de novas formulações econométricas a serem comparadas com o modelo tobit, a saber: a regressão quantílica, que permitiria estratificar o grau de eficiência em níveis, e a regressão beta, que permitiria modelar relações lineares e não lineares entre as variáveis independentes e a variável dependente do modelo.

Agradecimentos

À Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) e ao Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq).

Referências

  • 1
    Gadelha CAG, Costa LS. Saúde e desenvolvimento no Brasil: avanços e desafios. Rev Saude Publica 2012; 46(Supl. 1):13-20.
  • 2
    Brasil. Constituição da República Federativa do Brasil. Brasília: Senado Federal; 1988.
  • 3
    Varela PS, Martins GA, Fávero LPL. Desempenho dos municípios paulistas: uma avaliação de eficiência da atenção básica à saúde. Rev Adm 2012; 47(4):624-637.
  • 4
    Zhu J. Quantitative models for performance evaluation and benchmarking. Worcester: Springer; 2014.
  • 5
    Brasil. Ministério da Saúde. Portaria nº 2.488, de 21 de outubro de 2011. Aprova a Política Nacional de Atenção Básica, estabelecendo a revisão de diretrizes e normas para a organização da Atenção Básica, para a Estratégia Saúde da Família (ESF) e o Programa de Agentes Comunitários de Saúde (PACS). Brasília: Ministério da Saúde; 2011.
  • 6
    Ozcan, YA. Evaluation of performance in health care. In: Ozcan YA. Health care benchmarking and performance evaluation. Boston: Springer; 2014. p. 3-14.
  • 7
    Kawaguchi H, Tone K, Tsutsui M. Estimation of the efficiency of Japanese hospitals using a dynamic and network data envelopment analysis model. Health Care Manag Sci 2014; 17(2):101-112.
  • 8
    Campos MS, Fernández-Montes A, Gavilan JM, Velasco F. Public resource usage in health systems: a data envelopment analysis of the efficiency of health systems of autonomous communities in Spain. Public health 2016; 138(1):33-40.
  • 9
    Arfa C, Leleu H, Goaied M, van Mosseveld C. Measuring the capacity utilization of public district hospitals in Tunisia: using dual data envelopment analysis approach. Int J Health Policy Manag 2017; 6(1):9-18.
  • 10
    Khushalani J, Ozcan YA. Are hospitals producing quality care efficiently? An analysis using Dynamic Network Data Envelopment Analysis (DEA). Socio-Economic Planning Sciences 2017; 60(1):15-23.
  • 11
    Johny V, Rajeev A. Data envelopment analysis of components of comprehensive index for community health assessment of Maharashtra. Indian J Community Med 2017; 42(3):183-184.
  • 12
    World Bank. Um ajuste justo: análise da eficiência e equidade do gasto público no Brasil [artigo na Internet]; 2017. [acessado 2019 Dez 14]. Disponível em: https://www.worldbank.org/pt/country/brazil/publication/brazil-expenditure-review-report
    » https://www.worldbank.org/pt/country/brazil/publication/brazil-expenditure-review-report
  • 13
    Cabral KFD, Batista RS, Ferreira MAM, Cerqueira FR. Análise da eficiência na atenção primária à saúde sob a ótica dos profissionais da área. RGSS 2016; 5(2):71-83.
  • 14
    Braga GB, Ferreira MAM, Braga BB. A eficiência da atenção primária à saúde: avaliando discrepâncias. Administração Pública e Gestão Social 2015; 7(2):100-107.
  • 15
    Costa CKF, Balbinotto Neto G, Sampaio LMB. Eficiência dos estados brasileiros e do Distrito Federal no sistema público de transplante renal: uma análise usando método DEA (análise envoltória de dados) e índice de Malmquist. Cad Saude Publica 2014; 30(8):1667-1679.
  • 16
    Cesconetto A, Lapa JS, Calvo MCM. Avaliação da eficiência produtiva de hospitais do SUS de Santa Catarina, Brasil. Cad Saude Publica 2008; 24(10):2407-2417.
  • 17
    Lobo MSC, Lins, MPE. Avaliação da eficiência dos serviços de saúde por meio da análise envoltória de dados. Cad Saude Colet 2011; 19(1):93-102.
  • 18
    Andersen P, Petersen NC. A procedure for ranking efficient units in data envelopment analysis. Manag Sci 1993; 39(10):1261-1264.
  • 19
    Sousa MCS, Stošić B. Technical efficiency of the Brazilian municipalities: correcting nonparametric frontier measurements for outliers. Journal of Productivity Analysis 2005; 24(2):157-181.
  • 20
    Ahamed SK, Naidu MM, Subba RRC. Outliers: most influential observations in variable returns to scale data envelopment analysis. Indian J Sci Technol 2016; 9(2):1-7.
  • 21
    Boyd T, Docken G, Ruggiero J. Outliers in data envelopment analysis. JCC 2016; 9(2):168-183.
  • 22
    Duarte JMS, Diniz JÁ, Nobre CJF, Aráujo RJR, autor; Frezatti F. A eficiência dos gastos públicos nos serviços de saúde municipal. In: 16º Congresso USP de controladoria e contabilidade. São Paulo, 2016 Jun 26.
  • 23
    Puff J. Saúde pública: como o RJ chegou a uma de suas piores crises no ano dos Jogos. BBC (Brasil) 2016; 11 jan.
  • 24
    Charnes A, Cooper WW, Rhodes, E. Measuring the efficiency of decision making units. European Journal of Operational Research 1978; 2(6):429-444.
  • 25
    Banker RD, Charnes A, Cooper WW. Some models for estimating technical and scale inefficiencies in data envelopment analysis. Manag Sci 1984; 30(9):1078-1092.
  • 26
    Bogetoft P, Otto L. Benchmarking with Dea, Sfa, and R (v. 157). New York: Springer Science & Business Media; 2010.
  • 27
    Schettini BP. Eficiência técnica dos municípios Brasileiros na educação pública: escores robustos e fatores determinantes. Texto para Discussão. Brasília: Instituto de Pesquisa Econômica Aplicada (IPEA); 2014.
  • 28
    Sousa MCS, Souza JCF. Escores robustos de eficiência e seus determinantes: o caso das agências do banco do Brasil. Pesquisa e Planejamento Econômico 2014; 44(1):37-69.
  • 29
    Cook WD, Tone K, Zhu J. Data envelopment analysis: prior to choosing a model. Omega 2014; 44:1-4.
  • Sinconfi. Secretaria do Tesouro Nacional (STN) - Contas Nacionais [Internet]. [acessado 2019 Dez 14]. Disponível em: https://siconfi.tesouro.gov.br/siconfi
    » https://siconfi.tesouro.gov.br/siconfi
  • 31
    Brasil. Ministério da Saúde (MS). Secretaria de Gestão Estratégica e Participativa. Departamento de Articulação Interfederativa. Caderno de diretrizes, objetivos, metas e indicadores: 2013-2015. Brasília: MS; 2014.
  • 32
    Ferreira CMDC, Gomes AP. Introdução à análise envoltória de dados: teoria, modelos e aplicações. Viçosa: UFV; 2009.
  • 33
    Silva AC. Eficiência e equidade no gasto público com ensino fundamental nos municípios baianos selecionados: uma estimativa por meio de uma função de bem-estar [monografia]. Brasília: Escola Nacional de Administração Pública; 2010.
  • 34
    Mcdonald J. Using least squares and tobit in second stage DEA efficiency analyses. Eur J Oper Res 2009; 197(2):792-798.
  • 35
    Greene WH. The econometric approach to efficiency analysis. In: Fried HO, Lovell CAK, Schimidt SS, editors. The measurement of productive efficiency and productivity growth. USA: Oxford University Press; 2008. p. 92-250.
  • 36
    Banker RD, Cooper WW, Seiford LM, Thrall RM, Zhu J. Returns to scale in different DEA models. Eur J Oper Res 2004; 154(2):345-362.
  • 37
    Banker RD, Chang H. The super-efficiency procedure for outlier identification, not for ranking efficient units. Eur J Oper Res 2006; 175(2):1311-1320.
  • 38
    Federação das Indústrias do Estado do Rio de Janeiro (Firjan). Índice Firjan de Desenvolvimento Municipal [Internet]. [acessado 2019 Dez 16]. Disponível em: https://www.firjan.com.br/
    » https://www.firjan.com.br
  • 39
    Dias RH. Eficiência da atenção primária à saúde nos municípios brasileiros [dissertação]. Brasília: Universidade de Brasília; 2011.

Datas de Publicação

  • Publicação nesta coleção
    30 Ago 2021
  • Data do Fascículo
    2021

Histórico

  • Recebido
    02 Out 2019
  • Aceito
    05 Abr 2020
  • Publicado
    07 Abr 2020
ABRASCO - Associação Brasileira de Saúde Coletiva Rio de Janeiro - RJ - Brazil
E-mail: revscol@fiocruz.br