ARTIGO ARTICLE

Avaliação da capacidade de gestão de organizações sociais: uma proposta metodológica em desenvolvimento

Evaluation of management capacity in social organizations: an in-process methodological proposal

Maria do Carmo Lessa Guimarães^I; Sandra Maria Chaves dos Santos^II; Cristina Melo^III; Alvino Sanches Filho^I

^IEscola de Administração, Universidade Federal da Bahia, Salvador, Brasil
^IIEscola de Nutrição, Universidade Federal da Bahia, Salvador, Brasil
^IIIEscola de Enfermagem, Universidade Federal da Bahia, Salvador, Brasil

Endereço para correspondência

RESUMO

O projeto de Reforma Administrativa do Estado Brasileiro, ao introduzir estratégias administrativas baseadas na ampla delegação de autoridade e na cobrança a posteriori de resultados, colocou em relevo a questão da avaliação nas organizações públicas. Este artigo apresenta uma proposta metodológica para avaliar a capacidade de gestão de organizações sociais, ente público não-estatal criado no bojo dessa Reforma. A construção da proposta contemplou a definição de um conceito-guia de gestão e suas dimensões, os quais orientaram a seleção e construção de variáveis, indicadores, parâmetros e plano de análise para a avaliação. Nas considerações finais argumenta-se que as escolhas conceituais e decisões procedimentais visaram a produzir um desenho de avaliação que garantisse a confiabilidade dos resultados e sua sensibilidade em aproximar-se do fenômeno avaliado, e a aplicabilidade e reprodutibilidade da metodologia em diferentes contextos.

Avaliação; Capacidade de Gestão; Organização Social

ABSTRACT

A bill for Public Sector Administrative Reform in Brazil introduces administrative strategies based on broad delegation of authority and "a posteriori" demands for results, thereby highlighting the issue of evaluation in public organizations. This article presents a methodological proposal to evaluate management capability in so-called social organizations, a kind of non-government public entity created within this Reform. Drafting of the bill included the definition of an underlying management concept and its dimensions, which oriented the construction of variables, indicators, parameters, and an analytical plan for evaluation. The final remarks include the argument that the conceptual choices and procedural decisions aim to produce an evaluation design that would guarantee the results' reliability and their sensitivity for approaching the phenomenon under evaluation, as well as the methodology's applicability and reproducibility in different contexts.

Evaluation; Management Capacity; Social Organizations

Introdução

O artigo apresenta uma proposta metodológica para avaliação da capacidade de gestão de organizações sociais. Estas são entidades públicas não estatais, criadas no bojo da Reforma Administrativa do Estado Brasileiro ¹, na primeira gestão do governo de Fernando Henrique Cardoso, para atuarem em setores considerados não exclusivos do Estado.

O desenvolvimento da proposta contou com a parceria da Secretaria de Administração do Estado da Bahia (SAEB), responsável pelo acompanhamento e avaliação das organizações sociais implantadas no estado. A metodologia proposta encontra-se em implantação, não estando ainda validada.

O escopo teórico da proposta metodológica para a avaliação pretendida contempla escolhas conceituais que orientaram a construção do conceito-guia de gestão e dos indicadores que compõem o Plano de Indicadores e o Plano de Análise dos Resultados.

Uma das características importantes do processo de avaliação é a necessidade de que as variáveis e os indicadores sejam factíveis de serem construídos e que aquilo que expressam sejam valores compartilhados por todos os envolvidos. Desta forma, o desenvolvimento da proposta implicou momentos de trabalho coletivo com os técnicos da SAEB, com gestores de organizações sociais e com outros técnicos das secretarias setoriais da administração pública estadual, envolvidos com a implantação e implementação das organizações sociais.

Nesta perspectiva, a formulação desta proposta metodológica exigiu, antecipadamente, revisões e debates teóricos e metodológicos sobre as organizações sociais e a avaliação da ação pública com os técnicos participantes, visando a construção de marcos conceituais e de instrumentos para a avaliação.

A construção do Plano de Indicadores se deu num encontro com técnicos da administração estadual, do Ministério do Planejamento e Orçamento e das organizações sociais na Bahia, bem como a realização de Oficinas de Trabalho com a participação de consultores externos. Um segundo momento contemplou a revisão crítica da metodologia, pelos autores, após os resultados do estudo piloto numa das organizações sociais em funcionamento, para verificação da consistência e viabilidade dos indicadores propostos. Um terceiro momento contemplou a realização de um Encontro Técnico com a participação de consultores externos (Dra. Marta Arretche, Universidade Estadual Paulista Júlio de Mesquita Filho; Dr. Oswaldo Tanaka, Universidade de São Paulo; Dra. Celina Souza, Universidade de São Paulo/Universidade Federal da Bahia) para a verificação da consistência, coerência e viabilidade do conjunto dos indicadores propostos.

Apresenta-se a metodologia de avaliação em três seções. A primeira explicita os aspectos teórico-metodológicos orientadores da proposta de avaliação, discutindo as escolhas conceituais para construção de um conceito-guia de gestão e das suas dimensões. A segunda seção informa sobre o processo de construção do Plano de Indicadores e apresenta, exemplarmente, a premissa e indicadores para cada uma das dimensões adotadas na matriz de indicadores construída para a avaliação, composta originalmente de 34 indicadores utilizados. A terceira seção explicita o Plano de Análise dos Indicadores, contemplando as decisões que conduziram o processo de atribuição dos valores numéricos que, por fim, buscaram traduzir de forma objetiva os pressupostos de toda a avaliação. Finaliza o trabalho uma seção de considerações finais.

Aspectos teórico-metodológicos da avaliação

O espaço da avaliação

O projeto de Reforma Administrativa do Estado Brasileiro ¹, iniciado na primeira gestão do governo de Fernando Henrique Cardoso, e decorrente de um amplo processo de reforma cujo eixo é a descentralização, contou com um relativo consenso da sociedade brasileira em função da forte e positiva associação entre a reforma e a chamada crise fiscal do Estado, a continuidade do sucesso do Plano Real e a promessa de que a reforma tornaria o serviço público eficiente ^2,3. Esse projeto se voltou para o fortalecimento das funções de regulação e coordenação do Estado, com separação das atividades de regulação das de execução, transferindo estas para o chamado "setor público não-estatal", representado pelas organizações sociais, ficando a produção de bens e serviços para o mercado ⁴. As organizações sociais são representadas por pessoas jurídicas de direito privado e constituídas sob a forma de associação, fundação ou sociedade civil sem fins lucrativos que, se habilitam, mediante a assinatura de um contrato de gestão, a absorver atividade pública, administrando serviços, instalações e equipamentos pertencentes ao Poder Público, e recebendo recursos orçamentários necessários ao seu funcionamento ⁵.

Outro aspecto importante da Reforma Administrativa do Estado Brasileiro, em face de sua complexidade, é a descentralização vertical dos serviços sociais, com implicações para estados e municípios, especialmente para os municípios, bem como para a consecução de objetivos como a ampliação da efetividade, universalização e democratização dos serviços públicos sociais ⁶. Sobre a descentralização, Souza & Carvalho ⁷ ressaltam que seus benefícios não se distribuem uniformemente, principalmente em um país de vasta dimensão territorial, marcado por profundas desigualdades inter e intra-regionais e sociais como o Brasil.

Este conjunto de inovações apresenta-se como fundado na idéia de uma administração pública gerencial, em que é possível desenvolver estratégias administrativas baseadas na ampla delegação de autoridade e na cobrança a posteriori de resultados. Estes pressupostos, por sua vez, estão assentados num movimento teórico denominado de Novo Gerencialismo Público, que tem como objetivo tornar a administração pública mais eficiente e moderna, além de voltada para o atendimento das necessidades e satisfação plena dos cidadãos ^8,9. Este projeto de reforma gerencial foi apresentado como uma oportunidade para corrigir os rumos da administração pública latino-americana naquilo que sua trajetória escreveu com mais cores: rigidez conjugada com ineficiência; ausência de mecanismos de controle externo; distanciamento e não compromisso com as demandas dos cidadãos; excessos burocráticos e uso político da máquina estatal para realizar interesses particulares. Frente ao desafio, o reconhecimento e a valorização de um espaço público não-estatal como ator na provisão de serviços públicos ganhou relevância.

O pressuposto balizador, que orienta a transferência da gestão de serviços públicos para organizações de natureza não-estatais, é o de que existe um espaço público não-estatal, que envolve a capacidade da sociedade atuar junto com o Estado na oferta de serviços públicos, não apenas controlando-os, mas também como executora, sempre visando a ganhos em eficiência e efetividade ¹⁰.

A avaliação e o acompanhamento do desempenho da gestão pública, bem como destes novos parceiros instituídos por meio da concessão dos serviços públicos e dos contratos de gestão, são vistos como importantes para subsidiar as correções necessárias na formulação das políticas governamentais e na sua implementação, bem como no aperfeiçoamento dos instrumentos jurídicos e administrativos que balizam as novas modalidades de gestão de serviços públicos previstos pela Reforma Administrativa do Estado Brasileiro. É nesta direção, e em sintonia com estes desafios, que se elaborou a proposta metodológica para avaliar a capacidade de gestão de organizações sociais objeto deste artigo.

Embora o termo avaliação seja utilizado quase sempre com o mesmo significado, o de expressar juízo de valor a alguma coisa, a variação e as imprecisões do conceito decorrem do fato de que o termo avaliação, para ganhar inteligibilidade, necessita estar acompanhado de outros termos que informem sobre o objeto e o sujeito da avaliação, além dos seus propósitos, objetivos e modos de proceder. Assim, as controvérsias observadas situam-se no plano da prática, do como esta deve ser conduzida, ou mais precisamente na seleção do foco, dos métodos e do grau de objetividade e de sistematização utilizados para se avaliar.

Por outro lado, também se observa na literatura que o conceito de avaliação está em evolução, e muda de acordo com o contexto, incorporando as concepções anteriores e acrescentando novas perspectivas, tornando o processo de avaliar mais complexo em informações e mais sofisticado em termos de seus propósitos ¹¹.

Diante disso, torna-se necessário ressaltar algumas escolhas prévias sobre o tipo de avaliação que orientaram a proposta metodológica para avaliar a capacidade de gestão de organizações sociais, a saber:

(a) A natureza e o tipo de avaliação adotados se aproximam do que é denominado de pesquisa interessada ou Policy Oriented, a qual, segundo Draibe ¹², tem como objetivo detectar dificuldades e obstáculos e produzir recomendações – corrigir rumos do programa ou disseminar lições e aprendizagens – visando a melhoria da qualidade do processo de implementação e do desempenho da política;

(b) O foco da avaliação proposta é a gestão, o que implicou a adoção de um tipo de avaliação de processo, entendida como aquela que foca as condições e o desenho da organização e o como são desenvolvidas as ações programadas. Pode-se detectar, assim, os fatores que, ao longo da implementação, facilitam ou impedem que um dado programa/atividade atinja seus resultados da melhor maneira possível ¹²;

(c) Esse tipo de avaliação exige levantamento de hipóteses/premissas, que são formuladas à luz de uma imagem-objetivo referenciada pelos avaliadores e os outros atores envolvidos, construindo compromissos em relação a uma direção futura que se pretende alcançar e/ou transformar.

O foco da avaliação

Algumas decisões importantes orientaram a elaboração da proposta metodológica para avaliar a capacidade de gestão de organizações sociais. Uma delas diz respeito ao foco da avaliação. O modelo de organizações sociais é bastante polêmico no Brasil. Contudo, ainda que a discussão sobre o modelo em si seja importante para o seu aperfeiçoamento, não foi este o objeto da metodologia de avaliação apresentada neste artigo.

O foco da avaliação proposta é a gestão. Esta opção fundamentou-se nas considerações de que, dentre os argumentos utilizados pelo governo federal para a criação do modelo de organizações sociais, três princípios se destacaram: maior autonomia decisória destas organizações frente aos níveis hierárquicos da estrutura burocrática da administração pública brasileira, por possibilitar um processo decisório mais rápido e mais efetivo; maior flexibilidade para romper com a rigidez da estrutura organizacional, objetivando maior interdependência e compartilhamento na autoridade e na responsabilidade ¹³; por fim, maior transparência, ao instituir, na estrutura organizacional da organizações sociais, os conselhos administrativo e fiscal, com a participação de representantes do Estado e da sociedade civil, com vistas a gerar decisões mais consensuais, além de instituir canais e expedientes que possam, ao divulgar e socializar estas decisões para trabalhadores e usuários, contribuir para a construção de um processo decisório mais transparente e, por conseqüência, sujeito a um maior controle social.

Cabe ressaltar que, embora a proposta metodológica esteja centrada no modelo de organizações sociais, os resultados da avaliação não autorizam aferir qualquer juízo de valor ao modelo em si, como antes referido. Isto porque outras variáveis e outros tipos de avaliação, a exemplo daqueles que avaliam resultados e impactos, precisariam ser também incorporados.

A construção de um conceito-guia de gestão

A definição do conceito-guia de gestão tomou em consideração que o conceito de gestão é amplo, diversificado e por isto mesmo controvertido. Os conceitos existentes na literatura fundamentam-se em campos teóricos diversos e a polarização qualitativa encontra-se entre o campo da administração e o da ciência política.

No campo da administração, o conceito de gestão se aproxima da idéia de gerência e desta forma toma um caráter mais operacional e instrumental ao prevalecer o entendimento de que se trata de uma função organizacional voltada para a coordenação e o controle.

No campo da ciência política, do qual também se aproxima a administração pública, o conceito de gestão incorpora uma dimensão política que se traduz em aspectos menos procedimentais, privilegiando a discussão sobre o poder e sua legitimidade, politizando assim os conflitos presentes no processo de decisão no âmbito das organizações, inclusive nas organizações públicas.

Neste debate, constata-se que estes pólos conceituais não são antagônicos e/ou excludentes entre si, e em certa medida eles se complementam na discussão sobre o conceito de gestão.

Nessa perspectiva, a construção de um conceito-guia sobre gestão partiu, inicialmente, da discussão levantada por Matus ¹⁴ sobre a capacidade de governo, que se aproxima, tanto do ponto de vista conceitual como operacional, da capacidade de gestão. Para Matus ¹⁴, a capacidade de governo é aferida com base em três dimensões, interdependentes entre si, cujas relações compõem o Triângulo de Governo. Essas dimensões revelam a capacidade de governo por meio da articulação dinâmica entre a existência de projetos de governo (Dimensão 1), do grau de governabilidade do sistema (Dimensão 2) e da capacidade de governo (Dimensão 3). Com este entendimento, Matus ¹⁴ agrega conceitos que se situam em campos teóricos que tradicionalmente se polarizam na discussão sobre gestão: o da administração e o da ciência política. Este modelo triangular de governo privilegia tanto categorias normativas (existência de projetos) e categorias administrativas (capacidade técnica), como categorias políticas (governabilidade do sistema).

Assim, o conceito-guia de gestão adotado, assume que a capacidade de gestão de uma organização pode ser também aferida pela capacidade de formular projetos, políticas e normas legais; pelas condições técnicas e administrativas (recursos humanos, materiais e financeiros), que representam as condições logísticas para a execução e por sua capacidade de articular e de mobilizar alianças e parcerias, assim como recursos políticos e estratégicos, no sentido de assegurar as condições políticas para a busca dos objetivos perseguidos por meio das políticas, dos planos e dos programas.

Outros aspectos foram agregados ao processo de construção do conceito-guia de gestão. O primeiro relativo à escolha sobre o tipo de gestão, ou seja, qual a imagem-objetivo que está sendo perseguida sobre a gestão. Não se tratava, no caso, de avaliar uma idéia descontextualizada ou descomprometida de gestão. Ao contrário, como antes discutido, tratava-se de desenhar a avaliação de modelo de gestão orientado por princípios previamente estabelecidos. Nesse sentido, o tipo assumido de gestão orientava-se na direção de decisões mais partilhadas, contando com trabalhadores comprometidos com a organização e usuários satisfeitos com o atendimento de suas necessidades, contemplando ainda maior autonomia decisória em todos os níveis e menores entraves burocráticos e distanciamentos hierárquicos, o que permite conferir legitimidade aos gestores e confiabilidade à organização.

Esta constatação conduziu à necessidade desta imagem-objetivo de gestão estar balizada nos princípios orientadores dos novos modelos de gestão pública que são, por sua vez, baseados nas teses do Novo Gerencialismo Público. Observou-se, por exemplo, no bojo das justificativas para criação dos novos modelos de gestão de serviços públicos, que além dos princípios da flexibilidade e da maior autonomia decisória, esses novos modelos de gestão também perseguem uma maior capacidade de sustentar resultados, no sentido da construção de estratégias de gestão que possam assegurar a continuidade dos resultados obtidos e favorecer maior confiabilidade à organização.

Diante disso, o conceito de capacidade de gestão agregou, na sua dimensão política, a idéia de sustentabilidade, contemplando aspectos relacionados com a institucionalização de mecanismos e estratégias que ampliem e/ou consolidem apoios e alianças capazes de favorecer a manutenção das decisões e dos resultados pretendidos.

Nesta perspectiva, o conceito de gestão que serviu de referência para a construção da proposta de avaliação, parte do entendimento de que a decisão é o elemento central que perpassa o processo de gestão e se revela por meio de três dimensões: uma dimensão organizacional que evidencia o formato do processo decisório (quem e como se decide); uma dimensão operacional (capacidade de executar) que indica iniciativas de gestão no sentido de manter e ampliar as condições logísticas e gerenciais da organização, mobilizando recursos, inclusive os estratégicos; e a dimensão da sustentabilidade (capacidade de sustentar resultados) que revela como os gestores vêm construindo a capacidade de sustentar os resultados de gestão.

Dessa forma, a capacidade de gestão de uma organização social foi concebida como sendo a faculdade de uma organização em decidir com autonomia, flexibilidade e transparência, mobilizando recursos e construindo a sustentabilidade dos resultados de gestão. Este conceito foi a ferramenta teórico-analítica do modelo metodológico desenhado para aferir a capacidade de gestão de organizações socais.

A construção do Plano de Indicadores

A convenção de conceitos operacionais

O Plano de Indicadores foi construído em duas etapas. A primeira envolveu a definição das dimensões e das variáveis. A segunda contemplou a seleção do conjunto de indicadores, suas descrições, cálculos, fórmulas, requisitos e parâmetros, orientados por premissas a serem confirmadas e que representam o caminho de volta que os indicadores deverão realizar.

Vale ressaltar que a construção do Plano de Indicadores exigiu decisões metodológicas que conformam a proposta de avaliação em sua totalidade. Neste particular, partiu-se do entendimento de que esta construção deve ser vista como um exercício contínuo, o que significa revisões e adaptações continuadas e contextualizadas dos indicadores, tendo em vista o aperfeiçoamento da capacidade de aferir aquilo a que se propõem. Nesta perspectiva, o Plano de Indicadores não se constitui em um produto universal e acabado, ao contrário, defende-se que este deve ser sempre submetido às críticas que possibilitem ajustes, principalmente no que diz respeito à parametrização dos diversos indicadores propostos.

Foi também necessário convencionar um conceito operacional importante, o de Indicador, que foi concebido como sendo elemento que indica certa condição, característica, qualidade, atributo ou medida numérica que, ao registrar, compilar e analisar facilita que conceitos mais complexos se tornem mensuráveis. Nesse sentido, o Indicador sintetiza ou representa e/ou dá maior significado ao que se quer avaliar. Pode ser representado por um número, por uma relação entre dois eventos ou uma qualidade do evento. O mais importante é que o Indicador só é válido no contexto específico onde se processa a avaliação.

Para que os indicadores permitissem a leitura do fenômeno foi necessário também definir os parâmetros da avaliação. Obtido um determinado resultado, e sendo necessário emitir um julgamento, tornou-se essencial, como em qualquer avaliação, estabelecer um ótimo esperado, e outras gradações, como referência para a emissão do juízo de valor.

Importante destacar que, em se tratando da avaliação da capacidade de gestão de organizações sociais, entidades relativamente recentes, uma das maiores dificuldades referiu-se à condição de sistematizar ou adaptar indicadores e parâmetros já testados. Dessa forma, tratou-se predominantemente de construir indicadores e propor parâmetros, tendo por referência o conceito-guia e os pressupostos sobre a inovação do modelo de organizações sociais no campo da gestão.

Resultou de todo este processo a elaboração de uma matriz contemplando 34 indicadores, distribuídos nas dimensões organizacional, operacional e da sustentabilidade da gestão, que estruturam o conceito-guia de gestão e somam um total de 194 pontos. A matriz é composta pelos indicadores, cálculos, fórmulas, requisitos e parâmetros adotados, orientados por premissas a serem confirmadas, que representam o caminho de volta que os indicadores devem realizar.

Na etapa da construção das três dimensões foram adotadas questões e premissas para traçar o caminho de ida para a construção dos indicadores.

• Na Dimensão Organizacional, temos como exemplo:

Questão: os gestores da organizações sociais têm capacitação técnica e experiência prévia em gestão e os conselheiros foram eleitos para o cargo e sua atuação é reconhecida pelo conjunto de trabalhadores da organização?

Premissa: um perfil desejável de gestor contempla capacitação técnica e experiência prévia como requisitos desejáveis para lhe conferir legitimidade técnico-política para decidir. A legitimidade política é conferida pela condução via eletiva aos cargos e pelo exercício efetivo da liderança.

Indicador 1: porcentual de atendimento pelos gestores de requisitos para exercício da função gerencial. Pontuação prevista: 4 (2,0 pontos a cada 25% de respostas positivas).

• Na Dimensão Operacional, temos como exemplo:

Questão: os gestores têm promovido iniciativas no sentido de ampliar alianças e parcerias para manter ou ampliar as condições logísticas e gerenciais da organização?

Premissa: a autonomia decisória e a flexibilidade administrativa prevista para o modelo de organizações sociais possibilitam aos gestores condições para manterem e ampliarem as condições logísticas e operacionais da organização, incorporando novas fontes de financiamento, de recursos técnicos e estratégicos.

Indicador 20: tipo (diversidade) de recursos incorporados por intermédio de parceiros externos. Pontuação prevista: para 2 ou mais tipos = 4 pontos; pelo menos 1 tipo = 2 pontos.

• Na Dimensão da Sustentabilidade, temos como exemplo:

Questão: as iniciativas de gestão têm contemplado a construção de um processo de trabalho e de decisão calcado na liderança e na busca de alianças, elevando a satisfação dos trabalhadores, dos usuários e dos parceiros com a condução da organização pelos gestores?

Premissa: uma gestão autônoma e orientada pela flexibilidade gerencial, propiciada pelo modelo de organizações sociais, utiliza distintos expedientes de divulgação e difusão de informações dentro da organização e institucionaliza mecanismos de gestão para ausculta dos trabalhadores e dos usuários, o que eleva o grau de transparência do processo de decisão e da satisfação destes com a condução da organização pelos gestores, o que soma para a sustentabilidade dos resultados de gestão.

Indicador 26: percentual de trabalhadores que referem existência de mecanismos de retorno sobre a avaliação de seu desempenho. Pontuação prevista: 3; 1,5 pontos para cada 25% de respostas positivas.

O Plano de Análise

O Plano de Indicadores sistematiza as variáveis e os indicadores que integram a metodologia de avaliação. No entanto, saber que dados e informações são necessários e os seus meios de verificação não encerra a tarefa da avaliação. Partindo da premissa central de que avaliar é atribuir um julgamento de valor, impõe-se a necessidade de emitir um julgamento desses dados em função de uma escala de critérios que podem ser explícitos ou implícitos ^15,16.

Dupuis ¹⁵ acrescenta que a definição dos critérios e valores para julgamento dos resultados em uma avaliação estabelece a efetiva diferenciação entre esta e a realização de uma auditoria ou de um controle administrativo. Por outro lado, esses critérios devem estar devidamente justificados e partilhados pelo maior número de atores envolvidos com o alvo da avaliação. Isto porque critérios e valores atuam na avaliação como os fundamentos que orientam todas as análises, o que permite dar sentido a um conjunto de dados e informações que, sem este referencial, não ultrapassariam a condição de meros descritores da situação avaliada.

No caso desta proposta metodológica assumiu-se que: (a) a avaliação tem o sentido de produzir respostas sobre a capacidade de gestão de organizações sociais; (b) que todos os critérios para a avaliação seriam explícitos, inclusive como forma de garantir a aplicação da metodologia e a análise comparativa dos achados no tempo e entre diferentes organizações.

De outra parte, reuniões e oficinas foram realizadas visando a pactuar com atores das organizações sociais, com aqueles que vêm se responsabilizando pela implantação e acompanhamento deste modelo de gestão no âmbito da administração pública e também com especialistas da área, as variáveis, os indicadores e as premissas da avaliação. Todo este processo resultou na construção de uma escala conceitual que partiu de categorias mais abstratas até alcançar variáveis mensuráveis, organizadas sobre a forma de indicadores.

Uma dificuldade adicional na construção da matriz de indicadores foi a ausência de referenciais testados que pudessem ser adotados como parâmetros para esta avaliação.

Frente ao exposto, partindo-se da construção teórica e adotando como cenário os princípios que, no plano conceitual e também político, justificam a adoção do modelo de organizações sociais, construiu-se os critérios para as análises dos resultados de cada um dos indicadores.

Visando a permitir uma melhor compreensão dos achados e, também, como forma de favorecer o acompanhamento dos resultados no tempo, optou-se por esclarecer os critérios e pontuar os resultados, de acordo com uma escala numérica. Dessa forma, uma situação ideal seria representada pelo alcance do máximo de pontuação possível para cada um dos indicadores, tendo em vista os pontos atribuídos e os critérios adotados para a pontuação a partir das respostas obtidas no levantamento dos dados. O anverso desta situação seria, em teoria, representado pela inexistência de pontuação (zero ponto), o que significaria o não alcance de pontos em qualquer dos indicadores considerados.

Tomada esta decisão metodológica, o passo seguinte foi estabelecer como seriam valorados os diferentes indicadores. Para tanto, considerou-se: (a) que os indicadores detêm natureza distinta na medida em que mensuram fenômenos diversos e, por essa razão, detêm poder de definição também diferenciada sobre a capacidade de gestão; (b) que os indicadores buscam mensurar fenômenos que expressam, no processo de gestão, os princípios que orientaram a opção pelo modelo de organizações sociais. Alguns dos indicadores precedem a outros em ordem de importância porque medem aspectos do fenômeno que, segundo sua natureza, são também mais importantes na caracterização dos princípios que regem a consolidação da organização social.

Resultou das considerações acima, a seguinte ponderação, apresentada por ordem de prioridade dos indicadores selecionados:

1. Indicadores de participação: conjunto de indicadores que mensuram o envolvimento de diferentes atores no processo de planejamento utilizado pela organização.

2. Indicadores de conhecimento: conjunto de indicadores que mensuram a disseminação de conhecimentos estratégicos entre diferentes atores organizacionais.

3. Indicadores de satisfação: conjunto de indicadores que mensuram a satisfação referida de diferentes atores internos e externos com os aspectos estratégicos na gestão de uma organização social.

4. Indicadores de existência: conjunto de indicadores que mensuram a existência efetiva ou referida, na organização, de procedimentos e ou mecanismos que são estratégicos na implementação e sustentação de um modelo diferenciado de gestão.

Os valores atribuídos a cada um dos indicadores representam um máximo de pontuação que pode ser alcançado. Desta forma, foi necessário definir critérios para pontuar os diferentes resultados que podem advir quando da aplicação da metodologia. Para tanto, importa considerar que: (a) alguns indicadores contemplam resultados dicotômicos (sim e não). Nestes casos, os pontos serão totalmente atribuídos para a resposta positiva; (b) os indicadores que mensuram a freqüência de determinadas respostas entre um conjunto de atores podem assumir valores entre zero e o total de respostas possíveis.

Assim, a pontuação total prevista foi redistribuída de forma a corresponder às possibilidades das respostas, o que se fez a partir dos seguintes princípios:

• Adoção de uma escala numérica com quatro pontos de corte (25%, 50%, 75% e 100%), que representam o percentual de respostas esperadas.

• Para alguns indicadores arbitrou-se que só é possível alcançar a pontuação máxima com o total de respostas positivas. Este critério foi adotado para aqueles indicadores (a exemplo do indicador 3: percentual de trabalhadores que referem conhecimento sobre existência do Conselho Curador ou Administrativo com um total de 8 pontos possíveis de obter a partir de 25% de respostas positivas) que expressam fenômenos mais relevantes e para os quais a maior pontuação possível é teoricamente viável.

• Para outros indicadores (a exemplo do indicador 7: percentual de trabalhadores que referem ter participado do processo de elaboração do Plano de Metas ou de outro instrumento de planejamento utilizado pela organização, com um total de 10 pontos para 25% de respostas positivas) arbitrou-se a divisão dos pontos totais em até 25%, 50% e 75% de respostas positivas, o que significa aceitar que em alguns casos, um percentual de respostas menor que 100% é também relevante.

Para alcançar os resultados finais da avaliação, após registrar os valores obtidos em cada um dos indicadores, procede-se à soma dos valores. Dessa forma os avaliadores chegarão a um valor numérico que expressa a capacidade de gestão da organização.

Por último, importa ressaltar a metodologia utilizada para a leitura dos achados. Neste sentido, assumindo que o foco da avaliação é o processo de gestão, admite-se que o resultado conclusivo da análise deve sinalizar para um momento específico no desenvolvimento da capacidade de gestão de uma organização social. Isto implica que a metodologia não avalia uma gestão como boa ou má, evitando as armadilhas de avaliações binárias que não geram perspectivas de aperfeiçoamento, seja para os "bons", seja para os "maus".

Da mesma forma, considerou-se que qualquer metodologia de avaliação deve revelar os pontos críticos que vêm constrangendo o desenvolvimento pleno da capacidade de gestão de uma organização. Assim, tanto os gestores da organização como os gestores do processo de implementação do modelo de organizações sociais podem incorporar os resultados da avaliação como parte do planejamento de ações presentes e futuras, e não apenas julgar o que não foi feito ou o que foi feito inadequadamente no passado.

Também para esta avaliação da capacidade de gestão como um continnum fez-se necessário arbitrar valores. Neste caso optou-se por uma leitura inclusiva dos resultados, o que levou à concepção da seguinte escala de valores: (a) entre zero e 48,5 pontos (até 25% de desempenho): insuficiente desenvolvimento da capacidade de gestão; (b) entre 48,6 e 97,0 pontos (26 a 50%): baixo desenvolvimento da capacidade de gestão; (c) entre 97,1 e 145,5 pontos (51 a 75%): médio alto desenvolvimento da capacidade de gestão; (d) entre 145,6 e 194 pontos (76% ou mais de desempenho): alto desenvolvimento da capacidade de gestão.

Para reconhecer os pontos de constrangimentos e também os pontos altos da capacidade de gestão faz-se uma leitura crítica dos resultados obtidos com os indicadores. Tendo em vista o desenho da avaliação, isto permite: (a) identificar os indicadores que obtiveram piores e melhores resultados; (b) promover discussões internas com a equipe sobre os determinantes e os condicionantes do comportamento de determinadas variáveis; (c) identificar constrangimentos e sua inserção, os quais podem ser internos ou externos à organização; (d) definir e articular estratégias para a superação de constrangimentos no curto, médio e longo prazos.

Considerações finais

O desenvolvimento da metodologia para avaliação da capacidade de gestão de organizações sociais encerrou uma série de desafios e, por isto mesmo, permitiu aprendizagens sobre a própria proposta de organizações sociais, sobre o conceito de gestão e sobre muitos dos aspectos que envolvem a avaliação de qualquer ação.

Por outro lado, importa destacar que os autores adotaram um caminho metodológico compatível com as exigências da pesquisa acadêmica para o desenvolvimento da proposta de avaliação, mas os objetivos do trabalho vão além dos relativos à produção de conhecimento. Tendo em vista o entendimento de que a avaliação deve ser uma prática incorporada ao cotidiano das organizações públicas, argumenta-se que os instrumentos de avaliação devem ser factíveis e viáveis. Desta forma, o rigor que presidiu as escolhas conceituais e decisões procedimentais visaram a produzir um desenho de avaliação que, de um lado, possa garantir a confiabilidade dos resultados e também sua sensibilidade em aproximar-se do fenômeno em avaliação, por outro, a aplicabilidade do instrumental e sua reprodutibilidade em diferentes contextos também deveria estar preservada.

Um aspecto relevante foi o constante diálogo entre os pesquisadores e os técnicos do estado e das organizações sociais no desenho da proposta. É reconhecido que esse diálogo não se faz sem dificuldades, o que valoriza ainda mais o esforço em se tratando de uma avaliação que gera resultados sobre o trabalho de muitas pessoas.

Cabe ainda ressaltar que presidiu o desenvolvimento do trabalho o entendimento de que uma avaliação é positiva quando é capaz de contribuir para a identificação dos problemas e de proposições para o seu enfrentamento. Desta forma, pressupõe-se que a avaliação proposta não se encerra em si mesma, ao contrário, subsidia o planejamento de um futuro na direção da conquista de um desenvolvimento pleno da capacidade de gestão.

Colaboradores

Todos os autores participaram da pesquisa que deu origem ao artigo. C. Melo coordenou a pesquisa e elaborou o artigo que foi revisto pelos demais autores.

Referências

1. Ministério da Administração Federal e Reforma do Estado. Organizações sociais. Brasília: Secretaria da Reforma do Estado, Ministério da Administração Federal e Reforma do Estado; 1997.          (Cadernos MARE da Reforma do Estado 2).

2. Diniz E. Governabilidade, democracia e reforma do Estado: os desafios da construção de uma nova ordem no Brasil dos anos 90. In: Diniz E, Azevedo S, organizadores. Reforma do Estado e democracia no Brasil. Brasília: Editora Universidade de Brasília; 1997. p. 28-35.        

3. Gaetani F. The reform of the Brazilian State apparatus: an ex-ante analysis [Master Dissertation]. London: Department of Government, London School of Economics and Political Science; 1998.        

4. Fleury S. Fundamentos de la reforma del Estado. In: Anais do XXV Congresso Brasileiro de Pós-graduação em Administração [CD-ROM]. Foz do Iguaçu: Associação Nacional dos Programas de Pós-graduação em Administração; 2001.        

5. Secretaria da Administração do Estado da Bahia. Guia de constituição de organizações sociais. Salvador: Secretaria da Administração do Estado da Bahia; 2002.        

6. Arretch M. Federalismo e relações intergovernamentais no Brasil: a reforma de programas socais. Dados Rev Ciênc Sociais 2002; 45:431-58.        

7. Souza C, Carvalho IMM. Reforma do Estado, descentralização e desigualdades. Lua Nova: Revista de Cultura e Política 1999; 48:187-212.        

8. Barselay M. A nueva gerencia pública: um ensayo bibliográfico para estudiosos latinoamericanos (y outros). Revista del CLAD, Reforma y Democracia 2001; 19.        

9. Schneider B. La política de la reforma administrativa: dilemas insolubres y soluciones improbables. Revista del CLAD, Reforma y Democracia 2001; 20. http://www.clad.org.ve/reforma.html (acessado em 25/Ago/2003).        

10. Centro Latinoamericano de Administración para el Desarrollo. Una nueva gestión publica para America Latina. http://www.clad.org.ve/fulltext/ 0032400.pdf (acessado em 20/Out/2001).        

11. Pestana C. Práticas de avaliação na gestão descentralizada de saúde: a experiência de Vitória da Conquista: 1998-2001 [Dissertação de Mestrado]. Salvador: Escola de Administração, Universidade Federal da Bahia; 2002.        

12. Draibe S. Avaliação de programas. In: Barreira MCRN, Brant MCC, organizadores. Tendências e perspectivas na avaliação de políticas sociais. São Paulo: Instituto de Estudos Especiais, Pontifícia Universidade Católica de São Paulo; 2001. p. 165-81.        

13. Motta PR. Gestão contemporânea: a ciência e a arte de ser dirigente. Rio de Janeiro: Editora Record; 1991.        

14. Matus C. Política, planejamento e governo. Brasília: Instituto de Pesquisa Econômica Aplicada; 1993.        

15. Dupuis J. Les raisons du faible impact des évaluations. Cahiers de la Décentralisation 1998; 38:38-9.        

16. Figueiredo MF, Figueiredo AMC. Avaliação política e avaliação de políticas: um quadro de referência teórica. São Paulo: Instituto de Estudos Econômicos, Sociais e Políticos de São Paulo; 1986.        

Endereço para correspondência
C. Melo
Escola de Enfermagem, Universidade Federalda Bahia
Campus Universitário do Canela s/n,
Salvador, BA 40 110-060, Brasil
cmmelo@ufba.br

Recebido em 07/Out/2003
Versão final reapresentada em 10/Mai/2004
Aprovado em 09/Jun/2004