IEEE LATIN AMERICA TRANSACTIONS, VOL. 14, NO. 11, NOV. 2016

4499

Efficiency Evaluation of Brazilian Electrical Distributors Using Data Envelopment Analysis Game and Cluster Analysis L. G. Machado, J. C. C. B. S. de Mello and M. C. Roboredo Abstract—1This paper presents a methodology for benchmarking identification in Data Envelopment Analysis (DEA) combining DEA Game cross efficiency model and cluster analysis in a sequential way. The DEA Game seeks, in a noncooperative game, not just the ideal efficiency for one Decision Making Unit (DMU), but also for all the others. Since the traditional approach of DEA Game only provides efficiency rates this study will also make a cluster analysis using hierarchical clustering technique, known Ward’s method, in order to obtain realistic benchmarks. These benchmarks will be obtained in the cluster analysis, where similar units will be grouped, by defining as benchmark the DMU more efficient in each cluster. Allowing in this way the inefficient units set tangible goals and objectives to improve their performance in the future. As an application of the proposed methodology, 61 Brazilian electrical distributors are considered. Keywords— Data Envelopment Analysis, Cross Efficiency Evaluation, DEA Game, Cluster Analysis.

I. INTRODUÇÃO MÉTODO não paramétrico de Análise Envoltória de ODados (Data Envelopment Analysis - DEA) é bastante

utilizado para medir a eficiência de sistemas produtivos através da relação entre os níveis de insumos (inputs) utilizados na produção e os níveis de resultados (outputs) obtidos pelas unidades produtivas (Decision Making Units – DMUs). Nesse estudo, é utilizada inicialmente uma técnica de avaliação cruzada, que é uma metodologia complementar de DEA, para avaliar as distribuidoras de energia elétrica brasileiras. A avaliação cruzada clássica, que foi inicialmente desenvolvida em [1], tem como ideia principal utilizar DEA em uma avaliação por pares, em que cada DMU é avaliada segundo os pesos ótimos das outras DMUs. No entanto, conforme já destacado em [2] a multiplicidade dos pesos ótimos em DEA diminui a utilidade dessa técnica. Por isso, nesse artigo iremos utilizar a abordagem de DEA Game. O uso dessa metodologia é devido a duas vantagens principais. A primeira é porque o resultado da avaliação cruzada usando DEA Game representa um equilíbrio de Nash e, por isso, é uma solução estável. A segunda vantagem é o fato desta técnica ser adequada justamente para mercados não cooperativos, o que é uma característica conhecida do setor de L. G. Machado, Universidade Federal Fluminense (UFF), Niterói, Rio de Janeiro, Brasil, [email protected] J. C. C. B. S. de Mello, Universidade Federal Fluminense (UFF), Niterói, Rio de Janeiro, Brasil, [email protected] M. C. Roboredo, Universidade Federal Fluminense (UFF), Niterói, Rio de Janeiro, Brasil, [email protected]

energia elétrica. Para complementar esse resultado, visto que a abordagem prévia fornece apenas a ordenação das unidades, serão determinadas as referências (benchmarks) para as DMUs consideradas ineficientes através de uma análise do cluster. Para tal, a proposta deste estudo é contribuir para uma nova metodologia que utiliza, de maneira conjunta, a avaliação cruzada com pesos dados pelo DEA Game e uma técnica de aglomeração hierárquica. Consegue-se, dessa forma, que as próprias DMUs com base em seu perfil de eficiência possam identificar quais as unidades produtivas que tem mais afinidade e encontrem seus benchmarks de maneira mais factível para elas do que outros modelos já propostos. Para aplicação da técnica proposta é considerado o setor de energia elétrica, para o qual existem na literatura várias pesquisas que envolvem DEA com o objetivo de avaliar a eficiência deste setor conforme os estudos [3], [4], [5], [6], [7], [8], [9], [10], [11] e [12] que serão detalhados a seguir. Esse tipo de análise é de interesse dos reguladores pois as técnicas de benchmarking são normalmente utilizadas no processo de revisão tarifária, com o objetivo de estimar os custos operacionais eficientes para as distribuidoras. Em [3] é analisada a regulação de diversos países para distribuição de energia elétrica e é possível concluir que entre uma grande variedade de métodos de benchmarking adotados, há uma preferência por métodos não paramétrico como DEA. Além disso, como variáveis mais utilizadas, temos como inputs tamanho da rede, capacidade de transformação, métricas relacionadas ao trabalho e custos operacionais (OPEX). Como outputs mais utilizados pode-se destacar a energia vendida e o número de consumidores. A avaliação das eficiências das distribuidoras brasileiras considerando também aspectos de qualidade operacional relacionada com o fornecimento de energia é visto em [4]. Dessa forma, foram considerados como input os custos operacionais e como outputs o número de consumidores, a energia distribuída, índice de satisfação do consumidor (IASC), duração equivalente de interrupção por unidade consumidora (DEC) e frequência equivalente de interrupção por unidade consumidora (FEC). Os dois últimos outputs são outputs indesejáveis, ou seja, que se pretendem minimizar. Por fim, foi realizada a avaliação das distribuidoras usando alguns enfoques em DEA para outputs indesejáveis e foi determinado o ranking das empresas. Em [5] foi utilizado o modelo Network DEA com duas etapas para avaliar as distribuidoras de energia elétricas brasileiras. Na abordagem proposta, o comprimento da rede foi definido como o output da primeira etapa (cujo o input é uma taxa dos custos operacionais) e como input para a

4500

segunda etapa (cujo os outputs são os números de consumidores e consumo total). Além disso, fatores de divisão dos custos operacionais entre os estágios são levados em consideração. Para tornar o estudo mais completo, dois modelos de Network DEA foram introduzidos. Outro estudo analisa 60 empresas de distribuição brasileiras que são agrupadas em três clusters comparáveis através do método de Ward [6]. Os agrupamentos foram definidos com base no porte das empresas e consideraram variáveis como OPEX, extensão da rede, número de consumidores e montante de energia elétrica fornecida. Posteriormente, foi utilizado o modelo DEA CCR orientado a input para o cálculo das eficiências em cada agrupamento formado. No estudo foi utilizado como input o OPEX das empresas e como outputs foram considerados o total de consumidores atendidos, o montante de energia fornecida, a extensão da rede e o IASC. Com o objetivo de propor uma alternativa à metodologia proposta pela Agência Nacional de Energia Elétrica (ANEEL) para o terceiro ciclo de revisões tarifárias das distribuidoras, em [7] é sugerido primeiro fazer um agrupamento das distribuidoras por variáveis ambientais usando Mapas Auto Organizáveis (Self-Organizing Maps - SOM). Posteriormente é aplicado o modelo DEA, utilizando retornos não decrescentes de escala. Em [8] também são apresentadas possíveis melhoras na aproximação adotada pela ANEEL para o cálculo dos custos operacionais eficientes. Para isso, foram medidas as eficiências de 60 distribuidoras brasileiras utilizando DEA. Os autores discutem que o modelo utilizado atualmente permite pesos zeros para alguns outputs, ao não impor restrições aos pesos. Para resolver esse problema se propõe o uso de ACWR (Adjusted Contingent Weight Restrictions). Além disso, também são utilizados os Mapas Auto Organizáveis para agrupar as distribuidoras e evitar que as avaliações sejam realizadas considerando benchmarks irreais. Outro trabalho aplicado à regulação do setor de energia elétrica é encontrado em [9]. O uso de DEA em planejamento energético é feito em [10]. Sendo a previsão uma ferramenta necessária ao planejamento, os artigos [11] e [12] podem ser considerados na mesma linha do anterior. Na revisão da literatura quando analisados os trabalhos que realizam a análise de cluster é possível encontrar duas variações. Primeiro os estudos que fazem os agrupamentos baseados em variáveis exógenas ao modelo DEA como nos artigos [6] e [7], que fazem a clusterização baseada em variáveis ambientais. Em contrapartida, existem estudos que realizam os agrupamentos baseados nos próprios resultados obtidos em DEA, como é o caso de [8] e do estudo desenvolvido neste artigo. Este artigo está estruturado em cinco seções. A primeira introduz o tema abordado e na seção II são aprofundados os principais conceitos das técnicas utilizadas no modelo proposto. Na seção III é detalhada a proposta do modelo de determinação dos benchmarks desenvolvido nesse estudo. A quarta seção consiste no estudo de caso em que são aplicados os conceitos propostos no setor de distribuição de energia elétrica. Por fim, na seção V são apresentadas as principais conclusões obtidas no estudo desenvolvido.

IEEE LATIN AMERICA TRANSACTIONS, VOL. 14, NO. 11, NOV. 2016

II. AVALIAÇÃO CRUZADA USANDO DEA GAME O uso de DEA para calcular a eficiência permite, através do uso de um problema de programação linear (PPL), que cada DMU tenha pesos menores ou nulos a aquelas variáveis que sejam desfavoráveis a ela. Devido a isso, os pesos utilizados pelas diferentes DMUs para cada variável variam amplamente. Desta forma, uma DMU pode atingir 100% de eficiência dando um peso alto para um input e para um output, e para as demais variáveis colocar pesos iguais a zero. Uma maneira de evitar esse problema de determinação dos pesos é utilizar a avaliação cruzada, que é um método desenvolvido como uma extensão da metodologia DEA. Tal método tem por objetivo solucionar alguns dos problemas dos modelos básicos de DEA, como o excesso de pesos nulos fazendo com que algumas variáveis sejam desconsideradas da análise e a baixa discriminação das DMUs eficientes [13]. A ideia principal da avaliação cruzada é usar a metodologia DEA em uma avaliação por pares e não apenas uma auto avaliação, o que pode gerar uma maior aceitação do resultado do modelo [14]. A avaliação cruzada utiliza os pesos atribuídos a cada DMU d (vid e ujd), conforme o modelo DEA escolhido, e os utilizam para avaliar as demais DMUs. Na equação 1 é detalhada a eficiência da DMU k quando avaliada segundo os pesos da DMU d (Edk), em que xik representa o input i da DMU k e yjk representa o output j da DMU k.

=

∑

(1)

∑

Em geral, os pesos ótimos dos inputs e dos outputs medidos no modelo podem não ser únicos para as DMUs ditas eficientes [15]. Isto significa que existem múltiplos conjuntos de pesos ótimos que fornecem o mesmo índice de eficiência para a DMU. Para que o conjunto de pesos fornecido como solução ótima não prejudique ou beneficie nenhuma DMU, é utilizado um novo PPL com uma função objetivo secundária. Para resolver as múltiplas soluções, em [1] e [2] são sugeridas o uso da formulação agressiva e da benevolente na avaliação cruzada. Utilizando a formulação agressiva na avaliação cruzada o conjunto de pesos selecionados é escolhido para não apenas maximizar a eficiência de uma DMU em questão, mas também minimizar a eficiência de todas as demais. Já na abordagem benevolente, o objetivo é não apenas maximizar a eficiência de uma DMU, mas sim de todas. O PPL desenvolvido para a formulação agressiva, desenvolvido por [2], é apresentado a seguir.

Sujeito a

(2) −

≤ 0, ∀ ≠

−

=0 =1

,

≥ 0, ∀ ,

GONÇALVES MACHADO et al.: EFFICIENCY EVALUATION

4501

A formulação benevolente possui as mesmas restrições, no entanto a função objetivo é de maximização ao invés de minimização. Quando as DMUs são vistas como jogadores em um jogo, a eficiência da avaliação cruzada pode ser vista como uma recompensa e cada DMU pode escolher uma postura de jogador não cooperativo. Com isso, fará uma tentativa de maximizar sua eficiência em seu próprio benefício. Devido a isso, uma nova abordagem em avaliação cruzada que utiliza os pesos dados pelo DEA Game é sugerida em [16]. O método da avaliação cruzada usando o DEA Game pode ser considerado como uma forma geral da avaliação cruzada benevolente. A diferença entre esse novo método e o tradicional da formulação benevolente é a forma como serão definidos os pesos ótimos de uma DMU. No caso do DEA Game para cada DMU k e cada DMU d, um grupo de multiplicadores é determinado para otimizar a eficiência de k, com a restrição adicional que o resultado para DMU d deve ser igual ou acima da melhor estimativa obtida para a eficiência cruzada média de d até o momento. Na formulação benevolente tradicional, é analisado o problema pela perspectiva das (n-1) DMUs e a tentativa de encontrar a melhor média para esse conjunto, mas garantindo que a eficiência ideal da DMU d não seja violada. No entanto, quando se trata de DEA Game o objetivo é não apenas encontrar a eficiência ideal para a DMU d, mas também há um esforço para usar os pesos que serão realmente representativos para a avaliação das performances. O problema surge quando não se sabe a melhor performance de d até as melhores performances das demais DMUs serem conhecidas. Para resolver esse problema é adotada uma abordagem iterativa que irá tender ao equilíbrio conforme demonstrado em [16] e [17]. Considerando que esse estudo será focado no modelo DEA CCR, suponha-se uma DMU d com a postura de um jogador não cooperativo e com eficiência αd. Além disso, supor um outro jogador, DMU k, que tenta maximizar sua própria eficiência, tendo como condição não diminuir o valor de αd. A avaliação cruzada com pesos dados pelo DEA Game é definida em (3). =

∑

∑ d = 1, 2, ..., n

(3)

O subscrito dk indica que a DMU k pode escolher apenas pesos que não irão diminuir a eficiência já estimada da DMU d. A diferença entre (1) e (3) é que os pesos em (3) não necessariamente são ótimos, mas sim soluções viáveis em DEA. Essa definição permite que as DMUs escolham e negociem o conjunto de pesos que serão utilizados e que seja o melhor para todas as DMUs. Esta negociação leva a um equilíbrio de Nash. A formulação matemática da avaliação cruzada que maximiza a eficiência de uma DMU k sem diminuir a da DMU d é detalhado em (4). eficiência cruzada

Sujeito a

(4) −

≤0

=1 − ,

≤0

≥ 0, ∀ ,

É importante ressaltar que a eficiência αd é menor ou igual a 1. O modelo (4) é muito similar ao modelo clássico DEA CCR orientado a input. A diferença é a inclusão de uma restrição garantindo que os pesos escolhidos para DMU k não diminuirão a eficiência da DMU d conhecida até o momento e denotada por . O algoritmo desenvolvido é iterativo, em que αd inicialmente assume o valor obtido pelo método tradicional da avaliação cruzada para a DMU d. Ao fim do algoritmo, αd se torna a melhor das médias obtidas na avaliação cruzada [18]. Durante a execução do algoritmo, em cada iteração, para cada DMU k, o modelo (4) é executado n vezes, uma vez para cada DMU d. O pseudocódigo abaixo descreve os passos do algoritmo para determinar o melhor resultado para a DMU k através avaliação cruzada usando DEA Game. Nesse algoritmo, que é utilizado também em [19] e [20], representa a eficiência da DMU k na iteração t e representa um pequeno valor especificado. • • • •

Passo 1: Admitir o t=1. Para cada DMU k, calcular a eficiência da avaliação cruzada clássica e deixar = , ∀ ∈ 1, … , . Passo 2: Para cada par de DMUs k e d, resolver o modelo (4) e obter . Passo 3: Admitir = ∑ ,∀ − | > , então Passo 4: Se para algum k, | retornar ao passo 2. Caso contrário, o algoritmo é a eficiência ótima para a avaliação termina e cruzada usando DEA Game para DMU k.

Em [16] foi provado que o algoritmo é convergente e o resultado da avaliação cruzada usando DEA Game é um equilíbrio de Nash e, por isso, uma solução estável. Logo, os resultados e decisões baseados nessa análise são confiáveis. Além disso, foi demonstrado que mesmo utilizando a avaliação cruzada arbitrária ou a avaliação cruzada com a formulação benevolente ou agressiva no passo 1, o algoritmo converge para o mesmo valor. Após o cálculo das eficiências é possível construir uma matriz de eficiências cruzadas conforme detalhado a seguir. A k-ésima coluna corresponde as eficiências da DMU k obtidas usando os pesos de todas as DMUs em avaliação. Já com relação a k-ésima linha, esta é referente às avaliações feitas com o conjunto de pesos da DMU k. Nota-se que nesta matriz de eficiências cruzadas a diagonal principal corresponde à eficiência padrão calculada pelo modelo clássico de DEA, visto que é a avaliação da DMU k segundo os pesos de k. Por fim, é incluída uma última linha nesta matriz com a média de cada coluna, ou seja, na k-ésima coluna desta nova linha será

4502

IEEE LATIN AMERICA TRANSACTIONS, VOL. 14, NO. 11, NOV. 2016

incluída a eficiência cruzada média da DMU k, ek. III. MÉTODO PROPOSTO O objetivo desse estudo é a definição de benchmarks quando utilizada a técnica de avaliação cruzada, visto que este método mesmo contribuindo para um ranking com alta discriminação não permite a definição dos benchmarks sem o uso de uma técnica complementar. Uma dificuldade encontrada quando aplicada a modelagem DEA é que uma DMU ineficiente e seus conjuntos de referência podem não ser de natureza semelhante em suas práticas. Portanto, é possível que o benchmark definido gere metas inatingíveis para as DMUs ineficientes [21]. Devido a isso, nesse trabalho a análise de cluster é usada para a identificação dos benchmarks. A metodologia proposta nesse estudo consiste em duas etapas, na primeira etapa é utilizada a técnica de avaliação cruzada para a definição das eficiências e na segunda etapa é utilizado um método hierárquico para a definição dos agrupamentos das DMUs. Na primeira etapa, após a escolha das variáveis a serem estudadas, foi calculada a eficiência cruzada com pesos dados pelo DEA Game conforme algoritmo descrito na seção II. Para fins de comparação também foi calculada a eficiência através do modelo DEA CCR com orientação a input utilizando o software SIAD que é detalhado em [22] e [23]. Dessa forma, como resultado da primeira etapa foi gerado o ranking de eficiência das unidades produtivas e a matriz de avaliação cruzada, que é o insumo principal para o desenvolvimento da fase seguinte. Com o objetivo de retirar a influência das eficiências de cada DMU e analisar apenas a similaridade entre duas unidades produtivas, na segunda etapa foi calculada a correlação entre os pares de colunas da matriz de avaliação cruzada. Um alto coeficiente de correlação positiva indica que duas DMUs são inerentemente semelhantes no que diz respeito a importância que dão aos seus inputs e outputs, ou seja, a forma como atingem a eficiência. Após encontrar os coeficientes de correlação, esses dados foram utilizados como insumo para formar a matriz de similaridade para a aplicação da técnica de aglomeração hierárquica conforme aplicado em [21]. A técnica hierárquica aglomerativa escolhida nesse estudo é o método de Ward e o objetivo da aplicação dessa técnica é produzir uma representação gráfica chamada de dendrograma conforme detalhado em [24] e aplicado em [25]. Após o gráfico gerado, foi analisado o resultado e definida a quantidade de grupos a serem gerados, de modo a manter os grupos relativamente homogêneos. Por fim, com os grupos já formados, a DMU com a eficiência mais alta dentro de um cluster foi considerada como um possível benchmark para as demais DMUs do grupo. Para complementar essa análise, foram calculados também os benchmarks através do modelo DEA CCR e verificado se uma DMU e sua respectiva unidade produtiva de referência estavam no mesmo cluster. Caso a resposta fosse afirmativa, a DMU foi considerada com dois possíveis benchmarks, um definido através do cálculo da avaliação cruzada usando DEA Game com posterior análise de cluster e outro definido através do modelo clássico de DEA.

IV. AVALIAÇÃO DAS DISTRIBUIDORAS DE ENERGIA ELÉTRICA USANDO DEA GAME E CLUSTERS Nesse trabalho são estudadas 61 concessionárias de distribuição do Sistema Elétrica Brasileiro (SEB), que embora todas operem o mesmo tipo de negócio, são bastante heterogêneas em muitos aspectos. Conforme [26], a heterogeneidade entre as distribuidoras não se limita ao tamanho da área de concessão, mas também é percebida no volume de energia transacionado, na quantidade e na concentração espacial das unidades consumidoras, na estratificação dos consumidores por classe de consumo (residencial, comercial, industrial, rural) e no gasto por consumidor. Devido a isso, é um desafio para o regulador definir o benchmark regulatório com base na análise comparativa dos custos operacionais, pois, além da assimetria de informação, ele ainda se defronta com a heterogeneidade das empresas. Por isso, para estabelecer comparações e benchmarks mais realistas, esse estudo propôs os agrupamentos baseados nos próprios perfis de eficiência das unidades produtivas analisadas. Para a definição das distribuidoras como DMUs, assim como as variáveis utilizadas neste modelo, foi utilizado como base os estudos realizados por [7], [27] e [28]. O presente estudo considerou as seguintes variáveis detalhadas na Tabela I, relativas ao ano de 2009, para a realização da modelagem DEA. TABELA I INPUTS E OUTPUTS UTLIZADOS Input OPEX (R$)

Descrição Capital utilizado por uma empresa para manter ou melhorar os seus bens físicos. Nesse estudo são considerados OPEX: despesas gerenciáveis de pessoal, material, serviços de terceiros e outros gastos gerenciáveis. Descrição Total de consumidores que uma distribuidora atende em um determinado momento. Quantidade de energia demandada para uma dada companhia ao longo do ano.

Output Número de Consumidores Mercado Total (TWh)

A variável OPEX, por representar o recurso disponível pela companhia para manter todo o sistema em funcionamento, foi considerada o input do modelo DEA. As demais duas variáveis foram consideradas outputs do modelo, visto que demonstram os resultados obtidos pelas distribuidoras analisadas. As DMUs e as variáveis consideradas no modelo estão apresentadas na Tabela II. TABELA II DMUS E VARIÁVEIS DO MODELO

N⁰ 1 2 3 4 5

DMU AES SUL AME AMPLA BANDEIRANTE BOA VISTA

OPEX (em R$ MM)

Número de Consumidores (em MM)

Mercado Total (em TWh)

206,12 221,17 436,53 286,83 64,66

1,15 0,68 2,37 1,48 0,08

7,62 4,41 9,51 12,54 0,50

GONÇALVES MACHADO et al.: EFFICIENCY EVALUATION

4503

N⁰

DMU

OPEX (em R$ MM)

Número de Consumidores (em MM)

Mercado Total (em TWh)

6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61

CAIUA CEAL CEB CEEE CELESC CELG CELPA CELPE CELTINS CEMAR CEMAT CEMIG CEPISA CERON CFLO CHESP CJE CLFM CLFSC CNEE COCEL COELBA COELCE COOPERALIANÇA COPEL COSERN CPEE CPFL - Paulista CPFL - Piratininga CSPE DEMEI DME-PC EBO EDEVP EEB EFLJC EFLUL ELEKTRO ELETROACRE ELETROCAR ELETROPAULO ELFSM EMG ENERSUL ENF EPB ESCELSA ESE FORCEL HIDROPAN IENERGIA LIGHT MUX-Energia RGE SULGIPE UHENPAL

44,93 221,15 221,98 385,99 721,46 691,47 431,93 350,65 125,51 193,09 286,21 1682,33 205,47 166,02 12,99 9,45 8,53 6,76 30,95 25,25 11,46 436,44 316,17 10,46 1018,87 123,01 10,53 497,29 195,79 10,63 7,20 22,34 26,57 37,82 31,11 1,47 3,77 414,60 60,76 10,38 1249,14 19,94 71,55 202,46 21,81 169,71 241,43 99,04 2,97 5,21 13,59 557,21 1,56 186,36 24,64 6,35

0,21 0,83 0,83 1,44 2,24 2,21 1,67 2,99 0,42 1,69 0,99 6,83 0,89 0,46 0,05 0,03 0,03 0,04 0,18 0,10 0,04 4,62 2,74 0,03 3,63 1,08 0,05 3,50 1,37 0,07 0,03 0,06 0,16 0,16 0,12 0,00 0,00 2,12 0,19 0,03 5,99 0,09 0,37 0,78 0,09 1,06 1,19 0,57 0,01 0,01 0,03 3,64 0,01 1,23 0,12 0,01

0,99 2,45 5,21 7,28 18,11 9,34 5,73 10,00 1,23 3,57 5,57 37,48 1,89 1,91 0,24 0,08 0,49 0,19 0,88 0,49 0,22 14,29 7,93 0,14 23,53 4,13 0,28 25,27 13,01 0,44 0,10 0,38 0,73 0,72 0,86 0,01 0,07 13,40 0,61 0,14 39,92 0,38 1,30 3,44 0,32 3,06 7,90 2,67 0,04 0,08 0,20 22,90 0,05 7,99 0,26 0,06

Com as variáveis definidas foram calculadas as eficiências através do DEA Game e, posteriormente, realizada a análise de cluster. Através da análise do dendrograma resultante foi definida a formação de 3 clusters, de modo a manter os grupos relativamente homogêneos no que se refere a forma como atingem a sua respectiva eficiência. A escolha da formação dos 3 clusters ocorreu após um teste com 4 agrupamentos no dendrograma, em que foi constatado a criação de um cluster com apenas 2 unidades produtivas. Logo, a formação de 4 clusters tornaria a análise posterior de definição de benchmarks menos efetiva devido ao tamanho dos grupos serem tão discrepantes. Por fim, com os clusters gerados foi possível definir os benchmarks de cada grupo. Dessa forma, o benchmark definido para o cluster 1 foi a empresa CPFL Piratininga (DMU N⁰ 34) que obteve a maior eficiência cruzada segundo o DEA Game dentro do seu agrupamento. De forma semelhante, foi definida a empresa COELBA (DMU N⁰ 27) como benchmark do grupo 2 e a empresa COELCE (DMU N⁰ 28) no cluster 3. Por fim, também foram encontrados os benchmarks segundo o modelo DEA CCR e, posteriormente, verificado se uma DMU e sua respectiva unidade produtiva de referência estavam no mesmo cluster. Caso a resposta fosse afirmativa, a DMU teria dois possíveis benchmarks. No entanto, ao fazer essa análise foi constatado que o resultado dos benchmarks do modelo DEA CCR corroborou o resultado obtido através da aplicação do modelo proposto nesse artigo. No entanto, analisando os resultados é possível afirmar que a diferença encontrada é devida, principalmente, ao fato de o modelo DEA CCR não ter identificado a COELCE como um possível benchmark. A Tabela III resume os resultados obtidos nesse estudo. Nela é possível verificar as eficiências mensuradas para os modelos DEA CCR e avaliação cruzada usando o DEA Game. Também é possível identificar o cluster em que cada DMU ficou agrupada. Por fim, na última coluna é detalhado o número da DMU que é o benchmark de cada unidade produtiva da tabela. Essa coluna é o resultado compilado entre as referências encontradas para os dois modelos rodados nesse estudo (DEA CCR e proposta do modelo de benchmarking em DEA Game). Nota-se que nenhuma DMU obteve mais de uma possível referência. TABELA III EFICIÊNCIAS, CLUSTERS E BENCHMARKS GERADOS N⁰ DMU 1 2 3 4 5 6 7 8 9 10 11 12

AES SUL AME AMPLA BANDEIRANTE BOA VISTA CAIUA CEAL CEB CEEE CELESC CELG CELPA

DEA CCR 0,6765 0,3686 0,5498 0,6984 0,1456 0,4928 0,3551 0,4424 0,4075 0,4105 0,3297 0,3746

DEA Game 0,6735 0,3670 0,5490 0,6943 0,1450 0,4915 0,3517 0,4406 0,4063 0,4081 0,3291 0,3743

Cluster

Benchmark

1 1 1 1 1 1 3 1 1 1 1 2

34 34 34 34 34 34 28 34 34 34 34 27

4504

IEEE LATIN AMERICA TRANSACTIONS, VOL. 14, NO. 11, NOV. 2016

N⁰ DMU 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61

CELPE CELTINS CEMAR CEMAT CEMIG CEPISA CERON CFLO CHESP CJE CLFM CLFSC CNEE COCEL COELBA COELCE COOPERALIANÇA COPEL COSERN CPEE CPFL - Paulista CPFL - Piratininga CSPE DEMEI DME PC EBO EDEVP EEB EFLJC EFLUL ELEKTRO ELETROACRE ELETROCAR ELETROPAULO ELFSM EMG ENERSUL ENF EPB ESCELSA ESE FORCEL HIDROPAN IENERGIA LIGHT MUX - Energia RGE SULGIPE UHENPAL

DEA CCR 0,8225 0,3144 0,8254 0,3937 0,4573 0,4101 0,2824 0,4062 0,2909 0,8664 0,6331 0,6203 0,4204 0,3856 1,0000 0,8198 0,3126 0,4279 0,8753 0,5354 0,8854 1,0000 0,7811 0,3711 0,3283 0,6382 0,4380 0,4921 0,1760 0,2657 0,6087 0,2982 0,3245 0,5827 0,4478 0,5057 0,4041 0,4074 0,5895 0,5967 0,6133 0,2418 0,3173 0,2605 0,7755 0,6260 0,7924 0,4461 0,2241

DEA Game 0,8219 0,3114 0,7712 0,3924 0,4557 0,3833 0,2819 0,4051 0,2856 0,7044 0,6313 0,6186 0,4192 0,3843 0,9997 0,8084 0,3118 0,4261 0,8741 0,5336 0,8810 0,9933 0,7779 0,3707 0,3270 0,6368 0,4370 0,4898 0,1757 0,2208 0,6062 0,2980 0,3238 0,5801 0,4469 0,5052 0,4033 0,4070 0,5814 0,5940 0,6118 0,2409 0,3162 0,2592 0,7723 0,6237 0,7889 0,4196 0,2237

Cluster

Benchmark

2 3 3 1 1 3 1 1 3 2 1 1 1 1 2 3 1 1 1 1 1 1 1 1 1 1 1 1 1 2 1 2 1 1 1 2 1 2 3 1 1 1 1 1 1 1 1 3 1

27 28 28 34 34 28 34 34 28 27 34 34 34 34 34 34 34 34 34 34 34 34 34 34 34 34 27 34 27 34 34 34 27 34 27 28 34 34 34 34 34 34 34 34 28 34

Através da análise da Tabela III é possível verificar que o cluster 1 é o maior grupo, com 45 distribuidoras de todo o país e o seu benchmark é a CPFL Piratininga. No cluster 1 é possível encontrar as distribuidoras que atendem as maiores economias industriais do Brasil localizadas nos estados das regiões Sul e Sudeste (ELETROPAULO, COPEL, CEMIG, LIGHT). Mesmo sendo um grupo em que fazem parte as

maiores distribuidoras do Brasil, é possível encontrar pequenas empresas que também fazem parte do cluster. Isso demonstra que o agrupamento não é formado baseado no tamanho e na importância da empresa, mas primordialmente na forma como a DMU atinge a sua eficiência. O cluster 2 é composto por 8 empresas e tem como benchmark a COELBA. O segundo agrupamento é composto por importantes concessionárias do Norte e Nordeste (COELBA, CELPE, CELPA), além de outras menores também da região do Sul e Sudeste. O cluster 3 abriga empresas das regiões Centro-Oeste, Norte e Nordeste e o benchmark desse grupo é a COELCE. Em geral, o terceiro grupo é composto por empresas de menor porte e com menor volume de energia fornecida. A COELCE mesmo sendo a sexta empresa em termos de eficiência medida pelo DEA Game foi considerada a referência para o cluster 3. É importante que as empresas desse agrupamento utilizem a COELCE como uma referência e identifiquem práticas adotadas pela companhia que possam ser seguidas. Implementando as melhorias de forma gradual e atingindo um primeiro alvo mais factível, depois é possível que essas DMUs busquem novos progressos em busca de eficiências ainda maiores. V. CONCLUSÃO O presente estudo teve por objetivo desenvolver um modelo para definição de benchmarks quando utilizada a técnica de avaliação cruzada, especialmente, usando a abordagem do DEA Game. Para tanto, foi utilizada em conjunto uma técnica de análise de cluster para auxiliar na definição das referências para cada agrupamento. O modelo desenvolvido apresenta-se relevante quando se pretende agrupar unidades segundo a importância que cada DMU atribui a cada variável, definindo perfis semelhantes no que tange o impacto dos insumos e dos resultados obtidos pelas DMUs. Essa abordagem se diferencia dos estudos encontrados na literatura, pois o levantamento bibliográfico aponta para métodos de clusterização que buscam perfis de produtividade pautados no score de eficiência das DMUs. Ou ainda em uma clusterização anterior a aplicação do modelo de DEA, pautados em uma série de indicadores ambientais e de resultados. Um ponto importante a ser destacado é que analisando os resultados obtidos foi constatado que grande parte dos benchmarks definidos pelo modelo DEA CCR coincidiram com os benchmarks do modelo proposto nesse estudo. A grande diferença entre os dois métodos, no que se referente a encontrar a empresa de referência, foi a empresa COELCE que no modelo DEA CCR não foi identificada como um possível benchmark para nenhuma DMU. Pelo exposto acima, acredita-se que o modelo desenvolvido neste estudo contribui na ampliação do campo de aplicação das técnicas de avaliação cruzada e análise de cluster, bem como na definição de novas abordagens para a definição de benchmarks. REFERÊNCIAS [1] T. R. SEXTON, R. H. SILKMAN, A.J. HOGAN. “Data envelopment analysis: Critique and extensions”, In: Silkman, R.H. (Ed.), Measuring

GONÇALVES MACHADO et al.: EFFICIENCY EVALUATION Efficiency: An Assessment of Data Envelopment Analysis, v. 32, p. 73-105, 1986. [2] J. DOYLE, R. GREEN. “Efficiency and cross-efficiency in DEA: derivation, meanings and uses”, Operational Research Society Ltd, v. 45, p. 567-578, 1994. [3] T. JASMAB, M. G. POLLIT, “Benchmarking and regulation: international electricity experience”, Utilities Policy, v. 9, n. 3, p. 107-130, 2000. [4] P. B. TSCHAFFON, L. ANGULO MEZA, “Assessing the efficiency of the electrical energy distribution using data envelopment analysis with undesirable outputs”, IEEE Latin America Transactions, v. 12, p. 1027-1035, 2014. [5] P. MORENO, G. N. ANDRADE, L. ANGULO MEZA, J. C. C. B. SOARES DE MELLO. “Evaluation of Brazilian electricity distributors using a network DEA model with shared inputs”, IEEE Latin America Transactions, v. 13, n. 7, p. 2209-2216, 2015. [6] J. F. M. PESSANHA, R. C. SOUZA, L. C. LAURENCEL, “Usando DEA na avaliação da eficiência operacional das distribuidoras do setor elétrico brasileiro”, In: XII Congresso Latino-Iberoamericano de Investigación de Operaciones y Sistemas, Cuba, 2004. [7] G. N. ANDRADE, L. A. ALVES, C. E. R. F. SILVA, J. C. C. B. SOARES DE MELLO. “Evaluating electricity distributors efficiency using self-organizing maps and data development analysis”, IEEE Latin America Transactions, v. 12, p. 1456-1464, 2014. [8] M. V. PEREIRA DE SOUZA, R. C. SOUZA, J. F. M. PESSANHA, C. H. DA COSTA OLIVEIRA, M. DIALLO. “An application of data envelopment analysis to evaluate the efficiency level of the operational cost of Brazilian electricity distribution utilities”, Socio-Economic Planning Sciences, v. 48, n. 3, p. 169-174, 2014. [9] G. R. TELLES ESTEVES, F. L. CYRINO OLIVEIRA, C. H. ANTUNES, R. CASTRO SOUZA. “An overview of electricity prepayment experiences and the Brazilian new regulatory framework”, Renewable and Sustainable Energy Reviews, v. 54, p. 704-722, 2016. [10] M. E. M. UDAETA, M. A. ROSELLI, J. A. B. GRIMONI, C. E. CARVALHO. “Hierarchy of the Energy Resources Using Data Envelopment Analysis for Energy Planning”, IEEE Latin America Transactions, v. 14, n. 4, p. 1752-1757, 2016. [11] P. M. MAÇAIRA, R. CASTRO SOUZA, F. L. CYRINO OLIVEIRA. “Forecasting Brazils electricity consumption with Pegels Exponential Smoothing Techniques”, IEEE Latin America Transactions, v. 14, n. 3, p. 1252-1258, 2016. [12] P. M. MAÇAIRA, R. CASTRO SOUZA, F. L. CYRINO OLIVEIRA. “Modelling and forecasting the residential electricity consumption in Brazil with pegels exponential smoothing techniques”, Procedia Computer Science, v. 55, p. 328-335, 2015. [13] L. ANGULO MEZA, E. G. GOMES, L. B. NETO, P. H. G. COELHO. “Avaliação do ensino nos cursos de pós-graduação em engenharia: um enfoque quantitativo de avaliação em conjunto”, Engevista, v. 5, p. 41-49, 2003. [14] J. WU, J. CHU, J. SUN, Q. ZHU, L. LIANG. “Extended secondary goal models for weights selection in DEA cross-efficiency evaluation”, Computers & Industrial Engineering, v.93, p.143-151, 2016. [15] W. W. COOPER, L. M. SEIFORD, K. TONE. “Data envelopment analysis: a comprehensive text with models, applications, references and DEA-solver software”, Boston: Kluwer Academic Publishers, 2000. [16] L. LIANG, J. WU, W. D. COOK, J. ZHU. “The DEA game crossefficiency model and its Nash equilibrium”, Operations Research, v. 56, n. 5, p. 1278-1288, 2008. [17] J. WU, L. LIANG, Y. CHEN. “DEA game cross-efficiency approach to Olympic rankings”, Omega, v. 37, p. 909-918, 2009. [18] Y. SUN, H. HUANG, C. ZHOU. “DEA Game Cross-Efficiency Model to Urban Public Infrastructure Investment Comprehensive Efficiency of China”, Mathematical Problems in Engineering, v. 2016, 2016. [19] M. C. ROBOREDO, L. AIZEMBERG, L. ANGULO MEZA. “The DEA game cross efficiency model applied to the Brazilian football championship”, Procedia Computer Science, v. 55, p. 758-763, 2015. [20] L. AIZEMBERG, M. C. ROBOREDO, T. G. RAMOS, J. C. C. B. SOARES DE MELLO, L. ANGULO MEZA, A. M. ALVES. “Measuring the NBA team’s cross-efficiency by DEA game”, American Journal of Operations Research, v. 4, p. 101-112, 2014. [21] J. WU, L. LIANG, Y. CHEN. “Achievement and benchmarking of countries at the Summer Olympics using cross efficiency evaluation method”, European Journal of Operational Research, v. 197, p. 722-730, 2009. [22] L. ANGULO MEZA, L. BIONDI NETO, J. C. C. B. SOARES DE MELLO, E. G. GOMES. “ISYDS – Integrated System for Decision Support

4505 (SIAD – Sistema Integrado de Apoio à Decisão): a software package for data envelopment analysis model”, Pesquisa Operacional, v. 25, p. 493-503, 2005. [23] L. ANGULO MEZA, L. BIONDI NETO, J. C. C. B. SOARES DE MELLO, E. G. GOMES, P. H. G. COELHO. “Free software for decision analysis: a software package for data envelopment models”, In: 7th International Conference on Enterprise Information Systems - ICEIS 2005, v. 2, p. 207-212, 2005. [24] R. A. JOHNSON, D. W. WICHERN. “Applied Multivariate Statistical Analysis”, 4 ed, New Jersey: Prentice-Hall, 1998. [25] L. G. MACHADO, D. S. PEREIRA, J. C. C. B. SOARES DE MELLO. “Benchmarking em Avaliação Cruzada: Uma Aplicação no Setor de Energia Elétrica Brasileiro”, In: II Encontro Regional de Pesquisa Operacional do Sudeste, 2016, Limeira. Anais do II Encontro Regional de Pesquisa Operacional do Sudeste, 2016. [26] S. M. REZENDE, J. F. M. PESSANHA, R. M. AMARAL. “Avaliação cruzada das distribuidoras de energia elétrica”, Produção, v. 24, n. 4, p. 820832, 2014. [27] ANEEL. “Audiência Pública 040/2010”. Disponível em: . [28] L. A. ALVES, J. C. C. B. SOARES DE MELLO. “Weights based clustering in data envelopment analysis using kohonen neural network: An application in Brazilian electrical sector”, IEEE Latin America Transactions, v. 13, n. 1, p. 188-194, 2015. Luciana Gonçalves Machado nasceu na cidade de Rio de Janeiro, Brasil. Fez graduação e mestrado em Engenharia de Produção na Universidade Federal Fluminense, Niterói, Brasil. Atualmente é aluna de Doutorado em Engenharia de Produção (área de Pesquisa Operacional) da mesma universidade. Sua principal área de pesquisa é Análise de Eficiência. João Carlos Correia Baptista Soares de Mello nasceu em Lisboa, Portugal. Fez graduação em Engenharia Mecânica e mestrado em Matemática na Universidade Federal Fluminense, Brasil. Fez doutorado em Engenharia de Produção, área de Pesquisa Operacional, na Universidade Federal do Rio de Janeiro, Brasil. Foi chefe do Departamento de Matemática Aplicada na Universidade Federal Fluminense e atualmente é chefe do Departamento de Engenharia de Produção da mesma universidade. O professor Soares de Mello tem artigos publicados nas áreas de Análise Envoltória de Dados e Auxilio Multicritério à Decisão e é bolsista de Produtividade e Pesquisa do CNPq. Marcos Costa Roboredo nasceu no Rio de Janeiro, Brasil. Fez graduação em Matemática pela Universidade do Estado do Rio de Janeiro e mestrado e doutorado em Engenharia de Produção na Universidade Federal Fluminense. Atualmente é professor adjunto do Departamento de Engenharia de Produção da Universidade Federal Fluminense. O professor Roboredo tem artigos publicados nas áreas de Análise Envoltória de Dados e Otimização.