Development of a constructivist multi-criteria model for performance management: Case study at COAUD/MP/SC
DOI:
https://doi.org/10.21527/2237-6453.2024.60.13028Keywords:
Performance Evaluation, Performance Management, Multicriteria Decision Support Methodology - Constructivist (MCDA-C), Internal controls, Public serviceAbstract
Research objective to build a multi-criteria constructivist model of performance evaluation to support the management of COAUD/MPSC. The Multicriteria Decision Support-Constructive Methodology (MCDA-C) was used as an intervention instrument. After conducting semi-structured interviews with the coordinators' servers, 80 Primary Evaluation Elements were identified, which served as the basis for the construction of 136 concepts. The concepts were grouped into 7 areas of concern. In order to expand the decision maker's knowledge, cognitive maps of each area were prepared. 70 descriptors were constructed, with the definition of good and neutral level. With the structuring of the model completed, an evaluation of the performance of the Coordination was carried out, based on the construction of value functions and the identification of compensation rates. It was found that the performance of COAUD was 17 points. In order to improve management, five suggestions for improvements were made, which, if applied, would allow the COAUD's performance profile to be raised to 37 points. Finally, the indicators constructed in this study were compared with those found in other research. There were few similarities between the indicators used in the literature and those developed in this research. It is expected that with the implementation of the model, COAUD will improve its management, increasing the list of activities performed, prioritizing those considered essential and that are not at the performance levels expected by the decision maker and helping the other areas of the Institution in their activities and, thus, make the management of the body more efficient.
References
AGBEJULE, A.; JOKIPII, A. Strategy, control activities, monitoring and effectiveness. Managerial Auditing Journal, v. 24, n. 6, p. 500-522, 2009. Disponível em: https://www.emerald.com/insight/content/doi/10.1108/02686900910966503/full/html
AGYEI-MENSAH, Ben Kwame. Accountability and internal control in religious organisations: a study of Methodist church Ghana. African Journal of Accounting, Auditing and Finance, v. 5, n. 2, p. 95-112, 2016. Disponível em: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2819529
ALBUQUERQUE, Janison Machado. Avaliação dos controles internos de uma instituição pública de ensino superior à luz da metodologia MCDA – construtivista. Revista Contemporânea de Contabilidade, v. 8, n. 15, p. 129-150, 2011. DOI: https://doi.org/10.5007/2175-8069.2011v8n15p129
ALVES, André Gomes; MORAES JÚNIOR, Valdério Freire. O sistema de controle interno da gestão pública do poder executivo do município de Patos/PB. Revista Evidenciação Contábil & Finanças, v. 4, n. 3, p. 56-71, 2016.
ARAÚJO, Richard Medeiros; SANTOS, Rodolfo; ARAÚJO, Maria Arlete; DIAS, Thiago Ferreria. Controle Interno no Rio Grande do Norte: um estudo na visão dos controllers municipais. Nucleus, v. 14, n. 1, p. 79-94, 2017.
AZIZ, Mohama; SAID, Jamaliah; ALAM, Md. Assessment of the practices of internal control system in the public sectors of Malaysia. Asia-Pacific Management Accounting Journal, v. 10, n. 1, p. 43-62, 2015a.
AZIZ, Mohamad; SAID, Jamaliah; ALAM, Md. Enhancement of the accountability of public sectors through integrity system, internal control system and leadership practices: A review study. Procedia Economics and Finance, v. 28, p. 163-169, 2015b.
BEHN, Robert D. Why measure performance? Different purposes require different measures. Public Administration Review, v. 63, n. 5, p. 586-606, 2003.
BITITCI, Umit; GARENGO, Patrizia Garengo; DÖRFLER, Viktor; NUDURUPATI, Sai. Performance Measurement: Challenges for Tomorrow. International Journal of Management Reviews, v. 14, p. 305-327, 2012.
BORTOLUZZI, Sandro César; ENSSLIN, Sandra Rolim; ENSSLIN, Leonardo. Avaliação de desempenho dos aspectos tangíveis e intangíveis da área de mercado: estudo de caso em uma média empresa industrial. RBGN: Revista Brasileira de Gestão de Negócios, v. 12, n. 37, p. 425-446, 2010.
BORTOLUZZI, Sandro César; ENSSLIN, Sandra Rolim; ENSSLIN, Leonardo. Avaliação de desempenho multicritério como apoio à gestão de empresas: aplicação em uma empresa de serviços. Gestão & Produção, v. 18, n. 3, p. 633-650, 2011.
CANNAVINA, Vando Cardoso; PARISI, Claudio. Gestão pública em entidades brasileiras: adequação dos procedimentos de controles internos às normas Coso/Intosai. Revista Universo Contábil, v. 11, n. 3, p. 6- 26, 2015.
CARNEIRO-DA-CUNHA, Júlio Araújo; HOURNEAUX JR, Flavio; CORRÊA, Hamilton Luiz. Evolution and chronology of the organisational performance measurement field. International Journal of Business Performance Management, v. 17, n. 2, p. 223-240, 2016.
CASTANHA, E. T.; MANNES, S.; PETRI, S. M. Avaliação de desempenho em custos de troca: uma revisão de literatura. Revista de Administração, Contabilidade e Economia da Fundace, v. 14, n. 2, p. 94-113, 2023. DOI: https://doi.org/10.13059/racef.v14i2.1062
CASTRO, Cláudio de Moura. A prática da pesquisa. São Paulo: Editora Pearson, 1977.
CUCCURULLO, C.; ARIA, M.; SARTO, F. Foundations and trends in performance management. A twenty-five years bibliometric analysis in business and public administration domains. Scientometrics, v. 108, n. 2, p. 595- 611, 2016.
DASCALU, Elena Doina; MARCU, Nicu; HURJUI, Ioan. Performance Management and Monitoring of Internal Audit for the Public Sector in Romania. Amfiteatru Economic Journal, v. 18, n. 43, p. 691-705, 2016.
EMMANUEL, Onoja E.; AJANYA, Michael A.; AUDU, Friday. An assessment of internal control audit on the efficency of public sector in Kogi State Nigeria. Mediterranean Journal of Social Sciences, v. 4, n. 11, p. 717, 2013.
ENSSLIN, Leonardo; ENSSLIN, Sandra Rolim. Processo de construção de indicadores para a avaliação de desempenho. Ciclo de Debates, v. 5, 2009.
ENSSLIN, Leonardo; ENSSLIN, Sandra Rolim; DUTRA, Ademar; LYRIO, M. V. L. Avaliação de desempenho: objetivos e dimensões. SEMINÁRIO DE AVALIAÇÃO DE DESEMPENHO DO SETOR PÚBLICO, 1., 2007. Florianópolis, 2007.
ENSSLIN, Leonardo; GIFFHORN, E.; ENSSLIN, Sandra Rolim; PETRI, Sérgio Murilo; VIANNA, W. B. Avaliação do desempenho de empresas terceirizadas com o uso da metodologia multicritério de apoio à decisão-construtivista. Revista Pesquisa Operacional, v. 30, n. 1, p. 125-152, 2010.
ENSSLIN, Leonardo; NETO, Gilberto Montibeller; NORONHA, Sandro MacDonald. Apoio à decisão: metodologias para estruturação de problemas e avaliação multicritério de alternativas. Florianópolis: Insular, 2001.
ENSSLIN, S. R.; CARVALHO, F. N.; GALLON, A. V.; ENSSLIN, L. Uma metodologia multicritério (MCDA-C) para apoiar o gerenciamento do Capital Intelectual organizacional. Revista de Administração Mackenzie, São Paulo, v. 9, n. 7, p. 136-113, 2008.
ENSSLIN, Sandra Rolim; WELTER, Larissa Marx; PEDERSINI, Daiana Rafaela. Performance evaluation: A comparative study between public and private sectors. International Journal of Productivity and Performance Management, [S. l.], v. 71, n. 5, p. 1.761-1.785, 2022.
FRANCO-SANTOS, M.; KENNERLEY, M.; MICHELI, P.; MARTINEZ, V.; MASON, S.; MARR, B.; GRAY, D. Towards a Definition of a Business Performance Measurement System. International Journal of Operations & Production Management, v. 27, p. 784-801, 2007. DOI: https://doi.org/10.1108/01443570710763778
GHALAYINI, Alaa M.; NOBLE, James S. The changing basis of performance measurement. International Journal of Operations & Production Management, v. 16, n. 8, p. 63-80, 1996.
GUESSER, P. C. L.; ENSSLIN, S. R.; PETRI, S. M. Avaliação de desempenho de gestão de recursos humanos no setor público. Sociedade, Contabilidade e Gestão, v. 15, n. 4, p. 42-67, 2020. DOI: https://doi.org/10.21446/scg_ufrj.v0i0.19644
HERMANSON, D. R.; SMITH, J. L.; STEPHENS, N. M. How effective are organizations' internal controls? Insights into specific internal control elements. Current Issues in Auditing, v. 6, n. 1, A31-A50, 2012. DOI: https://doi.org/10.2308/ciia-50146
KRÜGER, Anna Claudia. Construção de um modelo para avaliação de desempenho no setor público: estudo de caso da assessoria de planejamento do Tribunal de Justiça de Santa Catarina. 2015. Dissertação (Mestrado) – Universidade do Sul de Santa Catarina – Unisul, Programa de Pós-Graduação em Administração, Florianópolis, 2015.
LACERDA, Rogério; ENSSLIN, Leonardo; ENSSLIN, Sandra Rolim. A performance measurement framework in portfolio management: A constructivist case. Management Decision, v. 49, n. 4, p. 648-668, 2011.
LÄNSILUOTO, Aapo; JOKIPII, Annuka; EKLUND, Tomas. Internal control effectiveness – a clustering approach. Managerial Auditing Journal, v. 31, n. 1, p. 5-34, 2016. Disponível em: https://www.emerald.com/insight/content/doi/10.1108/maj-08-2013-0910/full/html
LEBAS, Michel. Performance measurement and performance management. International Journal of Production Economics, v. 41, n. 1-3, p. 23-35, 1995.
LISBOA, Felipe Veck; ENSSLIN, Sandra Rolim; MATOS; Leonardo; PETRI; Sérgio Murilo. Análise da literatura dos controles internos sob a perspectiva da avaliação de desempenho. CONGRESSO UFSC DE CONTROLADORIA E FINANÇAS, 7., Florianópolis, 2017.
LONGARAY, A. A.; MARUBE, N.; ENSSLIN, L.; DUTRA, A; ENSSLIN, S. Performance evaluation of public healthcare supply chain management: a critical literature review. International Journal of Healthcare Technology and Management, v. 20, n. 2, p. 144-170. 2023. DOI: https://doi.org/10.1504/IJHTM.2023.131518
LONGARAY, André Andrade; ENSSLIN, Leonardo. Avaliação do desempenho de um hospital universitário utilizando a MCDA-construtivista. In: ENANPAD – ENCONTRO NACIONAL DOS PROGRAMAS DE PÓS-GRADUAÇÃO EM ADMINISTRAÇÃO, 35., 2011, Rio de Janeiro. Anais [...]. Rio de Janeiro: Enanpad, 2011.
LONGARAY, André Andrade; ENSSLIN, Leonardo. Uso da MCDA-C na avaliação de desempenho das atividades de trade marketing de uma indústria do setor farmacêutico brasileiro. ENADI – ENCONTRO NACIONAL DE ADMINISTRAÇÃO DA INFORMAÇÃO DA ANPAD, 4., 2013. Anpad, 2013.
LOUREIRO, D. Q.; CASTRO, P. L.; MANSO, F. Y. G. C.; VASCONCELOS, A. C.; DE LUCA, M. M. M. Avaliação dos sistemas de controle interno de bens de uso permanente e de materiais de consumo em prefeituras. In: ENANPAD, 38., 2014, Rio de Janeiro: Anpad, 2014.
MARTINS, Laís Karine Sardá; ENSSLIN, Sandra Rolim. Avaliação de desempenho no contexto universitário: uma investigação da literatura sob a perspectiva construtivista. Administração: Ensino e Pesquisa, Rio de Janeiro, v. 23, n. 2, p. 213-243, 2022.
MORENO-ENGUIX, María del Rocio; GRAS-GIL, Ester; HERNANDEZ-FERNANDEZ, Joaquin. An Explanation of Management of Local Governments in Spain Based on the Structure of the Internal Control System. Annals of Economics & Finance, v. 18, n. 2, p. 393-410, 2017. Disponível em: http://down.aefweb.net/AefArticles/aef180208Moreno-Enguix.pdf
PAULO, W. L. D.; FERNANDES, F. C.; RODRIGUES, L. G. B.; EIDIT, J. Riscos e controles internos: uma metodologia de mensuração dos níveis de controle de riscos empresariais. Rev. Contab. Finanç., v. 18, n. 43, 2007. DOI: https://doi.org/10.1590/S1519-70772007000100005
MONTEIRO, Renato Pereira. Análise do sistema de controle interno no Brasil: objetivos, importância e barreiras para sua implantação. Revista Contemporânea de Contabilidade, v. 12, n. 25, p. 159-188, 2015.
NEELY, Andy D.; ADAMS, Chris; KENNERLEY, Mike. The performance prism: The scorecard for measuring and managing business success. London: Prentice Hall Financial Times, 2002.
NEELY, Andy; GREGORY, Mike; PLATTS, Ken. Performance measurement system design: a literature review and research agenda. International Journal of Operations & Production Management, v. 15, n. 4, p. 80-116, 1995.
PEDERSINI, D. R.; ENSSLIN, S. R. Os estudos empíricos internacionais no setor público têm feito uso dos sistemas de avaliação de desempenho em sua plenitude?. Revista Eletrônica de Estratégia & Negócios, v. 13, n. 1, p. 207-235. 2020.
PEDERSINI, D. R.; ENSSLIN, S. R. Avaliação de desempenho e práticas de gestão no setor portuário: uma revisão da literatura. Revista Economia & Gestão, v. 22, n. 61, p. 64-83, 2022. DOI: https://doi.org/10.5752/P.1984-6606.2022v22n61p64-83
PEDERSINI, D. R.; RODRIGUES, K.; PETRI, S. M.; ENSSLIN, S. R. Sistemas de avaliação e medidas de desempenho no setor portuário: uma análise bibliométrica. Revista de Gestão Costeira Integrada, v. 22, n. 4, p. 273-284, 2022. DOI: http://dx.doi.org/10.5894/rgci-n491
RICHARDSON, R. J. Pesquisa social: métodos e técnicas. 3. ed. São Paulo: Atlas, 1999.
ROBERTS, F. S. Measurement Theory. In: ROTA, G. C. (ed.). Encyclopedia of Mathematics and Its Applications. London: Addison-Wesley Publishing Company, 1979. V. 7.
SELL, D. S. R.; DUTRA, A.; MUSSI, C. C. Compartilhamento de conhecimento na administração pública: um mapeamento da literatura internacional. Revista JRG de Estudos Acadêmicos, v. 7, n. 14 2024. DOI: https://doi.org/10.55892/jrg.v7i14.895
ROCIO MORENO-ENGUIX, Maria; GRAS-GIL, Ester; HERNANDEZ-FERNANDEZ, Joaquin; SELL, D. S. R.; DUTRA, A.; MUSSI, C. C. Compartilhamento de conhecimento na administração pública: um mapeamento da literatura internacional. Revista JRG de Estudos Acadêmicos, v. 7, n. 14, 2024. DOI: https://doi.org/10.55892/jrg.v7i14.895
TASCA, Jorge Eduardo. A contribuição da avaliação de desempenho, como um instrumento de apoio à decisão, para a prevenção ao crime baseada no ambiente. 2013. 350 p. 2013. Tese (Doutorado) – Universidade Federal de Santa Catarina, Programa de Pós-Graduação em Engenharia de Produção, Florianópolis, 2013.
WARDIWIYONO, Sartini. Internal control system for Islamic micro financing: An exploratory study of Baitul Maal wat Tamwil in the City of Yogyakarta Indonesia. International Journal of Islamic and Middle Eastern Finance and Management, v. 5, n. 4, p. 340-352, 2012.
ZAMCOPÉ, Fábio Cristiano; ENSSLIN, Leonardo; ENSSLIN, Sandra Rolim. Desenvolvimento de um modelo para avaliar a sustentabilidade corporativa. Production, v. 22, n. 3, p. 477-489, 2012.
Downloads
Published
How to Cite
Issue
Section
License
Copyright (c) 2024 Development in Question Journal
This work is licensed under a Creative Commons Attribution 4.0 International License.
By publishing in Revista Desenvolvimento em Questão, authors agree to the following terms:
All works are published under the Creative Commons Attribution 4.0 International License (CC BY 4.0), which allows:
Sharing — to copy and redistribute the material in any medium or format;
Adaptation — to remix, transform, and build upon the material for any purpose, even commercially.
These permissions are irrevocable, provided that the following terms are respected:
Attribution — authors must be properly credited, a link to the license must be provided, and any changes made must be indicated.
No additional restrictions — no legal or technological measures may be applied that legally restrict others from doing anything the license permits.
Notices:
The license does not apply to elements that are in the public domain or covered by legal exceptions.
The license does not grant all necessary rights for specific uses (e.g., image rights, privacy, or moral rights).
The journal is not responsible for the opinions expressed in the articles, which are the sole responsibility of the authors. The Editor, with the support of the Editorial Board, reserves the right to suggest or request modifications when necessary.
Only original scientific articles presenting research results of interest that have not been previously published or simultaneously submitted to another journal with the same purpose will be accepted.
Mentions of trademarks or specific products are intended solely for identification purposes and do not imply any promotional relationship by the authors or the journal.
License Agreement (for articles published from 2025 onward): Authors retain the copyright to their article and grant Revista Desenvolvimento em Questão the right of first publication.
