The use of black-box systems by public administration: compatibility with the legal framework of administrative transparency and justification

Authors

DOI:

https://doi.org/10.48143/rdai.29.valle

Keywords:

Administrative Law – Artificial Intelligence – Publicity – Motivation – Accountability – Black-box information systems

Abstract

: Administrative Law has been trying to keep up with the technological evolutions that have occurred in recent years, important questions have arisen in these scenarios such as, what type of regulation to be made, the applicable principles, whether the current principles should be revised, what should be and how should it be provide transparency and clarity for administrative decisions that use information systems based on black-box models. The objective of this article is to analyze the compatibility of the current administrative legal regime with the use of black-box systems by the public administration, using the bibliographic review method to present the concepts, and the critical deductive method for conformity analysis.

Author Biographies

Vivian Cristina Lima López Valle , Pontifícia Universidade Católica do Paraná (PUR-PR)

Professora Titular de Direito Administrativo da Pontifícia Universidade Católica do Paraná. Pós-Doutora em Direito pela Universidade Rovira i Virgili, Tarragona. Doutora e Mestre pela Universidade Federal do Paraná. Especialista em Contratação Pública pela Universidade de Coimbra. Especialista em Direito Administrativo pelo IBEJ.

María Guadalupe Fernández Ruiz , Universidade Nacional Autônoma do México

Professora em tempo integral da Faculdade de Direito da Universidade Nacional Autônoma do México – Unam. Mestre e Doutora em Direito pela Universidade Nacional Autônoma do México – Unam. Membro da Associação Mexicana e da Associação Internacional de Direito Administrativo. Chefe da Divisão de Pós-Graduação da Faculdade de Direito da Unam.

Guilherme Augusto da Silva , Pontifícia Universidade Católica do Paraná (PUC-PR)

Bacharel em Direito pela Pontifícia Universidade Católica do Paraná. Técnico em Informática pelo Instituto Federal do Paraná.

References

ADADI, Amina. BERRADA, Mohammed. Peeking inside the Black-Box: A survey on explainable artificial intelligence (XAI). IEEE Access, v. 6, online, p. 52138-52160, 2018. Disponível em: [https://ieeexplore.ieee.org/document/8466590]. Acesso em: 10.05.2023. DOI: https://doi.org/10.1109/ACCESS.2018.2870052

AGGARWAL, Charu C. Neural Networks and Deep Learning. Cham: Springer International, 2018. DOI: https://doi.org/10.1007/978-3-319-94463-0

ÁLVAREZ, Cecilia. El poder del Usuario Digital. Em Rallo Artemi, García Rosario. Hacia Un nuevo Derecho Europeo de Protección de Datos. Madrid: Tirant lo blanch.

ANGELIN, Simone Ferreira; GOMES DE MEZA, María. Os desafios da administração pública para a inserção das cidades na sociedade da informação. Revista Eletrônica de Humanidades do Curso de Ciências Sociais da UNIFAP, Macapá, v. 8, n. 2, p. 209-228, jul.-dez. 2015.

APONTE, William Iván Gallo; HACHEM, Daniel Wunder. Protección de datos y transparencia de la información: perspectivas para la regulación post-pandemia en una sociedad digital desde algunas experiencias latinoamericanas. Direitos Fundamentais & Justiça, Belo Horizonte, ano 14, p. 69-101, nov. 2020. Número especial. DOI: https://doi.org/10.30899/dfj.v0i0.1029

AYALA, Helon Vicente Hultmann; COELHO, Leandro dos Santos. Computational intelligence methods applied to nonlinear black-box system identification. 2016. 175 p. Tese (Doutorado) – Pontifícia Universidade do Paraná, Curitiba, 2016.

BACELLAR FILHO, Romeu Felipe. Direito administrativo. 3. ed. São Paulo: Saraiva, 2007. DOI: https://doi.org/10.21056/aec.v3i11.678

BANDEIRA DE MELLO, Celso Antônio. Curso de direito administrativo. 32. ed. rev. e atual. até a EC 84. São Paulo: Malheiros, 2015.

BINENBOJM, Gustavo. Uma teoria do direito administrativo: direitos fundamentais, democracia e constitucionalização. 2. ed. Rio de Janeiro: Renovar, 2008.

BISHOP, Christopher. M. Pattern recognition and machine learning. Springer, October, 2006. Disponível em: [http://users.isr.ist.utl.pt/~wurmd/Livros/school/Bishop%20-%20Pattern%20Recognition%20And%20Machine%20Learning%20-%20Springer%20%202006.pdf]. Acesso em: 10.05.2020.

BLACKLAWS, Christina. Algorithms: transparency and accountability. Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences, v. 376, n. 2128, p. 20170351, 06.08.2018. DOI: https://doi.org/10.1098/rsta.2017.0351

BLOEM, Jaap; VAN DOORN, Menno; DUIVESTEIN, Sander; EXCOFFIER, David; MAAS, René; VAN OMMEREN, Erik. The fourth industrial revolution things to tighten the link between IT and OT. Sogeti VINT, 2014.

BRIGGS, Asa; BURKE, Peter. Uma história social da mídia: de Gutenberg à Internet. Trad. Maria Carmelita Pádua Dias. Revisão técnica: VAZ, Paulo. 2. ed. Rio de Janeiro: Jorge Zahar Editor, 2006.

CANOTILHO, J. J. Gomes. Direito constitucional e teoria da constituição. 3. ed. Coimbra: Almedina, 1998.

CASTELVECCHI, Davide. The Black Box of AI. Nature, Londres, v. 538, p. 20-23.10.2016. DOI: https://doi.org/10.1038/538020a

COMPARATO, Fábio Konder. Ética: direito, moral e religião no mundo moderno. São Paulo: Companhia das Letras, 2006.

DEEKS, Ashley. The judicial demand for explainable artificial intelligence. Columbia Law Review, v. 119, n. 7, p. 1829-1850, 2019.

DIMOULIS, Dimitri; MARTINS, Leonardo. Teoria geral dos Direitos Fundamentais. 2. ed. São Paulo: Ed. RT, 2009.

DOSHI-VELEZ, Finale; KIM, Been. Towards a rigorous science of interpretable machine learning. arXiv preprint arXiv:1702.08608, 2017. Disponível em: [http://arxiv.org/abs/1702.08608]. Acesso em: 02.06.2021.

ERTEL, Wolfgang. Introduction to Artificial Intelligence. 2. ed. Cham: Springer International, 2017. DOI: https://doi.org/10.1007/978-3-319-58487-4_1

FERNÁNDEZ RUIZ, María Guadalupe; Derechos humanos y ciberjusticia administrativa. In: GONZÁLES, César O. A.; CHÁVEZ, Marco A. Z. (Coords.). La administración pública del futuro: retos y prospectiva. Guadalajara Editorial Universidad de Guadalajara, 2021.

FREITAS, Juarez; TEIXEIRA, Anderson Vichinkeski. Democracia Digital e Avaliação Continuada de Políticas Públicas. Revista Brasileira de Estudos Políticos, Belo Horizonte, n. 119, p. 227-252, jul.-dez. 2019. DOI: https://doi.org/10.9732/P.0034-7191.2019V119P227

FREITAS, Juarez. Direito administrativo e inteligência artificial. Revista Interesse Público, Belo Horizonte, ano 21, n. 114, p. 15-29, mar.-abr. 2019.

GLAS, Andreas H.; KLEEMANN, Florian C. The impact of Industry 4.0 on procurement and supply management: a conceptual and qualitative analysis. International Journal of Business and Management Invention, 5, n. 6, 2016. p. 55-66.

HACHEM, Daniel Wunder; FARIA, Luzardo. Regulação jurídica das novas tecnologias no direito administrativo brasileiro: impactos causados por Uber, WhatsApp, Netflix e seus similares. Revista Brasileira de Direito, v. 15, n. 3, p. 180-203, 01.12.2019. DOI: https://doi.org/10.18256/2238-0604.2019.v15i3.3593

HARTMANN, Ivar A. et al. Regulação de Inteligência Artificial no Brasil: policy paper. FGV Direito Rio – CTS: Papers e Textos para discussões. 2020. Disponível em: [https://bibliotecadigital.fgv.br/dspace/handle/10438/30078]. Acesso em: 02.06.2021.

HOZDIĆ, Elvis. Smart factory for industry 4.0: A review. International Journal of Modern Manufacturing Technologies, v. 7, n. 1, p. 28-35, 2015.

KIM, Been. Interactive and interpretable machine learning models for human machine collaboration. PhD thesis, Massachusetts Institute of Technology, 2015.

KNIGHT, Will. The Dark Secret at the Heart of AI. Disponível em: [www.technologyreview.com/s/604087/the-dark-secret-at-the-heart-of-ai/]. Acesso em: 05.05.2021.

LEHMANN, Cedric Alexander et al. The risk of algorithm transparency: How algorithm complexity drives the effects on the use of advice. Production and Operations Management, v. 31, n. 9, p. 3419-3434, 29.06.2022. DOI: https://doi.org/10.1111/poms.13770

LIPTON, Zachary C. The mythos of model interpretability. em Proc. ICML Workshop Hum. Interpretability Mach. Learn, p. 96-100, 2016.

LORENZETTI, Ricardo Luís. Teoria da decisão judicial. Fundamentos de direito. Trad. Bruno Miragem. São Paulo: Ed. RT, 2010.

MARTINS, Fernando Rodrigues. Controle do patrimônio público. 5. ed. São Paulo: Ed. RT, 2013.

MARTINS JÚNIOR, Wallace Paiva. Transparência administrativa: publicidade, motivação e participação popular. 2. ed. São Paulo: Saraiva, 2010.

MARTINS, Ricardo Marcondes. Teoria dos princípios e função jurisdicional. Revista de Investigações Constitucionais, Curitiba, v. 5, n. 2. p. 135-164, maio-ago. 2018. DOI: [10.5380/rinc.v5i2.56183]. DOI: https://doi.org/10.5380/rinc.v5i2.56183

MARTINS, Ricardo Marcondes. Teoria do ato administrativo nos trinta anos da Constituição de 1988: o que mudou? Revista de Investigações Constitucionais, Curitiba, v. 6, n. 2, p. 449-477, maio-ago. 2019. [DOI: 10.5380/rinc.v6i2.61986]. DOI: https://doi.org/10.5380/rinc.v6i2.61986

MICHENER, Gregory; CONTRERAS, Evelyn.; NISKIER, Irene. Da opacidade à transparência? Avaliando a Lei de Acesso à Informação no Brasil cinco anos depois. Revista de Administração Pública, v. 52, n. 4, p. 610-629, 2018. DOI: https://doi.org/10.1590/0034-761220170289

MONIZ, António Brandão; KRINGS, Benna Krings; FREY, Philipp. Indústria 4.0 implicações de um conceito para o trabalho. X Encontro Nacional do Trabalho “As mudanças no chão da fábrica”, Lisboa, maio, 2018. Disponível em: [www.bloco.org/media/ABMonizET2018.pdf]. Acesso em: 04.05.2021.

MOREIRA, Egon Bockmann. Direitos fundamentais para humanos digitais. Gazeta do Povo, 30.03.2020.

MORIN, Edgard. O método 6: ética. Porto Alegre: Sulina, 2007.

OBERMEYER, Ziad et al. Dissecting racial bias in an algorithm used to manage the health of populations. Science, v. 366, n. 6464, p. 447-453, 25.10.2019. DOI: https://doi.org/10.1126/science.aax2342

REYNA, Justo; GABARDO, Emerson; SANTOS, Fábio de Souza. Electronic government, digital invisibility and fundamental social rights. Sequência, v. 41, p. 30-50, 2020. DOI: https://doi.org/10.5007/2177-7055.2020v41n85p30

ROCHA, Carmen Lúcia Antunes. Princípios constitucionais da administração pública. Belo Horizonte: Del Rey, 1994.

RODRIGUES, Leticia F.; DE JESUS, Rodrigo Aguiar; SCHÜTZER, Klaus. Industrie 4.0: uma revisão da literatura. Revista de Ciência & Tecnologia, v. 19, n. 38, p. 33-45, 2016. DOI: https://doi.org/10.15600/2238-1252/rct.v19n38p33-45

SANTOS, Beatriz Paiva et al. Indústria 4.0: desafios e oportunidades. Revista Produção e Desenvolvimento, v. 4, n. 1, p. 111-124, 2018.

SCHWAB, Klaus. A quarta revolução industrial. Trad. Daniel Moreira Miranda. São Paulo: Edipro, 2016.

SKANSI, Sandro. Introduction to Deep Learning. Cham: Springer International, 2018. DOI: https://doi.org/10.1007/978-3-319-73004-2

SUN, Wenlong; NASRAOUI, Olfa; SHAFTO, Patrick. Evolution and impact of bias in human and machine learning algorithm interaction. PLOS ONE, v. 15, n. 8, p. e0235502, 13.08.2020. DOI: https://doi.org/10.1371/journal.pone.0235502

TURBAN, Efraim et al. Tecnologia da informação para gestão: transformando os negócios na economia digital. 6. ed. Porto Alegre: Bookman, 2010.

VALLE, Vanice Lírio do. Inteligência artificial incorporada à Administração Pública: mitos e desafios teóricos. A&C – Revista de Direito Administrativo e Constitucional, Belo Horizonte, ano 20, n. 81, p. 179-200, jul.-set. 2020. DOI: https://doi.org/10.21056/aec.v20i81.1346

VALLE, Vivian Cristina Lima López; FELISBERTO, Jéssica Heizen. Administração Pública Digital: limites e possibilidades em atenção à desigualdade social e ao custo dos direitos. Revista Eurolatinoamericana de Derecho Administrativo, Santa Fé, v. 9, n. 1, p. 151-179, jan.-jul. 2022. DOI: https://doi.org/10.14409/redoeda.v9i1.11333

VALLE, Vivian Lima López. GALLO, William Ivan. Inteligência artificial e capacidades regulatórias do Estado no ambiente da administração pública digital. Revista de Direito Administrativo e Constitucional, Belo Horizonte, ano 20, n. 82, p. 67-86, out.-dez. 2020. DOI: https://doi.org/10.21056/aec.v20i82.1396

VALLE, Vivian Cristina Lima López; MARTINELLI, Gustavo; BARBOSA FILHO, Claudio Roberto. Participação no processo legislativo como direito fundamental: um olhar sobre as ferramentas de e-democracy no Congresso Nacional Brasileiro. Revista Eurolatinoamericana de Derecho Administrativo, Santa Fé, v. 7, n. 1, p. 143-166, jan.-jun. 2020. DOI: https://doi.org/10.14409/redoeda.v7i1.9107

VIEIRA DE ANDRADE, José Carlos. O dever da fundamentação expressa de actos administrativos. Coimbra: Almedina, 2003.

WORDEN, Keith et al. Identification of pre-sliding and sliding friction dynamics: Grey box and black-box models, Mechanical Systems and Signal Processing, v. 21, Issue 1, 2007. p. 514-534. DOI: https://doi.org/10.1016/j.ymssp.2005.09.004

XU, Min et al. The fourth industrial revolution: opportunities and challenges. International Journal of Financial Research, v. 9, n. 2, 2018. p. 90-95. DOI: https://doi.org/10.5430/ijfr.v9n2p90

Published

2024-06-29

How to Cite

VALLE , Vivian Cristina Lima López; FERNÁNDEZ RUIZ , María Guadalupe; SILVA , Guilherme Augusto da. The use of black-box systems by public administration: compatibility with the legal framework of administrative transparency and justification. Journal of Public Law and Infrastructure | RDAI, São Paulo: Thomson Reuters | Livraria RT, v. 8, n. 29, p. 79–99, 2024. DOI: 10.48143/rdai.29.valle. Disponível em: https://rdai.com.br/index.php/rdai/article/view/699. Acesso em: 16 oct. 2024.

Issue

Section

Regime Jurídico Administrativo | Legal Administrative System