Algoritmização da justiça criminal: uma análise do aplicativo Compas e seus vieses

Vistas: 68

Autores/as

Palabras clave:

Decisão judicial, Inteligência artificial, Justiça algorítmica, Viés racial

Resumen

O presente estudo analisa o funcionamento do software COMPAS, aplicativo que concede notas a infratores penais para subsidiar decisão judicial sobre a prisão ou liberdade provisória, referência a partir da qual se busca descrever como se dá atualmente a relação entre a inteligência artificial e o Direito, explicar o que é a justiça algorítmica e avaliar a existência de vieses, mesmo em sistemas supostamente objetivos e neutros. Utiliza-se metodologia de investigação do tipo bibliográfica-documental, com pesquisa pura de abordagem qualitativa e quantitativa, descritiva e exploratória quanto aos objetivos. Conclui-se que o uso de algoritmos exigirá familiaridade com conceitos da lógica, da matemática e da estatística para fundamentar ou se contrapor às decisões, que é possível observar vieses nos softwares ainda que respeitem os parâmetros da justiça algorítmica, e que a reprodução desses vieses em diferentes cenários indica que essas distorções estão fora dos algoritmos, podendo representar uma manifestação de racismo estrutural.

Descargas

Los datos de descargas todavía no están disponibles.

Biografía del autor/a

Victor Sampaio Gondim, Universidade de Fortaleza - CE

Mestre em Direito Constitucional (2021) pela Universidade de Fortaleza. Especialista (LLM) em Direito Empresarial (2014) pela Fundação Getúlio Vargas-RJ. Graduado em Direito (2011) pela Universidade Federal do Ceará. Advogado e membro da Comissão de Direito da Tecnologia da Informação da OAB-CE.

Lattes: http://lattes.cnpq.br/5137636318659623

Gustavo Raposo Pereira Feitosa, Universidade de Fortaleza - CE

Doutor em Ciências Sociais (2005) pela Universidade Estadual de Campinas. Mestre em Sociologia (2000) e graduado em Direito (1997) pela Universidade Federal do Ceará. Professor Titular do Programa de Pós-Graduação em Direito Constitucional e do Centro de Ciências Jurídicas da Universidade de Fortaleza. Professor adjunto de Direito Processual Civil na UFC. Coordenador do Mestrado Profissional em Direito e Gestão de Conflitos da Universidade de Fortaleza.

Lattes: http://lattes.cnpq.br/4608410457474387

Citas

ALEXANDER, Michelle. The New Jim Crow: Mass Incarceration in the Age of Colorblindness. Nova Iorque: The New Press, 2010.

ALMEIDA, Silvio Luiz de. Racismo estrutural. São Paulo: Pólen, 2019.

ANDREWS, Donald Arthur; BONTA, James; WORMITH, J. Stephen. The Recent Past and Near Future of Risk and/or Need Assessment. Crime & Delinquency, v. 52, n. 1, p. 7-27, jan. 2006. DOI: 10.1177/0011128705281756. Disponível em: https://www.researchgate.net/profile/J_Wormith/publication/249718755_The_Recent_Past_and_Near_Future_of_Risk_andor_Need_Assessment/links/0c960530f834036e07000000/The-Recent-Past-and-Near-Future-of-Risk-and-or-Need-Assessment.pdf. Acesso em: 4 dez. 2021.

ANDREWS, Donald Arthur; BONTA, James. The psychology of criminal conduct. 5. ed. New Providence: Anderson Publishing, 2010.

ANGWIN, Julia et al. Machine bias. ProPublica, 23 maio 2016. Disponível em: https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing. Acesso em: 4 dez. 2021.

ARRUDA, Andrew; OVBIAGELE, Jimoh; DALL’OGLIO, Pargles. Announcement. ROSS Intelligence, 11 dez. 2020. Disponível em: https://blog.rossintelligence.com/post/announcement. Acesso em: 4 dez. 2021.

BERK, Richard; HEIDARI, Hoda; JABBARI, Shahin; KEARNS, Michael; ROTH, Aaron. Fairness in Criminal Justice Risk Assessments: The State of the Art. Sociological Methods & Research, p. 1-42, jul. 2018. DOI: 10.1177/0049124118782533. Disponível em: https://arxiv.org/pdf/1703.09207.pdf. Acesso em: 4 dez. 2021.

BRENNAN, Tim; DIETERICH, Bill; EHRET, Beate. Research synthesis: reliability and validity of COMPAS, set. 2007. Disponível em: http://www.northpointeinc.com/files/research_documents/reliability_validity.pdf. Acesso em: 4 dez. 2021.

CENTER FOR COURT INNOVATION. About. Nova Iorque: Center for Court Innovation, 2019. Disponível em: https://www.courtinnovation.org/about. Acesso em: 4 dez. 2021.

CHANDER, Anupam; KRISHNAMURTHY, Vivek. The myth of platform neutrality. Georgetown Law Technology Review, v. 2, n. 2, p. 400-416, 2018. Disponível em: https://georgetownlawtechreview.org/wp-content/uploads/2018/07/2.2-Chander-Krishnamurthy-pp-400-16.pdf. Acesso em: 4 dez. 2021.

CORBETT-DAVIES, Sam; PIERSON, Emma; FELLER, Avi; GOEL, Sharad. A computer program used for bail and sentencing decisions was labeled biased against blacks. It’s actually not that clear. The Washington Post, 17 out. 2016. Disponível em: https://www.washingtonpost.com/news/monkey-cage/wp/2016/10/17/can-an-algorithm-be-racist-our-analysis-is-more-cautious-than-propublicas/. Acesso em: 4 dez. 2021.

CORVALÁN, Juan Gustavo. Inteligencia artificial: retos, desafíos y oportunidades - Prometea: la primera inteligencia artificial de Latinoamérica al servicio de la Justicia. Revista de Investigações Constitucionais, Curitiba, v. 5, n. 1, p. 295-316, abr. 2018. Disponível em: http://ref.scielo.org/g6pxrc. Acesso em: 4 dez. 2021.

DEAN, James. Big data, data mining, and machine learning: value creation for business leaders and practitioners. Hoboken: Wiley, 2014.

DIETERICH, William; MENDOZA, Christina; BRENNAN, Tim. COMPAS Risk Scales: Demonstrating Accuracy Equity and Predictive Parity, 8 jul. 2016. Disponível em: http://go.volarisgroup.com/rs/430-MBX-989/images/ProPublica_Commentary_Final_070616.pdf. Acesso em: 4 dez. 2021.

DOLMAN, Chris; SEMENOVICH, Dimitri. Algorithmic Fairness: Contemporary Ideas in the Insurance Context. In: GIRO CONFERENCE, 23-26 out. 2018, Birmingham. Proceedings [...]. Birmingham: Institute and Faculty of Actuaries, 2018. p. 1-13. Disponível em: https://www.actuaries.org.uk/documents/b9-algorithmic-fairness-contemporary-ideas-insurance-context-paper. Acesso em: 4 dez. 2021.

DRESSEL, Julia; FARID, Hany. The accuracy, fairness, and limits of predicting recidivism. Science Advances, v. 4, n. 1, jan. 2018. DOI: 10.1126/sciadv.aao5580. Disponível em: https://advances.sciencemag.org/content/advances/4/1/eaao5580.full.pdf. Acesso em: 4 dez. 2021.

ELEMENTARY. The Economist, São Francisco, 1 out. 2015. Science & technology. Disponível em: https://www.economist.com/science-and-technology/2015/10/01/elementary. Acesso em: 4 dez. 2021.

FLACH, Peter. Machine learning: the art and science of algorithms that make sense of data. Cambridge: Cambridge University Press, 2012.

FORNASIER, Matheus de Oliveira; KNEBEL, Norberto. Inteligência artificial: desafios e riscos ético-jurídicos. Direito & Paz, São Paulo, ano XIV, n. 43, p. 207-228, jul./dez. 2020. Disponível em: https://www.revista.unisal.br/lo/index.php/direitoepaz/article/view/1279/546. Acesso em: 4 dez. 2021.

FÓRUM BRASILEIRO DE SEGURANÇA PÚBLICA. Pesquisa e análise de dados vinculados ao Campo da segurança pública e sistema penitenciário. Termo de Parceria Nº 817052/2015. Meta 04 - Elaboração de relatórios semestrais descritivos e analíticos, com base nos dados e informações do DEPEN. Etapa 01 - Relatório descritivo e analítico com base nos dados e informações do DEPEN, considerando a coleta referente à situação em dezembro de 2014. [São Paulo], 15 de abril de 2016. Disponível em: https://dspace.mj.gov.br/handle/1/3045. Acesso em: 4 dez. 2021.

GREEN, Ben; HU, Lily. The Myth in the Methodology: Towards a Recontextualization of Fairness in Machine Learning. In: INTERNATIONAL CONFERENCE ON MACHINE LEARNING, 35., 2018, Estocolmo. Proceedings [...]. Estocolmo: International Conference on Machine Learning, 2018. Disponível em: https://econcs.seas.harvard.edu/files/econcs/files/green_icml18.pdf. Acesso em: 4 dez. 2021.

HUMAN RIGHTS WATCH. Punishment and Prejudice: Racial Disparities in the War on Drugs. HRW Reports, v. 12, n. 2, maio 2000. Disponível em: https://www.hrw.org/reports/2000/usa/. Acesso em: 4 dez. 2021.

KOCH, David W.; LEE, Jaewon; LEE, Kyunghee. Coloring the War on Drugs: Arrest Disparities in Black, Brown, and White. Race and Social Problems, v. 8, n. 4, dez. 2016. Disponível em: https://link.springer.com/article/10.1007/s12552-016-9185-6. Acesso em: 4 dez. 2021.

LANSING, Sharon. New York State COMPAS-Probation Risk and Need Assessment Study: Examining the Recidivism Scale’s Effectiveness and Predictive Accuracy. Set. 2012. Disponível em: http://www.northpointeinc.com/downloads/research/DCJS_OPCA_COMPAS_Probation_Validity.pdf. Acesso em: 4 dez. 2021.

MAGRANI, Eduardo. Entre dados e robôs: ética e privacidade na era da hiperconectividade. 2. ed. Porto Alegre: Arquipélago, 2019.

MCQUILLAN, Dan. People’s Councils for Ethical Machine Learning. Social Media + Society, v. 4, n. 2, abr. 2018. DOI: 10.1177/2056305118768303. Disponível em: https://journals.sagepub.com/doi/10.1177/2056305118768303. Acesso em: 4 dez. 2021.

MOSES, Lyria Bennett; CHAN, Janet. Using big data for legal and law enforcement decisions: Testing the new tools. University of New South Wales Law Journal, v. 37, n. 2, p. 643-678, 2014. Disponível em: https://ssrn.com/abstract=2513564. Acesso em: 4 dez. 2021.

NORTHPOINTE. Practitioner’s guide to COMPAS Core, 2015. Disponível em: http://www.northpointeinc.com/downloads/compas/Practitioners-Guide-COMPAS-Core-_031915.pdf. Acesso em: 4 dez. 2021.

OSOBA, Osonde; WELSER IV, William. An Intelligence in Our Image: The Risks of Bias and Errors in Artificial Intelligence. Santa Monica: RAND, 2017.

PASQUALE, Frank. The black box society: the secret algorithms that control money and information. Cambridge: Harvard University Press, 2015.

PICARD, Sarah; WATKINS, Matt; REMPEL, Michael; KERODAL, Ashmini. Beyond the Algorithm: Pretrial Reform, Risk Assessment, and Racial Fairness. Nova Iorque: Center for Court Innovation, 2019.

POLASCHEK, Devon L. L. An appraisal of the risk–need–responsivity (RNR) model of offender rehabilitation and its application in correctional treatment. Legal and Criminological Psychology, v. 17, n. 1, p. 1–17, fev. 2012. DOI: 10.1111/j.2044-8333.2011.02038.x. Disponível em: https://onlinelibrary.wiley.com/doi/abs/10.1111/j.2044-8333.2011.02038.x. Acesso em: 4 dez. 2021.

POSTON, Ben; CHANG, Cindy. LAPD searches blacks and Latinos more. But they’re less likely to have contraband than whites. Los Angeles Times, 8 out. 2019. Disponível em: https://www.latimes.com/local/lanow/la-me-lapd-searches-20190605-story.html. Acesso em: 4 dez. 2021.

RUSSELL, Stuart J.; NORVIG, Peter. Artificial intelligence: a modern approach. 3. ed. Upper Saddle River: Prentice-Hall, 2010.

SCHWAB, Klaus. The fourth industrial revolution. Genebra: World Economic Forum, 2016.

SOUZA, Nahim Alves de. Aumentando o poder preditivo de classificadores lineares através de particionamento por classe. 2018. Dissertação (Mestrado em Ciência da Computação) – Centro de Ciências em Gestão e Tecnologia, Universidade Federal de São Carlos, Sorocaba, 2018. Disponível em: https://repositorio.ufscar.br/bitstream/handle/ufscar/9530/SOUZA_NahimAlvesDe_dissertacao.pdf. Acesso em: 4 dez. 2021.

STRATE, Lance. If It's Neutral, It's Not Technology. Educational Technology, v. 52, n. 1, p. 6-9, jan./fev. 2012. Disponível em: https://www.jstor.org/stable/44429982. Acesso em: 4 dez. 2021.

SUPREMO TRIBUNAL FEDERAL. Inteligência artificial vai agilizar a tramitação de processos no STF. 30 maio 2018. Disponível em: https://portal.stf.jus.br/noticias/verNoticiaDetalhe.asp?idConteudo=380038. Acesso em: 4 dez. 2021.

SUSSKIND, Richard. Tomorrow’s lawyers: An Introduction to Your Future. Oxford: Oxford University Press, 2013.

THE PULITZER PRIZES. Finalist: Julia Angwin, Jeff Larson, Surya Mattu, Lauren Kirchner and Terry Parris Jr. of ProPublica. Nova Iorque, [2017]. Disponível em: https://www.pulitzer.org/finalists/julia-angwin-jeff-larson-surya-mattu-lauren-kirchner-and-terry-parris-jr-propublica. Acesso em: 4 dez. 2021.

VALOIS, Luís Carlos. O direito penal da guerra às drogas. 2. ed. Belo Horizonte: D’Plácido, 2017.

VLADECK, David C. Machines without principals: liability rules and Artificial Intelligence. Washington Law Review, n. 89, p. 117-150, 2014. Disponível em: https://digitalcommons.law.uw.edu/cgi/viewcontent.cgi?article=4800&context=wlr. Acesso em: 4 dez. 2021.

WISCONSIN. Supreme Court of Wisconsin. Case no. 2015AP157-CR. Recorrente: Eric L. Loomis. Recorrido: Estado do Wisconsin. 13 de julho de 2016. Disponível em: https://www.wicourts.gov/sc/opinion/DisplayDocument.pdf?content=pdf&seqNo=171690. Acesso em: 4 dez. 2021.

WOLFE, Alan. Algorithmic Justice. Cardozo Law Review, Nova Iorque, v. 11, p. 1409-1434, 1990. Disponível em: https://is.muni.cz/el/law/podzim2017/MV735K/um/virtualizace_autoritativni_aplikace_prava_-_6/AlanWolfeAlgorithmicJusti.pdf. Acesso em: 4 dez. 2021.

ZAFAR, Muhammad Bilal; VALERA, Isabel; RODRIGUEZ, Manuel Gomez; GUMMADI, Krishna P. Fairness beyond disparate treatment & disparate impact: Learning classification without disparate mistreatment. In: INTERNATIONAL CONFERENCE ON WORLD WIDE WEB, 26., 2017, Genebra. Proceedings [...]. Genebra: International World Wide Web Conferences Steering Committee, 2017. p. 1171–1180. DOI: https://doi.org/10.1145/3038912.3052660. Disponível em: https://arxiv.org/pdf/1610.08452.pdf. Acesso em: 4 dez. 2021.

ZAVRSNIK, Ales. Algorithmic justice: Algorithms and big data in criminal justice settings. European Journal of Criminology, [S. l.], p. 1–20, set. 2019. DOI: 10.1177/1477370819876762. Disponível em: https://journals.sagepub.com/doi/pdf/10.1177/1477370819876762. Acesso em: 4 dez. 2021.

Publicado

2022-04-04

Cómo citar

Sampaio Gondim, V. ., & Raposo Pereira Feitosa, G. . (2022). Algoritmização da justiça criminal: uma análise do aplicativo Compas e seus vieses. Revista Brasileña De Ciencias Penales, 188(188), 447–470. Recuperado a partir de https://publicacoes.ibccrim.org.br/index.php/RBCCRIM/article/view/93

Métrica