Algorithmization of criminal justice: an analysis of the software compas and its biases

Views: 68

Authors

Keywords:

Judicial decision, Artificial intelligence, Algorithmic justice, Algorithmic fairness, Racial bias

Abstract

The present study analyzes the functioning of COMPAS, an application that awards notes to criminal offenders to support the judicial decision on arrest or provisional release, a reference from which it seeks to describe the relationship between artificial intelligence and law, explain what is algorithmic justice and evaluate the existence of biases, even in supposedly objective and neutral systems. The methodology used was bibliographic-documentary investigation, with qualitative, quantitative, descriptive, and exploratory approach regarding the objectives. The conclusion is that the use of algorithms will require familiarity with concepts of logic, mathematics and statistics to substantiate or oppose decisions, that can be observed bias in software even if they respect the parameters of algorithmic justice, and that the reproduction of these biases in different scenarios indicates that these distortions are outside the algorithms and may represent a manifestation of structural racism.

Downloads

Download data is not yet available.

Author Biographies

Victor Sampaio Gondim, Universidade de Fortaleza - CE

Mestre em Direito Constitucional (2021) pela Universidade de Fortaleza. Especialista (LLM) em Direito Empresarial (2014) pela Fundação Getúlio Vargas-RJ. Graduado em Direito (2011) pela Universidade Federal do Ceará. Advogado e membro da Comissão de Direito da Tecnologia da Informação da OAB-CE.

Lattes: http://lattes.cnpq.br/5137636318659623

Gustavo Raposo Pereira Feitosa, Universidade de Fortaleza - CE

Doutor em Ciências Sociais (2005) pela Universidade Estadual de Campinas. Mestre em Sociologia (2000) e graduado em Direito (1997) pela Universidade Federal do Ceará. Professor Titular do Programa de Pós-Graduação em Direito Constitucional e do Centro de Ciências Jurídicas da Universidade de Fortaleza. Professor adjunto de Direito Processual Civil na UFC. Coordenador do Mestrado Profissional em Direito e Gestão de Conflitos da Universidade de Fortaleza.

Lattes: http://lattes.cnpq.br/4608410457474387

References

ALEXANDER, Michelle. The New Jim Crow: Mass Incarceration in the Age of Colorblindness. Nova Iorque: The New Press, 2010.

ALMEIDA, Silvio Luiz de. Racismo estrutural. São Paulo: Pólen, 2019.

ANDREWS, Donald Arthur; BONTA, James; WORMITH, J. Stephen. The Recent Past and Near Future of Risk and/or Need Assessment. Crime & Delinquency, v. 52, n. 1, p. 7-27, jan. 2006. DOI: 10.1177/0011128705281756. Disponível em: https://www.researchgate.net/profile/J_Wormith/publication/249718755_The_Recent_Past_and_Near_Future_of_Risk_andor_Need_Assessment/links/0c960530f834036e07000000/The-Recent-Past-and-Near-Future-of-Risk-and-or-Need-Assessment.pdf. Acesso em: 4 dez. 2021.

ANDREWS, Donald Arthur; BONTA, James. The psychology of criminal conduct. 5. ed. New Providence: Anderson Publishing, 2010.

ANGWIN, Julia et al. Machine bias. ProPublica, 23 maio 2016. Disponível em: https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing. Acesso em: 4 dez. 2021.

ARRUDA, Andrew; OVBIAGELE, Jimoh; DALL’OGLIO, Pargles. Announcement. ROSS Intelligence, 11 dez. 2020. Disponível em: https://blog.rossintelligence.com/post/announcement. Acesso em: 4 dez. 2021.

BERK, Richard; HEIDARI, Hoda; JABBARI, Shahin; KEARNS, Michael; ROTH, Aaron. Fairness in Criminal Justice Risk Assessments: The State of the Art. Sociological Methods & Research, p. 1-42, jul. 2018. DOI: 10.1177/0049124118782533. Disponível em: https://arxiv.org/pdf/1703.09207.pdf. Acesso em: 4 dez. 2021.

BRENNAN, Tim; DIETERICH, Bill; EHRET, Beate. Research synthesis: reliability and validity of COMPAS, set. 2007. Disponível em: http://www.northpointeinc.com/files/research_documents/reliability_validity.pdf. Acesso em: 4 dez. 2021.

CENTER FOR COURT INNOVATION. About. Nova Iorque: Center for Court Innovation, 2019. Disponível em: https://www.courtinnovation.org/about. Acesso em: 4 dez. 2021.

CHANDER, Anupam; KRISHNAMURTHY, Vivek. The myth of platform neutrality. Georgetown Law Technology Review, v. 2, n. 2, p. 400-416, 2018. Disponível em: https://georgetownlawtechreview.org/wp-content/uploads/2018/07/2.2-Chander-Krishnamurthy-pp-400-16.pdf. Acesso em: 4 dez. 2021.

CORBETT-DAVIES, Sam; PIERSON, Emma; FELLER, Avi; GOEL, Sharad. A computer program used for bail and sentencing decisions was labeled biased against blacks. It’s actually not that clear. The Washington Post, 17 out. 2016. Disponível em: https://www.washingtonpost.com/news/monkey-cage/wp/2016/10/17/can-an-algorithm-be-racist-our-analysis-is-more-cautious-than-propublicas/. Acesso em: 4 dez. 2021.

CORVALÁN, Juan Gustavo. Inteligencia artificial: retos, desafíos y oportunidades - Prometea: la primera inteligencia artificial de Latinoamérica al servicio de la Justicia. Revista de Investigações Constitucionais, Curitiba, v. 5, n. 1, p. 295-316, abr. 2018. Disponível em: http://ref.scielo.org/g6pxrc. Acesso em: 4 dez. 2021.

DEAN, James. Big data, data mining, and machine learning: value creation for business leaders and practitioners. Hoboken: Wiley, 2014.

DIETERICH, William; MENDOZA, Christina; BRENNAN, Tim. COMPAS Risk Scales: Demonstrating Accuracy Equity and Predictive Parity, 8 jul. 2016. Disponível em: http://go.volarisgroup.com/rs/430-MBX-989/images/ProPublica_Commentary_Final_070616.pdf. Acesso em: 4 dez. 2021.

DOLMAN, Chris; SEMENOVICH, Dimitri. Algorithmic Fairness: Contemporary Ideas in the Insurance Context. In: GIRO CONFERENCE, 23-26 out. 2018, Birmingham. Proceedings [...]. Birmingham: Institute and Faculty of Actuaries, 2018. p. 1-13. Disponível em: https://www.actuaries.org.uk/documents/b9-algorithmic-fairness-contemporary-ideas-insurance-context-paper. Acesso em: 4 dez. 2021.

DRESSEL, Julia; FARID, Hany. The accuracy, fairness, and limits of predicting recidivism. Science Advances, v. 4, n. 1, jan. 2018. DOI: 10.1126/sciadv.aao5580. Disponível em: https://advances.sciencemag.org/content/advances/4/1/eaao5580.full.pdf. Acesso em: 4 dez. 2021.

ELEMENTARY. The Economist, São Francisco, 1 out. 2015. Science & technology. Disponível em: https://www.economist.com/science-and-technology/2015/10/01/elementary. Acesso em: 4 dez. 2021.

FLACH, Peter. Machine learning: the art and science of algorithms that make sense of data. Cambridge: Cambridge University Press, 2012.

FORNASIER, Matheus de Oliveira; KNEBEL, Norberto. Inteligência artificial: desafios e riscos ético-jurídicos. Direito & Paz, São Paulo, ano XIV, n. 43, p. 207-228, jul./dez. 2020. Disponível em: https://www.revista.unisal.br/lo/index.php/direitoepaz/article/view/1279/546. Acesso em: 4 dez. 2021.

FÓRUM BRASILEIRO DE SEGURANÇA PÚBLICA. Pesquisa e análise de dados vinculados ao Campo da segurança pública e sistema penitenciário. Termo de Parceria Nº 817052/2015. Meta 04 - Elaboração de relatórios semestrais descritivos e analíticos, com base nos dados e informações do DEPEN. Etapa 01 - Relatório descritivo e analítico com base nos dados e informações do DEPEN, considerando a coleta referente à situação em dezembro de 2014. [São Paulo], 15 de abril de 2016. Disponível em: https://dspace.mj.gov.br/handle/1/3045. Acesso em: 4 dez. 2021.

GREEN, Ben; HU, Lily. The Myth in the Methodology: Towards a Recontextualization of Fairness in Machine Learning. In: INTERNATIONAL CONFERENCE ON MACHINE LEARNING, 35., 2018, Estocolmo. Proceedings [...]. Estocolmo: International Conference on Machine Learning, 2018. Disponível em: https://econcs.seas.harvard.edu/files/econcs/files/green_icml18.pdf. Acesso em: 4 dez. 2021.

HUMAN RIGHTS WATCH. Punishment and Prejudice: Racial Disparities in the War on Drugs. HRW Reports, v. 12, n. 2, maio 2000. Disponível em: https://www.hrw.org/reports/2000/usa/. Acesso em: 4 dez. 2021.

KOCH, David W.; LEE, Jaewon; LEE, Kyunghee. Coloring the War on Drugs: Arrest Disparities in Black, Brown, and White. Race and Social Problems, v. 8, n. 4, dez. 2016. Disponível em: https://link.springer.com/article/10.1007/s12552-016-9185-6. Acesso em: 4 dez. 2021.

LANSING, Sharon. New York State COMPAS-Probation Risk and Need Assessment Study: Examining the Recidivism Scale’s Effectiveness and Predictive Accuracy. Set. 2012. Disponível em: http://www.northpointeinc.com/downloads/research/DCJS_OPCA_COMPAS_Probation_Validity.pdf. Acesso em: 4 dez. 2021.

MAGRANI, Eduardo. Entre dados e robôs: ética e privacidade na era da hiperconectividade. 2. ed. Porto Alegre: Arquipélago, 2019.

MCQUILLAN, Dan. People’s Councils for Ethical Machine Learning. Social Media + Society, v. 4, n. 2, abr. 2018. DOI: 10.1177/2056305118768303. Disponível em: https://journals.sagepub.com/doi/10.1177/2056305118768303. Acesso em: 4 dez. 2021.

MOSES, Lyria Bennett; CHAN, Janet. Using big data for legal and law enforcement decisions: Testing the new tools. University of New South Wales Law Journal, v. 37, n. 2, p. 643-678, 2014. Disponível em: https://ssrn.com/abstract=2513564. Acesso em: 4 dez. 2021.

NORTHPOINTE. Practitioner’s guide to COMPAS Core, 2015. Disponível em: http://www.northpointeinc.com/downloads/compas/Practitioners-Guide-COMPAS-Core-_031915.pdf. Acesso em: 4 dez. 2021.

OSOBA, Osonde; WELSER IV, William. An Intelligence in Our Image: The Risks of Bias and Errors in Artificial Intelligence. Santa Monica: RAND, 2017.

PASQUALE, Frank. The black box society: the secret algorithms that control money and information. Cambridge: Harvard University Press, 2015.

PICARD, Sarah; WATKINS, Matt; REMPEL, Michael; KERODAL, Ashmini. Beyond the Algorithm: Pretrial Reform, Risk Assessment, and Racial Fairness. Nova Iorque: Center for Court Innovation, 2019.

POLASCHEK, Devon L. L. An appraisal of the risk–need–responsivity (RNR) model of offender rehabilitation and its application in correctional treatment. Legal and Criminological Psychology, v. 17, n. 1, p. 1–17, fev. 2012. DOI: 10.1111/j.2044-8333.2011.02038.x. Disponível em: https://onlinelibrary.wiley.com/doi/abs/10.1111/j.2044-8333.2011.02038.x. Acesso em: 4 dez. 2021.

POSTON, Ben; CHANG, Cindy. LAPD searches blacks and Latinos more. But they’re less likely to have contraband than whites. Los Angeles Times, 8 out. 2019. Disponível em: https://www.latimes.com/local/lanow/la-me-lapd-searches-20190605-story.html. Acesso em: 4 dez. 2021.

RUSSELL, Stuart J.; NORVIG, Peter. Artificial intelligence: a modern approach. 3. ed. Upper Saddle River: Prentice-Hall, 2010.

SCHWAB, Klaus. The fourth industrial revolution. Genebra: World Economic Forum, 2016.

SOUZA, Nahim Alves de. Aumentando o poder preditivo de classificadores lineares através de particionamento por classe. 2018. Dissertação (Mestrado em Ciência da Computação) – Centro de Ciências em Gestão e Tecnologia, Universidade Federal de São Carlos, Sorocaba, 2018. Disponível em: https://repositorio.ufscar.br/bitstream/handle/ufscar/9530/SOUZA_NahimAlvesDe_dissertacao.pdf. Acesso em: 4 dez. 2021.

STRATE, Lance. If It's Neutral, It's Not Technology. Educational Technology, v. 52, n. 1, p. 6-9, jan./fev. 2012. Disponível em: https://www.jstor.org/stable/44429982. Acesso em: 4 dez. 2021.

SUPREMO TRIBUNAL FEDERAL. Inteligência artificial vai agilizar a tramitação de processos no STF. 30 maio 2018. Disponível em: https://portal.stf.jus.br/noticias/verNoticiaDetalhe.asp?idConteudo=380038. Acesso em: 4 dez. 2021.

SUSSKIND, Richard. Tomorrow’s lawyers: An Introduction to Your Future. Oxford: Oxford University Press, 2013.

THE PULITZER PRIZES. Finalist: Julia Angwin, Jeff Larson, Surya Mattu, Lauren Kirchner and Terry Parris Jr. of ProPublica. Nova Iorque, [2017]. Disponível em: https://www.pulitzer.org/finalists/julia-angwin-jeff-larson-surya-mattu-lauren-kirchner-and-terry-parris-jr-propublica. Acesso em: 4 dez. 2021.

VALOIS, Luís Carlos. O direito penal da guerra às drogas. 2. ed. Belo Horizonte: D’Plácido, 2017.

VLADECK, David C. Machines without principals: liability rules and Artificial Intelligence. Washington Law Review, n. 89, p. 117-150, 2014. Disponível em: https://digitalcommons.law.uw.edu/cgi/viewcontent.cgi?article=4800&context=wlr. Acesso em: 4 dez. 2021.

WISCONSIN. Supreme Court of Wisconsin. Case no. 2015AP157-CR. Recorrente: Eric L. Loomis. Recorrido: Estado do Wisconsin. 13 de julho de 2016. Disponível em: https://www.wicourts.gov/sc/opinion/DisplayDocument.pdf?content=pdf&seqNo=171690. Acesso em: 4 dez. 2021.

WOLFE, Alan. Algorithmic Justice. Cardozo Law Review, Nova Iorque, v. 11, p. 1409-1434, 1990. Disponível em: https://is.muni.cz/el/law/podzim2017/MV735K/um/virtualizace_autoritativni_aplikace_prava_-_6/AlanWolfeAlgorithmicJusti.pdf. Acesso em: 4 dez. 2021.

ZAFAR, Muhammad Bilal; VALERA, Isabel; RODRIGUEZ, Manuel Gomez; GUMMADI, Krishna P. Fairness beyond disparate treatment & disparate impact: Learning classification without disparate mistreatment. In: INTERNATIONAL CONFERENCE ON WORLD WIDE WEB, 26., 2017, Genebra. Proceedings [...]. Genebra: International World Wide Web Conferences Steering Committee, 2017. p. 1171–1180. DOI: https://doi.org/10.1145/3038912.3052660. Disponível em: https://arxiv.org/pdf/1610.08452.pdf. Acesso em: 4 dez. 2021.

ZAVRSNIK, Ales. Algorithmic justice: Algorithms and big data in criminal justice settings. European Journal of Criminology, [S. l.], p. 1–20, set. 2019. DOI: 10.1177/1477370819876762. Disponível em: https://journals.sagepub.com/doi/pdf/10.1177/1477370819876762. Acesso em: 4 dez. 2021.

Downloads

Published

2022-04-04

How to Cite

Sampaio Gondim, V. ., & Raposo Pereira Feitosa, G. . (2022). Algorithmization of criminal justice: an analysis of the software compas and its biases . Brazilian Journal of Criminal Science, 188(188), 447–470. Retrieved from https://publicacoes.ibccrim.org.br/index.php/RBCCRIM/article/view/93

Issue

Vol. 188 No. 188 (30): V. 188. n.188;RBCCrim - Fevereiro de 2022

Section

Criminologia

License

Os direitos autorais dos artigos publicados são do autor, com direitos do periódico sobre a primeira publicação.

Os autores somente poderão utilizar os mesmos resultados em outras publicações indicando claramente este periódico como o meio da publicação original. Se não houver tal indicação, considerar-se-á situação de autoplágio.

Portanto, a reprodução, total ou parcial, dos artigos aqui publicados fica sujeita à expressa menção da procedência de sua publicação neste periódico, citando-se o volume e o número dessa publicação. Para efeitos legais, deve ser consignada a fonte de publicação original.

Metrics