Algoritmos e direitos fundamentais: riscos, transparência e accountability no uso de técnicas de automação decisória
Vistas: 5Palabras clave:
Algoritmos, Direitos fundamentais, Automação decisória, Transparência, Devido processo legalResumen
O artigo pretende responder ao seguinte problema de pesquisa: como garantir o dever de transparência e promover adequadamente o accountability no uso de ferramentas algorítmicas de automação decisória por parte do Poder Público, especialmente no campo da persecução penal? A hipótese é a de que o uso de recursos tecnológicos de inteligência artificial pelo Poder Público é algo irrefreável, sendo capaz de proporcionar diversos benefícios, notadamente no âmbito decisório. A sua utilização, especialmente no campo da persecução penal, implica o reconhecimento de deveres acentuados de transparência e accountability, havendo meios tecnológicos de promovê-los de forma satisfatória e sem prejuízo à propriedade industrial. Os suportes fáticos e teóricos são fornecidos por uma análise comparatista, com destaque apara os relatórios e a disciplina normativa produzia no âmbito da Comunidade Europeia. O método de abordagem empregado é o hipotético-dedutivo.
Descargas
Citas
ALPAYDIN. Ethem. Machine Learning. Cambridge, MA: The MIT Press, 2016.
ATHAEE, Yavar. Artificial Intelligence Black Box and the Failure of Intent and Causation. Harvard Law Review, v. 31, n. 2, p. 889-938, 2018.
BBC BITESIZE. Representing an algorithm: Pseudocode. Disponível em: https://www.bbc.co.uk/bitesize/guides/zpp49j6/revision/2#:~:text=Writing%20in%20pseudocode%20is%20similar,pseudocode%2C%20INPUT%20asks%20a%20question. Acesso em: 24 out. 2020.
BURCH, Traci. Skin Color and the Criminal Justice System: Beyond Black-White Disparities in Sentencing. Journal of Empirical Legal Studies, v. 12, p. 395-420, 2015.
COMISSÃO EUROPEIA. Guidelines on Automated individual decision-making and Profiling. Disponível em: https://ec.europa.eu/newsroom/article29/item-detail.cfm?item_id=612053. Acesso: 25 out. 2020.
COMISSÃO EUROPEIA. Ethics Guidelines for Trustworthy AI. Disponível em: https://ec.europa.eu/futurium/en/ai-alliance-consultation/guidelines#Top. Acesso: 25 out. 2020.
COMISSÃO EUROPEIA. White Paper on Artificial Intelligence: A European Approach to Excellence and Trust. Disponível em: https://ec.europa.eu/info/sites/info/files/commission-white-paper-artificial-intelligence-feb2020_en.pdf. Acesso: 25 out. 2020.
CONSELHO DA EUROPA. Algorithms and Human Rights. Disponível em: https://rm.coe.int/algorithms-and-human-rights-en-rev/16807956b5. Acesso em 9 out. 2020.
CONSELHO DA UNIÃO EUROPEIA. Recomendação CM/Rec(2012)3 do Comitê de Ministros. Disponível em: https://search.coe.int/cm/Pages/result_details.aspx?ObjectID=09000016805caa87. Acesso em: 11 out. 2020.
COSTA, Eduardo José da Fonseca. Levando a imparcialidade a sério: proposta de um modelo interseccional entre direito processual, economia e psicologia. Salvador: Juspodivm, 2018.
DITOMASSO, Natalie Ann. The Essence of Innocence: Consequences of Dehumanizing Black Children. Journal of Personality and Social Psychology, v. 106, n. 4, p. 526-545, 2014. Disponível em: https://www.apa.org/pubs/journals/releases/psp-a0035663.pdf. Acesso em: 30 ago. 2020.
DYSON, Freeman. How to Dispel Your Illusions. New York Review of Books, dez/2011. Disponível em: http://www.nybooks.com/articles/archives/2011/dec/22/how-dispel-your-illusions/. Acesso em: 23 ago. 2020.
EBERHARDT, Jennifer L; DAVIES, Paul G.; PURDIE-VAUGHNS, Valerie J.; JOHNSON, Sheri Lynn. Looking Deathworthy: Perceived Stereotypicality of Black Defendants Predicts Capital-Sentencing Outcomes. Psychological Science, v. 17, p. 383-386, 2006.
EUCLIDES. Os elementos. Tradução de Irineu Bicudo. São Paulo: UNESP, 2009.
FENOLL, Jordi Nieva. Inteligencia artificial y proceso judicial. Marcial Pons: Madrid, Barcelona, Buenos Aires, São Paulo, 2018.
FENOLL, Jordi Nieva. Transfondo psicológico de la independencia judicial. In: FENOLL, Jordi Nieva; OTEIZA, Eduardo (dirs.). La independência judicial: um constante asedio. Marcial Pons: Madri, Barcelona, Buenos Aires, São Paulo, 2019.
FERRARI, Isabela; BECKER, Daniel; WOLKART, Erik Navarro. Arbitrium ex machina: panorama, riscos e a necessidade de regulação das decisões informadas por algoritmos. Revista dos Tribunais, v. 995, p. 635-655, set./2018.
GOFF, Phillip Atiba; JACKSON, Matthew Christian; DI LEONE, Brooke Allison Lewis; CULOTTA, Carmen Marie.
HOOFNAGLE, Chris; SOLTANI, Ashkan; GOOD, Nathan; WAMBACH, Dietrich James; AYENSON, Mika D. Behavioral Advertising: The Offer You Cannot Refuse. Harvard Law & Policy Review, v. 6, 2012.
IBM. Machine Learning e Ciência de dados com IBM Watson. Disponível em: https://www.ibm.com/br-pt/analytics/machine-learning.
JONES, Craig. The Troubling New Science of Legal Persuasion: Heuristics and Biases in Judicial Decision-Making. Advocates Quaterly, v. 41, p. 49-122, 2013.
JONES, Craig; RANKIN, Micah B. E. Justice as a Rounding Error? Evidence of Subconscious Bias in Second-Degree Murder Sentences in Canada. Osgoode Digital Commons, v. 10, n. 81, 2014.
KAHNEMAN, Daniel. Rápido e Devagar. Tradução: Cássio de Arantes Leite. Rio de Janeiro: Objetiva, 2012.
KEHL, Danielle; GUO, Priscilla; KESSLER, Samuel. Algorithms in the Criminal Justice System: Assessing the Use of Risk Assessments in Sentencing. Responsive Communities Initiative, Berkman Klein Center for Internet & Society, Harvard Law School, 2017. Disponível em: https://dash.harvard.edu/bitstream/handle/1/33746041/2017-07_responsivecommunities_2.pdf. Acesso em 12 out. 2020.
KING, Allan G.; MRKONICH, Marko J. “Big data” and the risk of employment discrimination. Oklahoma Law Review, v. 68, p. 555-584, 2016.
KROLL, Joshua A.; HUEY, Joanna; BAROCAS, Solon; FELTEN, Edward W.; REIDENBERG, Joel R.; ROBINSON, David G.; YU, Harlan. Accountable algorithms. University of Pennsylvania Law Review, v. 165, n. 3, p. 633-706, 2017.
LARSON, Jeff; MATTU, Surya; LAUREN, Kirchner; ANGWINHOW, Julia. We Analyzed the COMPAS Recidivism Algorithm. Disponível em: https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm. Acesso em: 10 ago. 2019.
MAINKA, Spencer M. Algorithm-based recruiting technology in the workspace. Texas A&M Journal of Property Law, v. 5, 801-922, 2019.
MAYSON, Sandra G. Bias In, Bias Out. Yale Law Journal, v. 128, 2019.
NEGOWETTI, Nicole. E. Judicial Decisionmaking, Empathy and the Limits of Perception. Akron Law Review, v. 47, 2014.
NUNES, Dierle; MARQUES, Ana Luiza Pinto Coelho. Inteligência artificial e direito processual: vieses algorítmicos e os riscos de atribuição de função decisória às máquinas. Revista de Processo, v. 285, p. 421-447, nov./2018.
NUNES, Dierle; LUD, Nathanael; PEDRON, Flávio. Desconfiando da imparcialidade dos sujeitos processuais. Salvador: Juspodivm, 2018.
O’CONNOR, Michael P; RUMANN, Celia. Into the Fire: How to Avoid Getting Burned by the Same Mistakes Made Fighting Terrorism in Northern Ireland. Cardozo Law Review, v. 24, 2003.
PARKS, Gregory S.; DAVIS, Andre M. Confronting Implicit Bias: An Imperative for Judges in Capital Prosecutions. Human Rights Magazine, v. 42, n. 2, 2016. Disponível em: https://www.americanbar.org/groups/crsj/publications/human_rights_magazine_home/2016-17-vol-42/vol--42--no--2---the-death-penalty--how-far-have-we-come-/confronting-implicit-bias--an-imperative-for-judges-in-capital-p/. Acesso em: 30 ago. 2020.
PARLAMENTO EUROPEU E CONSELHO DA UNIÃO EUROPEIA. Regulamento (UE) 2016/679. Disponível em: https://eur-lex.europa.eu/legal-content/PT/TXT/?uri=celex%3A32016R0679. Acesso: 18 out. 2020, grifos aditados).
PARLAMENTO EUROPEU E CONSELHO DA UNIÃO EUROPEIA. Regulamento (UE) 2016/679. Disponível em: https://eur-lex.europa.eu/legal-content/PT/TXT/?uri=celex%3A32016R0679. Acesso: 18 out. 2020.
PEER, Eyal; GAMLIEL, Eyal. Heuristics and Biases in Judicial Decisions. Court Review, v. 49, n. 2, p. 114-119, 2013.
PEIXOTO, Fabiano Hartmann; SILVA, Roberta Zumblick Martins da. Inteligência artificial e Direito. Curitiba: Alteridade, 2019.
PEREIRA, Marcos Emanoel; ÁLVARO, José Luis; OLIVEIRA, Andréia C. Oliveira; DANTAS, Gilcimar. Estereótipos e essencialização de brancos e negros: um estudo comparativo. Psicologia & Sociedade, v. 1, p. 144-153, 2011.
ROOTH, Dan-Olof. Implicit Discrimination in Hiring: Real World Evidence. Institute for the Study of Labor (IZA), 2007. Disponível em: http://ftp.iza.org/dp2764.pdf. Acesso em 30 ago. 2020.
SILLS, Arthur J. Automated Data Processing and the Issue of Privacy. Seton Hall Law Review, v. 1, 1970.
SIQUEIRA, Adliz da Rocha; FONSECA, Claudia Salvini Barbosa Martins da; PAULA, Isabela Maria Barbosa de; NOVAIS Marina Magalhães. Doença celíaca: um diagnóstico diferencial a ser lembrado. Brazilian Journal of Allergy and Immunology, v. 2, n. 6, 2014.
STANFORD UNIVERSITY INFOLAB. Arthur Samuel: Pioneer in Machine Learning. Disponível em: http://infolab.stanford.edu/pub/voy/museum/samuel.html. Acesso em: 4 out. 2020.
STEINBOCK, Daniel J. Data Matching, Data Mining and Due Process. Georgia Law Review, v. 40, n. 1, 2005.
SUNSTEIN, Cass R. Behavioral Law and Economics. Cambridge: Cambridge University Press, 2000.
TURING, Alan M. Lecture to the London Mathematical Society, feb. 20, 1947.
TURING, A. M. Computing machinery and intelligence. Mind, v. LIX, n. 236, 1950.
TVERSY, Amos; KAHNEMAN, Daniel. Availability: A heuristic for judging frequency and probability. Cognitive Psychology, v. 2, n. 5, p. 207-232, 1973.
TVERSY, Amos; KAHNEMAN, Daniel. Judgment under Uncertainty: Heuristics and biases. Science, v. 185, p. 1.124-1.131, 1974.
U.S. GOVERNMENT ACCOUNTABILITY OFFICE. Data Mining: Federal Efforts Cover a Wide Range of Uses, 2004. Disponível em: https://www.gao.gov/products/GAO-04-548. Acesso em 12 out. 2020.
VAN HAASTERT, Hugo. 2016. Government as a Platform: Public Values in the Age of Big Data. Oxford Internet Institute, 2016. Disponível em: http://blogs.oii.ox.ac.uk/ipp-conference/sites/ipp/files/documents/Government%2520as%2520a%2520Platform%2520-%2520Big%2520data%2520paper.pdf. Acesso em: 12 out. 2020.
VILLASENOR, John; FOGGO, Virginia. Artificial Intelligence, Due Process and Criminal Sentencing.
WALDFOGEL, Joel; AYERS, Ian. A Market Test for Race Discrimination in Bail Setting. Stanford Law Review, v. 46, p. 987-1048, 1994.
YANISKY-RAVID, Shlomit; HALLISEY, Sean. Equality and Privacy by Design: a New Model of Artificial Intelligence Data Transparency via Auditing, Certification, and Safe Harbor Regimes. Fordham Urban Law Journal, v. 46, n. 2, p. 428-486, 2019.
YOUYOU Wu; KOSINSKI, Michal; STILLWELL, David. Computer-based personality judgments are more accurate than those made by humans. PNAS, n. 112, n. 4, p. 1036-1040, 2015.
ZITTRAIN, Jonathan. Engineering an Election. Harvard Law Review, v. 127, p. 335-341, 2013-2014.
Descargas
Publicado
Cómo citar
Número
Sección
Licencia
Os direitos autorais dos artigos publicados são do autor, com direitos do periódico sobre a primeira publicação.
Os autores somente poderão utilizar os mesmos resultados em outras publicações indicando claramente este periódico como o meio da publicação original. Se não houver tal indicação, considerar-se-á situação de autoplágio.
Portanto, a reprodução, total ou parcial, dos artigos aqui publicados fica sujeita à expressa menção da procedência de sua publicação neste periódico, citando-se o volume e o número dessa publicação. Para efeitos legais, deve ser consignada a fonte de publicação original.
Português (Brasil)
English
Español (España)
Assine a Revista: 
