[Citações] Algoritmos de Destruição em Massa - Cathy O'Neil
Finalizei o ótimo livro Algoritmos de Destruição em Massa, de Cathy O'Neil. As ideias apresentadas na obra, principalmente nos primeiros capítulos, são esclarecedoras e mostram o quão cruéis os algoritmos podem ser. O livro se torna um tanto repetitivo nos capítulos finais, mas isso não diminui o valor do trabalho.
Esses são alguns trechos que destaquei durante a minha leitura:
Um modelo, afinal de contas, nada mais é do que a representação abstrata de algum processo, seja um jogo de beisebol, a cadeia logística de uma petroleira, as ações de um governo estrangeiro, ou o público de um cinema.
Sempre haveria erros, entretanto, porque modelos são, por sua própria natureza, simplificações. Nenhum modelo consegue incluir toda a complexidade do mundo real ou as nuances da comunicação humana.
Para criar um modelo, então, fazemos escolhas sobre o que é importante o bastante para ser incluído, simplificando o mundo numa versão de brinquedo que possa ser facilmente entendida, e a partir da qual possamos inferir fatos e ações importantes.
E um modelo criado para hoje irá funcionar um pouco pior amanhã. Ficará obsoleto se não for atualizado de forma constante.
Durante meu período na linha direta, tive a sensação de que as pessoas alertando sobre riscos eram vistas como desmancha-prazeres ou, pior, uma ameaça aos resultados dos bancos.
Se foi verdade durante os primórdios ponto-com que “ninguém sabe que você é um cachorro” (como no cartum de um cão atrás do teclado), é o exato oposto hoje em dia. Somos classificados, categorizados e pontuados em centenas de modelos com base em nossas preferências e padrões exibidos.
Isso estabelece uma base poderosa para campanhas publicitárias legítimas, mas também abastece seus primos mais predatórios: anúncios que identificam com precisão pessoas em necessidade e que as vendem promessas falsas ou exageradas. Eles encontram desigualdade e se fartam com ela. O resultado é que perpetuam nossa estratificação social existente, com todas as suas injustiças.
Por que, especificamente, estavam mirando nessas pessoas? Vulnerabilidade vale ouro. Sempre valeu.
Então mesmo que um modelo não enxergue a cor da pele, o resultado o faz. Em nossas cidades amplamente segregadas, a localização geográfica é um proxy altamente eficaz para raça.
Nossos meios de sustento dependem cada vez mais de nossa habilidade de conseguir convencer máquinas. O exemplo mais claro disso é o Google [...]
[...] esses modelos são construídos não apenas de dados, mas das escolhas que fazemos sobre em quais dados prestar atenção — e quais deixar de fora. Essas escolhas não tratam apenas de logísticas, lucros e eficiência. Elas são fundamentalmente morais.