Les entreprises de crédit sont-elles sexistes et partiales?

Apple Card Copyright de l’image APple

Jamie Heinemeier Hansson avait une meilleure cote de crédit que son mari, David, entrepreneur en technologie.

Ils ont des parts égales dans leurs biens et produisent des déclarations de revenus conjointes.

Pourtant, David a reçu la permission d'emprunter 20 fois le montant de sa carte Apple Card que sa femme n'a reçu.

La situation était loin d'être unique. Même Steve Wozniak, cofondateur d'Apple, a tweeté que la même chose lui était arrivée à lui et à sa femme malgré l'absence de comptes bancaires ou d'actifs distincts.

L'affaire a causé un scandale aux États-Unis. Les régulateurs enquêtent. Les politiciens ont critiqué Goldman Sachs, qui gère la carte Apple, pour sa réponse.

Lire aussi:

Ce que la saga a mis en lumière, c'est le rôle de l'apprentissage machine et des algorithmes - les règles du calcul informatique - dans la prise de décisions clairement sexistes, racistes ou discriminatoires d'une autre manière.

La société a tendance à supposer - à tort - que les ordinateurs sont des machines impartiales qui ne font pas de discrimination parce qu'elles ne peuvent pas penser comme les humains.

La réalité est que les données historiques qu'ils traitent, et peut-être les programmeurs qui les alimentent ou les créent, sont eux-mêmes biaisés, souvent de manière non intentionnelle.

De même, les machines peuvent tirer des conclusions sans poser de questions explicites (comme la discrimination entre les hommes et les femmes même si elles ne demandent pas d'informations sur le genre).

Comment nos vies sont-elles affectées ?

Toute une série d'aspects de notre vie quotidienne ont été modifiés, et sans aucun doute améliorés, par l'utilisation d'algorithmes informatiques - du transport et de la technologie au shopping et au sport.

On peut soutenir que l'impact le plus clair et le plus direct se fait sentir sur notre vie financière. Les banques et les autres prêteurs utilisent la technologie de l'apprentissage automatique pour évaluer les demandes de prêt, y compris les prêts hypothécaires. L'industrie de l'assurance est dominée par les conclusions des machines sur les niveaux de risque.

Pour le consommateur, l'algorithme est essentiel pour décider combien il doit payer pour quelque chose, ou même s'il est autorisé à avoir ce produit du tout.

Copyright de l’image Getty Images

Vous pouvez aussi être intéressé par:

Prenez l'assurance : ce qu'on appelle la "loterie du code postal" vient du fait qu'un algorithme décidera pourquoi deux personnes ayant des propriétés identiques et un système de sécurité identique paieront des montants différents pour leur assurance habitation.

L'algorithme utilise des codes postaux pour rechercher les taux de criminalité dans ces zones, puis porte un jugement sur la probabilité qu'une propriété soit cambriolée et fixe la prime en conséquence.

Avec des points de crédit, la conclusion de n'importe quelle machine sur la mesure dans laquelle vous êtes fiable à rembourser peut affecter tout, de l'accès à un contrat de téléphone portable au lieu où vous pouvez louer une maison.

Dans le cas de la carte Apple, nous ne savons pas comment l'algorithme prend ses décisions ou quelles données il utilise, mais cela pourrait inclure des données historiques sur les types de personnes considérées comme plus risquées financièrement, ou qui ont traditionnellement fait des demandes de crédit.

Ces algorithmes sont-ils donc biaisés ?

Goldman Sachs, la banque qui exploite la carte Apple, affirme qu'elle ne demande même pas aux demandeurs leur sexe, leur race, leur âge et ainsi de suite - il serait illégal de le faire. Les décisions n'étaient donc pas fondées sur la question de savoir s'il s'agissait d'un homme ou d'une femme.

Cependant, cela ignore ce que Rachel Thomas, directrice du USF Center for Applied Data Ethics à San Francisco, appelle les "variables latentes".

"Même si la race et le sexe ne sont pas des données d'entrée de votre algorithme, il peut toujours être biaisé sur ces facteurs", a-t-elle écrit dans un fil de discussion sur Twitter.

Par exemple, un algorithme ne connaîtra pas le sexe de quelqu'un, mais il peut savoir que vous êtes un enseignant du primaire - une industrie à prédominance féminine. Les données historiques, les plus controversées en matière de criminalité et de justice, peuvent provenir d'une époque où les décisions humaines de la police ou des juges étaient influencées par la race d'une personne.

La machine apprend et reproduit les conclusions du passé qui peuvent être biaisées.

Copyright de l’image Science Photo Library
Image caption Les données sont devenues extrêmement précieuses pour les entreprises

Elle sera également pire dans le traitement des données qu'elle n'a jamais vues auparavant. Une personne qui n'est pas de race blanche ou qui a un fort accent régional peut ne pas être aussi bien reconnue par un logiciel automatisé de reconnaissance faciale ou vocale qui a surtout été " formé " sur des données provenant de Blancs sans accent régional - une source de colère pour certains qui appellent un centre d'appel.

Que peut-on faire à ce sujet ?

L'impartialité, ou non, des algorithmes fait l'objet de vifs débats depuis un certain temps, avec relativement peu de consensus.

L'une des options consiste pour les entreprises à faire preuve d'une grande ouverture quant à la façon dont ces algorithmes sont établis.

Cependant, ces produits sont de précieux biens commerciaux, développés au fil des ans par des personnes hautement qualifiées et bien rémunérées. Ils ne voudront pas simplement révéler leurs secrets.

La plupart des détaillants, par exemple, seraient ravis de recevoir gratuitement les algorithmes d'Amazon.

Une autre option est la transparence algorithmique - dire au client pourquoi une décision a été prise et quels éléments de ses données étaient les plus importants.

Pourtant, il y a peu d'accord sur la meilleure façon de présenter ces informations.

Une réponse pourrait être d'utiliser davantage d'algorithmes basés sur des informations moins spécifiques.

Lire également:

Jason Sahota, chef de la direction de Charles Taylor InsureTech, qui fournit des logiciels pour l'industrie de l'assurance, affirme qu'il y a une utilisation croissante des polices regroupées.

Un assureur peut offrir une couverture maladie collective par l'intermédiaire d'un employeur pour un certain groupe de travailleurs.

Les assurés n'ont pas besoin de remplir des formulaires individuels, car l'assureur évalue leur risque dans son ensemble.

Il dit que la demande des consommateurs pour moins de clics et des paiements plus rapides se produisait alors que le processus de souscription d'assurance était simplifié.

Si l'on supprime trop de données, il serait difficile de différencier les demandeurs et les politiques, ce qui conduirait à des produits homogénéisés qui coûteraient plus cher.

Au lieu de cela, M. Sahota soutient que les gens devraient être informés des raisons pour lesquelles des informations sont demandées et de la manière dont elles sont utilisées.

S'il s'avère que quelque chose est involontairement biaisé, alors - plutôt que de simplement blâmer les données - il dit qu'il est important de faire quelque chose pour trouver un moyen de résoudre le problème.

Regarder:

Media playback is unsupported on your device
Surfer les vagues de la parité en Afrique de l'Ouest