Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy

Однажды вы будете болтать с друзьями и похвастаетесь, что заплатили за автомобильную страховку всего х денег, и тут ваш собеседник потемнеет лицом и огорченно скажет, что примерно такую же машину застраховал за 3х в том же СуперПуперСтрахе. Вы начнете разбираться и выясните – ну так, приблизительно – что АИС СуперПуперСтраха автоматически счел вашего товарища более рискованным водителем из-за того, что он в юные годы много торчал на форумах по GTA, однажды купил автомобильную наклейку “Тормоза придумал трус” (на самом деле, даже не для себя, но АИС об этом не знает), не вовремя оплачивает коммунальные счета и каждое утро покупает стакан кофе – то есть, плохо высыпается. Кроме того, АИС в курсе, что вы ездите на машине только по выходным с семьей, а для вашего товарища автомобиль – единственный способ добраться до работы. А что там еще АИС знает и как именно обрабатывает информацию, никто не понимает, потому что ее алгоритмы построены на принципах машинного обучения, и уже далеко мутировали относительно первоначального варианта. Тем не менее, СуперПуперСтрах и все остальные страховые компании это устраивает, потому что

Скоро мы все так будем жить, сообщает автор книги “Оружие математического поражения” и блога MathBabe. Приехали. Автоматизированные системы скоринга работают в рекрутинге, оценке эффективности персонала, кредитной системе, политике. Всех посчитают – пол беды, непонятно и неподотчетно, как именно, – вот где проблема.

Самым мощным из известных мне заходов на цифровой алармизм была книга Евгения Морозова To Save Everything, Click Here: The Folly of Technological Solutionism, где он критикует все, что было тогда, в 2014 году, дорого моему сердцу (в профессиональной сфере) – и возлюбленные открытые данные, и электронное правительство, и непредставительную цифровую демократию. У Кейти О’Нил ярости меньше, она концентрируется на проблеме матмоделей и алгоритмов.

Основной тезис автора состоит в том, что у хорошей математической модели всегда есть цикл обратной связи, которые корректируют ее ошибки. Если продажи “рекомендованных товаров” Амазона начнут падать, они там срочно пойдут править матмодель, которая прикидывает, что вам такого подсунуть в рекомендациях. И алгоритм станет лучше. Но в плохих матмоделях никакого механизма корректирующей обратной связи нет! Если скоринговая система банка будет пропускать вполне хороших, добросовестных заемщиков, которых сейчас она отсекает по признакам места жизни в “плохих” кварталах, не-белого цвета кожи, плохой истории оплаты коммунальных счетов. Система не может получить обратную связь и исправиться, поэтому ухудшается. Если бы АИСы на основе Big Data начали бы отбирать бы людей на работу в пятидесятые годы, то везде бы на приличных должностях так бы и работали белые мужчины (в США. Это все американские реалии).

Иногда автоматизация вводится с благой целью, а получается не очень. Страховые компании настойчиво предлагают брать с людей разные деньги за ДМС в зависимости от того, насколько они придерживаются здорвоого образа жизни – но кончается все, фактически, штрафами толстякам. При том, что индекс массы тела – допотопная концепция, которая плохо отражает состояние здоровья, а у чернокожих женщин повышенный ИМТ практически норма.

Некоторые матмодели, определяющие жизнь людей, попросту несостоятельны. Например, в некоторых штатах работу учителей меряют по изменению среднего балла учеников, и это дискриминирует педагогов, которые работают с трудными детьми в трудных районах. Может быть, они достигли реальных успехов в развитии детей, но средний балл оказывается все равно в конце рейтинга, и учителя накажут или уволят, не разобравшись, в чем дело.

Изощренные алгоритмы, которые ведут сейчас избирательные кампании, тоже могут быть антидемократичными по своему действию. “Выгоднее” всего действовать на колеблющихся избирателей в колеблющихся штатах, поэтому все ресурсы на убеждение и коммуникацию потратятся на небольшую долю электората, оставив без внимания избирателей в целом.

Такие дела. Для книжки профессионального математика в тексте маловато, собственно, математического подхода. Такой же текст мог бы выдать и журналист, разве что доверия ему было бы меньше.

Если и есть на совести Хокинга грех перед делом просвещения, так это его знаменитая формула про формулу, которая сокращает число потенциальных читателей книги вдвое. Издатели и редактора так боятся отпугнуть аудиторию, что научпоп получается жидковатым, какой бы умный автор его не писал. Даешь книжки от математиков с математикой. Я думаю, это залог выживания человечества: чтобы люди понимали возникающий новый мир машин, люди должны знать математику, а для этого необходим средний слой литературы между описательными занимательными рассказами и суровыми научными статьями.