Исследования показали, что предиктивные модели умеют также выделять индивидуальные данные – например, расу и национальность – на основе, в частности, лайков в Facebook. Опасность заключается в том, как маркетологи будут использовать эту информацию. Профессор управления и технологий в Гарвардском университете Латания Суини описывает проблему так: «Онлайн-реклама – это всегда дискриминация, разделение людей на группы. Мы не хотим показывать молодым мамам рекламу удочек, а рыболовам – рекламу подгузников. Но в какой-то момент эта дискриминация перестает быть простым таргетированием и начинает приносить вред большой группе людей». Исследование, проведенное Суини, показало, что при поиске в Google имен, часто встречающихся у темнокожих, на 25% чаще появлялась реклама, из которой следовало, что у человека есть досье арестов, даже если в базе данных рекламодателя на самом деле вообще не было человека с таким именем.
«Если создать технологию, которая может разделять людей по расам, кто-нибудь обязательно использует ее для дискриминации», – говорит Клэр Гарви, старший научный сотрудник Центра приватности и технологий при факультете права Университета Джорджтауна.