Глубокие нейронные сети более точны, чем люди, при определении сексуальной ориентации по изображению лица

Это препринт рецензируемой статьи, которая появится в Journal Of Personality and Social Psychology.

Самая последняя версия доступна по адресу https://osf.io/zn79k/

Глубокие нейронные сети более точны, чем люди, при определении сексуальной ориентации по изображению лица

(перевод статьи с английского)

Илунь Ван, Михал Косински

Высшая школа бизнеса Стэнфордского университета, Стэнфорд, Калифорния 94305, США

michalk@stanford.edu

Примечание автора:

И. В. и М. К. собрали данные и провели анализ; М. К. написал статью.

Аннотация

Мы показали, что лица содержат гораздо больше информации о сексуальной ориентации, чем может воспринять и интерпретировать человеческий мозг. Мы использовали глубокие нейронные сети для извлечения признаков из 35 326 изображений лиц. Эти признаки были включены в логистическую регрессию, направленную на классификацию сексуальной ориентации. По одному изображению лица классификатор может правильно различить гомосексуальных и гетеросексуальных мужчин в 81% случаев, а женщин – в 74%. Люди, оценивавшие изображения, достигли гораздо более низкой точности: 61% для мужчин и 54% для женщин. Точность алгоритма возросла до 91% и 83% соответственно с учетом пяти изображений лица одного человека. Черты лица, используемые классификатором, включали как фиксированные (например, форму носа), так и меняющиеся черты лица (например, стиль ухода). В соответствии с пренатальной гормональной теорией сексуальной ориентации, гомосексуальные мужчины и женщины, как правило, имеют гендерно-атипичную морфологию лица, мимику и манеру ухода. Модели прогнозирования, ориентированные только на пол, позволили выявить гомосексуальных мужчин с точностью 57% и гомосексуальных женщин с точностью 58%. Эти открытия способствуют нашему пониманию истоков сексуальной ориентации и пределов человеческого восприятия. Кроме того, учитывая то, что компании и правительства все чаще используют алгоритмы компьютерного зрения для выявления личных качеств людей, наши результаты подвергают угрозе частную жизнь и безопасность гомосексуальных мужчин и женщин.

Ключевые слова: сексуальная ориентация, лицо, морфология лица, пренатальная гормональная теория, вычислительная социология, большие данные, конфиденциальность, искусственный интеллект

Наука об оценке характера человека по чертам его лица, или физиогномика, восходит к Древнему Китаю и Греции (Jenkinson, 1997). Среди ее приверженцев были Аристотель и Пифагор, и последний отбирал своих учеников, основываясь на их чертах лица (Riedweg, 2005). Такие убеждения сохранялись и набирали популярность на протяжении веков. Роберт Фицрой, капитан корабля «Бигль», считал, что нос Дарвина свидетельствует об отсутствии энергии и решимости, и был близок к тому, чтобы помешать ему совершить историческое путешествие (Glaser, 2002). Чезаре Ломброзо, основатель криминальной антропологии, считал, что преступников можно идентифицировать по их чертам лица. Он утверждал, например, что поджигатели обладают “мягкостью кожи, почти детской внешностью и обилием густых прямых волос, что почти женственно” (Lombroso, 1911, p. 51). К восемнадцатому веку физиогномика “была не просто популярным увлечением, но и предметом активных академических дебатов по поводу обещаний, которые она давала для будущего прогресса” (Porter, 2003, p. 497).

Физиогномика сейчас повсеместно и справедливо отвергается как смесь суеверия и расизма, замаскированная под науку (Jenkinson, 1997). Из-за своего наследия изучение или даже обсуждение связей между чертами лица и характером стало табу, что привело к широко распространенному предположению, что таких связей не существует. Однако есть множество продемонстрированных механизмов, которые доказывают обратное. Такие механизмы можно разделить на три группы. Во-первых, существует много свидетельств того, что характер может влиять на внешний вид человека (например, Lõhmus, Sundström, & Björklund, 2009; Zebrowitz & Collins, 1997). Например, женщины, демонстрирующие высокие показатели экстраверсии в раннем возрасте, как правило, с годами становятся более привлекательными (Zebrowitz, Collins, & Dutta, 1998). Во-вторых, лицо может изменить характер человека. Внешность формирует первое впечатление о других людях, влияет на наши ожидания и поведение по отношению к ним, что, в свою очередь, формирует их характер (Berry, 1991; Berry & Brownlow, 1989; Penton-Voak, Pound, Little, & Perrett, 2006; Todorov, Said, Engell, & Oosterhof, 2008; Zebrowitz & Collins, 1997; Zebrowitz et al., 1998). Например, симпатичные люди получают больше положительных отзывов в обществе и, следовательно, имеют тенденцию становиться еще более экстравертированными (Lukaszewski & Roney, 2011). Наконец, существует широкий спектр факторов, влияющих как на внешний вид, так и на черты характера человека. К ним относятся пре- и постнатальный гормональные уровни (Jones et al., 2015; Lefevre, Lewis, Perrett, & Penke, 2013; Whitehouse et al., 2015), история развития (Astley, Stachowiak, Clarren, & Clausen, 2002 ), факторы окружающей среды и экспрессия генов (Ferry et al., 2014). К примеру, уровень тестостерона существенно влияет как на поведение (например, доминирование), так и на внешний вид (например, соотношение ширины лица к росту) (Lefevre et al., 2014). Существование таких связей между чертами лица и характером подтверждается тем фактом, что люди могут точно судить о характере, психологическом состоянии и демографических признаках других людей по их лицам (Zebrowitz, 1997). Например, мы можем легко и точно определить пол, возраст, расу или эмоциональное состояние других, просто взглянув на их лица (Brown & Perrett, 1993; Macrae & Bodenhausen, 2000; Roberts & Bruce, 1988). Люди также судят, с некоторой минимальной точностью, о политических взглядах других (например, Rule & Ambady, 2010; Samochowiec, Wänke, & Fiedler, 2010), честности (например, Bond, Berry, & Omar, 1994), личностных качествах (например, Borkenau, Brecke, Möttig, & Paelecke, 2009), сексуальной ориентации (например, Rule & Ambady, 2008) или даже вероятности победы на выборах (например, Ballew & Todorov, 2007; Little, Burriss, Jones, & Roberts, 2007; Todorov, Mandisodza, Goren, & Hall, 2005). Такие суждения не очень точны, но являются обычными и спонтанными. Важно отметить, что низкая точность людей при оценке характера по лицам других людей не обязательно означает, что соответствующие сигналы не отображаются на видном месте. Вместо этого у людей может отсутствовать способность их обнаруживать или интерпретировать. Возможно, что некоторые из наших личных характеристик заметно проявляются на лице, даже если другие не могут их воспринять. Здесь мы проверяем эту гипотезу с помощью современных алгоритмов компьютерного зрения. Недавний прогресс в области искусственного интеллекта и компьютерного зрения в значительной степени обусловлен широким распространением глубоких нейронных сетей (DNN) или нейронных сетей, состоящих из большого количества скрытых слоев (LeCun, Bengio, & Hinton, 2015). DNN имитируют неокортекс, моделируя большие многоуровневые сети взаимосвязанных нейронов. DNN превосходно распознают закономерности в больших неструктурированных данных, таких как цифровые изображения, звук или текст, и анализируют подобные паттерны для составления прогнозов. DNN все чаще превосходят людей в визуальных задачах, таких как классификация изображений, распознавание лиц или диагностика рака кожи (Esteva et al., 2017; LeCun et al., 2015; Lu & Tang, 2014). Превосходная производительность DNN дает возможность идентифицировать связи между характеристиками и чертами лица, которые могут быть упущены или неверно истолкованы человеческим мозгом.

Мы проверили нашу гипотезу на специфической личностной характеристике – сексуальной ориентации. Мы выбрали эту черту по трем основным причинам. Во-первых, это глубинная психолого-демографическая черта, которая не может быть легко обнаружена другими. В то время как люди могут определить сексуальную ориентацию других людей как по нейтральным, так и по эмоциональным лицам (Rule & Ambady, 2008; Tskhay & Rule, 2015) или даже по одной характеристике внешности, такой как рот, глаза или волосы (Lyons, Lynch, Brewer, & Bruno, 2014; Rule, MacRae, & Ambady, 2009), точность таких суждений очень ограничена и колеблется от 55 до 65% (Ambady, Hallahan, & Conner, 1999; Lyons et al., 2014; Rule et al., 2009). Связь между чертами лица и сексуальной ориентацией, однако, может быть сильнее, чем то, что замечает человеческий глаз. Последние данные показывают, что геи и лесбиянки^[1], которые, вероятно, имеют больше опыта и мотивации для выявления сексуальной ориентации других, являются незначительно более точными, чем гетеросексуалы (Brambilla, Riva, & Rule, 2013).

Во-вторых, широко распространенная теория пренатальных гормонов (prenatal hormone theory, PHT), влияющих на сексуальную ориентацию, предсказывает наличие связи между чертами лица и сексуальной ориентацией. Согласно PHT, однополая сексуальная ориентация развивается из-за недостаточного воздействия на плод мужского пола или чрезмерного воздействия на плод женского пола андрогенов, которые ответственны за половую дифференциацию (Allen & Gorski, 1992; Jannini, Blanchard, Camperio-Ciani, & Bancroft, 2010; Udry & Chantala, 2006). Поскольку те же самые андрогены ответственны за половой диморфизм лица, PHT предсказывает, что геи будут иметь тенденцию к гендерно-атипичной морфологии лица (Bulygina, Mitteroecker, & Aiello, 2006; Rhodes, 2006; Whitehouse et al., 2015). Согласно PHT, у геев должно быть больше женских черт лица, чем у гетеросексуальных мужчин, а у лесбиянок должно быть больше мужских черт, чем у гетеросексуальных женщин. Таким образом, прогнозируется, что у геев будут меньше челюсти и подбородки, более тонкие брови, более длинные носы и большой лоб; обратное должно быть верно для лесбиянок. Кроме того, поскольку пренатальные уровни андрогенов также влияют на половую дифференциацию поведения и предпочтений во взрослом возрасте (Meyer-Bahlburg, 1984; Udry, 2000), PHT предсказывает, что гомосексуалисты могут склоняться к принятию гендерно-атипичных украшений лица, мимики и стиля ухода. Такое гендерно-атипичное поведение и предпочтения также могут быть закодированы в гей-культуре, что еще больше усиливает влияние пренатальных уровней андрогенов.

Предыдущие эмпирические данные неоднозначно подтверждают гендерную типичность черт лица гомосексуальных мужчин и женщин. Хьюз и Бремме (2011) изучили выборку из 60 изображений мужчин-геев и пришли к выводу, что у мужчин-геев в среднем более женственные черты лица. Лайонс и др. (2014) попросили 120 человек оценить мужественность и женственность 80 лиц мужчин и женщин. Они обнаружили, что в среднем гетеросексуальные женщины и гомосексуальные мужчины оценивались как более женственные и менее мужественные, чем гомосексуальные женщины и гетеросексуальные мужчины. Однако Скорска, Гениоле, Врисен, Маккормик и Богерт (2015) использовали выборку из 390 фотографий мужчин и женщин и обнаружили, что и у лесбиянок, и у геев было больше маскулинных лиц, чем у гетеросексуальных женщин и мужчин соответственно. Валентова, Клейснер, Гавличек и Неуступа (2014, стр. 353) использовали выборку изображений лиц 40 геев и 40 гетеросексуальных мужчин и обнаружили, что в среднем у геев были относительно более широкие и короткие лица, меньшие и более короткие носы и более крупные и округлые челюсти, или “мозаика как женских, так и мужских черт”. Такие неоднозначные результаты можно объяснить сложностью точного определения и измерения женственности лица. Их также можно отнести к тому факту, что разница между лицами геев и гетеросексуалов может быть слишком тонкой, чтобы ее можно было надежно обнаружить в небольших выборках, использованных в этих исследованиях. Данное исследование направлено на устранение этих ограничений за счет использования гораздо большего размера выборки и методов, основанных на данных, включая базирующуюся на алгоритмах оценку женственности лица.

Наконец, предсказуемость сексуальной ориентации может иметь серьезные и даже опасные для жизни последствия для гомосексуальных женщин и мужчин и общества в целом. В некоторых культурах гомосексуальные мужчины и женщины по-прежнему страдают от физического и психологического насилия со стороны правительства, соседей и даже своих семей. Возможно, из-за дискриминации и стигматизации гомосексуалисты также подвергаются более высокому риску депрессии, самоубийства, членовредительства и злоупотребления психоактивными веществами (King et al., 2008). Следовательно, их благополучие и безопасность могут зависеть от их способности контролировать, когда и кому раскрывать о своей сексуальную ориентации. По сообщениям прессы, правительства и корпорации разрабатывают и применяют инструменты прогнозирования на основе лиц, нацеленные на личные психо-демографические характеристики, такие как вероятность совершения преступления, терроризм или педофилия (Chin & Lin, 2017; Lubin, 2016). Законы многих стран криминализируют однополое сексуальное поведение, а в восьми странах, включая Иран, Мавританию, Саудовскую Аравию и Йемен, оно карается смертью (Совет ООН по правам человека, 2015). Таким образом, крайне важно информировать политиков, технологические компании и, что наиболее важно, гей-сообщество о том, насколько точными могут быть прогнозы на основе лиц.

В данной работе исследуется, проявляется ли личная психолого-демографическая черта – сексуальная ориентация – на человеческих лицах за пределами того, что может быть воспринято человеком. Мы решаем этот вопрос, используя подход, основанный на данных. DNN использовалась для извлечения черт из изображений лиц 35 326 гомосексуальных и гетеросексуальных мужчин и женщин. Эти характеристики были введены (отдельно для каждого пола) как независимые переменные в модель логистической регрессии с перекрестной проверкой, направленную на прогнозирование самоопределяемой сексуальной ориентации. Полученная точность классификации дает представление о количестве информации, относящейся к сексуальной ориентации, отображаемой на человеческих лицах. Мы также исследуем особенности, используемые классификатором, и выясняем, не являются ли лица геев гендерно-атипичными, как это было предсказано PHT. Кроме того, мы сравниваем точность компьютерного алгоритма с точностью человеческих оценок. Точность человеческой оценки не только обеспечивает основу для интерпретации точности алгоритма, но также помогает выяснить, не являются ли нестандартные изображения лиц, используемые здесь, более показательными для сексуальной ориентации, чем стандартизованные изображения лиц, сделанные в контролируемых условиях. Наконец, используя независимую выборку изображений лиц гомосексуалистов, мы проверяем внешнюю прогностическую валидность разработанного здесь классификатора.

Исследование 1а: Использование глубокой нейронной сети для определения сексуальной ориентации

В исследовании 1а мы показываем, что DNN можно использовать для определения сексуальной ориентации по изображениям лиц. Предыдущие исследования, связывающие черты лица с сексуальной ориентацией, использовали изображения нейтральных^[2] лиц, снятых в лаборатории (например, Skorska et al., 2015; Valentova et al., 2014), или самостоятельно сделанные снимки, полученные с сайтов онлайн-знакомств (например, Hughes & Bremme, 2011; Lyons et al., 2014; Rule & Ambady, 2008; Rule, Ambady, Adams, & Macrae, 2008). Мы использовали второй подход, поскольку такие изображения можно собирать в большом количестве из более репрезентативных выборок и с меньшими затратами (с точки зрения как участников, так и исследователей). Более многочисленные и показательные примеры, в свою очередь, позволяют обнаруживать явления, которые, возможно, не были очевидны в менее многочисленных лабораторных образцах. Кроме того, использование самостоятельно сделанных легкодоступных цифровых изображений лиц повышает экологическую достоверность наших результатов, что особенно важно, учитывая их критическое значение для конфиденциальности. Изображения, сделанные и загруженные участниками, имеют ряд потенциальных недостатков. Они могут различаться по качеству, выражению лица, ориентации головы и фону. Кроме того, учитывая, что они изначально были размещены на сайте знакомств, они могут особенно указывать на сексуальную ориентацию. Мы предпринимаем несколько шагов, чтобы уменьшить влияние таких факторов. Во-первых, черты лица извлекаются с помощью DNN, которая была специально разработана, чтобы сосредоточиться на фиксированных чертах лица без учета ориентации головы и фона. Во-вторых, исследование 1b исследует области лица, используемые классификатором, и показывает, что классификатор фокусируется на лице и не полагается на фон. В-третьих, исследования 1c и 2 исследуют черты лица, используемые классификатором, и показывают, что они согласуются с теорией (PHT). В-четвертых, исследования 3 и 4 показывают, что использованные здесь изображения раскрывают сексуальную ориентацию не более, чем изображения нейтральных лиц, снятых в контролируемой обстановке, или изображения, полученные из Facebook.

Методы

Изображения лиц. Мы получили изображения лиц из общедоступных профилей, размещенных на сайте знакомств в США. Мы учли 130 741 изображение 36 630 мужчин и 170 360 изображений 38 593 женщин в возрасте от 18 до 40 лет, которые сообщили о своем местонахождении в США. Гомосексуалисты и гетеросексуалы были представлены в равном количестве. Их сексуальная ориентация была установлена ​​на основании пола партнеров, которых они искали (согласно их профилям).

                                   A                                                                   B

Рисунок 1. Графическая иллюстрация результата, полученного Face ++. Панель A иллюстрирует лицевые ориентиры (цветные точки, n = 83) и лицевую рамку (синяя рамка). Панель B иллюстрирует параметры наклона вниз/вверх, бокового наклона и поворота, которые описывают ориентацию головы в пространстве.

Расположение лица на изображении, очертания его элементов и ориентация головы были извлечены с помощью широко используемого программного обеспечения для распознавания лиц: Face ++^[3]. На рисунке 1 показан вывод Face ++ в графическом формате. Цветные точки (панель A) указывают на расположение ориентиров, очерчивающих контур и элементы лица. Кроме того, Face ++ предоставил оценки поворота, наклона вниз/вверх и бокового наклона головы (панель B).

Основываясь на результатах Face ++, мы удалили изображения, содержащие несколько лиц, частично скрытые лица (т. е. с отсутствующими одним или несколькими ориентирами) и слишком маленькие лица (т. е. где расстояние между глазами было менее 40 пикселей). Мы также удалили лица, которые не были обращены непосредственно к камере (т. е. с поворотом более 15 градусов и углом наклона вниз/вверх более 10 градусов).

Таблица 1

Частота изображений пользователей и лиц, а также возрастное распределение в окончательной выборке, использованной в исследовании 1

Затем мы наняли сотрудников Amazon Mechanical Turk (AMT), чтобы убедиться, что лица принадлежат взрослым людям европеоидной расы, полностью видимы и соответствуют полу, указанному в профиле пользователя. Мы определили задачу сотрудникам из США, которые ранее выполнили не менее 1000 задач и получили уровень одобрения не менее 98%. Остались только лица, одобренные четырьмя из шести сотрудников. См. рисунок S1 с инструкциями, представленными сотрудникам. Наконец, мы случайным образом удалили некоторых пользователей, чтобы сбалансировать возрастное распределение подвыборок сексуальной ориентации и их размер – отдельно для каждого пола. Окончательная выборка содержала 35 326 изображений лиц 14 776 геев и гетеросексуалов (50/50%) мужчин и женщин (53/47%; подробности см. в таблице 1). Изображения лиц были обрезаны с использованием лицевой рамки, представленной в Face ++ (синяя рамка на рисунке 1), и изменены до 224 x 224 пикселей.

Извлечение черт лица с помощью глубокой нейронной сети. Черты лица были извлечены из изображений с использованием широко используемой DNN, называемой VGG-Face (Parkhi, Vedaldi, & Zisserman, 2015). VGG-Face изначально была разработана (или обучена) с использованием выборки из 2,6 миллионов изображений с целью распознавания лиц (т. е. распознавания определенного человека на разных изображениях). VGG-Face похожа на традиционные ключи подсчета, сопровождающие психометрические тесты. Традиционный балльный ключ можно использовать для преобразования ответов на вопросы теста с одной или несколькими психометрическими оценками, таких как единая оценка IQ или набор из пяти оценок личности Большой пятерки. VGG-Face переводит изображение лица в 4 096 баллов, определяя его основные характеристики. К сожалению, в отличие от психометрических оценок, оценки VGG-Face нелегко интерпретировать. Единая оценка может включать разницу во множестве черт лица, которые люди обычно считают различимыми (например, форма носа, оттенок кожи или цвет глаз).

VGG-Face предлагает два основных преимущества в контексте данного исследования. Во-первых, успешное распознавание лиц зависит от способности DNN обнаруживать черты лица, которые вряд ли будут отличаться на разных изображениях. Таким образом, VGG-Face нацелена на представление определенного лица в виде вектора оценок, которые максимально не зависят от выражения лица, фона, освещения, ориентации головы, свойств изображения, таких как яркость или контрастность, и других факторов, которые могут отличаться для разных изображений одного и того же человека. Следовательно, использование оценок VGG-Face позволило нам свести к минимуму роль таких временных характеристик при различении лиц геев и гетеросексуалов. Во-вторых, использование DNN, обученной на другой выборке и для другой цели, снижает риск переобучения (т. е. обнаружения различий между гомосексуальными и гетеросексуальными лицами, которые характерны для нашей выборки, а не универсальны). Мы также попробовали обучить настраиваемую DNN непосредственно на изображениях в нашем примере; ее точность была несколько выше, но это подвергало нас риску переобучения.

Обучение классификаторов. Мы использовали простую модель прогнозирования, логистическую регрессию, в сочетании со стандартным подходом уменьшения размерности: сингулярным разложением (Singular Value Decomposition, SVD). SVD аналогично методу главных компонент (principal component analysis, PCA), подходу уменьшения размерности, широко используемому социологами. Модели обучались отдельно для каждого пола. Самостоятельно определенная сексуальная ориентация (гей/гетеросексуал) использовалась в качестве зависимой переменной; 4 096 баллов, извлеченных с помощью VGG-Face, были использованы в качестве независимых переменных. Чтобы предотвратить переобучение, мы использовали 20-кратную перекрестную проверку при оценке прогнозов. Выборка была разделена на 20 подвыборок; одна из подвыборок (тестовый набор) была отложена, а оставшиеся 19 подвыборок (обучающих наборов) использовались для обучения модели прогнозирования. Поскольку количество независимых переменных было относительно большим (4 096) по сравнению с количеством наблюдений (7 083 в наименьшей обучающей выборке), мы использовали SVD для извлечения n = 500 измерений^[4] из независимых переменных. Это помогло уменьшить количество независимых переменных и исключить избыточную информацию.

Модель логистической регрессии была обучена классифицировать сексуальную ориентацию (зависимая переменная) с использованием 500 сингулярных значений, извлеченных из оценок VGG-Face (независимые переменные). Оператор наименьшего абсолютного сжатия и выбора (Least absolute shrinkage and selection operator, LASSO; Hastie, Tibshirani, & Friedman, 2009) использовался для выбора переменных и нормализации при обучении регрессионной модели. Штрафной параметр LASSO α был установлен на 1; параметр нормализации λ был автоматически оценен с использованием 10-кратной перекрестной проверки.

Наконец, модель, построенная на обучающей выборке, сочетающая уменьшение размерности SVD и логистическую регрессию, была использована для прогнозирования сексуальной ориентации участников тестовой выборки. Эту процедуру повторяли 20 раз, чтобы присвоить вероятность (от 0 до 1) гомосексуальной принадлежности для всех изображений в выборке.

У многих пользователей было доступно более одного изображения лица. Это позволило нам изучить, как точность изменяется в зависимости от количества доступных изображений лиц. Чтобы получить совокупную вероятность принадлежности к гомосексуализму на основе n изображений, вероятности, связанные со случайно выбранным набором из n изображений (от 1 до 5) данного участника, были усреднены^[5]. Таким образом, участник с тремя изображениями лица был описан тремя вероятностями принадлежности к гомосексуализму: первая основана на одном случайно выбранном изображении, вторая основана на двух случайно выбранных изображениях и третья основана на всех трех изображениях.

Полученные результаты

Точность прогнозирования сексуальной ориентации по изображениям лиц представлена ​​на рисунке 2. В этом документе точность выражается с помощью коэффициента площади под кривой (Area Under the Curve, AUC) полученной текущей характеристики. AUC представляет собой вероятность правильности классификатора, когда представлены лица двух случайно выбранных участников – одного гея и одного гетеросексуала.

AUC = 0,50 (или 50%) указывает, что классификатор верен только в половине случаев, что не лучше, чем случайная выборка. AUC = 1,00 (или 100%) указывает, что классификатор всегда правильный. AUC является эквивалентом критерия знаковых рангов Уилкоксона, который более широко используется в социальных науках.

Среди мужчин точность классификации составила AUC = 0,81 при предоставлении одного изображения на человека. Это означает, что в 81% случайно выбранных пар, состоящих из одного гея и одного гетеросексуального мужчины, мужчины-геи были правильно отнесены к геям с большой вероятностью. Точность значительно выросла с увеличением количества изображений, доступных на одного человека, и достигла 91% для пяти изображений. Для женщин точность была несколько ниже: от 71% (одно изображение) до 83% (пять изображений на человека).

Рисунок 2. Точность классификатора сексуальной ориентации на основе DNN по сравнению с количеством изображений, использованных в классификации.

Исследование 1b: Элементы изображения лица, используемые классификатором

Высокая точность классификатора, разработанного в исследовании 1a, указывает на то, что изображения лиц содержат много информации, связанной с сексуальной ориентацией, и что большая ее часть была зафиксирована чертами лица, извлеченными с помощью VGG-Face. В данном разделе исследуется, какие части изображения лица активировали классификацию. Мы решаем этот вопрос, маскируя части изображения лица и измеряя степень изменения прогноза. Если данная область изображения важна для классификатора, ее маскировка может значительно изменить прогноз (и наоборот).

Методы

Изображения лиц. Результаты были получены отдельно для каждого пола. Изображения лиц 100 мужчин и 100 женщин были случайным образом взяты из выборки, использованной в исследовании 1a. Лица были скорректированы, чтобы убедиться, что определенная черта лица (например, рот) находится в одном и том же месте на всех изображениях. Это было достигнуто путем деформации изображений (с использованием кусочно-линейного 2D-преобразования) для выравнивания их по девяти ориентирам (левый и правый углы глаз, левый и правый углы рта, кончик носа, а также левый и правый углы носа).

Классификатор сексуальной ориентации. Мы использовали оставшиеся изображения из исследования 1a для обучения классификаторов сексуальной ориентации (отдельно для мужчин и женщин) в соответствии с процедурой, описанной в исследовании 1a.

Анализ. Мы использовали классификаторы сексуальной ориентации, чтобы оценить вероятность принадлежности к гомосексуализму для лиц в использованных здесь выборках. Затем область размером 7×7 пикселей в верхнем левом углу была замаскирована на всех 100 изображениях, и снова была оценена вероятность принадлежности к гомосексуализму. Процедура была повторена 1024 раза при перемещении маски по сетке, покрывающей все изображение, состоящее из квадратов 32×32 (каждый размером 7×7 пикселей). Среднее абсолютное изменение вероятности принадлежности к гомосексуализму в результате маскировки определенной области изображения использовалось в качестве показателя важности данной области для предсказания сексуальной ориентации.

Полученные результаты

Результаты представлены на рисунке 3 в виде тепловых карт, показывающих степень, в которой маскировка определенной части изображения меняет результат классификации. Цветовая шкала варьируется от синего (без изменений) до красного (существенное изменение). Тепловые карты показывают, что для обоих полов классификация основывалась по большей части на области лица и игнорировала фон. Наиболее информативными участками лица у мужчин были нос, глаза, брови, щеки, линия роста волос и подбородок; информативные области у женщин включали нос, уголки рта, волосы и зону декольте. Тепловые карты не симметричны, потому что дублированные черты лица, такие как глаза, могут побудить классификатора сосредоточиться только на одном из них и игнорировать другие как лишние.

Представленные здесь результаты подтверждают, что полученные оценки VGG-Face сосредоточены на чертах лица, а не на других частях изображения.

Рисунок 3. Тепловые карты, показывающие степень, в которой маскировка определенной части изображения изменяет (абсолютный) результат классификации, что является показателем важности этой области для классификации. Цветовая шкала варьируется от синего (без изменений) до красного (существенное изменение). Квадраты с цветовой кодировкой были сглажены с использованием двумерного фильтра Гаусса.

Исследование 1c: Черты лица, определяющие сексуальную ориентацию

Установив, что классификация основана на чертах лица (в отличие от других элементов изображения), мы обращаем внимание на различия между лицами геев и гетеросексуалов, которые позволили провести классификацию. Мы исследуем этот вопрос, собирая изображения, отнесенные к категории геев с наибольшей и наименьшей вероятностью в исследовании 1а.

Методы

Изображения лиц. Результаты были получены отдельно для каждого пола. Мы использовали изображения лиц и сопутствующие вероятности принадлежности к гомосексуализму из исследования 1a и сохранили те, которые содержали лица, обращенные непосредственно в камеру (наклон вниз/вверх и поворот головы, по оценке Face ++, были меньше двух градусов). Затем мы выбрали подмножество изображений, отнесенных к категории геев с наибольшей вероятностью, и подмножество изображений, отнесенных к категории геев с наименьшей вероятностью. Мы использовали подмножества из 500 изображений в каждом наборе для создания средних местоположений ориентиров и 100 изображений в каждом наборе для создания составных лиц.

Среднее расположение ориентиров. Расстояния между лицевыми ориентирами, извлеченными с помощью Face ++ (см. рисунок 1), были нормализованы путем установки расстояния между зрачками на значении 1. Лица были центрированы и повернуты для выравнивания глаз по горизонтали, а координаты ориентира были усреднены.

Составное лицо. Чтобы получить более четкие составные лица, изображения были деформированы с использованием кусочно-линейного 2D-преобразования вдоль среднего местоположения ориентиров Face ++ (пиксели каждого изображения были преобразованы с использованием бикубической интерполяции). Значения соответствующих пикселей были усреднены по изображениям для создания составных лиц.

Полученные результаты

На рисунке 4 показаны средние места расположения ориентиров и совокупный внешний вид лиц, отнесенных к категории геев с наибольшей и наименьшей вероятностью. В соответствии с PHT, лица геев, как правило, были гендерно атипичными. Средние места расположения ориентиров показали, что у геев были более узкие челюсти и более длинные носы, а у лесбиянок – более крупные. Составные лица предполагают, что у геев лоб был больше, чем у гетеросексуальных мужчин, а у лесбиянок лоб был меньше, чем у гетеросексуальных женщин. Различия между контурами и чертами лиц геев и гетеросексуалов дополнительно изучаются в исследовании 3.

Гендерная атипичность гомосексуальных лиц выходит за рамки морфологии. У геев было меньше растительности на лице, что свидетельствует о различиях в андрогенном росте волос, стиле ухода или и том, и другом. У них также была более светлая кожа, что указывает на потенциальную разницу в уходе, пребывании на солнце и/или уровне тестостерона^[6]. Лесбиянки, как правило, использовали меньше макияжа для глаз, имели более темные волосы и носили менее откровенную одежду (обратите внимание на более высокий вырез), что указывает на менее типичный для пола уход и стиль. Более того, хотя женщины обычно чаще улыбаются (Halberstadt, Hayes, & Pike, 1988), лесбиянки улыбаются меньше, чем их гетеросексуальные визави. Кроме того, в соответствии с ассоциацией между бейсболками и мужественностью в американской культуре (Skerski, 2011), гетеросексуальные мужчины и лесбиянки, как правило, носили бейсболки (см. тень на их лбу; это также было подтверждено ручным просмотром отдельных изображений). Гендерная атипичность лиц геев и лесбиянок более подробно рассматривается в исследовании 2.

Рисунок 4. Составные лица и средние отметки на лицах, построенные путем усреднения лиц, отнесенных к категории геев с наибольшей или наименьшей вероятностью.

Исследование 2: Гендерная атипичность лиц геев

Качественный анализ составных лиц и местоположения средних ориентиров для лиц геев и гетеросексуалов, представленный в исследовании 1c, позволяет предположить, что лица геев и лесбиянок имеют тенденцию быть гендерно нетипичными. Мы проверяем эту гипотезу, используя показатель женственности лица, основанный на данных: гендерный классификатор на основе DNN.

Методы

Изображения лица. Мы использовали изображения лиц и сопутствующие им вероятности принадлежности к гомосексуализму, оцененные в исследовании 1а.

Женственность лица. Мы измерили женственность лица с помощью гендерного классификатора, который присваивает каждому изображению лица вероятность быть женщиной. Этот гендерный классификатор был разработан на основе независимой выборки из 2 891 355 изображений лиц пользователей Facebook, полученных в рамках проекта myPersonality.org (Kosinski, Matz, Gosling, Popov, & Stillwell, 2015). Мы использовали тот же подход для предварительной обработки изображений лиц и обучения классификатора, как описано в исследовании 1a. Однако на этот раз мы использовали пол в качестве зависимой переменной. Этот гендерный классификатор был применен ко всем изображениям лиц в выборке, использованной в исследовании 1a. Точность этого классификатора при прогнозировании пола составила AUC = 0,98.

Полученные результаты

Результаты показывают, что лица геев были более женственными, а лица лесбиянок – более мужественными, чем лица их соответствующих гетеросексуальных визави. Среди мужчин основанная на данных мера женственности лица положительно коррелировала с вероятностью быть геем (r = 0,20; p <0,001; 95% CI [0,19, 0,21])^[7]. Обратное было верно для женщин (r = -0,21; p <0,001; 95% CI [-0,21, -0,20]).

Одна только женственность лица позволила с некоторой точностью классифицировать лица геев и гетеросексуалов: AUC = 0,57 для мужчин и AUC = 0,58 для женщин (на основе одного изображения лица).

Исследование 3: Классификатор на основе морфологии

Исследование 1c показывает различия между контурами и чертами лиц геев и гетеросексуалов. Текущее исследование показывает, что такие основные неизменные морфологические особенности, как контур носа или контур лица, предоставляют достаточно информации для точной классификации сексуальной ориентации.

Методы

Изображения лиц. Мы использовали те же образцы, что и в исследовании 1а.

Извлечение морфологических признаков. Мы извлекли морфологические особенности из координат ориентиров, выделяющих важные черты лица, предоставленные Face ++ (см. рисунок 1). Чтобы определить форму конкретной черты лица, например носа, мы вычислили евклидовы расстояния между ориентирами, принадлежащими этой черте. Например, поскольку существует 10 ориентиров, очерчивающих нос (см. рисунок 1), его морфология была объединена вектором 10×9 = 90 евклидовых расстояний. Чтобы учесть разные размеры лиц на изображениях, расстояния были нормализованы путем деления их на расстояние между зрачками.

Этот подход был применен к следующим элементам лица: носу, глазам, бровям, рту, контуру лица и всему лицу (см. рисунок 1 для сопоставления ориентиров и элементов лица).

Обучение классификаторов. Классификаторы были обучены отдельно для каждого элемента лица и для всех лицевых ориентиров вместе, в соответствии с процедурой, аналогичной той, что использовалась в исследовании 1а. Однако здесь мы использовали евклидовы расстояния вместо оценок VGG-Face в качестве независимых переменных. Если количество расстояний, описывающих определенный элемент лица, было больше 500, мы использовали SVD, чтобы уменьшить их количество до 500 (точно так же, как SVD использовался для уменьшения количества оценок VGG-Face в исследовании 1a).

Полученные результаты

Точность классификаторов на основе ориентиров, основанных на пяти изображениях одного человека, представлена ​​на рисунке 5. Результаты показывают, что форма отдельных элементов лица обеспечивает высокую точность классификации для обоих полов. Заметно высокая точность была обеспечена только по контуру лица (красные отметки на рисунке 1): 75% для мужчин и 63% для женщин. Это обеспечивает дополнительную поддержку связи между формой челюсти в лицах геев и гетеросексуалов, наблюдаемой в исследовании 1c (см. рисунок 4). В то время как контур глаз, бровей и рта в некоторой степени зависит от выражения лица и стиля ухода, контур лица относительно негибкий, что подчеркивает прогностическую силу фиксированных морфологических признаков.

Высокая эффективность классификаторов на основе контуров и удовлетворительная работа классификаторов на основе носа предполагают, что форма этих (относительно фиксированных) элементов лица достаточна для определения сексуальной ориентации. В целом, эффективность классификаторов на основе ориентиров удивительна, учитывая, как мало информации из исходного изображения сохраняется в местах расположения ориентиров.

Рисунок 5. Точность классификаторов на основе ориентиров при наличии пяти изображений на человека. Точность классификатора на основе DNN, обученного в исследовании 1a, отображается в верхней части рисунка для сравнения.

Исследование 4: Человеческая оценка

Исследование 1a показывает, что сексуальную ориентацию можно точно определить по нестандартным изображениям лиц с помощью DNN. Исследование 3 показывает, что даже самые основные неизменные морфологические особенности, такие как контур лица, предоставляют достаточную информацию для прогнозирования сексуальной ориентации. Однако возможно, что изображения лиц, размещенные на сайте знакомств, особым образом указывают на сексуальную ориентацию. Возможно, пользователи выбрали фотографии, которые их потенциальные партнеры могут найти наиболее привлекательными.

Мы проверили эту гипотезу, используя классификатор сексуальной ориентации с известной точностью: человеческая оценка^[8]. Мы показываем, что точность оценки людей, которым были представлены изображения лиц, использованные в исследовании 1a, не отличается от точности оценки людей, о которых сообщалось в предыдущих исследованиях, использующих как стандартизованные изображения, сделанные в лаборатории, так и изображения из профиля сайта знакомств.

Методы

Изображения лиц. 35 326 лиц из исследования 1а были случайным образом объединены в пары, в результате получилось 50 000 пар для каждого пола (каждое лицо можно было отнести к нескольким парам).

Оценщики. Мы наняли сотрудников AMT из США, которые ранее выполнили не менее 1 000 задач и получили одобрение не менее 98%. Их попросили выбрать изображение лица, которое с большей вероятностью представляет гея (или, в половине случаев, гетеросексуала), из двух произвольно упорядоченных изображений лица (одно принадлежит гею, а другое – гетеросексуалу). Обратите внимание, что точность человеческой оценки в задаче, разработанной таким образом, является эквивалентом коэффициента AUC, используемого для выражения точности алгоритмов. Инструкции, представленные рабочим, показаны на рисунке S2.

Полученные результаты

Люди, оценивавшие изображения, достигли точности AUC = 0,61 для мужских изображений и AUC = 0,54 для женских изображений. Это сопоставимо с точностью, полученной в предыдущих исследованиях, которая составляла примерно от 55 до 65% (Ambady et al., 1999; Lyons et al., 2014; Rule et al., 2009). Это также согласуется с результатами исследования 1а, которые показывают, что женские лица меньше раскрывают сексуальную ориентацию. Наконец, это демонстрирует, что изображения лиц, использованные в нашем исследовании, не специфическим способом раскрывали сексуальную ориентацию (по крайней мере, для людей).

Исследование 5: Изображения лиц на веб-сайтах знакомств

Это исследование показывает, что точность классификатора на основе DNN, обученного в исследовании 1a, не ограничивается изображениями лиц, собранными на сайте знакомств, но также может правильно классифицировать изображения лиц, зарегистрированные в другой среде: Facebook.

Методы

Изображения лиц. Мы получили выборку из 14 438 изображений лиц 6 075 мужчин-геев из базы данных myPersonality (Kosinski et al., 2015). Мужчины-геи были идентифицированы с использованием двух переменных. Сначала мы использовали платформу Facebook Audience Insights^[9], чтобы определить 50 страниц Facebook, наиболее популярных среди геев, включая такие страницы, как «I love being Gay», «Manhunt», «Gay and Fabulous» и «Gay Times Magazine». Во-вторых, мы использовали поле «заинтересован в» профилей пользователей Facebook, которое показывает пол людей, которыми интересуется данный пользователь. Мужчины, которые проявили интерес к другим мужчинам и которым понравились как минимум две страницы в Facebook, содержащие контент преимущественно для геев, были помечены как геи. Среди идентифицированных таким образом мужчин-геев, по которым были доступны данные о взаимоотношениях, 96% сообщили, что их вторая половинка была мужчиной. К сожалению, нам не удалось достоверно идентифицировать гетеросексуальных пользователей Facebook. Эти изображения были предварительно обработаны, и их оценки VGG-Face были извлечены с использованием процедуры, описанной в исследовании 1a. Окончательная выборка содержала n = 918 изображений лиц уникальных пользователей, средний возраст которых составляет 30 лет, а возрастной диапазон варьируется в пределах 27-34 лет. Эта выборка была сопоставлена ​​с двумя подвыборками изображений лиц (геев и гетеросексуальных мужчин), использованных в исследовании 1a. Эти подвыборки соответствовали выборке Facebook как по размеру, так и по возрастному составу.

Полученные результаты

Мы применили классификатор, обученный в исследовании 1a (с использованием оценки VGG-Face в качестве независимой переменной), чтобы различать лица мужчин-геев, которые являются пользователями Facebook, гетеросексуальных мужчин-пользователей сайтов знакомств и мужчин-пользователей сайтов знакомств для геев. Классификатор мог точно различить геев-пользователей Facebook и гетеросексуальных пользователей сайтов знакомств в 74% случаев, но практически не смог различить геев-пользователей Facebook и геев-пользователей сайтов знакомств (53%). Это демонстрирует, что классификатор, обученный в исследовании 1а, может правильно определять изображения лиц геев, полученные в другой среде. Это также показывает, что этот классификатор в значительной степени нечувствителен к происхождению изображения, поскольку он не может различить гомосексуальных пользователей Facebook и пользователей веб-сайтов знакомств для геев.

Общие рассуждения

Результаты, представленные в этой работе, показывают, что наши лица содержат больше информации о сексуальной ориентации, чем может быть воспринято или интерпретировано человеческим мозгом. Исследование 1a показало, что черты лица, извлеченные с помощью DNN, можно использовать для точного определения сексуальной ориентации как мужчин, так и женщин. Исследование 1b показало, что прогнозы основаны на области лица, а не на фоне изображения. Исследование 1c показало, что лица геев и лесбиянок имеют нетипичные для пола черты, как и было предсказано PHT. Это подтвердили результаты исследования 2, показавшие, что вероятность принадлежности к гомосексуализму положительно коррелировала с женственностью лица у мужчин и отрицательно коррелировала с женственностью лица женщины. Высокая точность классификатора, основанного на форме элементов лица, представленная в исследовании 3, подтвердила, что большая часть информации о сексуальной ориентации сохраняется в фиксированных чертах лица, таких как контур лица или форма носа. Исследование 4 показало, что нестандартизированные изображения лиц, использованные в исследовании 1а, не особо раскрывали сексуальную ориентацию – по крайней мере, для оценок людей, точность которых была такой же, как и в предыдущих исследованиях, причем в некоторых из них использовались изображения нейтральных лиц, снятые в тщательно контролируемом окружении. Исследование 5 дополнительно подтвердило эти результаты, показав, что классификатор на основе DNN, разработанный в исследовании 1a, работает аналогичным образом при представлении изображений лиц геев, собранных в другой среде.

Наши результаты являются убедительной поддержкой PHT, в которой утверждается, что однополая сексуальная ориентация проистекает из недостаточного воздействия на плод мужского пола и чрезмерного воздействия на плод женского пола пренатальных андрогенов, ответственных за половую дифференциацию лиц, предпочтений и поведения (Allen & Gorski, 1992; Jannini et al., 2010; Udry & Chantala, 2006). В соответствии с прогнозами PHT, лица мужчин-геев и женщин-геев были гендерно нетипичными – с точки зрения как фиксированных (например, форма носа), так и изменяемых черт лица (например, манеры ухода). Некоторые различия между геями и гетеросексуалами, например форма носа или челюсти, скорее всего, обусловлены факторами развития. В других случаях природа и воспитание, вероятно, будут так же взаимосвязаны, как и во многих других контекстах. Например, неясно, были ли мужчины-геи менее склонны носить бороду из-за природы (редкие волосы на лице) или воспитания (мода). Если это на самом деле мода (воспитание), в какой степени такая норма обусловлена ​​тенденцией геев иметь более редкие волосы на лице (природа)? С другой стороны, может ли редкая растительность на лице (природа) возникать из-за потенциальных различий в диете, образе жизни или окружающей среде (воспитание)? Интересно, что женские лица, по-видимому, меньше раскрывают сексуальную ориентацию, что свидетельствует о более слабой связи между сексуальной ориентацией и пренатальным уровнем андрогенов у женщин или большей изменчивостью их сексуальной ориентации. Выявление связей между чертами лица и психологическими чертами с помощью методологии, аналогичной той, что используется здесь, может улучшить наше понимание происхождения и природы широкого спектра психологических характеристик, предпочтений и психологических процессов. Многие факторы, которые можно приблизительно определить по человеческим лицам, например, пред- и послеродовой гормональный фон (Jones et al., 2015; Lefevre et al., 2013; Whitehouse et al., 2015), история развития (Astley et al., 2002), факторы окружающей среды и гены (Ferry et al., 2014) трудно измерить иначе. Выявление связей между чертами лица и такими факторами, психологическими чертами или поведением может обеспечить удобный путь для генерации гипотез, которые впоследствии могут быть проверены в экспериментальных исследованиях. Мы надеемся, что в будущих исследованиях будут изучены связи между чертами лица и другими явлениями, такими как личность, политические взгляды или психологические состояния.

Важно отметить, что мы хотели бы предостеречь наших читателей от неправильной или чрезмерной интерпретации результатов этого исследования. Во-первых, тот факт, что лица геев и лесбиянок в среднем нетипичны для пола, не означает, что все геи более женственны, чем все гетеросексуальные мужчины, или что нет геев с исключительно мужскими чертами лица (и наоборот в случае с лесбиянками). Различия в женственности, наблюдаемые в этом исследовании, были незначительными, распространялись по многим чертам лица и были очевидны только при изучении усредненных изображений большого количества лиц. Во-вторых, наши результаты никоим образом не указывают на то, что сексуальную ориентацию можно определить по лицам людей. Фактически, исследование 4 подтверждает, что люди довольно неточно различают изображения лиц гомосексуалистов. Наконец, интерпретация точности классификации нетривиальна и часто противоречит здравому смыслу. AUC = 0,91 не означает, что можно идентифицировать 91% геев в данной популяции или что результаты классификации верны в 91% случаев. Эффективность классификатора зависит от желаемого компромисса между точностью (например, доля геев среди тех, кто классифицируется как геи) и объективностью (например, доля правильно идентифицированных геев в популяции). Стремление к высокой точности уменьшает объективность, и наоборот.

Давайте проиллюстрируем этот компромисс на смоделированном сценарии на основе результатов, представленных в этой работе. Мы смоделировали выборку из 1 000 мужчин путем случайного отбора участников и их соответствующей вероятности принадлежности к гомосексуализму из выборки, использованной в исследовании 1a. Поскольку распространенность однополой сексуальной ориентации среди мужчин в США составляет около 6-7% (Sell, Wells, & Wypij, 1995), мы отобрали 70 вероятностей от геев и 930 от гетеросексуальных участников. Мы рассматривали только тех участников, для которых было доступно не менее 5 изображений лиц; обратите внимание, что точность классификатора в этом случае достигла AUC = 0,91. Установка порога, выше которого конкретный случай должен быть помечен как принадлежащий к геям, зависит от желаемого компромисса между точностью и объективностью. Чтобы максимизировать точность (при этом жертвуя объективностью), следует выбрать высокий порог или выбрать только несколько случаев с наибольшей вероятностью принадлежности к гомосексуализму. Среди 1% (т. е. 10) людей с наибольшей вероятностью принадлежности к гомосексуализму в нашей смоделированной выборке 9 действительно были геями и 1 был гетеросексуалом, что дает точность 90% (9/10 = 90%). Это означает, однако, что только 9 из 70 мужчин-геев были идентифицированы, что привело к низкому уровню объективности – 13% (9/70 = 13%). Чтобы повысить объективность, нужно пожертвовать точностью. Среди 30 человек с наибольшей вероятностью принадлежности к гомосексуализму 23 были геями и 7 были гетеросексуалами (точность = 23/30 = 77%; объективность = 23/70 = 33%). Среди 100 мужчин с наибольшей вероятностью принадлежности к гомосексуализму 47 были геями (точность = 47%; объективность = 68%).

Это исследование имеет ряд ограничений. Мы использовали нестандартные изображения, характеризующиеся разным качеством, ориентацией головы или выражением лица. Это обеспечивает более высокую экологическую достоверность, более крупную и более репрезентативную выборку, но также вводит искажающие факторы (как обсуждалось в исследовании 1a). Кроме того, поскольку изображения были получены с сайта знакомств, они могли особенно раскрывать сексуальную ориентацию. Мы полагаем, что мы в достаточной степени решили эту проблему, используя модель, специально обученную для фокусирования на постоянных чертах лица (исследование 1a), показав, что черты лица, позволяющие прогнозировать, согласуются с теорией (PHT; исследования 1c и 2), и убедившись, что использованные нами изображения раскрывают сексуальную ориентацию не более, чем изображения нейтральных лиц, сделанные в контролируемых условиях (исследование 4) или изображения, полученные из Facebook (исследование 5). Другой вопрос касается качества достоверной информации: возможно, что некоторые пользователи, отнесенные к категории гетеросексуалов, на самом деле были геями или бисексуалами (или наоборот). Однако мы считаем, что у людей, добровольно ищущих партнеров на сайте знакомств, мало стимулов для искажения своей сексуальной ориентации. Более того, если некоторые из пользователей действительно были неправильно помечены, исправление таких ошибок, вероятно, повысило бы точность рассматриваемых здесь классификаторов. Кроме того, несмотря на наши попытки получить более разнообразную выборку, мы ограничились изучением белых участников из США. Поскольку предубеждение против геев и использование сайтов онлайн-знакомств неравномерно распределено между группами, характеризующимися разным этническим составом, мы не смогли найти достаточного количества участников-геев из других этнических групп. Однако мы полагаем, что наши результаты, вероятно, будут обобщены за пределами исследуемой здесь популяции. Они согласуются с PHT сексуальной ориентации, подтвержденной множеством исследований на людях и других млекопитающих (Hines, 2010). Поскольку воздействие атипичных для пола уровней андрогенов может в одинаковой степени влиять на лица людей разных рас, вполне вероятно, что их черты лица в равной степени указывают на сексуальную ориентацию. Наконец, не исключено, что люди с более ярко выраженными лицами геев с большей вероятностью совершат камин-аут. Если это правда, классификатор, обученный на лицах открытых гомосексуальных пользователей, будет менее точен при обнаружении лиц, не являющихся открытыми геями. Хотя у нас нет данных, чтобы проверить эту гипотезу, следует отметить, что камин-аут зависит от многих социальных, культурных и правовых факторов. Пользователи, попавшие в нашу выборку, могут пожелать или должны сохранить свою конфиденциальность во многих контекстах и ​​местах. Таким образом, в то время как некоторые лица могут быть менее открытыми, многие другие могут мешать их владельцам контролировать конфиденциальность своей сексуальной ориентации.

Это подводит нас к, пожалуй, самому важному, не теоретическому ответвлению этих открытий: конфиденциальности. Предыдущие исследования показали, что сексуальную ориентацию можно определить по цифровым следам человека, таким как структура социальных сетей (Jernigan & Mistree, 2009) или лайки в Facebook (Kosinski, Stillwell, & Graepel, 2013). Однако такие цифровые следы могут быть скрыты, анонимизированы или искажены. Лицо же, напротив, не так-то просто скрыть. Лицо можно легко сфотографировать и проанализировать (например, с помощью смартфона или системы видеонаблюдения). Изображения лиц миллиардов людей также хранятся в цифровых и традиционных архивах, включая платформы знакомств, сайты для обмена фотографиями и правительственные базы данных. Такие снимки часто легко доступны; например, изображения профилей Facebook, LinkedIn и Google Plus по умолчанию являются общедоступными и могут быть получены любым пользователем в интернете. Наши результаты показывают, что такие общедоступные данные и традиционные инструменты машинного обучения могут быть использованы для создания точных классификаторов сексуальной ориентации. Поскольку большая часть признаков, по-видимому, обеспечивается фиксированными морфологическими особенностями, такие методы могут быть использованы для обнаружения сексуальной ориентации без согласия или ведома человека. Более того, приведенная здесь точность вряд ли составляет верхний предел возможного. Использование изображений с более высоким разрешением, большего количества изображений на человека, большего обучающего набора и более мощных алгоритмов DNN (например, He, Zhang, Ren & Sun, 2015) может еще больше повысить точность.

Некоторые люди могут задаться вопросом, следует ли публиковать такие результаты, чтобы они не вдохновили то самое приложение, о котором мы предупреждаем. Мы разделяем эту озабоченность. Однако, поскольку правительства и компании, похоже, уже внедряют классификаторы на основе лиц, нацеленные на обнаружение личных характеристик (Chin & Lin, 2017; Lubin, 2016), существует острая необходимость в информировании политиков, широкой общественности и гей-сообществ о рисках, с которыми они могут столкнуться уже сейчас. Задержка или отказ от публикации этих результатов может лишить людей возможности принимать превентивные меры, а лиц, определяющих политику, – возможности принимать законы для защиты людей. Более того, это исследование не дает никаких преимуществ тем, кто может разрабатывать или внедрять алгоритмы классификации, кроме подчеркивания этических последствий их работы. Мы использовали широко доступные готовые инструменты, общедоступные данные и методы, хорошо известные практикам компьютерного зрения. Мы не создавали инструмент, нарушающий конфиденциальность, а скорее показали, что основные и широко используемые методы представляют собой серьезные угрозы конфиденциальности. Мы надеемся, что наши результаты проинформируют общественность и политиков и вдохновят их на разработку технологий и политики, снижающих риски, с которыми сталкиваются гомосексуальные сообщества во всем мире^[10].

Растущая цифровизация нашей жизни и быстрый прогресс в области искусственного интеллекта продолжают разрушать конфиденциальность сексуальной ориентации и других личных характеристик. Политики и технологические компании, похоже, верят, что законодательство и новые технологии, дающие людям больший контроль над своими цифровыми следами, могут обратить эту тенденцию вспять. Однако цифровую среду очень сложно контролировать. Данные могут быть легко перемещены за границу, украдены или записаны без согласия пользователей. Более того, даже если бы пользователям был предоставлен полный контроль над своими данными, трудно представить, чтобы они не делились чем-либо публично. Большинство людей хотят, чтобы некоторые из их сообщений в социальных сетях, блогов или профилей были общедоступными. Мало кто захочет закрывать лицо на публике. Как показывают и другие исследования (например, Kosinski et al., 2013), такие добровольно распространяемые цифровые следы могут использоваться для выявления личных характеристик. Следовательно, мы считаем, что дальнейшее размывание границ частной жизни неизбежно, а безопасность геев и других меньшинств, которые могут подвергаться гонениям в некоторых культурах, зависит от терпимости общества и правительства. Постконфиденциальный мир станет гораздо более безопасным и гостеприимным местом, если в нем будут проживать хорошо образованные, толерантные люди, приверженные принципам равноправия.

Благодарности: авторы благодарят Клауса Фидлера и других рецензентов за их прекрасные комментарии к более ранней версии этой рукописи. Мы также хотели бы поблагодарить Сэмюэля Гослинга, Роберта Стернберга, Рафаэля Зильберзана, Марти Хазелтон, Амира Голдберга, Поруз Хамбатту, Габриэллу Харари, Джейсона Рентфроу, Кая Руджери, Пьера Декана, Брента Робертса, Дэвида Мака и Николь Полк за их критическое прочтение более ранней версии этой рукописи. Также благодарим Изабель Абрахам за вычитку и Марию Воробьеву за графический дизайн. Наконец, мы хотели бы поблагодарить создателей Face ++ за то, что они разрешили нам использовать их программное обеспечение бесплатно.

Список литературы

1. Allen, L. S., & Gorski, R. A. (1992). Sexual orientation and the size of the anterior commissure in the human brain. Proceedings of the National Academy of Sciences, 89(15), 7199–7202. http://doi.org/10.1073/pnas.89.15.7199
2. Ambady, N., Hallahan, M., & Conner, B. (1999). Accuracy of judgments of sexual orientation from thin slices of behavior. Journal of Personality and Social Psychology, 77(3), 538–547. http://doi.org/10.1037/0022-3514.77.3.538
3. Astley, S. J., Stachowiak, J., Clarren, S. K., & Clausen, C. (2002). Application of the fetal alcohol syndrome facial photographic screening tool in a foster care population. The Journal of Pediatrics, 141(5), 712–717. http://doi.org/10.1067/mpd.2002.129030
4. Ballew, C. C., & Todorov, A. (2007). Predicting political elections from rapid and unreflective face judgments. Proceedings of the National Academy of Sciences of the United States of America, 104(46), 17948–17953. http://doi.org/10.1073/pnas.0705435104
5. Berry, D. S. (1991). Accuracy in social perception: Contributions of facial and vocal information. Journal of Personality and Social Psychology, 61(2), 298–307. http://doi.org/10.1037/0022-3514.61.2.298
6. Berry, D. S., & Brownlow, S. (1989). Were the physiognomists right? Personality correlates of facial babyishness. Personality and Social Psychology Bulletin, 15(2), 266–279. http://doi.org/10.1177/0146167289152013
7. Bond, C. F., Berry, D. S., & Omar, A. (1994). The kernel of truth in judgments of deceptiveness. Basic and Applied Social Psychology, 15(4), 523–534. http://doi.org/10.1207/s15324834basp1504_8
8. Borkenau, P., Brecke, S., Möttig, C., & Paelecke, M. (2009). Extraversion is accurately perceived after a 50-ms exposure to a face. Journal of Research in Personality, 43(4), 703–706. http://doi.org/10.1016/j.jrp.2009.03.007
9. Brambilla, M., Riva, P., & Rule, N. O. (2013). Familiarity increases the accuracy of categorizing male sexual orientation. Personality and Individual Differences, 55(2), 193–195. http://doi.org/10.1016/j.paid.2013.02.023
10. Brown, E., & Perrett, D. I. (1993). What gives a face its gender? Perception, 22(7), 829–840. http://doi.org/10.1068/p220829
11. Bulygina, E., Mitteroecker, P., & Aiello, L. (2006). Ontogeny of facial dimorphism and patterns of individual development within one human population. American Journal of Physical Anthropology, 131(3), 432–443. http://doi.org/10.1002/ajpa.20317
12. Chin, J., & Lin, L. (2017, June 26). China’s all-seeing surveillance state is reading its citizens’ faces. The Wall Street Journal. Retrieved from https://www.wsj.com
13. Esteva, A., Kuprel, B., Novoa, R. A., Ko, J., Swetter, S. M., Blau, H. M., & Thrun, S. (2017). Dermatologist-level classification of skin cancer with deep neural networks. Nature, 542(7639), 115–118. http://doi.org/10.1038/nature21056
14. Ferry, Q., Steinberg, J., Webber, C., FitzPatrick, D. R., Ponting, C. P., Zisserman, A., & Nellåker, C. (2014). Diagnostically relevant facial gestalt information from ordinary photos. eLife, 2014(3). http://doi.org/10.7554/eLife.02020.001
15. Glaser, G. (2002). The Nose: A Profile of Sex, Beauty, and Survival. Simon and Schuster. Glimcher, M. E., Garcia, R. I., & Szabó, G. (1978). Organ culture of mammalian skin and the effects of ultraviolet light and testosterone on melanocyte morphology and function. Journal of Experimental Zoology, 204(2), 229–237. http://doi.org/10.1002/jez.1402040210
16. Halberstadt, A. G., Hayes, C. W., & Pike, K. M. (1988). Gender and gender role differences in smiling and communication consistency. Sex Roles, 19(9–10), 589–604. http://doi.org/10.1007/BF00289738
17. Hastie, T., Tibshirani, R., & Friedman, J. (2009). The elements of statistical learning (Vol. 1). New York: Springer series in statistics. http://doi.org/10.1007/b94608
18. He, K., Zhang, X., Ren, S., & Sun, J. (2015). Deep Residual Learning for Image Recognition. arXiv Preprint arXiv:1512.03385v1, 7(3), 171–180. http://doi.org/10.3389/fpsyg.2013.00124
19. Hines, M. (2010). Sex-related variation in human behavior and the brain. Trends in Cognitive Sciences, 14(10), 448–456. http://doi.org/10.1016/j.tics.2010.07.005
20. Hughes, S. M., & Bremme, R. (2011). The effects of facial symmetry and sexually-dimorphic facial proportions on assessments of sexual orientation. Journal of Social, Evolutionary, and Cultural Psychology, 5(4), 214–230. http://doi.org/10.1037/h0099261
21. Jablonski, N. G., & Chaplin, G. (2000). The evolution of human skin coloration. Journal of Human Evolution, 39(1), 57–106. http://doi.org/10.1006/jhev.2000.0403
22. Jannini, E. A., Blanchard, R., Camperio-Ciani, A., & Bancroft, J. (2010). Male homosexuality: Nature or culture? The Journal of Sexual Medicine, 7(10), 3245–3253. http://doi.org/10.1111/j.1743-6109.2010.02024.x
23. Jenkinson, J. (1997). Face facts: A history of physiognomy from ancient Mesopotamia to the end of the 19th century. The Journal Of Biocommunication, 24(3), 2–7.
24. Jernigan, C., & Mistree, B. F. (2009). Gaydar: Facebook friendships expose sexual orientation. First Monday, 14(10). http://doi.org/10.5210/fm.v14i10.2611
25. Jones, B. C., Hahn, A. C., Fisher, C. I., Wincenciak, J., Kandrik, M., Roberts, S. C., … DeBruine, L. M. (2015). Facial coloration tracks changes in women’s estradiol. Psychoneuroendocrinology, 56, 29–34. http://doi.org/10.1016/j.psyneuen.2015.02.021
26. King, M., Semlyen, J., Tai, S. S., Killaspy, H., Osborn, D., Popelyuk, D., & Nazareth, I. (2008). A systematic review of mental disorder, suicide, and deliberate self harm in lesbian, gay and bisexual people. BMC Psychiatry, 8, 70. http://doi.org/10.1186/1471-244X-8-70
27. Kosinski, M., Matz, S. C., Gosling, S. D., Popov, V., & Stillwell, D. J. (2015). Facebook as a research tool for the social sciences: Opportunities, challenges, ethical considerations, and practical guidelines. American Psychologist, 70(6), 543–556. http://doi.org/10.1037/a0039210
28. Kosinski, M., Stillwell, D. J., & Graepel, T. (2013). Private traits and attributes are predictable from digital records of human behavior. Proceedings of the National Academy of Sciences of the United States of America, 110(15), 5802–5805. http://doi.org/10.1073/pnas.1218772110
29. LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. Nature, 521(7553), 436–444. http://doi.org/10.1038/nature14539
30. Lefevre, C. E., Lewis, G. J., Perrett, D. I., & Penke, L. (2013). Telling facial metrics: Facial width is associated with testosterone levels in men. Evolution and Human Behavior, 34(4), 273–279. http://doi.org/10.1016/j.evolhumbehav.2013.03.005
31. Lefevre, C. E., Wilson, V. A. D., Morton, F. B., Brosnan, S. F., Paukner, A., & Bates, T. C. (2014). Facial width-to-height ratio relates to alpha status and assertive personality in capuchin monkeys. PLOS ONE, 9(4), e93369. http://doi.org/10.1371/journal.pone.0093369
32. Little, A. C., Burriss, R. P., Jones, B. C., & Roberts, S. C. (2007). Facial appearance affects voting decisions. Evolution and Human Behavior, 28(1), 18–27. http://doi.org/10.1016/j.evolhumbehav.2006.09.002
33. Lõhmus, M., Sundström, L. F., & Björklund, M. (2009). Dress for success: Human facial expressions are important signals of emotions. Annales Zoologici Fennici, 46(1), 75–80. http://doi.org/10.5735/086.046.0108
34. Lombroso, C. (1911). Criminal man. New York: GP Putnam.
35. Lu, C., & Tang, X. (2014). Surpassing human-level face verification performance on LFW with GaussianFace. In Proceedings of the Twenty-Ninth AAAI Conference on Artificial Intelligence (pp. 3811–3819). Austin, TX: AAAI Press. Retrieved from http://arxiv.org/abs/1404.3840
36. Lubin, G. (2016, October 12). Facial-profiling could be dangerously inaccurate and biased, experts warn. Business Insider. Retrieved from http://www.businessinsider.de/
37. Lukaszewski, A. W., & Roney, J. R. (2011). The origins of extraversion: Joint effects of facultative calibration and genetic polymorphism. Personality and Social Psychology Bulletin, 37(3), 409–421. http://doi.org/10.1177/0146167210397209
38. Lyons, M., Lynch, A., Brewer, G., & Bruno, D. (2014). Detection of sexual orientation (“gaydar”) by homosexual and heterosexual women. Archives of Sexual Behavior, 43(2), 345–352. http://doi.org/10.1007/s10508-013-0144-7
39. Macrae, C. N., & Bodenhausen, G. V. (2000). Social cognition: Thinking categorically about others. Annual Review of Psychology, 51, 93–120. http://doi.org/10.1146/annurev.psych.51.1.93
40. Meyer-Bahlburg, H. F. L. (1984). Psychoendocrine research on sexual orientation: Current status and future options. Progress in Brain Research, 61, 375–298. http://doi.org/10.1016/S0079-6123(08)64448-9
41. Parkhi, O. M., Vedaldi, A., & Zisserman, A. (2015). Deep Face Recognition. In X. Xie, M. W. Jones, & G. K. L. Tam (Eds.), Proceedings of the British Machine Vision Conference (p. 41.1). Swansea, UK: BMVA Press. http://doi.org/10.5244/C.29.41
42. Penton-Voak, I. S., Pound, N., Little, A. C., & Perrett, D. I. (2006). Personality judgments from natural and composite facial images: More evidence for a “kernel of truth” in social perception. Social Cognition, 24(5), 607–640. http://doi.org/10.1521/soco.2006.24.5.607
43. Porter, R. (Ed.). (2003). The Cambridge history of science: Eighteenth-century science (Vol. 4). Cambridge, UK: Cambridge University Press.
44. Rhodes, G. (2006). The evolutionary psychology of facial beauty. Annual Review of Psychology, 57, 199–226. http://doi.org/10.1146/annurev.psych.57.102904.190208
45. Riedweg, C. (2005). Pythagoras: His life, teaching, and influence. New York, NY: Cornell University Press.
46. Roberts, T., & Bruce, V. (1988). Feature saliency in judging the sex and familiarity of faces. Perception, 17(4), 475–481. http://doi.org/10.1068/p170475
47. Rule, N. O., & Ambady, N. (2008). Brief exposures: Male sexual orientation is accurately perceived at 50 ms. Journal of Experimental Social Psychology, 44(4), 1100–1105. http://doi.org/10.1016/j.jesp.2007.12.001
48. Rule, N. O., & Ambady, N. (2010). Democrats and Republicans can be differentiated from their faces. PLoS ONE, 5(1), e8733. http://doi.org/10.1371/journal.pone.0008733
49. Rule, N. O., Ambady, N., Adams, R., & Macrae, C. N. (2008). Accuracy and awareness in the perception and categorization of male sexual orientation. Journal of Personality and Social Psychology, 95(5), 1019–1028. http://doi.org/10.1037/a0013194
50. Rule, N. O., MacRae, C. N., & Ambady, N. (2009). Ambiguous group membership is extracted automatically from faces. Psychological Science, 20(4), 441–443. http://doi.org/10.1111/j.1467-9280.2009.02314.x
51. Samochowiec, J., Wänke, M., & Fiedler, K. (2010). Political ideology at face value. Social Psychological and Personality Science, 1(3), 206–213. http://doi.org/10.1177/1948550610372145
52. Sell, R. L., Wells, J. A., & Wypij, D. (1995). The prevalence of homosexual behavior and attraction in the United States, the United Kingdom and France: Results of national population-based samples. Archives of Sexual Behavior, 24(3), 235–248. http://doi.org/10.1007/BF01541598
53. Skerski, J. (2011). Tomboy chic: Re-fashioning gender rebellion. Journal of Lesbian Studies, 15(4), 466–479. http://doi.org/10.1080/10894160.2011.532031
54. Skorska, M. N., Geniole, S. N., Vrysen, B. M., McCormick, C. M., & Bogaert, A. F. (2015). Facial structure predicts sexual orientation in both men and women. Archives of Sexual Behavior, 44(5), 1377–1394. http://doi.org/10.1007/s10508-014-0454-4
55. Todorov, A., Mandisodza, A. N., Goren, A., & Hall, C. C. (2005). Inferences of competence from faces predict election outcomes. Science, 308(5728), 1623–1626. http://doi.org/10.1126/science.1110589
56. Todorov, A., Said, C. P., Engell, A. D., & Oosterhof, N. N. (2008). Understanding evaluation of faces on social dimensions. Trends in Cognitive Sciences, 12(12), 455–460. http://doi.org/10.1016/j.tics.2008.10.001
57. Tskhay, K. O., & Rule, N. O. (2015). Emotions facilitate the communication of ambiguous group memberships. Emotion, 15(6), 812–826. http://doi.org/10.1037/emo0000077
58. Udry, J. R. (2000). Biological limits of gender construction. American Sociological Review, 65(3), 443–457. http://doi.org/10.2307/2657466
59. Udry, J. R., & Chantala, K. (2006). Masculinity–femininity predicts sexual orientation in men but not in women. Journal of Biosocial Science, 38(6), 797–809. http://doi.org/10.1017/S002193200500101X
60. UN Human Rights Council. (2015). Discrimination and violence against individuals based on their sexual orientation and gender identity. Retrieved from http://www.refworld.org/docid/5571577c4.html
61. Valentova, J. V., Kleisner, K., Havlíček, J., & Neustupa, J. (2014). Shape differences between the faces of homosexual and heterosexual men. Archives of Sexual Behavior, 43(2), 353–361. http://doi.org/10.1007/s10508-013-0194-x
62. Whitehouse, A. J. O., Gilani, S. Z., Shafait, F., Mian, A., Tan, D. W., Maybery, M. T., … Eastwood, P. (2015). Prenatal testosterone exposure is related to sexually dimorphic facial morphology in adulthood. Proceedings of the Royal Society B: Biological Sciences, 282(1816), 20151351. http://doi.org/10.1098/rspb.2015.1351
63. Zebrowitz, L. A. (1997). Reading faces: Window to the soul? New directions in social psychology. Boulder, CO: Westview Press.
64. Zebrowitz, L. A., & Collins, M. (1997). Accurate social perception at zero acquaintance: the affordances of a Gibsonian approach. Personality and Social Psychology Review, 1(3), 204–223. http://doi.org/10.1207/s15327957pspr0103_2
65. Zebrowitz, L. A., Collins, M., & Dutta, R. (1998). The relationship between appearance and personality across the life span. Personality and Social Psychology Bulletin, 24(7), 736–749. http://doi.org/10.1177/0146167298247006

Дополнительные материалы

Рисунок S1. Инструкции, данные работникам АМТ по удалению неполных, неевропеоидных, недостаточно взрослых и не человеческих мужских лиц. Мы использовали аналогичные инструкции для женских лиц.

Рисунок S2. Инструкции, данные работникам АМТ, нанятым для классификации гетеросексуальных и гомосексуальных лиц.