Японский технологический гигант Sony описал возможный способ измерения смещения системы относительно некоторых оттенков кожи в недавнем исследовании. бумага.
Системы компьютерного зрения исторически испытывали трудности с точным обнаружением и анализом людей с желтым оттенком кожи. Стандартная шкала типов кожи Фитцпатрика не учитывает адекватно изменение оттенка кожи, фокусируясь только на тоне от светлого до темного. В результате стандартные наборы данных и алгоритмы демонстрируют снижение производительности у людей с желтым цветом кожи.
Эта проблема непропорционально затрагивает определенные этнические группы, такие как азиаты, что приводит к несправедливым результатам. Например, исследования показали, что системы распознавания лиц, произведенные на Западе, имеют меньшую точность для лиц азиатов по сравнению с лицами других национальностей. Отсутствие разнообразия в данных обучения является ключевым фактором, вызывающим эти предвзятости.
В статье исследователи искусственного интеллекта Sony предложили многомерный подход к измерению видимого цвета кожи на изображениях, чтобы лучше оценить справедливость в системах компьютерного зрения. В исследовании утверждается, что общий подход к использованию шкалы типов кожи Фитцпатрика для характеристики цвета кожи ограничен, поскольку он фокусируется только на тоне кожи от светлого до темного. Вместо этого исследователи предложили измерять как перцептивную яркость L*, чтобы уловить тон кожи, так и угол оттенка h*, чтобы уловить оттенок кожи в диапазоне от красного до желтого. Ведущий автор исследования Уильям Тонг объяснил:
«Хотя это практично и эффективно, уменьшение цвета кожи до ее тона ограничено, учитывая конститутивную сложность кожи. […] Поэтому мы продвигаем многомерную шкалу, чтобы лучше отображать видимые различия цвета кожи у людей на изображениях».
Исследователи продемонстрировали ценность этого многомерного подхода в нескольких экспериментах. Во-первых, они показали, что стандартные наборы данных изображений лиц, такие как CelebAMask-HQ и FFHQ, смещены в сторону светло-красного цвета кожи и недостаточно представляют темно-желтые цвета кожи. Генеративные модели, обученные на этих наборах данных, воспроизводят аналогичную предвзятость.
Во-вторых, исследование выявило отклонения в тоне кожи и оттенках в моделях обрезки изображений на основе заметности и верификации лица. Алгоритм обрезки изображений Twitter показал предпочтение светло-красным цветам кожи. Популярные модели с проверкой лица также лучше работали на светлой и красной коже.
Наконец, манипулирование тоном и оттенком кожи выявило причинно-следственные эффекты в моделях прогнозирования атрибутов. Людей с более светлым оттенком кожи чаще считали женственными, а людей с более красным оттенком кожи чаще прогнозировали как улыбающихся. Тонг заключил:
«Наш вклад в многомерную оценку цвета кожи предлагает новые идеи, ранее невидимые, позволяющие лучше понять предвзятости в оценке справедливости как наборов данных, так и моделей».
Исследователи рекомендуют использовать многомерные шкалы цвета кожи в качестве инструмента справедливости при сборе новых наборов данных или оценке моделей компьютерного зрения. Это может помочь смягчить такие проблемы, как недостаточное представление и различия в производительности для конкретных цветов кожи.
Рекомендуемое изображение:
