Автор: Денис Аветисян
Все давно согласны: системы отбора, претендующие на справедливость, должны оценивать таланты и возможности, а не происхождение или социальный статус. Но что, если, как показывает исследование «Strategic Costs of Perceived Bias in Fair Selection», сама вера в объективность этих систем – иллюзия, а рациональные агенты, прекрасно осознавая предвзятость оценок, действуют в соответствии с ней, лишь усугубляя неравенство? И действительно, не пора ли признать, что проблема не в алгоритмах, а в том, что мы не можем отделить ценность человека от субъективного восприятия этой ценности?
Иллюзия Заслуженности
Системы «заслуженного» отбора, эти самые, что нам с экранов вещают про равные возможности… Ну да, конечно. Как будто алгоритмы не умеют повторять ошибки, а люди, которые их пишут, вообще не подвержены предрассудкам. Нам рассказывают про объективность, а по факту получаем очередной способ воспроизвести существующее неравенство. Эти ваши стандартизированные тесты, структурированные собеседования, алгоритмические рейтинги… Прекрасно, чтобы создать иллюзию справедливости, но в реальности они просто помогают существующим привилегиям закрепиться ещё сильнее.
Они, видите ли, борются за талант. Талант, который измеряется в баллах и коэффициентах. А что, если талант — это не только умение решать задачи, но и умение выживать в системе, которая изначально против тебя? Что, если у кого-то просто не было возможности получить хорошее образование, а кто-то вынужден был работать, чтобы прокормить семью? Ну да, это всё мелочи по сравнению с графиками и диаграммами.
В итоге получаем системную предвзятость. Представьте себе: одни группы постоянно оказываются в проигрыше, независимо от реального потенциала. Их просто не замечают, потому что они не соответствуют шаблонам, которые задает система. И так цикл за циклом. Это как бесконечный рекурсивный вызов, который никогда не завершится.
Понимаете, в чём вся ирония? Мы строим эти «заслуженные» системы, чтобы найти самых лучших. Но в итоге получаем только подтверждение того, что у кого-то всегда было больше возможностей, чем у других. И это называется «эффективность»? Я уже видел, как скрипт удалял прод, так что да, эффективность – это сильное слово.
И знаете что самое забавное? Все эти «революционные» технологии завтра станут техническим долгом. А мы будем искать новые способы оптимизировать неравенство. Тесты – это форма надежды, а не уверенности. Но надежда – это тоже ресурс, который нужно как-то монетизировать.
Так что да, «заслуженные» системы работают. Просто не совсем так, как мы думаем.
Стратегические Игры и Неравные Издержки
Теория соревнований, как ни странно, оказывается полезной для анализа этих взаимодействий. Не нужно изобретать сложную математику, чтобы понять, что люди соревнуются за ограниченные возможности, и это напоминает, по сути, аукцион, где каждый платит свою цену – в данном случае, усилия. Простое, как хорошо спроектированный скрипт, который рано или поздно сломается.
Предложенная авторами стратегическая модель соревнований – это, по сути, расширение этой концепции для учета многогрупповых сценариев. И здесь, как показывает анализ, различия в воспринимаемой ценности и групповых издержках могут существенно влиять на участие. Звучит сложно, но на самом деле, все сводится к тому, что у каждого своя цена за вход, и если она слишком высока, то человек просто не участвует. И не надо тут говорить про “справедливость”, в реальном мире никто не жертвует своими интересами.
Рациональные агенты, даже при отсутствии явной дискриминации, могут вести себя таким образом, что увековечивают неравенство, просто из-за этих меняющихся издержек. Это не злонамеренность, а просто здравый смысл. Если кому-то что-то невыгодно, он не будет этим заниматься. И результаты, к которым это приводит, довольно предсказуемы – так называемые равновесия Нэша. Как будто кто-то заранее знал, что произойдет. Не надо строить иллюзий – любая система со временем становится предсказуемой.
Авторы подчеркивают, что даже в отсутствие явного давления, издержки, связанные с участием, могут быть разными для разных групп. Это не обязательно экономические издержки, но и временные, эмоциональные, и даже психологические. И если для одной группы эти издержки слишком высоки, то она просто не будет участвовать, даже если формально все равны. В конечном итоге, это приводит к тому, что одни группы остаются в выигрыше, а другие – нет. И не надо тут говорить про “равные возможности” – в реальности все всегда немного сложнее.
В заключение, исследование авторов показывает, что даже в, казалось бы, нейтральной системе, различия в воспринимаемой ценности и групповых издержках могут приводить к неравенству. И это не вина конкретных людей, а просто закономерность, которую необходимо учитывать при проектировании любой системы. Нам не нужно больше микросервисов – нам нужно меньше иллюзий.
Системное Неравенство: Когда Ничего Не Меняется
Авторы работы, похоже, не питают иллюзий относительно «революционных» технологий. Они исследуют, как, даже при видимой нейтральности систем отбора, укоренившееся групповое предвзятие (GroupBias) приводит к неравномерному участию и, как следствие, к неравномерным результатам. Иными словами, недостаточно просто убрать явную дискриминацию – необходимо понять и смягчить стратегические стимулы, лежащие в основе этого явления.
Они демонстрируют, что систематическое неравенство – это не просто случайный побочный эффект, а скорее глубоко укоренившаяся проблема, обусловленная различиями в восприятии ценности. И это, знаете ли, не та ценность, которую можно измерить в рублях. Вместо того, чтобы строить воздушные замки, авторы предлагают посмотреть на поведение системы в предельном случае – когда число агентов стремится к бесконечности (LargePopulationLimit). И тут, как ни странно, начинают проявляться закономерности. Вместо хаоса – предсказуемые последствия.
Идея, конечно, не нова. Но авторы сумели формализовать эту динамику, построив модель, которая учитывает не только объективные факторы, но и субъективные оценки. Они рассматривают систему как стратегическую игру, в которой каждый агент стремится максимизировать свою выгоду. И тут, как ни странно, начинают проявляться те самые «скрытые пружины», которые приводят к неравенству. И знаете что? Обычно эти пружины никто не замечает. Потому что все заняты оптимизацией кода.
И вот тут-то и проявляется весь цинизм этой работы. Авторы не предлагают никаких утопических решений. Они просто показывают, что система будет работать так, как она работает. И если мы хотим изменить что-то, нам нужно понять, как она работает. А потом – смириться с тем, что идеальных решений не бывает. Иначе мы просто потратим время на создание ещё одного «самовосстанавливающегося» приложения, которое сломается через неделю. Потому что, знаете ли, документация – это форма коллективного самообмана.
Они подходят к вопросу, как опытные инженеры, видевшие немало багов и катастроф. Если что-то воспроизводится – значит, у нас стабильная система. А если система работает не так, как мы хотим – значит, мы что-то упустили. И, как обычно, виноваты не технологии, а люди. И всё это, разумеется, не отменяет того факта, что системное неравенство – это проблема, требующая решения. Но решение должно быть реалистичным, а не утопическим. А это, знаете ли, не так просто.
К Справедливым Системам: Шаг за Шагом
Авторы, конечно, увлеклись формальными моделями и тонкостями равновесия Нэша. Но давайте начистоту: все эти изящные формулы рано или поздно столкнутся с реальностью продакшена. Всегда найдется кто-то, кто сломает элегантную теорию. Тем не менее, некоторые выводы вполне заслуживают внимания, особенно когда речь заходит о построении систем, которые претендуют на справедливость.
Идея о том, что восприятие ценности играет ключевую роль, звучит, конечно, не ново. Но формализация этого явления в контексте стратегических взаимодействий позволяет взглянуть на проблему под другим углом. Если группы действительно по-разному оценивают свои шансы на успех, то любые «нейтральные» механизмы отбора будут, в конечном итоге, воспроизводить существующее неравенство.
Авторы справедливо отмечают, что простого устранения формальных барьеров недостаточно. Нужны активные меры, которые бы компенсировали исторические недостатки и нивелировали эффект предвзятости. Политики вроде Affirmative Action, конечно, вызывают споры, но, если подойти к вопросу разумно, они могут служить своего рода корректирующим механизмом. Важно понимать, что это не самоцель, а временная мера, направленная на создание более справедливых условий.
Эти интервенции, по сути, меняют стратегический ландшафт. Они побуждают к более широкому участию и способствуют достижению более равноправных результатов. Главное – не переусердствовать. Любое чрезмерное вмешательство может привести к нежелательным последствиям и исказить саму суть «заслуженного» успеха.
В конечном итоге, приверженность пониманию взаимосвязи между стратегическими взаимодействиями, воспринимаемой ценностью и системными издержками имеет решающее значение для построения по-настоящему меритократических систем. Это, конечно, непросто. Всегда будут компромиссы и нерешенные вопросы. Но если мы хотим создать мир, где возможности доступны всем, а не только избранным, то мы должны быть готовы к этой сложной работе. И помнить: всё новое – это старое, только с другим именем и теми же багами.
Исследование, представленное авторами, демонстрирует, как рациональный выбор в условиях кажущейся меритократии может приводить к устойчивому неравенству. Это закономерно. Как говорил Алан Тьюринг: «Мы можем только сделать то, что можем, и не более». По сути, даже формально беспристрастные системы, основанные на «рациональном выборе», становятся лишь более изощренным способом воспроизведения предвзятости. Авторы показали, что восприятие разницы в ценности между группами рационально ведет к постоянным дисбалансам. И это не ошибка алгоритма, а фундаментальное свойство любой системы, где действуют заинтересованные стороны. В конечном итоге, нам не нужны более сложные модели – нам нужно меньше иллюзий относительно природы «справедливости».
Что дальше?
Авторы, конечно, показали элегантную модель. Но давайте начистоту: любая «забота о справедливости» неизбежно превратится в очередную метрику для оптимизации, которую можно будет обойти. Уверен, найдётся достаточно изобретательных людей, чтобы доказать, что рациональное неравенство – это просто признак эффективной сортировки. И это ещё хорошо, если они не начнут добавлять случайный шум, чтобы «усложнить взлом системы».
Интересно, предвидят ли исследователи, что любая попытка скорректировать «воспринимаемую предвзятость» создаст новые, ещё более изощрённые способы манипуляции? Модели, как это часто бывает, уходят в бесконечную рекурсию. Они изучают равновесие Нэша, а я вижу лишь новую поверхность для атак. Скоро кто-нибудь докажет, что предвзятость – это просто признак неполноты данных, и предложит «решение» в виде ещё более сложного алгоритма.
Иногда мне кажется, что проще признать: монолитная система с очевидными недостатками честнее, чем сотня микросервисов, каждый из которых врёт по-своему. Контест-теория – это, конечно, интересно, но в реальном мире всегда найдётся кто-то, кто играет не по правилам. И, скорее всего, выиграет.
Оригинал статьи: https://arxiv.org/pdf/2510.20606.pdf
Связаться с автором: https://www.linkedin.com/in/avetisyan/