LinkedIn представил новую систему модерации контента, которая является прорывом в оптимизации очередей модерации и сокращает время выявления нарушений политики на 60%. Эта технология может стать будущим модерации контента, как только она станет более доступной.
Содержание
Как LinkedIn модерирует нарушения контента
В LinkedIn есть группы модераторов контента, которые вручную проверяют контент, который может нарушать политику.
Они используют комбинацию моделей искусственного интеллекта, отчетов участников LinkedIn и отзывов людей, чтобы выявлять вредоносный контент и удалять его.
Но масштаб проблемы огромен, поскольку каждую неделю приходится проверять сотни тысяч элементов.
В прошлом при использовании процесса «первым пришел — первым обслужен» (FIFO) обычно случалось так, что каждый элемент, нуждающийся в проверке, стоял в очереди, в результате чего на проверку и удаление фактического оскорбительного контента уходило много времени.
Таким образом, последствием использования FIFO является то, что пользователи подвергаются воздействию вредоносного контента.
LinkedIn описал недостатки ранее использовавшейся системы FIFO:
«…у этого подхода есть два заметных недостатка.
Во-первых, не весь контент, просматриваемый людьми, нарушает нашу политику — значительная часть оценивается как ненарушающая (т. е. очищенная).
Это отнимает у рецензентов ценную пропускную способность, позволяющую просматривать контент, который на самом деле является противозаконным.
Во-вторых, когда элементы проверяются по принципу FIFO, на обнаружение нарушающего контента может потребоваться больше времени, чтобы обнаружить, был ли он принят после ненарушающего контента».
LinkedIn разработала автоматизированную систему, использующую модель машинного обучения для определения приоритета контента, который может нарушать политику в отношении контента, и перемещает эти элементы в начало очереди.
Этот новый процесс помог ускорить процесс рассмотрения.
Новая платформа использует XGBoost
Новая платформа использует модель машинного обучения XGBoost, чтобы предсказать, какой элемент контента может нарушить политику.
XGBoost — это сокращение от Extreme Gradient Boosting, библиотеки машинного обучения с открытым исходным кодом, которая помогает классифицировать и ранжировать элементы в наборе данных.
Этот тип модели машинного обучения, XGBoost, использует алгоритмы для обучения модели поиску конкретных закономерностей в помеченном наборе данных (наборе данных, в котором указано, какой элемент контента нарушает).
LinkedIn использовал именно этот процесс для обучения своей новой структуры:
«Эти модели обучаются на репрезентативной выборке прошлых данных, помеченных человеком, из очереди проверки контента и тестируются на другой выборке вне времени».
После обучения модель может идентифицировать контент, который при таком применении технологии может нарушать правила и требует проверки человеком.
XGBoost — это передовая технология, которая, как было установлено в ходе сравнительного тестирования, очень успешна для такого рода использования, как по точности, так и по количеству требуемого времени обработки, превосходя другие виды алгоритмов.
LinkedIn описал этот новый подход:
«Благодаря этой системе контент, поступающий в очередь на проверку, оценивается с помощью набора моделей искусственного интеллекта для расчета вероятности того, что он скорее всего нарушает наши политики.
Контент с высокой вероятностью ненарушения политики теряет приоритет, что позволяет экономить ресурсы рецензента, а контент с более высокой вероятностью нарушения политики имеет приоритет над другими, чтобы его можно было обнаружить и удалить быстрее».
Влияние на модерацию
LinkedIn сообщил, что новая платформа способна принимать автоматические решения примерно по 10% контента, поставленного в очередь на проверку, с тем, что LinkedIn называет «чрезвычайно высоким» уровнем точности. Она настолько точна, что модель ИИ превосходит возможности человека-рецензента.
Примечательно, что новая система сокращает среднее время обнаружения контента, нарушающего политику, примерно на 60%.
Где используется новый ИИ
Новая система приоритизации проверки контента в настоящее время используется для публикаций и комментариев в ленте. LinkedIn объявил, что они работают над добавлением этого нового процесса в другие разделы LinkedIn.
Модерация вредоносного контента очень важна, поскольку она может помочь улучшить взаимодействие с пользователем за счет уменьшения количества пользователей, подвергающихся воздействию вредоносного контента.
Это также полезно для команды модераторов, поскольку помогает им масштабироваться и обрабатывать большие объемы.
Эта технология доказала свою эффективность, и со временем она может стать более повсеместной, поскольку станет более широко доступной.
Прочтите объявление LinkedIn:
Рекомендованное изображение от Shutterstock/закрыто для кражи
