Технологии для борьбы с кибертравлей

В последние годы проблема кибертравли, то есть унижения достоинства детей и подростков их сверстниками через Web, приобретает все большую остроту — унижениям по Cети подвергаются уже не только подростки, но и более взрослые индивиды. Общественное внимание к этой проблеме привлекли сообщения СМИ о самоубийствах, совершенных в результате кибертравли, — статистика свидетельствует о том, что масштабы этого явления все растут. Согласно результатам анкетирования, проведенного в 2006 году Национальным советом США по предотвращению преступлений, 43% американских подростков за предшествующий год подвергались кибертравле, а опрос 2008 года, организованный исследователями Калифорнийского университета Беркли, установил, что почти 75% всех подростков за предыдущие 12 месяцев хотя бы раз становились объектом киберунижения.

Социальные сети предлагают детям и подросткам немало преимуществ, например помогают находить друзей и практиковаться в навыках письменной речи по темам, представляющим для них личный интерес. Однако, если унижение и травля станут в социальных сетях слишком распространены, дети начнут бояться присоединяться к ним, да и родители будут запрещать любые попытки выхода в виртуальное пространство.

На заре Интернета многие пользователи Сети были неприятно удивлены, когда начали получать спам по электронной почте, и, если бы не были приняты адекватные меры по борьбе с быстрорастущими объемами спама, Интернет, каким мы его знаем сегодня, не существовал бы. К счастью, техническое решение в виде спам-фильтров позволило взять проблему под контроль. Возможна ли разработка подобных технических решений для борьбы с кибертравлей?

В рамках проекта MIT Media Lab, получившего название TimeOut, предлагается ряд инновационных решений в области программного обеспечения социальных сетей для предотвращения актов кибертравли и смягчения последствий в случаях, когда киберунижение все-таки происходит. Исследования в рамках проекта идут по двум направлениям. Первое — это идентификация возможных актов кибертравли посредством механизмов распознавания «языка унижения» с помощью методов машинного обучения. Второе — технологии предотвращения травли, предназначенные как для участников и модераторов социальных сетей, так и для их операторов. «Умные» пользовательские интерфейсы предназначены для побуждения участников к сдержанности и ответственному поведению, а инструменты визуализации помогают операторам сети и модераторам останавливать эскалацию кибертравли.

Распознавание

Кибертравля — персонализированный и привязанный к контексту процесс, его распознавание редставляет собой гораздо более сложную задачу, чем идентификация спама, который в одинаковых копиях рассылается большому количеству людей. Исследования показывают, что в большинстве случаев киберунижение затрагивает ограниченный круг тем: расовая и этническая принадлежность, пол и сексуальная ориентация, внешность, умственные способности и социальное одобрение или отторжение. Если можно опознать сообщение как относящееся к этим темам, а также определить его эмоциональный тон (позитивный или негативный), то можно идентифицировать многие вероятные попытки киберунижения.

Один из изученных в MIT Media Lab классов унижающих сообщений касается обвинений в гомосексуальности или ее высмеивания. Часто такие сообщения принимают форму приписывания стереотипно женских характеристик мужчине или наоборот. Например, мужчине может быть адресован комментарий вроде «Ты бы отлично смотрелся в платье и с накрашенными губами». Практика показывает, что подобные высказывания часто используются в кибертравле и поэтому могут служить ее возможным признаком. Компьютеры пока еще не способны полностью понимать естественную речь и ее нюансы, но прогресс в этой области идет, и уже сейчас имеется возможность частично понять некоторые аспекты того или иного текста. Активно развиваются такие области исследований, как распознавание тематики (функция, имеющая большую важность для поисковых механизмов и СУБД) и анализ эмоциональной окраски (алгоритмы, определяющие, имеет ли сообщение негативный или позитивный характер).

В рамках проекта используется ряд статистических инструментов, в частности обучаемые классификаторы — механизмы, позволяющие эффективно решить многие задачи определения тематики. Классификаторы обучаются на примере базы сообщений кибертравли, идентифицированных людьми, и анализируют высказывания на статистические закономерности. «Секретным ингредиентом» этого процесса является база «житейских» знаний и соответствующие принципы рассуждения. Для проекта было собрано около миллиона утверждений, описывающих повседневную жизнь. Они используются в качестве базовых знаний, благодаря которым реализованные для TimeOut программы искусственного интеллекта могут делать нечто большее, чем просто сопоставлять и подсчитывать слова. При помощи этих утверждений моделируются свойственные людям неявные, неформальные рассуждения (в противовес машинным рассуждениям, выполняемым с математической точностью).

Рис.1. Термин «супермодель» обычно ассоциируется с женщинами; таким образом, сообщение «Ты выглядишь как супермодель», адресованное мужчине гетеросексуальной ориентации, может быть попыткой киберунижения

База знаний содержит утверждения, помогающие системе «понять», относится ли рассматриваемое высказывание к стереотипным представлениям о мужчине или женщине. Примеры утверждений: «помада — это вид косметики», «женщины носят платья» и т. п. Как отмечено на рис. 1, термин «супермодель» обычно ассоциируют с женщинами, и высказывание «Ты выглядишь как супермодель!», адресованное гетеросексуальному мужчине, может быть попыткой киберунижения. Аналогично общеизвестные знания о привычках питания людей могут указывать системе на то, что комментарий «Ты, наверное, шесть гамбургеров сегодня на ужин слопал» был написан в попытке оскорбить человека с лишним весом. Не хотелось бы безосновательно обвинить автора подобного комментария в том, что в данном случае он пытается оскорбить адресата. Цель проекта не добиться идентификации кибертравли со стопроцентной уверенностью, а лишь получить возможность указания вероятных попыток киберунижения. Если какие-то высказывания повторяются, их количество растет или у них всегда негативная эмоциональная окраска, уверенность в точности сделанной системой оценки может возрасти.

Вмешательство

Процесс кибертравли охватывает много ролей: обидчик, жертва, друзья, семья, учителя и т. д., для каждой из которых можно разработать механизмы вмешательства. Как показано на рис. 2, при распознавании возможного сообщения кибертравли можно ненавязчиво выдать ссылку на образовательные материалы, подходящие к конкретной ситуации.

Рис. 2. При обнаружении вероятного сообщения кибертравли система может ненавязчиво предложить ссылку на образовательный материал, подходящий в данной ситуации

Потенциальным обидчикам можно адресовать материалы, пытающиеся вызвать сопереживание к жертве и предупреждающие о возможном ущербе для социальной репутации нарушителя. Жертву, в свою очередь, механизм вмешательства может побуждать к поиску эмоциональной поддержки или к поиску сведений о том, как другие справлялись в похожих ситуациях. Система также может предложить варианты встречных действий (например, остроумный ответ) и предостеречь от попытки мести. Друзьям может быть дан совет защищать жертву и не переходить на сторону обидчика. При этом важно дать действенные персональные рекомендации, применимые к конкретному случаю. Образовательные материалы могут предлагаться в самых разных формах, в том числе в виде текстов, видероликов или интерактивных повествований.

Система может также ненавязчиво менять интерфейс социальной сети таким образом, чтобы заставить пользователя задуматься или задержать публикацию потенциально оскорбительного сообщения. Вместо простой надписи «Отправить» на соответствующей кнопке могло бы появляться предупреждение, напоминающее пользователю о последствиях: «Отправить 350 участникам вашей сети». Аналогично перед отправкой потенциально проблемных сообщений мог бы появляться запрос наподобие «Вы уверены?» или можно было бы откладывать доставку таких сообщений на ночь, чтобы дать отправителю шанс утром пересмотреть свое решение.

Роль операторов и модераторов социальной сети состоит в том, чтобы создавать безопасную и доброжелательную среду для участников, особенно для новичков. Для этого в рамках проекта TimeOut была разработана своего рода «консоль авиадиспетчера» под названием SpeedBump (рис. 3), наглядно отображающая модератору связи, историю и тематику сообщества.

Рис. 3. С помощью SpeedBump модератор может получить наглядное представление о социальной сети — ее связях, истории и темах обсуждения

Назначение SpeedBump не в том, чтобы «отловить» каждый акт кибертравли, а чтобы не позволить отдельным инцидентам со временем развиться в серьезные эпидемии. По статистике, собранной операторами социальных сетей, подобные инциденты происходят вспышками: обычно они стремительно охватывают определенную группу пользователей, например учащихся какой-либо школы, или начинаются в связи с определенным событием, например школьным выпускным балом.

***

В марте 2011 года на проходившей в Белом доме конференции по борьбе с проблемой подростковой травли президент США Барак Обама заявил: «Сегодня травля не заканчивается с последним звонком — после школьного вестибюля обидчики продолжают преследовать наших детей через сотовые телефоны и экраны компьютеров. Главная цель данной конференции — развеять миф о том, что школьная травля — это всего лишь безобидный обряд посвящения или неизбежная часть взросления. Это не так».

Причины кибертравли кроются в самих людях, и никакая компьютерная программа не способна заменить планомерное обучение детей налаживанию здоровых личных взаимоотношений. Однако новые технологии программного обеспечения социальных сетей способны помочь в предотвращении проблемы кибертравли и борьбе с нею.

Генри Либерман, Картник Динакар, Бираго Джонс ({lieber, kdinakar, birago}@media.mit.edu) — научные сотрудники MIT Media Lab