Небольшая команда Jigsaw в составе Google выпустила набор инструментов, который поможет справиться с тролллингом в интернете. Бороться с троллями теперь будет искусственный интеллект под названием Conversation AI.
Программное обеспечение разрабатывали с целью автоматически определять оскорбления, раздражающие комментарии и резкие высказывания — все то, чем сегодня пользуется многомиллионная армия троллей по всему миру. Искусственный интеллект затем будет оценивать уровень оскорбительности комментариев по шкале от 1 до 100.
Если верить создателям Conversation AI, их программа работает намного точнее, чем фильтр ключевых слов, с помощью которых многие компании сегодня запрещают бранную речь в своих проектах. Они также заявляют, что искусственный интеллект работает куда быстрее, чем ручная проверка модераторами. Однако разработчики признались, что им все еще предстоит доработать систему во время работы с ложно-положительными результатами и завершить работу над головоломками простой речи. По словам представителей Google, система уже в 92% случаев корректно выявляет троллей.
Интересно, что искусственный интеллект обучался на реальных комментариях пользователей сети. Издание The New York Times предоставила разработчикам доступ к своей базе в 17 миллионов комментариев под различными статьями. А сотрудники Wikimedia Foundation помогли команде Jigsaw разобраться с такими тонкостями, как грань между подшучиванием и оскорблением.
На разработку искусственного интеллекта для борьбы с троллингом создателей вдохновила самая большая многопользовательская игра League of Legends, которая сегодня насчитывает около 67 миллионов игроков. Разработчики игры одними из первых начали использовать машинное обучение, чтобы блокировать игроков, допускающих сексистские или оскорбительные выражения. По статистике, около 92% игроков стали вести себя скромнее после появления предупреждений от системы.
Технология Jigsaw будет распространяться с открытым исходным кодом, чтобы создатели социальных сетей и других онлайновых ресурсов могли использовать и развивать ее в будущем. Целью ИИ является выявление и удаление комментариев еще до того, как тролль успеет кого-то обидеть.
Свежие комментарии