Алгоритм отслеживания появления нежелательного контента

Алгоритм реализуется с учетом следующих положений:

• Нежелательно информационное наполнение может содержаться в прикрепленных файлах и гипер-ссылкам на внешние информационные ресурсы, поэтому в случае появления новых сообщений, содержащих прикрепленные файлы или внешние гиперссылки, автоматизированное средство сообщать администратору и модератору соответствующего раздела о необходимости проверки дискуссии, в которой с ‘ появилось сообщение с новым информационным наполнением.
• Хранение данных об источниках и свойствах нежелательного информационного наполнения (названия файлов, запрещенные словосочетания в названиях, запрещены внешние информационные ресурсы) – «черный» список – и разрешенного информационного наполнения – «белый» список.
• Проверка текстового информационного наполнения средствами фильтрации и компьютерно-лингвистического анализа сразу после его создания.
• Подготовка необходимых данных для применения санкций к участникам, создавших нежелательное информационное наполнение, в соответствии с установленными на Веб-форуме правил.

На основе этого алгоритма (рис.1) разработан утилиту «Веб-цензор». Рассмотрим, как она реализуется:

1. После создания участником Веб-форум нового информационного наполнения к нему применяется фильтр запрещенной лексики.

2. В случае обнаружения запрещенных в сообществе слов (например, нецензурной лексики, оскорбительных названий и т.п.) при отображении в дискуссиях Веб-форума их заменяют на заданные синонимы или вообще не отражают. О запрещенные слова фиксируется в отчете модератору.

3. Проверка внешних ссылок.

4. В случае выявления внешних гиперссылок происходит проверка их наличия в «черном» списке.

5. При обнаружении гиперссылок в «черном» списке гиперссылки удаляются, информация о нарушении фиксируется в отчете модератору. Если гиперссылка еще не классифицированы, информация о необходимости их классификации вносится в отчет модератору.

6. Проверка наличия прикрепленных файлов.

7. Если обнаружены прикрепленные файлы, информация об этом фиксируется в отчете.

8. Отчет о выявленных нарушениях, неклассифицированные внешние гиперссылки и прикрепленные файлы направляется администраторам.

На основе алгоритма создано автоматизированное средство обнаружения нежелательных и подозрительного информационного наполнения, результатом работы которого является отчет администратору с задачами, выполнение которых требует его участия – классификации гиперссылок и прикрепленных файлов.

Исходные данные алгоритма, в частности информация о выявленных нарушениях являются входными данными для алгоритма применения санкций к участникам. Алгоритм применения санкций к участникам Веб-сообщества предназначен для ограничения доступа к веб-форума участников, которые негативно влияют на сообщество, т.е. если нарушение правил, совершенные ими, преобладают их полезности. Администратор, обнаружив нежелательное информационное наполнение, данные о нарушениях и нарушителя, с помощью автоматизированного алгоритма применения санкций определяет меру наказания.

Рис.1. Алгоритм утилиты «Веб-цензор»

Этот алгоритм будет способствовать уменьшению количества конфликтов и сокращению времени на модерацию сообщества, и, благодаря этому – росту контролируемости сообщества и повышению эффективности Веб-форума. Кроме того, он позволяет избежать субъективности администратора при принятии решений, поскольку опирается на факты нарушений и система правил коммуникативного поведения пользователя Интернет форума.