Share it with your network.
A revolução da Web 2.0 levou à explosão do conteúdo gerado todos os dias na internet. Plataformas de compartilhamento social como Facebook, Twitter, Instagram etc. tiveram um crescimento surpreendente em seus usuários ativos diários, mas estão em dificuldades quando se trata de monitorar o conteúdo gerado por seus usuários. Os usuários estão enviando conteúdo impróprio, como nudez, ou usando linguagem abusiva ao comentar as postagens. Esse comportamento leva a problemas sociais, como bullying e pornografia de vingança, e também prejudica a autenticidade da plataforma. No entanto, o ritmo em que o conteúdo é gerado on-line atualmente é tão alto que é quase impossível monitorar tudo manualmente. No próprio Facebook, um total de 136.000 fotos são enviadas, 510.000 comentários são publicados e 293.000 status são atualizados a cada 60 segundos. Na ParallelDots, resolvemos esse problema por meio do aprendizado de máquina criando um algoritmo que pode classificar fotos de nudez (detecção de nudez) ou conteúdo abusivo com altíssima precisão.
Em um dos nossos blog anterior, discutimos como nossas APIs de análise de texto podem identificar contas de spam e bots no Twitter e impedir que elas adicionem qualquer preconceito na análise do Twitter. Adicionando outra ferramenta importante para moderação de conteúdo, lançamos duas novas APIs: API de detecção de nudez e API de classificador de conteúdo abusivo.
Classificador de detecção de nudez
Conjunto de dados: Fotos nuas e não nuas foram rastreadas de diferentes sites da Internet para criar o conjunto de dados. Nós rastreamos cerca de 200.000 imagens de nudez de diferentes fóruns e sites de fotos de nudez, enquanto imagens humanas não nuas foram obtidas na Wikipedia. Como resultado, conseguimos criar um enorme conjunto de dados para treinar o classificador de detecção de nudez.
Arquitetura: Escolhemos a arquitetura ResNet50 para o classificador, que foi proposta por Kaiming He et al. em 2016. O conjunto de dados rastreado da Internet foi dividido aleatoriamente em um trem [80%], validação [10%] e conjunto de testes [10%]. A precisão do classificador treinado no conjunto de trem e do hiperparâmetro ajustado no conjunto de validação é um pouco acima de 95%.
Classificador de conteúdo abusivo
Conjunto de dados: Semelhante ao classificador de detecção de nudez, o conjunto de dados do classificador de abuso foi construído coletando conteúdo abusivo da Internet, especificamente do Twitter. Identificamos certas hashtags associadas a linguagem abusiva e ofensiva e outras hashtags associadas a linguagens não abusivas. Esses tweets foram posteriormente verificados manualmente para garantir que sejam classificados corretamente.
Arquitetura: Usamos redes de memória de longo prazo (LSTM) para treinar o classificador de abuso. Os LSTMs modelam frases como a cadeia de decisões de esquecer e lembrar com base no contexto. Ao treiná-lo com dados do Twitter, demos a ele a capacidade de entenda os tweets vagos e mal escritos cheio de smileys e erros de ortografia e ainda consegue entender a semântica do conteúdo e classificá-lo como abusivo.
Fazendo o classificador funcionar: caso de uso para moderação de conteúdo
Classificadores de detecção de conteúdo abusivo e nudez são ferramentas poderosas para filtrar esse conteúdo de feeds de mídias sociais, fóruns, aplicativos de mensagens etc. Aqui estamos discutindo alguns casos de uso em que esses classificadores podem ser usados.
Feeds de conteúdo gerado pelo usuário
Se você possui um aplicativo móvel ou um site em que os usuários postam fotos ou comentários ativamente, você já teria dificuldades em manter o feed livre de conteúdo abusivo ou fotos de nudez. As melhores práticas atuais de permitir que seus usuários sinalizem esses conteúdos são uma tarefa não confiável e demorada e exigem que uma equipe de moderadores humanos verifique cada conteúdo sinalizado e aja de acordo. A implantação dos classificadores de detecção de abuso e nudez nesses aplicativos pode melhorar seu tempo de resposta para lidar com esse conteúdo. Um cenário perfeito será aquele em que o sistema sinalize o conteúdo como impróprio e alerte um dos moderadores antes mesmo de ele chegar ao feed público. Se a moderadora descobrir que o conteúdo foi classificado erroneamente como Detecção de Nudez ou abusivo (falso positivo), ela poderá autorizar o conteúdo a ser publicado. Esse sistema de moderação humana aprimorado por máquina pode garantir que seus feeds estejam livres de qualquer conteúdo impróprio e que a reputação de sua marca permaneça intacta.
Moderação do fórum
Uma das maiores invenções da Internet foi a capacidade de gerar conteúdo dinamicamente na forma de opiniões, comentários, perguntas e respostas etc. em fóruns. No entanto, uma desvantagem disso é que esses fóruns geralmente estão repletos de spam e conteúdo abusivo, levando a problemas como o bullying. Escondido atrás do muro do anonimato em muitos desses fóruns, esse conteúdo pode criar um impacto desastroso em adolescentes e estudantes, muitas vezes levando a tendências suicidas. Usar o classificador de abuso pode ajudar os proprietários do fórum a moderar o conteúdo e potencialmente banir os usuários que são reincidentes.
Moderação de comentários
Semelhante à moderação do fórum, pode-se usar o classificador de abuso para manter a seção de comentários do blog livre de qualquer conteúdo abusivo. Atualmente, todos os sites de mídia de notícias estão lutando para manter seu conteúdo seguro e livre de abusos, pois abordam diferentes tópicos controversos, como imigração, terrorismo, desemprego etc. Manter a seção de comentários livre de qualquer conteúdo abusivo ou ofensivo é uma das principais prioridades de todo editor de notícias atualmente e o classificador de abusos pode desempenhar um papel significativo no combate a essa ameaça.
Campanhas de marketing digital de crowdsourcing
Campanhas de marketing digital que dependem de conteúdo de crowdsourcing provaram ser uma estratégia muito eficaz para impulsionar a conversa entre marcas e consumidores, como o concurso “Crash the Super Bowl” da Dorito. No entanto, o conteúdo enviado pelos consumidores em tal concurso deve ser monitorado cuidadosamente para proteger a reputação da marca. A verificação manual de cada envio pode ser uma tarefa entediante e o classificador de detecção de nudez da ParallelDots pode ser usado para sinalizar automaticamente conteúdo nu e abusivo.
Filtrando conteúdo nu em anúncios digitais
As trocas de anúncios cresceram em popularidade com a explosão da criação de conteúdo digital e continuam sendo a única fonte de monetização para a maioria dos blogs, fóruns, aplicativos móveis etc. No entanto, o outro lado disso é que, às vezes, anúncios de grandes marcas podem ser exibidos em sites com conteúdo nu, prejudicando a reputação da marca. Em um desses casos, anúncios da Farmers Insurance estavam sendo veiculados em um site chamado DrunkenStepFather.com, graças em grande parte ao crescimento da compra de anúncios baseada em bolsas. O slogan do site é “Gostamos de nos divertir com garotas bonitas” e não é classificado como apropriado para veicular anúncios da Farmers Insurance.
As trocas de anúncios e os servidores podem integrar a API classificadora de detecção de nudez da ParallelDots para identificar editores ou anunciantes de fotos nuas e restringir a entrega de anúncios antes que ela se transforme em uma crise de relações públicas.
Como usar o Classificador de Detecção de Nudez?
O classificador de detecção de nudez da ParallelDots está disponível como uma API para integração com aplicativos existentes. A API aceita um trecho de texto ou uma imagem e o sinaliza como conteúdo abusivo ou sem conteúdo, respectivamente, em tempo real. Experimente a API de detecção de nudez diretamente no navegador fazendo o upload de uma foto aqui. Além disso, confira a demonstração do classificador de conteúdo abusivo, disponível aqui. Mergulhe no Documentação da API para detecção de nudez e classificador de conteúdo abusivo ou confira o repositório do GitHub para começar a usar Embalagens de API em um idioma de sua escolha.
Ambos os classificadores calculam uma pontuação de confiança em uma escala de 0 a 1 para sua previsão. Uma pontuação de 1 significaria que o conteúdo provavelmente é abusivo ou nu com uma confiança muito alta, enquanto uma pontuação próxima de 0 implicaria que o algoritmo não está muito confiante em sua previsão.
.jpg)
