Avaliação da qualidade por amostragem

Departamentos jurídicos e escritórios de advocacia sofrem com um problema sistêmico em suas bases de dados: as inconsistências.

Dados inconsistentes podem causar problemas de vários tipos. Por exemplo, podem fazer com que os dados sejam interpretados de forma errada, ou podem levar a resultados incorretos. Além disso, inconsistências nos dados podem dificultar ou até mesmo impossibilitar o compartilhamento de dados entre sistemas. É o exemplo dos números de processo, que muitas vezes são cadastrados incorretamente, impossibilitando a consulta dos andamentos nos sites dos tribunais.

Muitas inconsistências são difíceis de detectar

Algumas inconsistências são fáceis de detectar, como aquelas geradas por lacunas e erros de lógica na base de dados. São exemplos de inconsistências fáceis:

  • Datas no futuro, ou datas com erro lógico, como uma data de sentença que veio antes da distribuição.
  • Valores negativos quando o valor deve ser positivo.
  • Números de processo que não atendem ao padrão de numeração única.

 

No entanto, algumas inconsistências são difíceis de detectar. Por exemplo:

  • O número do processo está correto, mas corresponde a outro caso.
  • Os pedidos do processo apresentam alguma omissão ou estão incorretos.
  • O processo apresenta problemas provenientes de dados oficiais: a informação do tribunal está errada e foi inserida de forma incorreta no sistema.

Assim, para identificar e corrigir essas inconsistências, o ideal seria revisar todos os casos periodicamente. No entanto, isso é impraticável no mundo real, pois o trabalho de revisão é muito grande e não se justifica.

E é aí que as técnicas estatísticas começam a brilhar. Para ajudar nesse problema, utilizamos a amostragem!

Como utilizar a amostragem na prática?

A amostragem é o processo de selecionar uma parte da população para representar a população como um todo. A avaliação de qualidade por amostragem é um método usado para inferir a qualidade das classificações usando uma amostra da população. A amostra é selecionada usando um método de amostragem estatístico, como a amostragem aleatória, e os dados são verificados manualmente a partir dos processos classificados. A qualidade é então inferida a partir dos dados coletados da amostra.

 

A qualidade da classificação é medida através da comparação da classificação atribuída a cada documento na amostra, com a classificação real do documento. Por exemplo, a precisão da classificação é calculada como o número de documentos na amostra que foram classificados corretamente, dividido pelo número total de documentos na amostra.

 

Como as amostras têm custo baixo, elas podem ser aplicadas periodicamente para verificar a qualidade dos dados. Além disso, as amostras podem ser utilizadas como insumos para o desenvolvimento de ferramentas de inteligência artificial que automatizam a verificação de qualidade.

 

A Terranova é formada por profissionais da estatística, ciência da computação e direito que dominam as técnicas de amostragem no contexto jurídico. Conte conosco para auxiliar em suas demandas.

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *