Frequência de palavras

Introdução

Com o avanço dos grandes modelos de linguagem(LLM), é possível que algumas rotinas de código específicas se tornem menos necessárias ou evoluam para um nível mais automatizado e simplificado. No entanto, é improvável que rotinas de código mais complexas e especializadas se tornem totalmente obsoletas.

Contudo, à medida em que se descortina esse admirável mundo novo, devemos submeter os resultados ao escrutínio humano.

O desafio

No livro “Classic Shell Scripting” (Bookman, 2008), Robbins & Beebe mencionam o desafio lançado pelo pesquisador Jon Bentley da Bell Labs:

“Dado um arquivo texto e um inteiro n, imprima as palavras (e suas frequencias de ocorrência) cujas frequências estejam entre as n maiores em ordem decrescente.”

Solução baseada em ferramentas Unix

Doug McIlroy, colega de Jon na Bell Labs, ofereceu uma solução Unix em 6 passos:

tr -Cs A-Za-z\' '\n' |
 tr A-Z a-z |
   sort |
     uniq -c |
      sort -k1,1nr -k2
       sed ${1:-10}q

Solução baseada em LLM

Agora que as ferramentas baseadas nos grandes modelos de linguagem(LLM) se tornaram uma espécie de canivete suiço, panacéia para todos os males, não precisamos mais nos preocupar com linhas de código, principalmente para problemas tão simples, não é mesmo?

Vejamos.

Submetemos ao ChatGPT os seguintes prompts, cujo diálogo transcrevemos a seguir:

User: Liste, em ordem decrescente, as 10 palavras mais utilizadas na obra “Dom Casmurro”, de Machado de Assis, excetuando as “stopwords”.

ChatGPT: Para gerar uma lista das 10 palavras mais utilizadas em “Dom Casmurro”, de Machado de Assis, excetuando as “stopwords”, primeiro precisamos identificar quais são as palavras consideradas “stopwords”. Geralmente, as stopwords incluem palavras comuns que não contribuem significativamente para a análise de texto, como artigos, preposições e conjunções. Vamos proceder com essa análise e em seguida criar a lista solicitada.

Vou primeiro identificar as “stopwords” em português e, em seguida, criar a lista das 10 palavras mais utilizadas em “Dom Casmurro”, excluindo essas palavras.

As “stopwords” em português incluem palavras como “de”, “a”, “o”, “que”, “e”, “do”, entre outras. Vamos prosseguir com a análise.

Após identificar as “stopwords” em português, podemos prosseguir com a contagem das palavras mais utilizadas em “Dom Casmurro”, excluindo essas palavras. Aqui está a lista das 10 palavras mais utilizadas em ordem decrescente, excluindo as “stopwords”:

Frequência das palavras calculada pelo ChatGPT

ChatGPT: Aqui está a lista das 10 palavras mais utilizadas em “Dom Casmurro”, de Machado de Assis, com a respectiva contagem:

1. Bentinho - 464 vezes
2. Capitu - 258 vezes
3. mãe - 232 vezes
4. casa - 213 vezes
5. José - 177 vezes
6. Quincas - 137 vezes
7. tia - 130 vezes
8. Olhos - 121 vezes
9. Dom - 120 vezes
10. Senhora - 112 vezes

Stopwords

User: Qual a lista completa das “stopwords” em Português, utilizada para fazer a análise acima?

ChatGPT: A lista completa das “stopwords” em português que usei para fazer a análise acima inclui as seguintes palavras:

de, a, o, que, e, do, da, em, um, para, é, com, não, uma, os, no, se, na, por, mais, as, dos, como, mas, ao, ele, das, à, seu, sua, ou, quando, muito, nos, já, eu, também, só, pelo, pela, até, isso, ela, entre, era, depois, sem, mesmo, aos, ter, seus, quem, nas, me, esse, eles, estão, você, tinha, foram, essa, num, nem, suas, meu, às, minha, têm, numa, pelos, elas, havia, seja, qual, será, nós, tenho, lhe, deles, essas, esses, pelas, este, fosse, dele, tu, te, vocês, vos, lhes, lhes, isso, aquilo, estou, está, estamos, estão, estive, esteve, estivemos, estiveram, estava, estávamos, estavam, estivera, estivéramos, esteja, estejamos, estejam, estivesse, estivéssemos, estivessem, estiver, estivermos, estiverem, hei, há, havemos, hão, houve, houvemos, houveram, houvera, houvéramos, haja, hajamos, hajam, houvesse, houvéssemos, houvessem, houver, houvermos, houverem, houverei, houverá, houveremos, houverão, houveria, houveríamos, houveriam, sou, somos, são, era, éramos, eram, fui, foi, fomos, foram, fora, fôramos, seja, sejamos, sejam, fosse, fôssemos, fossem, for, formos, forem, serei, será, seremos, serão, seria, seríamos, seriam, tenho, tem, temos, tém, tinha, tínhamos, tinham, tive, teve, tivemos, tiveram, tivera, tivéramos, tenha, tenhamos, tenham, tivesse, tivéssemos, tivessem, tiver, tivermos, tiverem, terei, terá, teremos, terão, teria, teríamos, teriam.

Prova do pudim

Adaptamos o programa de McIlroy para textos em língua portuguesa e introduzimos passos extras para conversão do arquivo de entrada em txt e para exclusão das stopwords:

pdftotext domCasmurro.pdf - | #(1)
  grep -oE '\w+' | #(2)
    tr A-Z a-z | #(3)  
      sort | #(4)
        grep -wvFf stpwgpt | #(5)
          uniq -c | #(6)
            sort -k1,1nr -k2 | #(7)
              sed ${1:-10}q #(8)
              
#(1): converte o arquivo pdf em txt;
#(2): dispõe uma palavra por linha;
#(3): transforma maiúsculas em minúsculas;
#(4): classifica por ordem alfabética;
#(5): exclui as "stopwords";
#(6): realiza a contagem das palavras únicas;
#(7): ordena de forma decrescente pela contagem;
#(8): exibe as n primeiras linhas.

Frequência de palavras calculada pelo Bash

##     341 capitu
##     228 mãe
##     192 dias
##     189 tudo
##     184 disse
##     170 casa
##     168 ser
##     164 olhos
##     162 mim
##     160 josé

Conclusão

A discrepância entre os métodos salta aos olhos, demonstrando a eficácia da abordagem baseada na utilização de linguagens de script para a análise de frequência de palavras em textos literários.

Como prova final, indagamos: se não figura no “top ten”, quantas vezes o nome “Bentinho” aparece no texto?

pdftotext domCasmurro.pdf - |  
  grep -oE '\w+' | 
   grep -Ei "Bentinho" | 
    wc -l

## 56