Há várias décadas, os cientistas só podiam sonhar em automatizar a pesquisa linguística. O trabalho foi feito à mão, um grande número de alunos estava envolvido nele, havia uma probabilidade significativa de erro de "desatenção" e, o mais importante, tudo levou muito, muito tempo.
Com o desenvolvimento da tecnologia computacional, tornou-se possível realizar pesquisas muito mais rapidamente, e hoje uma das áreas promissoras no estudo da linguagem é a linguística de corpus. Sua principal característica é a utilização de grandes quantidades de informações textuais, consolidadas em um único banco de dados, marcadas de forma especial e denominadas corpus.
Hoje, existem muitos corpora criados para diferentes propósitos, baseados em diferentes materiais linguísticos, abrangendo de milhões a dezenas de bilhões de unidades lexicais. Essa direção é reconhecida como promissora e demonstra um progresso significativo no alcance de objetivos aplicados e de pesquisa. Profissionais, de uma forma ou de outra lidando comlinguagem natural, é recomendável que você se familiarize com corpora de texto pelo menos em um nível básico.
História da linguística de corpus
A formação desta direção está ligada à criação do Brown Corps nos EUA no início dos anos 60 do século passado. A coleção de textos consistia em apenas 1 milhão de formas de palavras, e hoje um corpus de tal volume seria completamente não competitivo. Isso se deve em grande parte ao ritmo de desenvolvimento da tecnologia da computação, bem como à crescente demanda por novos recursos de pesquisa.
Nos anos 90, a linguística de corpus foi formada em uma disciplina completa e independente, coleções de textos foram compiladas e marcadas para várias dezenas de idiomas. Durante este período, por exemplo, o British National Corpus foi criado para usos de 100 milhões de palavras.
À medida que essa direção da linguística se desenvolve, o volume de textos se torna maior (e atinge bilhões de unidades de vocabulário), e a marcação se torna cada vez mais diversificada. Hoje, no espaço da Internet, você encontra corpora de fala escrita e oral, multilíngue e educacional, voltados para ficção ou literatura acadêmica, além de muitas outras variedades.
Quais são os casos
Os tipos de corpus na linguística de corpus podem ser representados de várias maneiras. É intuitivamente claro que a base para a classificação pode ser o idioma dos textos (russo, alemão), modo de acesso (código aberto, código fechado, comercial), gênero do material de origem (ficçãoliteratura, documentário, acadêmico, jornalismo).
De forma interessante, é realizada a geração de materiais representativos da fala oral. Como a gravação deliberada de tal fala criaria condições artificiais para os respondentes, e o material resultante não poderia ser chamado de "espontâneo", a moderna linguística de corpus foi na outra direção. O voluntário está equipado com um microfone e durante o dia são gravadas todas as conversas em que participa. As pessoas ao redor, é claro, não podem saber que no decorrer de uma conversa cotidiana estão contribuindo para o desenvolvimento da ciência.
Mais tarde, as gravações de áudio recebidas são armazenadas no banco de dados e são acompanhadas de texto impresso como uma transcrição. Desta forma, torna-se possível a marcação necessária para criar um corpus de fala falada cotidiana.
Aplicativo
Onde é possível usar linguagem, também é possível usar corpora de texto. O propósito de usar métodos de corpus em linguística pode ser:
- Criação de programas de sentimento amplamente usados na política e nos negócios para rastrear feedback positivo e negativo de eleitores e clientes, respectivamente.
- Conectando o sistema de informação a dicionários e tradutores para melhorar seu desempenho.
- Várias tarefas de pesquisa que contribuem para a compreensão da estrutura da língua, a história de seu desenvolvimento e previsões de sua mudança em um futuro próximo.
- Desenvolvimento de sistemas de extração de informação baseados em dados morfológicos,recursos sintáticos, semânticos e outros.
- Otimização do trabalho de vários sistemas linguísticos, etc.
Usando conchas
A interface do recurso é semelhante a um mecanismo de pesquisa típico e solicita que o usuário digite alguma palavra ou combinação de palavras para pesquisar na infobase. Além do formulário de solicitação exato, você pode usar a versão estendida, que permite encontrar informações textuais por quase todos os critérios linguísticos.
A base para a busca pode ser:
- pertencente a um certo grupo de partes do discurso;
- características gramaticais;
- semântica;
- coloração estilística e emocional.
Além disso, você pode combinar critérios de busca para uma sequência de palavras: por exemplo, encontrar todas as ocorrências de um verbo no presente do indicativo, primeira pessoa, singular seguido da preposição "in" e um substantivo no caso acusativo. Resolver uma tarefa tão simples leva ao usuário alguns segundos e requer apenas alguns cliques do mouse nos campos indicados.
Processo de criação
A busca em si pode ser realizada tanto em todos os subcorpus, quanto em um, especificamente selecionado, dependendo das necessidades ao atingir um objetivo específico:
- Primeiro de tudo, são determinados quais textos formarão a base do corpus. Para fins práticos, muitas vezes são usados materiais jornalísticos, de jornais, comentários da Internet. Em projetos de pesquisa, o maisvários tipos de corpora, mas os textos devem ser selecionados em alguma base comum.
- O conjunto de textos resultante é pré-processado, os erros são corrigidos, se houver, é preparada uma descrição bibliográfica e extralinguística do texto.
- Todas as informações não textuais são filtradas: gráficos, imagens, tabelas são excluídos.
- Tokens, geralmente palavras, são alocados para processamento posterior.
- Finalmente, a marcação morfológica, sintática e outras do conjunto de elementos resultante é realizada.
O resultado de todas as operações realizadas é uma estrutura sintática com um conjunto de elementos distribuídos sobre ela, para cada um dos quais são definidas uma parte do discurso, características gramaticais e, em alguns casos, semânticas.
Dificuldades na criação de casos
É importante entender que para formar um corpus não basta juntar muitas palavras ou frases. Por um lado, uma coleção de textos deve ser equilibrada, ou seja, apresentar diferentes tipos de textos em determinadas proporções. Por outro lado, o conteúdo da caixa deve ser marcado de forma especial.
A primeira questão é resolvida por acordo: por exemplo, a coleção inclui 60% de textos de ficção, 20% de documentários, uma certa proporção é dada à apresentação escrita de discursos orais, atos legislativos, trabalhos científicos, etc.. A receita ideal para um corpus equilibrado hoje não existe.
A segunda questão sobre marcação de conteúdo é mais difícil de resolver. Existem programas e algoritmos especiais usados para marcação automática de textos, mas não dão 100% de resultado, podem causar falhas e exigir refinamento manual. Oportunidades e problemas para resolver este problema são descritos em detalhes no trabalho de V. P. Zakharov em linguística de corpus.
A marcação de texto é realizada em vários níveis, que listaremos abaixo.
Marcação morfológica
Do banco da escola, lembramos que na língua russa existem diferentes partes do discurso, e cada uma delas tem suas próprias características. Por exemplo, um verbo tem categorias de modo e tempo que um substantivo não tem. Um falante nativo declina substantivos e conjuga verbos sem hesitação, mas o trabalho manual não é adequado para marcar um corpus de 100 milhões de usos de palavras. Todas as operações necessárias podem ser realizadas por um computador, porém, para isso ele precisa ser ensinado.
A marcação morfológica é necessária para o computador "entender" cada palavra como uma parte do discurso que possui certas características gramaticais. Como várias regras regulares funcionam em russo (como em qualquer outro idioma), é possível construir um procedimento automático para análise morfológica colocando vários algoritmos na máquina. No entanto, existem exceções à regra, bem como vários fatores complicadores. Como resultado, a análise computacional pura hoje está longe de ser ideal, e mesmo 4% de erros dão um valor de 4 milhões de palavras em um corpus de 100 milhões de unidades, exigindo refinamento manual.
Este problema é descrito em detalhes pelo livro de VP Zakharov "Corpus Linguistics".
Marcação sintática
Análise ou análise sintática é um procedimento que determina a relação das palavras em uma frase. Com a ajuda de um conjunto de algoritmos, torna-se possível determinar o sujeito, predicado, acréscimos e vários turnos de fala no texto. Ao descobrir quais palavras na sequência são principais e quais são dependentes, podemos extrair informações do texto com eficiência e treinar a máquina para retornar apenas as informações que nos interessam em resposta a uma solicitação de pesquisa.
A propósito, os mecanismos de busca modernos usam isso para fornecer números específicos em vez de textos longos em resposta a consultas relevantes como: “quantas calorias há em uma maçã” ou “distância de Moscou a São Petersburgo”. No entanto, para entender até mesmo o básico do processo descrito, você precisará se familiarizar com a "Introdução à Linguística de Corpus" ou outro livro básico.
Marcação semântica
A semântica de uma palavra é, em termos simples, seu significado. Uma abordagem amplamente aplicável na análise semântica é a atribuição de tags a uma palavra, refletindo sua pertença a um conjunto de categorias e subcategorias semânticas. Essas informações são valiosas para otimizar algoritmos de análise de sentimento de texto, referência automática e realizar outras tarefas usando métodos de linguística de corpus.
Existem várias "raízes" da árvore, que são palavras abstratas quesemântica muito ampla. À medida que esta árvore se ramifica, são formados nós contendo cada vez mais elementos lexicais específicos. Por exemplo, a palavra "criatura" pode ser associada a conceitos como "humano" e "animal". A primeira palavra continuará a se ramificar em várias profissões, termos de parentesco, nacionalidade e a segunda - em classes e tipos de animais.
Uso de sistemas de recuperação de informação
As esferas de uso da linguística de corpus abrangem uma ampla variedade de áreas de atuação. Corpora são usados para compilar e corrigir dicionários, criar sistemas de tradução automática, resumir, extrair fatos, determinar sentimentos e outros processamentos de texto.
Além disso, tais recursos são usados ativamente no estudo das línguas do mundo e dos mecanismos de funcionamento da língua como um todo. O acesso a grandes volumes de informações pré-preparadas contribui para o estudo rápido e abrangente de tendências no desenvolvimento das línguas, formação de neologismos e turnos de fala estáveis, mudanças nos significados das unidades lexicais etc.
Como trabalhar com volumes tão grandes de dados requer automação, hoje existe uma interação próxima entre computação e linguística de corpus.
Corpus Nacional da Língua Russa
Este corpus (abreviado como NKRC) inclui vários subcorpus que permitem usar o recurso para resolver uma ampla variedade de tarefas.
Os materiais no banco de dados do NCRA são divididos em:
- sobre publicações na mídia dos anos 90 e 2000anos, nacionais e estrangeiros;
- gravações de fala oral;
- textos marcados acentologicamente (ou seja, com acentos);
- fala em dialeto;
- obras poéticas;
- materiais com marcação sintática, etc.
O sistema de informação também inclui subcorpus com traduções paralelas de obras do russo para o inglês, alemão, francês e muitos outros idiomas (e vice-versa).
Além disso, o banco de dados possui uma seção de textos históricos representando a fala escrita em russo em vários períodos de seu desenvolvimento. Há também um corpus de treinamento que pode ser útil para cidadãos estrangeiros no domínio da língua russa.
O corpus nacional da língua russa inclui 400 milhões de unidades lexicais e, em muitos aspectos, está à frente de uma parte significativa dos corpora das línguas europeias.
Prospects
Um fato a favor do reconhecimento dessa área como promissora é a presença de laboratórios de linguística de corpus em universidades russas, assim como em estrangeiras. Com a utilização e investigação no âmbito dos recursos de recuperação de informação considerados, associa-se o desenvolvimento de algumas áreas no domínio das altas tecnologias, sistemas de perguntas e respostas, mas isso foi discutido acima.
Prevê-se um maior desenvolvimento da linguística de corpus a todos os níveis, desde o técnico, ao nível da introdução de novos algoritmos que optimizam os processos de procura e processamento de informação, expandindo as capacidades dos computadores, aumentando a capacidade operacionalmemória, e terminando com os domésticos, pois os usuários encontram cada vez mais maneiras de usar esse tipo de recurso no dia a dia e no trabalho.
Em conclusão
Em meados do século passado, 2017 parecia um futuro distante, em que naves espaciais navegam pelas extensões do Universo e robôs fazem todo o trabalho para as pessoas. Na realidade, porém, a ciência está repleta de "pontos em branco" e está fazendo tentativas desesperadas de responder a perguntas que incomodam a humanidade há séculos. Questões sobre o funcionamento da linguagem ocupam lugar de destaque aqui, e o corpus e a linguística computacional podem nos ajudar a respondê-las.
O processamento de grandes quantidades de dados permite detectar padrões que antes eram inacessíveis, prever o desenvolvimento de certos recursos da linguagem, rastrear a formação de palavras quase em tempo real.
Em um nível prático global, os corpora podem ser considerados, por exemplo, como uma ferramenta potencial para avaliar o sentimento do público - a Internet é uma base de dados continuamente atualizada de vários textos criados por usuários reais: são comentários, resenhas, artigos, e muitas outras formas de fala.
Além disso, trabalhar com corpora contribui para o desenvolvimento dos mesmos meios técnicos envolvidos na recuperação de informações, que conhecemos dos serviços do Google ou Yandex, tradução automática, dicionários eletrônicos.
É seguro dizer que a linguística de corpus está apenas dando seus primeiros passos e se desenvolverá rapidamente em um futuro próximo.
