Introdução

textos Escritos mostram a característica marcante que os ordenados de distribuição da palavra de frequências segue uma aproximado de energia de direito

1.1

, onde r é a classificação atribuída a cada palavra do texto. Para a maioria dos textos, independentemente da língua, tempo de criação, gênero de literatura, seu propósito, etc. um acha que α ∼ 1, que é referido como Lei de Zipf . Na Figura 1, a frequência da palavra é mostrada para o texto de Darwin, a origem das espécies. A procura de uma compreensão da origem desta regularidade estatística já dura há quase um século. O próprio Zipf ofereceu uma explicação qualitativa baseada nos esforços investidos em eventos de comunicação por um remetente e um receptor . Estas ideias foram formalizadas mais tarde dentro de um quadro teórico da informação . O primeiro modelo quantitativo baseado em suposições linguísticas sobre a geração de texto foi proposto por Simon . O modelo parte do princípio de que, à medida que o contexto emerge na geração de um texto, as palavras que já apareceram no texto são privilegiadas em relação às outras. Pela simples suposição de que as palavras que apareceram anteriormente são adicionadas ao texto com uma probabilidade proporcional à sua aparência anterior (preferencial anexo), e assumindo que as palavras que até agora não apareceu são adicionados a uma taxa constante, é possível derivar a lei de Zipf, dado o último taxa é baixa. Este modelo de apego preferencial foi aperfeiçoado pela implementação do fato empírico de que a taxa de aparecimento de novas palavras diminui à medida que aumenta a extensão dos textos . Tem sido mostrado em obras clássicas que modelos de máquina de escrever aleatórios podem levar a distribuições como Zipf de frequências de palavras . No entanto, estes trabalhos baseiam-se em pressupostos irrealistas sobre distribuições de comprimento de palavra e levam a textos não estruturados e desinterpretáveis. No entanto, como veremos, a estrutura gramatical, em conjunto com mecanismos de geração de discurso, pode desempenhar um papel essencial na origem da lei de Zipf em um contexto realista. É importante ressaltar que o estudo estatístico detalhado das propriedades da linguagem não termina aqui; trabalho importante além da lei de Zipf foi apresentado (por exemplo ). Estudos recentes lidam com a dependência detalhada dos expoentes de escala sobre o comprimento do corpo de texto Em estudo .

Zipf’s law is not limited to word frequencies but appears in incontáveis, seemingly unrelated, systems and processes . Apenas para mencionar alguns, ele foi encontrado nas estatísticas de tamanhos de empresas , tamanhos de cidade , o genoma , nomes de família , renda , mercados financeiros , Tamanho de arquivos da Internet, ou comportamento humano ; para mais exemplos ver . Tem havido esforços tremendos para entender a origem da lei de Zipf, e mais geralmente a origem da escala em sistemas complexos. Há três rotas principais para a escala: processos multiplicativos , processos preferenciais e criticidade auto-organizada . Vários outros mecanismos que estão mais ou menos relacionados a essas rotas básicas de escala foram propostos (por exemplo ).recentemente, uma quarta rota independente para a escala foi introduzida com base em processos estocásticos que reduzem seus resultados potenciais (espaço de amostra) ao longo do tempo . Estes são processos aleatórios dependentes de história que foram estudados em diferentes contextos na literatura matemática , e mais recentemente no contexto de leis de escala . Um exemplo de processos de redução de espaço de amostra é o seguinte. Pense num conjunto de dados N onde o número 1 tem uma face, o número 2 tem duas faces (moeda), o número 3 tem três faces, e assim por diante. Die number N has n faces. Comece por escolher um dos dados N aleatoriamente, diga o número de dados I. Jogue − o e grave o valor facial obtido, que foi dito K. depois pegue o número de dados k − 1 Jogue-o, pegue j, grave j, pegue o número de dados j-1, Jogue-o, etc. Continue jogando dados desta forma até que você jogue 1 pela primeira vez. Como não há morte com menos de 1 rostos, o processo termina aqui. A sequência de gravado o rosto valores acima de prescrição (i, k, j, … , 1) é, obviamente, estritamente ordenada ou aninhados, i > k > j >> 1. Em , foi demonstrado rigorosamente que, se este processo for repetido muitas vezes, a distribuição de resultados (valores 1, 2, … , N) é uma lei de Zipf, i.e. a probabilidade de observar um valor de face de m no processo acima (sequência de lança) é exatamente PN(m) = m−1, dado que começam com N dados. Note que é necessário manter n fixo durante as repetições do processo para obter a lei Zipf exata. Se n varia durante as repetições, claramente Zipf escala está presente assintoticamente para altas patentes; no entanto, devido à mistura de N diferentes, desvios da lei Zipf exata aparecerão para baixas patentes.

mais formalmente, cada dado n tem um espaço-amostra, denotado por ΩN = {1, 2,…, n}, que é o número de resultados potenciais, ou seja, o número de faces dos dados N. Jogando esses dados acima dá origem a uma seqüência de aninhados exemplo-espaços

1.2

O nestedness da amostra-espaços em uma história dependentes da sequência é o coração da origem das leis de escala nesse tipo de processo. Para obter detalhes, consulte onde também é mostrado que, se o ruído é adicionado para a história -, os processos dependentes, o dimensionamento lei PN(m) ∝ m−λ é obtido, onde 0 << 1 é o nível de ruído.

neste artigo, apresentamos uma derivação da lei de frequências de palavras de Zipf, baseada em um modelo simples para a formação de frases/discurso. O modelo é motivado pela observação de que o processo de formação de uma sentença—ou mais geralmente um discurso—é um processo de redução do espaço amostral dependente da história. As palavras não são aleatoriamente desenhadas a partir do espaço de amostra de todas as palavras possíveis, mas são usadas em relações estritas umas com as outras. O uso de palavras específicas em uma frase restringe muito o uso de palavras consecutivas, levando a um processo de nidificação (ou redução de espaço de amostra), semelhante ao descrito acima. O colapso do espaço-amostra nos textos é necessário para transmitir informações significativas. Caso contrário, qualquer interpretação, mesmo em termos metafóricos ou poéticos, se tornaria impossível. Deixe-nos fazer o ponto mais concreto com um exemplo para a formação de uma frase, onde as restrições gramaticais e contextuais (que reduzem o espaço amostral) estão no trabalho (Figura 2). Formamos a frase :” O lobo uiva de noite”. Em princípio, a primeira palavra “o lobo” (ignorando artigos e preposições para o momento) pode ser extraída de todas as palavras possíveis. Suponha que existem N palavras possíveis, e denote o respectivo espaço-Amostra por ΩN = {1, 2,…, n}, onde cada número agora representa uma palavra. Isto é ilustrado esquematicamente na figura 2a. dado que escolhemos ‘o lobo’ de ΩN = {1, 2, … , n}, figura 2b, a próxima palavra agora (normalmente) não será escolhida de ΩN = {1, 2, … , n}, Mas de um subconjunto dela (figura 2c). Imagine que o subconjunto contém palavras L, temos ΩL ⊂ ΩN. Normalmente, esperamos que o subconjunto contenha palavras que estão associadas a propriedades de caninos, funções biológicas, outros animais, etc. mas nem todas as palavras possíveis. Uma vez que especificamos a segunda palavra ‘howls’ ω ΩL, contexto, inteligibilidade e estrutura gramatical restringem ainda mais o espaço-amostra para a terceira palavra a ΩM ⊂ ΩL, a partir do qual finalmente desenhamos ‘noite’. Obviamente, o nestedness na formação das sentenças é similar ao exemplo dos dados aninhados antes. O nidificação é imposto através de restrições gramaticais e/ou contextuais e/ou interpretativas.

o papel da gramática para nidificação é óbvio. Tipicamente em inglês, a primeira palavra é um substantivo com o papel gramatical do sujeito. O fato de que a primeira palavra é um substantivo restringe as possibilidades para a próxima palavra ao subconjunto de frases verbais. Dependendo do verbo particular escolhido, as palavras que podem agora seguir estão tipicamente desempenhando o papel gramatical do objeto e são novamente mais restritas. Nós usamos os Termos redução de espaço de amostra e estrutura hierárquica aninhada em sentenças intercambiáveis. Não é apenas a estrutura gramatical que impõe restrições consecutivas ao espaço amostral de palavras à medida que a frase progride; a necessidade de inteligibilidade tem o mesmo efeito. Sem estruturas hierárquicas (pelo menos parciais) na formação de sentenças, a sua interpretação tornar-se-ia muito difícil . No entanto, estruturas aninhadas em sentenças geralmente não serão estritamente realizadas. Caso contrário, a utilização criativa e a flexibilidade da linguagem seriam seriamente restringidas. Às vezes as palavras podem atuar como uma dobradiça linguística, o que significa que permite muitas mais palavras consecutivas do que estavam disponíveis para a sua palavra anterior. Espera-se que a nestedness será realizado somente em algum grau. A imperfeição permite um certo grau de ambiguidade no código linguístico e é uma das fontes da sua extraordinária versatilidade .

neste artigo, quantificamos o grau de nestidade de um texto a partir de sua matriz de transição de palavras M (rede). Para caracterizar a estrutura hierárquica de um texto com um número único, definimos sua nestedness n como uma propriedade de M por

1.3

onde a média é tomada sobre todos os possíveis pares de palavras (i, j). Nestedness é um número entre 0 e 1, e especifica em que medida a redução de espaço de amostra está presente em média no texto.1 a strictly nested system, like the one shown in equation (1.2), has N(M) = 1. Em termos linguísticos, uma ninharia rigorosa é claramente irrealista.

usamos matrizes de transição de palavras de textos reais em inglês, que servem como entrada para um modelo simples para a formação de frases. Em seguida, estudamos as distribuições de frequência de palavra destes textos produzidos artificialmente e comparamo-los com as distribuições dos textos originais. Pela primeira vez, mostramos que é possível relacionar a característica topológica de nestedness (local) na formação de sentenças com as características globais de distribuições de frequência de palavras de textos longos. Neste sentido, propomos uma maneira de entender as estatísticas da palavra de frequências—a lei de Zipf, em particular, pela própria característica estrutural da língua, nestedness, sem a necessidade de recorrer a tentativas anteriores, incluindo multiplicativo processos preferencial de penhora ou auto-organizado de criticidade, que, no contexto da linguagem, às vezes, parecem resto forte e implausível pressupostos.

Model

assumimos um vocabulário finito de N palavras. A partir de qualquer texto, obtemos uma matriz empírica de transição de palavras M. palavras são rotuladas com índices latinos. Mij = 1 significa que no texto encontramos pelo menos uma ocasião em que a palavra j segue diretamente i; se Mij = 0, a palavra j nunca segue i em todo o texto. A figura 3a mostra a matriz de transição para a origem das espécies. Para quantificar o exemplo de espaço para palavras individuais, observe que uma linha i em M contém o conjunto de palavras, Ωi = {k|Mik = 1}, que diretamente siga palavra do que eu. Por |Ωi|, denotamos o tamanho (número de elementos) da Ωi, que é o número de palavras diferentes que podem seguir eu. Ωi é uma aproximação para a amostra-volume de espaço que é acessível depois de uma palavra que eu tenha ocorrido. Diferentes palavras têm diferentes volumes de amostra-espaço (figura 3b), onde o perfil de amostra-espaço é mostrado. Nós parametrizar o perfil yk = x, onde x corresponde a amostra-volume de espaço, |Ωi| e y para o exemplo de espaço de índice i. Nós o chamamos de um sistema linearmente aninhados se κ = 1 (como na equação (1.2)), fracamente aninhados para κ < 1 e fortemente aninhados se κ > 1 (como na figura 3b). Um exemplo para um perfil de aninhamento fraco pode ser visto em uma das entradas da figura 4c. O parâmetro κ tem uma interpretação intuitiva em termos de uma medida de “estruturismo” das transições de palavras. No caso de um fracamente aninhadas perfil (κ < 1), existem muitas palavras que pode ser seguido por muitas palavras diferentes, enquanto que, no fortemente aninhadas perfil (κ > 1), existem algumas palavras que são seguidos por muitos outros palavras, e muitas palavras que só pode ser seguido por um muito poucos. Neste sentido, κ mede em que medida as transições de palavras são efectivamente restringidas.

1, e amodel cobre um intervalo entre aproximadamente 0,85 e 1,1 na fase de escala, que se encaixa na faixa empírica vista em (a). (Versão Online a cores.)

Note que o perfil na figura 3b não está realmente bem equipado com uma lei de poder; a razão para a parametrização é para um argumento puramente teórico que se tornará claro abaixo. Excluímos palavras que são seguidas por menos de duas palavras diferentes em todo o texto, ou seja, removemos todas as linhas i de M para as quais |Ωi| < 2. Nidificação estrita não deve ser confundida com nidificação forte ou fraca. Estas últimas são propriedades do perfil espaço-amostra.

para testes estatísticos, construímos duas versões aleatórias de M, e denotamo-las por Mrand e Mrow-perm, respectivamente. O Mrand é obtido permutando aleatoriamente as linhas das linhas individuais da matriz M. Isto mantém o número de entradas não-zero em cada linha igual ao da matriz original M, mas destrói a sua ninharia e a informação que as palavras seguem umas às outras. A segunda versão aleatória Mrow-perm é obtida permutando as (inteiras) linhas da matriz M. Isto mantém a ninharia da matriz inalterada, mas destrói a informação sobre transições de palavras.

Given M, we construct random sentences of L with the following model:

— Pick one of the N words randomly. Digamos que a palavra era eu. escreva-me em uma lista de palavras W, para que W = {i}.

— Jump to line i in M and randomly pick a word from the set Ωi. Diga que a palavra escolhida é k; actualize a lista de palavras W = {i, k}.

— Jump to line k and pick one of the words from Ωk; say you get j, and update W = {i, k, j}.

— repetir o procedimento L vezes. Nesta fase, uma frase aleatória é formada.

— repita o processo para produzir sentenças Nsent.

desta forma, obtemos uma lista de palavras com entradas l × Nsent, que é um livro aleatório que é gerado com a matriz de transição de palavras de um livro real. A partir do wordlist, obtemos a palavra distribuição de frequência fmodel. O modelo actual é semelhante ao actual, mas difere em três aspectos.: it allows for non-perfect niding n < 1, it has no explicit noise component, and it has a fixed sequence (sentence) length.

resultados

analisamos o modelo com simulações computacionais, especificando L = 10 e Nsent = 100 000. Usamos 10 livros escolhidos aleatoriamente do Project Gutenberg (www.gutenberg.org). para cada livro, determinamos o seu vocabulário n, a sua matriz M, o seu Ωi para todas as palavras, o seu n(M) de n (n) e o expoente da distribuição de frequência das palavras ordenadas por ordem de rank α(o mínimo quadrado corresponde a f (r), o intervalo de ajuste entre 5 ≤ R ≤ 200). f (r) é mostrado para a origem das espécies na Figura 1 (Azul); o expoente É α ∼ 0.90. Executamos o modelo para os parâmetros de cada livro individual para gerar um texto aleatório. Usando o Ωi empírico para o modelo garante que este texto aleatório tem exatamente o mesmo perfil de amostra-espaço e a ninharia que o livro.

a distribuição obtida a partir do modelo fmodel é claramente capaz de reproduzir o expoente da lei de potência aproximada para a origem das espécies, amodel 0.8 0.86 (mesmo intervalo de ajuste). Além disso, captura detalhes da distribuição F. Para grandes valores de r em fmodel (r), um planalto está se formando antes que o corte de tamanho finito exponencial seja observado. Tanto plateau quanto cut-off podem ser totalmente compreendidos com o modelo randomizado.

na figura 4a, comparamos os expoentes α extraídos dos livros com os resultados do modelo amodel. O modelo explica obviamente os valores reais em grande medida, subestimando ligeiramente os expoentes reais. Temos um coeficiente de correlação de ρ = 0.95 (p < 3.7 × 10-5). Na figura 4b, mostramos que o nidificação(M) está relacionado com os expoentes α de uma forma aproximadamente linear. Testamos a hipótese de que destruindo o ninho os expoentes desaparecerão. Usando o Mrand randomizado, encontramos (mesmo intervalo de ajuste), que efetivamente destrói a lei do poder. Usando a outra versão aleatória que mantém o ninho intacto, Mrow-perm, para palavras de baixo nível (até aproximadamente rank aprox. 10), encontramos distribuições de frequência de palavras semelhantes às de M; no entanto, como esperado, a cauda da lei do poder (altas patentes) desaparece para Mrow-perm devido à contribuição do ruído da aleatorização (não mostrado). Para validar nossa suposição de que a ordenação de palavras é essencial, computamos as distribuições de rank do modelo usando a matriz transposta MT, significando que invertemos o fluxo de tempo no modelo. Encontramos dois resultados. Em primeiro lugar, a correlação entre os expoentes dos livros α e o modelo do que para o correto fluxo do tempo, onde temos O correspondente valor de p de um teste-t é 0.039.

finalmente, tentamos entender a importância do perfil espaço-amostra nos expoentes de escala. Para isso, geramos uma série de matrizes M que têm um perfil parametrizado com um poder κ. Na figura 4c, o modelo de expoentes modelo a partir desses gerada artificialmente M são mostrados como uma função de κ, para vários tamanhos de vocabulário N. Para κ < 1 (fraco assentamento), encontramos expoentes modelo ≈ 0, i.e. sem escala lei. Para n Grande A κ = 1, ocorre uma transição rápida para amodel ≈ 1 (Zipf). Para n Menor, encontramos um comportamento mais complicado da transição, construindo um expoente máximo a κ < 1. A gama de expoentes de livros α varia entre 0,85 e 1.1, que é exatamente a gama observada para vocabulário realístico tamanhos n ∼ 1000-10 000. Verificámos que as variações no comprimento da frase (com excepção de L = 1) não alteram os resultados comunicados. Para sentenças de uma palavra (L = 1), obviamente obtemos uma distribuição de frequência de palavra uniforme e, como consequência, uma distribuição de posição plana, uma vez que a maioria das palavras tem quase a mesma posição. Variamos o número de Sentenças de Nsent = 104 a 106, e não encontramos praticamente nenhuma influência nos resultados relatados.

discussão

neste artigo, focamo-nos na propriedade fundamental da nidificação em qualquer código que transmita informação significativa, como a linguagem. Argumentamos que, se o nidificação não estivesse presente, facilmente se acabaria em situações confusas, como descrito na Biblioteca de Babel por J. L. Borges, onde uma biblioteca hipotética possui todos os livros compostos de todas as combinações possíveis de personagens preenchendo 410 páginas. Definimos e quantificamos um certo grau de ninharia no código linguístico. Graus baixos de nidificação tipicamente implicam uma hierarquia menos rigorosa sobre o uso da palavra ou um uso mais igualitário do vocabulário, do que textos com grande nidificação. Como esperado, os textos têm uma estrutura bem definida, mas não estritamente aninhada, que pode surgir de um compromisso de especificidade (para transmitir mensagens inequívocas) e flexibilidade (para permitir um uso criativo da linguagem). Achamos que a ninharia varia entre textos diferentes, sugerindo que diferentes maneiras de usar o vocabulário e a gramática estão no trabalho. A nossa amostra de textos incluía três peças de Shakespeare, três textos científicos e quatro romances. Descobrimos que as peças, talvez mais próximas da linguagem falada, mostram uma menor ninharia do que os livros de ciência. Os romances mostram os mais altos níveis de nestedness. A amostra é demasiado pequena para tirar conclusões sobre se diferentes tipos de textos são caracterizados por valores típicos de nestedness; no entanto, é notável que nestedness é correlacionado com as variações da escala expoentes da palavra de frequências em um livro-por-livro-base.

A principal conclusão deste artigo é que um modelo simples de redução de espaço de amostra pode mostrar que a nestedness realmente explica o surgimento de leis de escala em frequências de Palavras, em particular, a lei de Zipf. Mais precisamente, fomos capazes de relacionar o surgimento de leis de escala com a estrutura topológica da matriz de transição palavra, ou “phasespace”. O resultado é notável como a matriz não codificar qualquer informação sobre quantas vezes a palavra j segue a palavra i, ela apenas diz que j seguiu i pelo menos uma vez em todo o texto. As permutações aleatórias da matriz que destroem seu ninho não podem explicar mais a escala, enquanto as permutações que mantêm o ninho intacto indicam a existência das leis de poder. É ainda notável que nenhum (não-local) preferencial, multiplicativo ou auto-organizado pressupostos críticos são necessários para entender a escala observada, e que não são necessários parâmetros além das matrizes de transição palavra-palavra.

O fato de que o modelo simples é tão bem-sucedido em reproduzir detalhada propriedade de escala no word estatísticas de frequência pode apontar para um aspecto importante da linguagem que não foi observado até agora; o fato de que, em geral, a palavra de usar é estatisticamente fortemente influenciada pelo uso do local, as estruturas hierárquicas e as restrições que usamos na geração de frases. Acreditamos que a estreita relação entre o nestedness e o expoente de escala abre a porta para uma interpretação de distribuições de frequência de palavras como um observável estatístico que depende fortemente do uso do vocabulário e gramática dentro de uma linguagem. Assim, nós conjecturamos que a lei de Zipf pode não ser universal, mas que as estatísticas de uso de palavras dependem de estruturas locais que podem ser diferentes entre os textos e mesmo dentro das sentenças. É necessária mais investigação para clarificar este ponto.

finalmente, vale a pena notar que a classe de processos de redução do espaço amostral fornece uma rota independente para a escala que pode ter uma ampla gama de aplicações para processos dependentes de história e envelhecimento . Em Física Estatística, sabe-se que processos que reduzem sucessivamente seu fasespace à medida que se desenvolvem são caracterizados pela lei do poder ou funções de distribuição exponencial esticadas. Estas distribuições surgem genericamente como consequência do colapso do phasespace .

contribuições dos autores

S. T. desenhou a pesquisa, realizou análises numéricas e escreveu o manuscrito. R. H. and B. C.-M. performed numerical analysis and wrote the manuscript. B. L. fez o pré-processamento dos livros e realizou análises numéricas.os autores não declaram interesses financeiros concorrentes.

financiamento

Este trabalho foi apoiado pelo Fundo de Ciência austríaco FWF no âmbito do KPP23378FW.

notas