Introducere

textele scrise arată caracteristica remarcabilă că distribuția ordonată de rang a frecvențelor cuvintelor urmează o lege aproximativă a puterii

1.1

unde R este rangul care este atribuit fiecărui cuvânt din text. Pentru majoritatea textelor, indiferent de limbă, timpul creației, genul literaturii, scopul acesteia etc. se constată că articolul 1, Care este denumit legea Zipf . În Figura 1, frecvența cuvântului este prezentată pentru textul lui Darwin, Originea speciilor. Căutarea unei înțelegeri a originii acestei regularități statistice se desfășoară de aproape un secol. Zipf însuși a oferit o explicație calitativă bazată pe eforturile investite în evenimente de comunicare de către un expeditor și un receptor . Aceste idei au fost ulterior formalizate într-un cadru teoretic Informațional . Primul model cantitativ bazat pe ipoteze lingvistice despre generarea textului a fost propus de Simon . Modelul presupune că, pe măsură ce contextul apare în generarea unui text, cuvintele care au apărut deja în text sunt favorizate față de altele. Prin simpla presupunere că cuvintele care au apărut anterior sunt adăugate la text cu o probabilitate proporțională cu aspectul lor anterior (atașament preferențial) și presupunând că cuvintele care până acum nu au apărut sunt adăugate la o rată constantă, este posibil să se deducă legea lui Zipf, având în vedere că ultima rată este scăzută. Acest model de atașament preferențial a fost rafinat prin implementarea faptului empiric că rata de apariție a cuvintelor noi scade pe măsură ce lungimea textelor crește . S-a arătat în lucrările clasice că modelele de scriere aleatorie pot duce la distribuții asemănătoare Zipf ale frecvențelor cuvintelor . Cu toate acestea, aceste lucrări se bazează pe ipoteze nerealiste privind distribuțiile de lungime a cuvintelor și conduc la texte nestructurate și neinterpretabile. Cu toate acestea, după cum vom arăta, structura gramaticală, împreună cu mecanismele de generare a discursului, poate juca un rol esențial în originea legii Zipf într-un context realist. Este important să subliniem că studiul statistic detaliat al proprietăților limbajului nu se încheie aici; a fost prezentată o lucrare importantă dincolo de legea lui Zipf (de exemplu.). Studiile recente tratează dependența detaliată a exponenților de scalare de lungimea corpului textului studiat .

legea lui Zipf nu se limitează la frecvențele cuvintelor, ci apare în nenumărate sisteme și procese, aparent fără legătură . Pentru a menționa doar câteva, s-a găsit în Statisticile dimensiunilor firmelor , dimensiunilor orașelor , genomului , numelor de familie , veniturilor , piețelor financiare , dimensiunilor fișierelor de Internet sau comportamentului uman ; pentru mai multe exemple a se vedea . Au existat eforturi extraordinare pentru a înțelege originea legii Zipf și, în general, originea scalării în sisteme complexe. Există trei căi principale de scalare: procese multiplicative , procese preferențiale și criticitate autoorganizată . Au fost propuse mai multe alte mecanisme care sunt mai mult sau mai puțin legate de aceste căi de bază pentru scalare (de exemplu ).

recent, o a patra cale independentă de scalare a fost introdusă pe baza proceselor stocastice care reduc rezultatele lor potențiale (spațiul eșantionului) în timp . Acestea sunt procese aleatorii dependente de istorie care au fost studiate în diferite contexte în literatura matematică și , mai recent, în contextul legilor de scalare . Un exemplu de procese de reducere a spațiului eșantionului este următorul. Gândiți-vă la un set de n zaruri unde die numărul 1 are o față, die numărul 2 are două fețe (monedă), die numărul 3 are trei fețe și așa mai departe. Die numărul n are n fețe. Începeți prin a alege unul dintre n zaruri la întâmplare, spuneți numărul de zaruri i. aruncați − l și înregistrați valoarea nominală obținută, care a fost spus k. apoi luați numărul de matriță k − 1 aruncați-l, obțineți j, înregistrați j, luați numărul de matriță j-1, aruncați-l etc. Continuați să aruncați zaruri în acest fel până când aruncați 1 pentru prima dată. Deoarece nu există o matriță cu mai puțin de 1 fețe, procesul se termină aici. Secvența valorilor nominale înregistrate în prescripția de mai sus (i, k, j, … , 1) este în mod evident strict ordonată sau imbricată, i > k > j >> 1. În , Sa demonstrat riguros că, dacă acest proces se repetă de mai multe ori, distribuția rezultatelor (valori nominale 1, 2,…, N) este o lege exactă Zipf, adică probabilitatea de a observa o valoare nominală m în procesul de mai sus (secvență de aruncări) este exact PN(m) = m−1, dat începem cu n zaruri. Rețineți că este necesar să păstrați n fix în timpul repetărilor procesului pentru a obține legea exactă Zipf. Dacă n variază în timpul repetițiilor, în mod clar scalarea Zipf este prezentă asimptotic pentru rangurile înalte; cu toate acestea, datorită amestecării diferitelor N, abaterile de la Legea exactă Zipf vor apărea pentru rangurile joase.

mai formal, fiecare matriță N are un spațiu-eșantion, notat cu hectolitru = {1, 2,…, N}, care este numărul de rezultate potențiale, adică numărul de fețe ale zarurilor N. Aruncarea acestor zaruri în modul de mai sus dă naștere unei secvențe de spații-eșantion imbricate

1.2

cuibărirea spațiilor-eșantion într-o secvență dependentă de istorie se află în centrul originii legilor de scalare în acest tip de proces. Pentru detalii, a se vedea în cazul în care este, de asemenea, a arătat că, dacă zgomotul este adăugat la istoria dependente de procese, legi de scalare PN(m) ∝ m−λ se obține, în cazul în care 0 << 1 este nivelul de zgomot.

în această lucrare, prezentăm o derivare a legii lui Zipf a frecvențelor cuvintelor, bazată pe un model simplu de formare a propoziției / discursului. Modelul este motivat de observația că procesul de formare a unei propoziții—sau mai general a unui discurs—este un proces de reducere a spațiului eșantion dependent de istorie. Cuvintele nu sunt extrase aleatoriu din spațiul de probă al tuturor cuvintelor posibile, ci sunt folosite în relații stricte între ele. Utilizarea cuvintelor specifice într-o propoziție restricționează foarte mult utilizarea cuvintelor consecutive, ducând la un proces de cuibărit (sau de reducere a spațiului eșantionului), similar cu cel descris mai sus. Colapsul spațiului de probă în texte este necesar pentru a transmite informații semnificative. În caz contrar, orice interpretare, chiar și în termeni metaforici sau poetici, ar deveni imposibilă. Să facem punctul mai concret cu un exemplu pentru formarea unei propoziții, în care atât constrângerile gramaticale, cât și cele contextuale (care reduc spațiul eșantionului) sunt la lucru (figura 2). Formăm propoziția: ‘lupul urlă noaptea’. În principiu, primul cuvânt ‘lupul ‘(ignorând articolele și prepozițiile pentru moment) poate fi extras din toate cuvintele posibile. Să presupunem că există n cuvinte posibile și să denotăm spațiul-eșantion respectiv cu ZECQUTN = {1, 2, … , n}, unde fiecare număr reprezintă acum un cuvânt. Acest lucru este ilustrat schematic în figura 2a. având în vedere că am ales ‘lupul’ din cifra 2B, următorul cuvânt nu va fi acum (de obicei) ales din cifra 1, 2,…, N}, ci dintr-un subset al acestuia (figura 2c). Imaginați-vă că subsetul conține cuvinte L, avem o sută la sută. De obicei, ne așteptăm ca subsetul să conțină cuvinte care sunt asociate proprietăților caninilor, funcțiilor biologice, altor animale etc. dar nu toate cuvintele posibile mai. Odată ce specificăm al doilea cuvânt ‘urlete’ (urlete), contextul, inteligibilitatea și structura gramaticală restricționează și mai mult spațiul-eșantion al celui de-al treilea cuvânt la (urlete), din care tragem în sfârșit ‘noapte’. Evident, cuibărirea în formarea propozițiilor este similară cu exemplul zarurilor imbricate înainte. Cuibărirea este impusă prin constrângeri gramaticale și/sau contextuale și / sau interpretative.

rolul gramaticii pentru cuibărit este evident. De obicei în limba engleză, primul cuvânt este un substantiv cu rolul gramatical al subiectului. Faptul că primul cuvânt este un substantiv limitează posibilitățile pentru următorul cuvânt la subsetul de fraze verbale. În funcție de verbul ales, cuvintele care pot urma acum joacă de obicei rolul gramatical al obiectului și sunt din nou mai restricționate. Folosim termenii reducerea spațiului eșantionului și structura ierarhică imbricată în propoziții în mod interschimbabil. Nu numai structura gramaticală impune restricții consecutive asupra spațiului-eșantion al cuvintelor pe măsură ce propoziția progresează; nevoia de inteligibilitate are același efect. Fără structuri ierarhice (cel puțin parțiale) în formarea propozițiilor, interpretarea lor ar deveni foarte grea . Cu toate acestea, structurile imbricate în propoziții nu vor fi, în general, strict realizate. În caz contrar, utilizarea creativă și flexibilitatea limbajului ar fi serios constrânse. Uneori, cuvintele pot acționa ca o balama lingvistică, ceea ce înseamnă că permite mult mai multe cuvinte consecutive decât erau disponibile pentru cuvântul său precedent. Se așteaptă ca cuibărirea să se realizeze doar într-o oarecare măsură. Cuibărirea imperfectă permite un grad de ambiguitate în codul lingvistic și este una dintre sursele uimitoarei sale versatilități .

în această lucrare, cuantificăm gradul de cuibărit al unui text din matricea sa de tranziție de cuvinte M (rețea). Pentru a caracteriza structura ierarhică a unui text cu un singur număr, definim cuibărirea sa n ca proprietate a lui M prin

1.3

unde media este preluată peste toate perechile de cuvinte posibile (i, j). Nestedness este un număr între 0 și 1 și specifică în ce măsură reducerea spațiului eșantionului este prezentă în medie în text.1 un sistem strict imbricat, ca cel prezentat în ecuația (1.2), are n(M) = 1. În termeni lingvistici, cuibărirea strictă este în mod clar nerealistă.

folosim matrice de tranziție de cuvinte din texte englezești reale, care servesc drept intrare la un model simplu de formare a propozițiilor. Apoi studiem distribuțiile de frecvență ale acestor texte produse artificial și le comparăm cu distribuțiile textelor originale. Pentru prima dată, arătăm că este posibil să se raporteze caracteristica topologică a cuibăririi (locale) în formarea propozițiilor la caracteristicile globale ale distribuțiilor de frecvență a cuvintelor textelor lungi. În acest sens, propunem o modalitate de a înțelege Statisticile frecvențelor cuvintelor—în special legea lui Zipf—prin caracteristica structurală reală a limbajului, nestingherirea, fără a fi nevoie să recurgem la încercări anterioare, inclusiv procese multiplicative, atașament preferențial sau criticitate autoorganizată, care, în contextul limbajului, par uneori să se bazeze pe ipoteze puternice și implauzibile.

Model

presupunem un vocabular finit de N cuvinte. Din orice text dat, obținem o matrice empirică de tranziție a cuvintelor M. cuvintele sunt etichetate cu indici latini. Mij = 1 înseamnă că în text găsim cel puțin o ocazie în care cuvântul j îl urmează direct pe i; Dacă Mij = 0, cuvântul j nu îl urmează niciodată pe i în întregul text. Figura 3a prezintă matricea de tranziție pentru Originea speciilor. Pentru a cuantifica spațiul-eșantion pentru cuvinte individuale, rețineți că o linie i în M conține setul de cuvinte, o mie = {k|Mik = 1}, care urmează direct cuvântul i. prin |o mie|, notăm dimensiunea (numărul de elemente) A O mie, care este numărul de cuvinte diferite care pot urma o mie. o mie este o aproximare pentru volumul spațiului-eșantion care este accesibil după apariția cuvântului I. Cuvintele diferite au volume diferite de spațiu eșantion (figura 3b), unde este afișat profilul spațiu eșantion. Parametrizăm profilul ca yk = x, unde X corespunde volumului spațiului eșantionului | / Unqti/, și y indicelui spațiului eșantionului i. numim un sistem imbricat liniar dacă hectx = 1 (ca în ecuația (1.2)), slab imbricat pentru octox < 1 și puternic imbricat dacă octox > 1 (ca în figura 3b). Un exemplu pentru un profil slab imbricat poate fi văzut într-una din inserțiile din figura 4c. Parametrul XV are o interpretare intuitivă în ceea ce privește o măsură de ‘structurare’ a tranzițiilor de cuvinte. În cazul unui profil slab imbricat (< 1), Există multe cuvinte care pot fi urmate de multe cuvinte diferite, în timp ce într-un profil puternic imbricat (> 1), Există câteva cuvinte care sunt urmate de multe alte cuvinte și multe cuvinte care pot fi urmate doar de foarte puține. În acest sens, măsurile de măsură în ce măsură tranzițiile de cuvinte sunt efectiv constrânse.

rețineți că profilul din figura 3b nu este de fapt bine echipat cu o lege a puterii; motivul parametrizării este pentru un argument pur teoretic care va deveni clar mai jos. Excludem cuvintele care sunt urmate de mai puțin de două cuvinte diferite în întregul text, adică eliminăm toate liniile i din M pentru care |Unqaci| < 2. Cuibărirea strictă nu trebuie confundată cu cuibărirea puternică sau slabă. Acestea din urmă sunt proprietăți ale profilului eșantionului-spațiu.

pentru testarea statistică, construim două versiuni randomizate ale lui M și le desemnăm prin Mrand și, respectiv, Mrow-perm. Mrand se obține prin permutarea aleatorie a rândurilor liniilor individuale ale matricei M. aceasta păstrează numărul de intrări diferite de zero în fiecare linie la fel ca în matricea originală M, dar distruge cuibul și informațiile pe care cuvintele le urmează reciproc. A doua versiune randomizată Mrow-perm este obținută prin permutarea rândurilor (întregi) ale matricei M. Aceasta menține cuibărirea matricei neschimbată, dar distruge informațiile despre tranzițiile cuvintelor.

având în vedere M, construim propoziții aleatorii de lungime L cu următorul model:

— alegeți unul dintre N cuvinte aleatoriu. Spune cuvântul a fost i. scrie i într-o listă de cuvinte W, astfel încât W = {i}.

— sari la linia i în M și alege aleatoriu un cuvânt din setul Oquti. Spuneți că cuvântul ales este k; actualizați lista de cuvinte W = {I, k}.

— sari la linia k și alege unul dintre cuvintele de la Inktik; spune că te j, și actualizare W = {I, k, j}.

— repetați procedura de L ori. În acest stadiu, se formează o propoziție aleatorie.

— repetați procesul pentru a produce propoziții Nsent.

în acest fel, obținem o listă de cuvinte cu intrări Nsent L, care este o carte aleatorie care este generată cu matricea de tranziție cuvânt a unei cărți reale. Din lista de cuvinte, obținem cuvântul distribuție de frecvență fmodel. Modelul actual este similar cu cel din dar diferă în trei aspecte: acesta permite non-perfectă cuiburi n< 1, nu are nici o componentă de zgomot explicit, și are o secvență fixă (propoziție) lungime.

rezultate

analizăm modelul cu simulări computerizate, specificând L = 10 și Nsent = 100 000. Folosim 10 cărți alese aleator2 din Proiectul Gutenberg (www.gutenberg.org). pentru fiecare carte, determinăm vocabularul său N, matricea sa M, Oqqui pentru toate cuvintele, cuibărirea sa n (M) și exponentul distribuției frecvenței cuvântului ordonat de rang(cel mai mic pătrat se potrivește cu f (r), interval de potrivire între 5 oktt r oktttt 200). f (r) este prezentat pentru Originea speciilor în Figura 1 (Albastru); exponentul este 0,90. Rulăm modelul pentru parametrii fiecărei cărți individuale pentru a genera un text aleatoriu. Utilizarea Unqfi empiric pentru model asigură faptul că acest text aleatoriu are exact același profil de spațiu eșantion și cuibărirea ca și cartea.

distribuția obținută din modelul fmodel este în mod clar capabilă să reproducă exponentul aproximativ al Legii Puterii pentru Originea speciilor, amodel 0,86 (același interval de potrivire). Mai mult, surprinde detalii despre distribuția f. Pentru valori mari ale r în fmodel (r), se formează un platou înainte de a se observa limita de dimensiune finită exponențială. Atât platoul, cât și decupajul pot fi pe deplin înțelese cu modelul randomizat.

în figura 4a, comparăm exponenții din cifra de afaceri a cifrei de afaceri, extrași din cărți, cu rezultatele modelului amodel. Modelul explică în mod evident valorile reale într-o mare măsură, subestimând ușor exponenții reali. Obținem un coeficient de corelație de 0,95 (p < 3,7, 10-5). În figura 4b, arătăm că cuibăritul n(M) este legat de exponenții XV într-un mod aproximativ liniar. Testăm ipoteza că prin distrugerea cuiburilor exponenții vor dispărea. Folosind mrand randomizat, găsim (aceeași gamă de potrivire), care distruge efectiv legea puterii. Folosind cealaltă versiune randomizată care păstrează cuibărirea intactă, Mrow-perm, pentru cuvinte de rang inferior (până la aproximativ rang aprox. 10), găsim distribuții de frecvență de cuvinte similare ca pentru M; cu toate acestea, așa cum era de așteptat, coada Legii Puterii (rangurile înalte) dispare pentru Mrow-perm din cauza contribuției de zgomot a randomizării (nu este prezentată). Pentru a valida ipoteza noastră că ordonarea cuvintelor este esențială, am calculat distribuțiile de rang de model folosind matricea transpusă MT, ceea ce înseamnă că inversăm fluxul de timp în model. Găsim două rezultate. În primul rând, dispare corelația dintre exponenții cărților de la circulatia sangvina și modelul , reflectată de un coeficient de corelație nesemnificativ de la circulatia sangvina (0,47). În al doilea rând, exponenții (în medie pe cele 10 cărți) sunt semnificativ mai mici, decât pentru fluxul de timp corect, unde obținem valoarea p a unui test t este de 0,039.

în cele din urmă, încercăm să înțelegem importanța profilului spațiu-eșantion pe exponenții de scalare. Pentru aceasta, generăm o serie de matrici M care au un profil parametrizat cu o putere centimetrică. În figura 4c, exponenții model amodel din acești m generați artificial sunt prezentați ca o funcție a lui XV, pentru diferite dimensiuni ale vocabularului N. Pentru < 1 (cuibărire slabă), găsim exponenții amodel 0, adică nici o lege de scalare. Pentru n mare la XV = 1, are loc o tranziție rapidă la amodel 1 (Zipf). Pentru N mai mici, găsim un comportament mai complicat al tranziției, construind un exponent maxim la < 1. Gama exponenților de carte variază între 0,85 și 1.1, Care este exact intervalul observat pentru dimensiuni de vocabular realiste n 1000-10 000. Am verificat că variațiile lungimii propoziției (cu excepția L = 1) nu modifică rezultatele raportate. Pentru propozițiile cu un singur cuvânt (L = 1), obținem în mod evident o distribuție uniformă a frecvenței cuvintelor și, în consecință, o distribuție de rang plat, deoarece majoritatea cuvintelor au aproape același rang. Am variat numărul de propoziții de la Nsent = 104 la 106 și nu am găsit practic nicio influență asupra rezultatelor raportate.

discuție

în această lucrare, ne concentrăm asupra proprietății fundamentale a cuibăririi în orice cod care transmite informații semnificative, cum ar fi limbajul. Susținem că, dacă cuibăritul nu ar fi prezent, s-ar ajunge cu ușurință în situații confuze, așa cum este descris în La Biblioteca de Babel de J. L. Borges, unde o bibliotecă ipotetică deține toate cărțile compuse din toate combinațiile posibile de caractere care umple 410 pagini. Definim și cuantificăm un grad de cuibărire în codul lingvistic. Gradele scăzute de cuibărit implică de obicei o ierarhie mai puțin strictă în ceea ce privește utilizarea cuvintelor sau o utilizare mai egalitară a vocabularului, decât textele cu cuibărit ridicat. Așa cum era de așteptat, textele au o structură bine definită, dar nu strict imbricată, care ar putea apărea dintr-un compromis de specificitate (pentru a transmite mesaje lipsite de ambiguitate) și flexibilitate (pentru a permite o utilizare creativă a limbajului). Constatăm că cuibărirea variază între diferite texte, sugerând că există diferite moduri de utilizare a vocabularului și a gramaticii. Eșantionul nostru de texte a inclus trei piese de Shakespeare, trei texte științifice și patru romane. Descoperim că piesele, poate Cele mai apropiate de limba vorbită, arată o cuibărire mai mică decât cărțile științifice. Romanele arată cele mai înalte niveluri de cuibărit. Eșantionul este prea mic pentru a trage concluzii cu privire la faptul dacă Diferite tipuri de texte sunt caracterizate de valori tipice ale cuibăritului; cu toate acestea, este remarcabil faptul că cuibăritul este corelat cu variațiile exponenților de scalare a frecvențelor cuvintelor pe bază de carte cu carte.

principala constatare a acestei lucrări este că un model simplu de reducere a spațiului eșantionului poate arăta că cuibărirea explică într-adevăr apariția legilor de scalare în frecvențele cuvintelor, în special legea lui Zipf. Mai exact, am putut relaționa apariția legilor de scalare cu structura topologică a matricei cuvânt-tranziție sau ‘fazespațiu’. Rezultatul este remarcabil, deoarece matricea nu codifică nicio informație despre cât de des cuvântul j urmează cuvântul i, ci doar spune că j L-a urmat pe i cel puțin o dată în întregul text. Permutările aleatorii ale matricei care îi distrug cuibărirea nu mai pot explica scalarea, în timp ce permutările care păstrează cuibăritul intacte indică existența legilor puterii. În plus, este remarcabil faptul că nu sunt necesare ipoteze critice preferențiale, multiplicative sau autoorganizate (non-locale) pentru a înțelege scalarea observată și că nu sunt necesari parametri dincolo de matricile de tranziție cuvânt.

faptul că modelul simplu este atât de reușit în reproducerea proprietății detaliate de scalare în statisticile de frecvență a cuvintelor ar putea indica un aspect important al limbajului care nu a fost remarcat până acum; faptul că utilizarea generală a cuvintelor este influențată statistic puternic de utilizarea structurilor ierarhice locale și a constrângerilor pe care le folosim în generarea propozițiilor. Credem că relația strânsă dintre cuibărire și exponentul de scalare deschide ușa pentru o interpretare a distribuțiilor de frecvență a cuvintelor ca un observabil statistic care depinde puternic de utilizarea vocabularului și a gramaticii într-o limbă. În consecință, presupunem că legea lui Zipf ar putea să nu fie universală, dar că statisticile de utilizare a cuvintelor depind de structurile locale care pot fi diferite între texte și chiar în propoziții. Sunt necesare cercetări suplimentare pentru a clarifica acest punct.

în cele din urmă, merită menționat faptul că clasa de procese de reducere a spațiului eșantionului oferă o cale independentă de scalare care ar putea avea o gamă largă de aplicații pentru procesele dependente de Istorie și de îmbătrânire . În fizica statistică, se știe că procesele care își reduc succesiv fazaspațiul pe măsură ce se desfășoară sunt caracterizate de legea puterii sau de funcții de distribuție exponențială întinse. Aceste distribuții apar generic ca o consecință a colapsului fazespațiu .

contribuțiile autorilor

S. T. a proiectat cercetarea, a efectuat analize numerice și a scris manuscrisul. R. H. și B. C.-M. au efectuat analize numerice și au scris manuscrisul. B. L. a făcut preprocesarea cărților și a efectuat analize numerice.

interese concurente

autorii declară că nu există interese financiare concurente.

finanțare

această lucrare a fost susținută de Fondul științific austriac FWF în cadrul KPP23378FW.

note de subsol