introduktion

skrevne tekster viser det bemærkelsesværdige træk, at den rangordnede fordeling af ordfrekvenser følger en omtrentlig magtlov

1.1

hvor R er den rang, der er tildelt hvert ord i teksten. For de fleste tekster, uanset sprog, skabelsestid, litteraturgenre, dens formål osv. man finder, at den 1. Kr., der omtales som sipf ‘ s lov. I figur 1 vises ordfrekvensen for Darvins tekst, Arternes Oprindelse. Søgen efter en forståelse af oprindelsen af denne statistiske regelmæssighed har foregået i næsten et århundrede. En kvalitativ forklaring baseret på den indsats, der er investeret i kommunikationshændelser af en afsender og en modtager . Disse ideer blev senere formaliseret inden for en informationsteoretisk ramme . Den første kvantitative model baseret på sproglige antagelser om tekstgenerering er blevet foreslået af Simon . Modellen antager, at når kontekst fremkommer i genereringen af en tekst, foretrækkes ord, der allerede er vist i teksten, frem for andre. Ved den enkle antagelse om, at ord, der tidligere har vist sig, føjes til teksten med en sandsynlighed, der er proportional med deres tidligere udseende (præferencebinding), og forudsat at ord, der hidtil ikke er vist, tilføjes med en konstant hastighed, er det muligt at udlede Sipfs lov, da sidstnævnte sats er lav. Denne præferentielle vedhæftningsmodel er blevet forfinet ved at implementere den empiriske kendsgerning, at forekomsten af nye ord falder, når tekstenes længde øges . Det er blevet vist i klassiske værker, at tilfældige skrivemaskinemodeller kan føre til Lynlåslignende fordeling af ordfrekvenser . Disse værker er imidlertid baseret på urealistiske antagelser om fordeling af ordlængde og fører til ustrukturerede og ufortolkelige tekster. Men som vi vil vise, kan grammatikstruktur sammen med diskursgenereringsmekanismer spille en væsentlig rolle i oprindelsen af Sipf ‘ s lov i en realistisk sammenhæng. Det er vigtigt at understrege, at den detaljerede statistiske undersøgelse af sprogegenskaber ikke slutter her; vigtigt arbejde ud over Sipf ‘ s lov er blevet fremsat (f.eks.). Nylige undersøgelser beskæftiger sig med den detaljerede afhængighed af skaleringseksponenterne på længden af teksten under undersøgelse .

Sipfs lov er ikke begrænset til ordfrekvenser, men vises i utallige, tilsyneladende ikke-relaterede systemer og processer . Bare for at nævne nogle få, det er fundet i statistikken over firmastørrelser , bystørrelser , genomet , familienavne , indkomst , finansielle markeder , internetfilstørrelser , eller menneskelig adfærd ; for flere eksempler se . Der har været en enorm indsats for at forstå oprindelsen af Sipf ‘ s Lov og mere generelt oprindelsen af skalering i komplekse systemer. Der er tre hovedruter til skalering: multiplikative processer , præferenceprocesser og selvorganiseret kritik . Flere andre mekanismer, der er mere eller mindre relateret til disse grundlæggende ruter til skalering, er blevet foreslået (f.eks.).

for nylig er en fjerde, uafhængig rute til skalering blevet introduceret på basis af stokastiske processer, der reducerer deres potentielle resultater (prøverum) over tid . Disse er historieafhængige tilfældige processer , der er blevet undersøgt i forskellige sammenhænge i den matematiske litteratur og for nylig i forbindelse med skaleringslove . Et eksempel på prøve-rumreducerende processer er følgende. Tænk på et sæt n terninger, hvor die Nummer 1 har et ansigt, die Nummer 2 har to ansigter (mønt), die Nummer 3 har tre ansigter, og så videre. Die Nummer N har n ansigter. Start med at vælge en af N-terningerne tilfældigt, sig terningnummer i. kast det og Registrer den opnåede pålydende værdi, som blev sagt k. tag derefter die − Nummer k − 1 Kast det, få j, Optag j, Tag die-Nummer j-1, Kast det, etc. Bliv ved med at kaste terninger på denne måde, indtil du kaster 1 for første gang. Da der ikke er nogen dør med mindre end 1 ansigter, slutter processen her. Sekvensen af registrerede ansigtsværdier i ovenstående recept (i, k, j, … , 1) er naturligvis strengt bestilt eller indlejret, i > k > j >> 1. I, det blev vist strengt, at hvis denne proces gentages mange gange, fordelingen af resultater (pålydende værdi 1 , 2,…, N) er en nøjagtig Sipf−lov, dvs.sandsynligheden for at observere en pålydende værdi m i ovenstående proces (sekvens af kast) er nøjagtigt PN(m) = m-1, givet Vi starter med n terninger. Bemærk, at det er nødvendigt at holde N fast under gentagelserne af processen for at opnå den nøjagtige Sipf-lov. Hvis N varierer under gentagelserne, er der klart asymptotisk skalering til stede asymptotisk for høje rækker; dog på grund af blanding af forskellige N vises afvigelser fra den nøjagtige Sipf-lov for lave rækker.

mere formelt har hver matrice N et prøveområde, betegnet med PRISTN = {1, 2, … , N}, hvilket er antallet af potentielle resultater, dvs. antallet af ansigter af terninger N. At kaste disse terninger på ovenstående måde giver anledning til en sekvens af indlejrede prøverum

1.2

nestedness af prøverum i en historieafhængig sekvens er kernen i oprindelsen af skaleringslove i denne type proces. For detaljer, se hvor det også er vist, at hvis der tilføjes støj til de historieafhængige processer, opnås skaleringsloven PN(m) Kurt m-Kurt, hvor 0 < 1−Kurt < 1 er støjniveauet.

i dette papir præsenterer vi en afledning af CIPF ‘ s lov om ordfrekvenser, baseret på en simpel model for sætning/diskursdannelse. Modellen er motiveret af observationen om, at processen med at danne en sætning—eller mere generelt en diskurs—er en historieafhængig prøve-rumreducerende proces. Ord trækkes ikke tilfældigt fra prøveområdet for alle mulige ord, men bruges i strenge forhold til hinanden. Brugen af specifikke ord i en sætning begrænser i høj grad brugen af på hinanden følgende ord, hvilket fører til en nesting (eller prøve-plads reducerende) proces, svarende til den ovenfor beskrevne. Sample-space sammenbrud i tekster er nødvendig for at formidle meningsfuld information. Ellers ville enhver fortolkning, selv i metaforiske eller poetiske termer, blive umulig. Lad os gøre punktet mere konkret med et eksempel på dannelsen af en sætning, hvor både grammatiske og kontekstuelle begrænsninger (der reducerer prøveplads) er på arbejde (figur 2). Vi danner sætningen:’ulven hyler om natten’. I princippet kan det første ord ‘ulven’ (ignorerer artikler og præpositioner for øjeblikket) trækkes fra alle mulige ord. Antag, at der findes n mulige ord, og betegn det respektive prøveområde ved hjælp af PRISTN = {1, 2,…, N}, hvor hvert tal nu står for et ord. Dette er skematisk illustreret i figur 2a.i betragtning af at vi valgte ‘ulven’ fra Larn = {1, 2, … , N}, figur 2B, vil det næste ord nu (normalt) ikke blive valgt fra Larn = {1, 2, … , N}, men fra en delmængde af det (figur 2C). Forestil dig, at delmængden indeholder L-ord, vi har LR-LR. Typisk forventer vi, at delmængden indeholder ord, der er forbundet med egenskaber hos hjørnetænder, biologiske funktioner, andre dyr osv. men ikke alle mulige ord længere. Når vi først har specificeret det andet ord ‘hyler’, begrænser kontekst, forståelighed og grammatisk struktur yderligere prøveplads for det tredje ord til pristm PRISL, hvorfra vi endelig tegner ‘nat’. Det er klart, at nestedness i dannelsen af sætninger ligner eksemplet på de indlejrede terninger før. Nesting pålægges gennem grammatiske og/eller kontekstuelle og / eller fortolkende begrænsninger.

grammatikens rolle for nesting er indlysende. Typisk på engelsk er det første ord et substantiv med emnets grammatiske rolle. Det faktum, at det første ord er et substantiv, begrænser mulighederne for det næste ord til delmængden af verbale sætninger. Afhængigt af det valgte verbum spiller de ord, der nu kan følge, typisk objektets grammatiske rolle og er igen mere begrænsede. Vi bruger udtrykkene prøve-rumreduktion og indlejret hierarkisk struktur i sætninger om hverandre. Det er ikke kun grammatisk struktur, der pålægger på hinanden følgende begrænsninger på stikprøverum af ord, når sætningen skrider frem; behovet for forståelighed har den samme effekt. Uden (i det mindste delvise) hierarkiske strukturer i dannelsen af sætninger, ville deres fortolkning blive meget hård . Imidlertid vil indlejrede strukturer i sætninger generelt ikke blive strengt realiseret. Ellers ville sprogets kreative brug og fleksibilitet blive alvorligt begrænset. Nogle gange kan ord fungere som et sprogligt hængsel, hvilket betyder, at det giver mulighed for mange flere på hinanden følgende ord, end der var tilgængelige for dets foregående ord. Man forventer, at nestedness kun vil blive realiseret til en vis grad. Ufuldkommen nestedness giver mulighed for en grad af tvetydighed i den sproglige kode og er en af kilderne til dens forbløffende alsidighed .

i dette papir kvantificerer vi graden af nestedness af en tekst fra dens ordovergangsmatrice M (netværk). For at karakterisere den hierarkiske struktur af en tekst med et enkelt tal definerer vi dens nestedness n som en egenskab af M ved

1.3

hvor gennemsnittet overtages alle mulige ordpar (i, j). Nestedness er et tal mellem 0 og 1, og angiver i hvilket omfang prøve-plads reduktion er til stede i gennemsnit i teksten.1 et strengt indlejret system, som det, der er vist i ligning (1.2), har n(M) = 1. I sproglige termer er streng nestedness klart urealistisk.

Vi bruger ordovergangsmatricer fra faktiske engelske tekster, der tjener som input til en simpel model til sætningsdannelse. Vi studerer derefter ordfrekvensfordelingen af disse kunstigt producerede tekster og sammenligner dem med distributionerne af de originale tekster. For første gang viser vi, at det er muligt at relatere det topologiske træk ved (lokal) nestedness i sætningsdannelse til de globale træk ved ordfrekvensfordeling af lange tekster. I denne henseende foreslår vi en måde at forstå statistikken over ordfrekvenser—især Sipf ‘ s lov—ved det faktiske strukturelle træk ved sprog, nestedness, uden at det er nødvendigt at ty til tidligere forsøg, herunder multiplikative processer, præferentiel tilknytning eller selvorganiseret kritik, som i forbindelse med sprog undertiden synes at hvile på stærke og usandsynlige antagelser.

Model

Vi antager et endeligt ordforråd af N ord. Fra en given tekst, vi får en empirisk ordovergangsmatrice M. ord er mærket med latinske indekser. Mij = 1 betyder, at vi i teksten finder mindst en lejlighed, hvor ord j direkte følger i; hvis Mij = 0, følger ord j aldrig i i hele teksten. Figur 3a viser overgangsmatricen for Arternes Oprindelse. For at kvantificere prøveplads for individuelle ord skal du bemærke, at en linje i I M indeholder sæt af ord, Kursi = {k|Mik = 1}, der direkte følger Ord i. ved |Kursi| angiver vi størrelsen (antallet af elementer) af Kursi, som er antallet af forskellige ord, der kan følge i. Kursi er en tilnærmelse til prøve-rumvolumen, der er tilgængelig efter ord Jeg har fundet sted. Forskellige ord har forskellige prøve-rumvolumener (figur 3b), hvor prøve-rumprofilen vises. Vi kalder et system lineært nestet, hvis prisT = 1 (som i ligning (1.2)), svagt indlejret for prisT < 1 og stærkt indlejret, hvis prisT > 1 (som i figur 3b). Et eksempel på en svagt indlejret profil kan ses i et af indsatserne i figur 4c. Parameteren karrus har en intuitiv fortolkning med hensyn til et mål for ‘strukturhed’ af ordovergange. I tilfælde af en svagt indlejret profil (prisT < 1) er der mange ord, der kan efterfølges af mange forskellige ord, mens der i en stærkt indlejret profil (prisT > 1) er et par ord, der efterfølges af mange andre ord, og mange ord, der kun kan efterfølges af meget få. I denne forstand måler Kurt, i hvilket omfang ordovergange effektivt begrænses.

Bemærk, at profilen i figur 3b faktisk ikke er godt udstyret med en magtlov; årsagen til parametriseringen er for et rent teoretisk argument, der vil blive klart nedenfor. Vi udelukker ord, der efterfølges af mindre end to forskellige ord i hele teksten, dvs.vi fjerner alle linjer i fra M, for hvilke |Kursi| < 2. Streng nestedness må ikke forveksles med stærk eller svag nesting. Sidstnævnte er egenskaber ved prøve-rumprofilen.

til statistisk test konstruerer vi to randomiserede versioner af M, og betegner dem ved hhv. Mrand opnås ved tilfældigt at permutere rækkerne af de enkelte linjer i matricen M. Dette holder antallet af ikke-nulposter i hver linje det samme som i den oprindelige matrice M, men ødelægger dens nestedness og de oplysninger, som ord følger hinanden. Den anden randomiserede version move-perm opnås ved at permutere (hele) rækkerne af matricen M. Dette holder matricen af matricen uændret, men ødelægger informationen om ordovergange.

givet M konstruerer vi tilfældige sætninger med længde L med følgende model:

— Vælg et af N-ordene tilfældigt. Sig Ordet var jeg. skriv jeg i en ordliste V, så V = {i}.

— gå til linje i I M og vælg tilfældigt et ord fra den indstillede Kursi. Sig det valgte ord er k; Opdater ordlisten V = {i, k}.

— gå til linje k og vælg et af ordene fra Lotte; sig, at du får j, og opdater V = {i, k, j}.

— gentag proceduren l gange. På dette stadium dannes en tilfældig sætning.

— gentag processen for at producere Nsent sætninger.

på denne måde får vi en ordliste med L-Kursnsent-poster, som er en tilfældig bog, der genereres med ordovergangsmatricen i en faktisk bog. Fra ordlisten får vi ordet frekvensfordeling fmodel. Den nuværende model ligner den i, men adskiller sig i tre aspekter: det giver mulighed for ikke-perfekt nesting n < 1, den har ingen eksplicit støjkomponent, og den har en fast sekvens (sætning) længde.

resultater

Vi analyserer modellen med computersimuleringer, der specificerer L = 10 og Nsent = 100 000. Vi bruger 10 tilfældigt udvalgte bøger2 fra Project Gutenberg (www.gutenberg.org). for hver bog bestemmer vi dens ordforråd N, dens matrice M, Dens Kursi for alle ord, dens nestedness n(M) og eksponenten for den rangordnede ordfrekvensfordeling Purpur (mindst kvadrat passer til f(r), fit-området mellem 5 purpur r purpur 200). f (r) er vist for arternes oprindelse i figur 1 (Blå); eksponenten er 0,90. Vi kører modellen for parametrene for hver enkelt bog for at generere en tilfældig tekst. Brug af den empiriske Kristi til modellen sikrer, at denne tilfældige tekst har nøjagtig den samme prøve-rumprofil og nestedness som bogen.

fordelingen opnået fra modellen fmodel er klart i stand til at gengive den omtrentlige effektloveksponent for artens oprindelse, amodel LYR 0,86 (samme fit range). Desuden fanger det detaljer om fordelingen f. For store værdier af r i fmodel (r) dannes et plateau, før den eksponentielle endelige størrelsesafskæring observeres. Både plateau og cut-off kan forstås fuldt ud med den randomiserede model.

i figur 4a sammenligner vi de pristiske eksponenter, der er udvundet fra bøgerne, med modelresultaterne amodel. Modellen forklarer naturligvis de faktiske værdier i vid udstrækning og undervurderer de faktiske eksponenter lidt. Vi får en korrelationskoefficient på Kurt = 0,95 (p < 3,7 til 10-5). I figur 4b viser vi, at nesting n(M) er relateret til eksponenterne kursen på en tilnærmelsesvis lineær måde. Vi tester hypotesen om, at eksponenterne forsvinder ved at ødelægge reden. Ved hjælp af den randomiserede Mrand finder vi (samme fit range), som effektivt ødelægger magtloven. Brug af den anden randomiserede version, der holder nestedness intakt, klippe-perm, til ord med lav rang (op til ca.rang ca. 10), finder vi lignende ordfrekvensfordelinger som For M; som forventet forsvinder magtlovens hale (høje rækker) imidlertid for mår-perm på grund af randomiseringens støjbidrag (ikke vist). For at validere vores antagelse om, at ordrækkefølge er afgørende, beregnede vi distributionerne af modelrangering ved hjælp af den transponerede matrice MT, hvilket betyder, at vi vender tidsstrømmen i modellen. Vi finder to resultater. For det første forsvinder korrelationen mellem eksponenterne for bøgerne Kurt og modellen , afspejlet af en ubetydelig korrelationskoefficient kurr = 0,47 (p = 0,17). For det andet er eksponenterne (i gennemsnit over de 10 bøger) betydeligt mindre, end for den korrekte tidsstrøm, hvor vi får den tilsvarende p-værdien af en T-test er 0,039.

endelig forsøger vi at forstå betydningen af prøve-rumprofilen på skaleringseksponenterne. Til dette genererer vi en række M-matricer, der har en profil parametriseret med en magtkurs. I figur 4c, modeleksponenterne amodel fra disse kunstigt genererede M er vist som en funktion af kursist, for forskellige størrelser af ordforråd N. for kursist < 1 (svag indlejring), finder vi eksponenter amodel kursist 0, dvs.ingen skaleringslov. For store N ved kr = 1 sker en hurtig overgang til amodel kr1. For mindre N finder vi en mere kompliceret opførsel af overgangen, idet vi bygger en maksimal eksponent ved Krish< 1. Antallet af bogeksponenter, som er kendt for at være kursiv, er mellem 0,85 og 1.1, hvilket er nøjagtigt det observerede interval for realistiske ordforrådsstørrelser n liter 1000-10 000. Vi bekræftede, at variationer i sætningslængde (med undtagelse af L = 1) ikke ændrer de rapporterede resultater. For sætninger med et ord (L = 1) får vi naturligvis en ensartet ordfrekvensfordeling og som en konsekvens en flad rangfordeling, da de fleste ord har næsten samme rang. Vi varierede antallet af sætninger fra Nsent = 104 til 106 og fandt praktisk talt ingen indflydelse på de rapporterede resultater.

Diskussion

i dette papir fokuserer vi på den grundlæggende egenskab ved nestedness i enhver kode, der formidler meningsfuld information, såsom sprog. Vi hævder, at hvis nesting ikke var til stede, ville man let ende i forvirrende situationer som beskrevet i La Biblioteca de Babel af J. L. Borges, hvor et hypotetisk bibliotek ejer alle bøger sammensat af alle mulige kombinationer af tegn, der fylder 410 sider. Vi definerer og kvantificerer en grad af nestedness i den sproglige kode. Lave grader af nestedness indebærer typisk et mindre strengt hierarki om ordbrug eller en mere egalitær brug af ordforrådet end tekster med høj nestedness. Som forventet har tekster en veldefineret, men ikke strengt indlejret struktur, som kan opstå som følge af et kompromis med specificitet (for at formidle entydige budskaber) og fleksibilitet (for at tillade en kreativ brug af sprog). Vi finder ud af, at nestedness varierer mellem forskellige tekster, hvilket tyder på, at forskellige måder at bruge ordforråd og grammatik er på arbejde. Vores prøve af tekster omfattede tre stykker af Shakespeare, tre videnskabelige tekster og fire romaner. Vi finder ud af, at stykkerne, måske tættest på talesprog, viser en lavere nestedness end videnskabsbøgerne. Romanerne viser de højeste niveauer af nestedness. Prøven er for lille til at drage konklusioner om, hvorvidt forskellige typer tekster er kendetegnet ved typiske værdier for nestedness; det er dog bemærkelsesværdigt, at nestedness er korreleret med variationerne i skaleringseksponenterne for ordfrekvenser bog for bog.

det vigtigste fund i dette papir er, at en simpel prøve-rumreducerende model kan vise, at nestedness faktisk forklarer fremkomsten af skaleringslove i ordfrekvenser, især Sipfs lov. Mere præcist var vi i stand til at relatere fremkomsten af skaleringslove med topologisk struktur af ordovergangsmatricen eller ‘phasespace’. Resultatet er bemærkelsesværdigt, da matricen ikke koder for nogen information om, hvor ofte ord j følger ord i, det fortæller bare, at j fulgte jeg mindst en gang i hele teksten. Tilfældige permutationer af matricen, der ødelægger dens nestedness, kan ikke forklare skaleringen længere, mens permutationer, der holder nesting intakt, indikerer eksistensen af magtlovene. Det er yderligere bemærkelsesværdigt, at der ikke er behov for (ikke-lokale) præferentielle, multiplikative eller selvorganiserede kritiske antagelser for at forstå den observerede skalering, og at der ikke er behov for parametre ud over ordovergangsmatricer.

det faktum, at den enkle model er så vellykket med at gengive den detaljerede skaleringsegenskab i ordfrekvensstatistikker, kan pege på et vigtigt aspekt af sprog, der ikke er blevet bemærket indtil videre; det faktum, at den samlede ordbrug statistisk er stærkt påvirket af brugen af lokale hierarkiske strukturer og begrænsninger, som vi bruger til at generere sætninger. Vi mener, at den tætte sammenhæng mellem nestedness og skaleringseksponenten åbner døren for en fortolkning af ordfrekvensfordelinger som en statistisk observerbar, der stærkt afhænger af brugen af ordforråd og grammatik inden for et sprog. Derfor antager vi, at Sipf ‘ s lov måske ikke er universel, men at ordbrugsstatistikker afhænger af lokale strukturer, der kan være forskellige på tværs af tekster og endda inden for sætninger. Yderligere forskning er nødvendig for at afklare dette punkt.

endelig er det værd at bemærke, at klassen af prøverumreducerende processer giver en uafhængig rute til skalering, der kan have en bred vifte af applikationer til historieafhængige og aldringsprocesser . I statistisk fysik er det kendt, at processer, der successivt reducerer deres faserum, når de udfolder sig, er kendetegnet ved magtlov eller strakte eksponentielle fordelingsfunktioner. Disse fordelinger opstår generisk som en konsekvens af fasespace sammenbrud .

forfatteres bidrag

S. T. designet forskningen, udført numerisk analyse og skrev manuskriptet. R. H. og B. C.-M. udførte numerisk analyse og skrev manuskriptet. B. L. gjorde forbehandling af bøgerne og udførte numerisk analyse.

konkurrerende interesser

forfatterne erklærer ingen konkurrerende finansielle interesser.

Funding

dette arbejde blev støttet af den østrigske Videnskabsfond under KPP23378FF.

fodnoter