Innledning

Skriftlige tekster viser den bemerkelsesverdige egenskapen at den rangbestilte fordelingen av ordfrekvenser følger en omtrentlig kraftlov

1.1

hvor r er rangen som er tildelt hvert Ord I Teksten. For de fleste tekster, uavhengig av språk, skapelsestid, litteraturgenre, formål, etc. man finner at α ∼ 1, som er referert til som zipf lov . I figur 1 er ordet frekvens vist For Darwins tekst, artenes opprinnelse. Søket etter en forståelse av opprinnelsen til denne statistiske regelmessigheten har pågått i nesten et århundre. Zipf selv tilbød en kvalitativ forklaring basert på innsatsen investert i kommunikasjon hendelser av en avsender og en mottaker . Disse ideene ble senere formalisert innenfor et informasjonsteoretisk rammeverk . Den første kvantitative modellen basert på språklige antagelser om tekstgenerering har Blitt foreslått Av Simon . Modellen går ut fra at når kontekst dukker opp i en tekstgenerering, blir ord som allerede har dukket opp i teksten favorisert over andre. Ved den enkle antagelsen om at ord som tidligere har dukket opp, legges til teksten med en sannsynlighet som er proporsjonal med deres tidligere utseende( fortrinnsrett vedlegg), og forutsatt at ord som hittil ikke har dukket opp, legges til med konstant hastighet, er Det mulig Å utlede Zipfs lov, gitt sistnevnte hastighet er lav. Denne fortrinnsrett vedlegg modellen har blitt raffinert ved å implementere den empiriske faktum at frekvensen av utseendet på nye ord avtar etter hvert som lengden av tekster øker . Det har blitt vist i klassiske verk at tilfeldige skrivemodeller kan føre Til Zipf-lignende fordelinger av ordfrekvenser . Imidlertid er disse arbeidene basert på urealistiske antagelser om ordlengdefordelinger og fører til ustrukturerte og uuttolkelige tekster. Men som vi vil vise, kan grammatikkstruktur, sammen med diskursgenereringsmekanismer, spille en viktig rolle i Opprinnelsen Til Zipfs lov i en realistisk sammenheng. Det er viktig å understreke at den detaljerte statistiske studien av språkegenskaper ikke slutter her; viktig arbeid utover Zipfs lov er fremsatt (f.eks.). Nylige studier omhandler detaljert avhengighet av skaleringseksponentene på lengden av teksten som studeres .

Zipfs lov er ikke begrenset til ordfrekvenser, men vises i utallige, tilsynelatende ikke-relaterte systemer og prosesser . Bare for å nevne noen, har det blitt funnet i statistikken over faste størrelser, bystørrelser, genomet , familienavn, inntekt, finansmarkeder, Internett filstørrelser eller menneskelig atferd ; for flere eksempler se . Det har vært en enorm innsats for å forstå opprinnelsen Til Zipfs lov, og mer generelt opprinnelsen til skalering i komplekse systemer. Det er tre hovedveier til skalering: multiplikative prosesser, preferanseprosesser og selvorganisert kritikk . Flere andre mekanismer som er mer eller mindre relatert til disse grunnleggende ruter til skalering har blitt foreslått (f.eks.).

nylig har en fjerde, uavhengig vei til skalering blitt innført på grunnlag av stokastiske prosesser som reduserer deres potensielle utfall (sample-space) over tid . Dette er historieavhengige tilfeldige prosesser som har blitt studert i ulike sammenhenger i matematisk litteratur , og mer nylig i sammenheng med skaleringslover . Et eksempel på sample-space reduserende prosesser er følgende. Tenk På Et sett Med n terninger hvor dør nummer 1 har ett ansikt, dør nummer 2 har to ansikter (mynt), dør nummer 3 har tre ansikter, og så videre. Die nummer N har n ansikter. Start med å plukke en Av de n terningene tilfeldig, si terning nummer i. Kast den og ta opp den oppnådde pålydende, som var si k. så dø nummer k − 1 kaste den, få j, ta opp j, ta dø nummer j-1, kaste den, etc. Fortsett å kaste terninger på denne måten til du kaster 1 for første gang. Siden det ikke er noen dør med mindre enn 1 ansikter, slutter prosessen her. Sekvensen av registrerte ansiktsverdier i ovennevnte resept (i, k, j,…, 1) er åpenbart strengt bestilt eller nestet, jeg >k>j>1. I, det ble vist strengt at hvis denne prosessen gjentas mange ganger, fordelingen av utfall (pålydende 1, 2,…, N) er en eksakt Zipf lov, dvs. sannsynligheten for å observere en pålydende m i ovennevnte prosess (sekvens av kast) er nøyaktig PN (m) = m−1, gitt vi starter Med n terninger. Merk at Det er nodvendig a holde N fast under gjentakelsene av prosessen for a oppna den noyaktige zipf-loven. Hvis N varierer under repetisjonene, er tydelig Zipf-skalering tilstede asymptotisk for høye ranger; men på grunn av blanding Av forskjellige N, vil avvik fra den eksakte Zipf-loven vises for lave ranger.

mer formelt har hver terning N et utvalgsrom, betegnet MED Ω = {1, 2,…, N}, som er antall potensielle utfall, dvs. antall ansikter av terning N. Kaster disse terningene på ovennevnte måte gir opphav til en sekvens av nestede sample-spaces

1.2

nestedness av sample-spaces i en historie-avhengig sekvens er i hjertet av opprinnelsen til skalering lover i denne type prosess. For detaljer, se hvor det også vises at hvis støy legges til de historikkavhengige prosessene, oppnås skaleringsloven PN(m) ∝ m−λ, hvor 0 << 1 er støynivået.

i dette papiret presenterer Vi en avledning Av Zipfs lov om ordfrekvenser, basert på en enkel modell for setning/diskursdannelse. Modellen er motivert av observasjonen at prosessen med å danne en setning – eller mer generelt en diskurs-er en historieavhengig prøve-romreduserende prosess. Ord er ikke tilfeldig trukket fra prøveplassen til alle mulige ord, men brukes i strenge forhold til hverandre. Bruken av bestemte ord i en setning sterkt begrenser bruken for påfølgende ord, fører til en nesting (eller prøve-plass redusere) prosess, lik den som er beskrevet ovenfor. Sample-plass kollaps i tekster er nødvendig for å formidle meningsfull informasjon. Ellers ville enhver tolkning, selv i metaforiske eller poetiske termer, bli umulig. La oss gjøre poenget mer konkret med et eksempel på dannelsen av en setning, hvor både grammatiske og kontekstuelle begrensninger (som reduserer prøveplass) er på jobb (figur 2). Vi danner setningen: ‘ulven hyler om natten’. I prinsippet kan det første ordet ‘ulven’ (ignorerer artikler og preposisjoner for øyeblikket) trekkes fra alle mulige ord. Anta at Det finnes N mulige ord, og betegn det respektive utvalgsrommet VED Ω = {1, 2,…, N}, hvor hvert tall nå står for ett ord. Dette er skjematisk illustrert i figur 2a. Gitt at vi valgte ‘ulven’ FRA Ω = {1, 2, … , N}, figur 2b, vil det neste ordet nå (vanligvis) ikke bli valgt FRA Ω = {1, 2, … , N}, Men fra en delmengde av det (figur 2c). Tenk deg at undergruppen inneholder L-ord, vi har Ω ⊂ Ω. Vanligvis forventer vi at delmengden inneholder ord som er knyttet til egenskaper av hjørnetenner,biologiske funksjoner, andre dyr, etc. men ikke alle mulige ord lenger. Når vi spesifiserer det andre ordet ‘hyler’ hryvl, begrenser kontekst, forståelighet og grammatisk struktur ytterligere utvalgsplass for det tredje ordet til ω ⊂ Ω, hvorfra vi endelig trekker ‘natt’. Åpenbart er nestedness i dannelsen av setninger lik eksemplet på den nestede terningen før. Nesting er pålagt gjennom grammatiske og/eller kontekstuelle, og / eller fortolkende begrensninger.

grammatikkens rolle for nesting er åpenbar. Vanligvis på engelsk er det første ordet et substantiv med fagets grammatiske rolle. Det faktum at det første ordet er et substantiv begrenser mulighetene for det neste ordet til delmengden av verbale setninger. Avhengig av det bestemte verbet som er valgt, spiller ordene som nå følger vanligvis objektets grammatiske rolle og er igjen mer begrenset. Vi bruker begrepene sample-space reduksjon og nestet hierarkisk struktur i setninger om hverandre. Det er ikke bare grammatisk struktur som pålegger påfølgende restriksjoner på prøve-plass av ord som setningen skrider frem; behovet for forståelighet har samme effekt. Uten (i det minste delvis) hierarkiske strukturer i setningsdannelsen, ville deres tolkning bli svært vanskelig . Imidlertid vil nestede strukturer i setninger generelt ikke bli strengt realisert. Ellers ville kreativ bruk og fleksibilitet i språket være alvorlig begrenset. Noen ganger kan ord fungere som et språklig hengsel, noe som betyr at det tillater mange flere sammenhengende ord enn det som var tilgjengelig for det foregående ordet. Man forventer at nestedness vil bli realisert bare til en viss grad. Ufullkommen nestedness gir en grad av tvetydighet i den språklige koden og er en av kildene til sin forbløffende allsidighet .

i dette papiret kvantifiserer vi graden av nestedness av en tekst fra sin word-transition matrix M (network). For å karakterisere den hierarkiske strukturen til en tekst med et enkelt tall, definerer vi dens nestedness n som en egenskap Av M ved

1.3

hvor gjennomsnittet er tatt over alle mulige ordpar (i, j). Nestedness er et tall mellom 0 og 1, og angir i hvilken grad sample-space reduksjon er tilstede i gjennomsnitt i teksten.1 et strengt nestet system, som det som er vist i ligning (1.2), har n (M) = 1. I språklige termer er streng nestedness klart urealistisk.

vi bruker ord-overgangs matriser fra faktiske engelske tekster, som tjener som innspill til en enkel modell for setningsdannelse. Vi studerer deretter ordet frekvensfordelinger av disse kunstig produserte teksten og sammenligner dem med distribusjonene av de opprinnelige teksten. For første gang viser vi at det er mulig å relatere den topologiske egenskapen til (lokal) nestedness i setningsdannelse til de globale egenskapene til ordfrekvensfordelinger av lange tekster. I denne forbindelse foreslår vi en måte å forstå statistikken over ordfrekvenser-Spesielt Zipfs lov – av det faktiske strukturelle trekk ved språk, nestedness, uten å måtte ty til tidligere forsøk, inkludert multiplikative prosesser, fortrinnsrett vedlegg eller selvorganisert kritikk, som i sammenheng med språk noen ganger synes å hvile på sterke og usannsynlige antagelser.

Modell

vi antar et endelig ordforråd Av n ord. Fra en gitt tekst får Vi en empirisk ordovergangsmatrise M. Ord er merket med latinske indekser. Mij = 1 betyr at i teksten finner vi minst en anledning der ordet j direkte følger i; Hvis Mij = 0, følger ordet j aldri jeg i hele teksten. Figur 3a viser overgangsmatrisen for artenes opprinnelse. For å kvantifisere utvalgsrom for individuelle ord, merk at en linje i I M inneholder settet av ord, Ω = {k|Mik = 1}, som direkte følger ord i. Ved |Ω|, betegner vi størrelsen (antall elementer) Av Ω, som er antall forskjellige ord som kan følge i. Ω er en tilnærming for utvalgsromvolumet som er tilgjengelig etter ord jeg har oppstått. Ulike ord har forskjellige utvalgsromvolumer (figur 3b), hvor utvalgsromprofilen vises. Vi parametriserer profilen som yk = x, hvor x tilsvarer utvalgsromvolumet, |Ω|, og y til utvalgsromsindeksen i. vi kaller et system lineært nestet hvis κ = 1 (som i ligning (1.2)), svakt nestet for κ < 1 og sterkt nestet hvis κ > 1 (som i figur 3b). Et eksempel på en svakt nestet profil kan ses i en av innsatsene i figur 4c. Parameteren hryvnias har en intuitiv tolkning når det gjelder et mål på strukturering av ordoverganger. I tilfelle av en svakt nestet profil (κ < 1) er det mange ord som kan følges av mange forskjellige ord, mens i en sterkt nestet profil (κ > 1) er det noen få ord som følges av mange andre ord, og mange ord som bare kan følges av svært få. I denne forstand, κ tiltak i hvilken grad ordoverganger er effektivt begrenset.

Merk at profilen i figur 3b faktisk ikke er godt utstyrt med en strømlov; årsaken til parametrizeringen er for et rent teoretisk argument som vil bli klart nedenfor. Vi ekskluderer ord som følges av mindre enn to forskjellige ord i hele teksten, dvs. vi fjerner alle linjer i fra M som / Ω / < 2. Streng nestedness må ikke forveksles med sterk eller svak nesting. Sistnevnte er egenskaper av prøven-romprofilen.

for statistisk testing konstruerer vi to randomiserte versjoner Av M, og betegner dem med Henholdsvis Mrand og Mrow-perm. Mrand oppnås ved å tilfeldig permutere radene av de enkelte linjene i matrisen M. dette holder antall ikke-null oppføringer i hver linje det samme som i den opprinnelige matrisen M, men ødelegger sin nestedness og informasjonen hvilke ord følger hverandre. Den andre randomiserte versjonen Mrow-perm er oppnådd ved å permutere (hele) rader av matrisen M. Dette holder matrisenes nestenhet uendret, men ødelegger informasjonen om ordoverganger.

Gitt M, konstruerer vi tilfeldige setninger med lengde L med følgende modell:

— Velg et Av De n ordene tilfeldig. Skriv jeg I en ordliste W, Slik At W = {i}.

— Hopp til linje i i m og velg tilfeldig et ord fra settet Ω. Si ordet valgt er k; oppdater ordlisten W = {i, k}.

— Hopp til linje k og velg ett av ordene fra Ω; si at du får j, og oppdater W = {i, k, j}.

— Gjenta Prosedyren L ganger. På dette stadiet dannes en tilfeldig setning.

— Gjenta prosessen for å produsere Nsent setninger.

på denne måten får vi en ordliste Med L × oppføringer, som er en tilfeldig bok som genereres med ordovergangsmatrisen til en faktisk bok. Fra ordlisten får vi ordet frekvensfordeling fmodel. Den foreliggende modellen er lik den i, men skiller seg i tre aspekter: det tillater ikke-perfekt nesting n < 1, den har ingen eksplisitt støykomponent, og den har en fast sekvens (setning) lengde.

Resultater

vi analyserer modellen med datasimuleringer, med angivelse Av L = 10 og Nsent = 100 000. Vi bruker 10 tilfeldig valgte boker2 Fra Project Gutenberg (www.gutenberg.org). for hver bok bestemmer vi dets ordforråd N, dets matrise M, Dets Ω for alle ord, dets nestedness n (M) og eksponenten for det rangbestilte ordfrekvensfordeling α (minste firkant passer til f (r), tilpasningsområde mellom 5 ≤ r ≤ 200). f (r) er vist for artenes opprinnelse i figur 1 (blå); eksponenten er α ∼ 0,90. Vi kjører modellen for parametrene til hver enkelt bok for å generere en tilfeldig tekst. Ved å bruke empirisk Ω for modellen sikrer man at denne tilfeldige teksten har nøyaktig samme utvalgsromsprofil og nestedness som boken.

fordelingen hentet fra modellen fmodel er tydelig i stand til å reprodusere omtrentlig makt lov eksponent for opprinnelsen til arter, amodel ∼ 0.86 (samme passform område). Videre fanger det detaljer om fordelingen f. For store verdier av r i fmodel(r) dannes et platå før eksponentiell endelig størrelse cut-off er observert. Både platå og cut-off kan forstås fullt ut med den randomiserte modellen.

i figur 4a sammenligner vi de α eksponentene som hentet fra bøkene med modellresultatene amodel. Modellen forklarer åpenbart de faktiske verdiene i stor grad, noe som undervurderer de faktiske eksponentene. Vi får en korrelasjonskoeffisient på ρ = 0.95 (p < 3.7 × 10-5). I figur 4b viser vi at nesting n(M) er relatert til eksponentene α på en tilnærmet lineær måte. Vi tester hypotesen om at ved å ødelegge nestedness eksponentene vil forsvinne. Ved hjelp av randomisert Mrand finner vi (samme passformområde), som effektivt ødelegger strømloven. Bruke den andre randomiserte versjonen som holder nestedness intakt, Mrow-perm, for lav-rang ord (opp til ca rang ca .. 10), finner vi lignende ordfrekvensfordelinger som For M; men som forventet forsvinner power law tail (high ranks) For Mrow-perm på grunn av støybidraget av randomiseringen (ikke vist). For å validere vår antagelse om at ordbestilling er viktig, beregnet vi modellrankfordelingene ved å bruke den transponerte matrisen MT, noe som betyr at vi reverserer tidsflyten i modellen. Vi finner to resultater. For det første forsvinner korrelasjonen mellom eksponentene til bøkene α og modellen , reflektert av en ubetydelig korrelasjonskoeffisient ρ = 0,47 (p = 0,17). For det andre er eksponentene (gjennomsnittlig over de 10 bøkene) betydelig mindre, enn for riktig tidsflyt, hvor vi får tilsvarende p-verdien av en t-test er 0,039.

Til Slutt prøver Vi å forstå betydningen av sample-space-profilen på skaleringseksponentene. For dette genererer Vi en serie m matriser som har en profil parametrized med en power κ. I figur 4c er modelleksponentene amodel fra disse kunstig genererte M vist som en funksjon av κ, for forskjellige størrelser av ordforråd N. for κ < 1 (svak nesting), finner vi eksponenter amodel ≈ 0, dvs.ingen skalering lov. For store n ved κ = 1 skjer en rask overgang til amodel ≈ 1 (Zipf). For mindre N finner vi en mer komplisert oppførsel av overgangen, og bygger en maksimal eksponent ved κ < 1. Utvalget av bokeksponenter α varierer mellom 0.85 og 1.1, som er nøyaktig det observerte området for realistiske vokabular størrelser N ∼ 1000-10 000. Vi bekreftet at variasjoner i setningslengde (med unntak Av L = 1) ikke endrer de rapporterte resultatene. For enordssetninger (L = 1) får vi åpenbart en jevn ordfrekvensfordeling og som en konsekvens en flat rangfordeling, da de fleste ord har nesten samme rang. Vi varierte antall setninger fra Nsent = 104 til 106, og finner praktisk talt ingen innflytelse på de rapporterte resultatene.

Diskusjon

i dette papiret fokuserer vi på den grunnleggende egenskapen til nestedness i enhver kode som formidler meningsfull informasjon, for eksempel språk. Vi hevder at hvis nesting ikke var til stede, ville man lett ende opp i forvirrende situasjoner som beskrevet I La Biblioteca De Babel Av Jl Borges, hvor et hypotetisk bibliotek eier alle bøker som består av alle mulige kombinasjoner av tegn som fyller 410 sider. Vi definerer og kvantifiserer en grad av nestedness i den språklige koden. Lav grad av nestedness innebærer vanligvis et mindre strengt hierarki på ordbruk eller en mer egalitær bruk av vokabularet, enn tekster med høy nestedness. Som forventet har tekster en veldefinert, men ikke strengt nestet struktur, som kan oppstå fra et kompromiss av spesifisitet (for å formidle entydige meldinger) og fleksibilitet (for å tillate kreativ bruk av språk). Vi finner at nestedness varierer mellom ulike tekster, noe som tyder på at ulike måter å bruke vokabular og grammatikk er på jobb. Vårt utvalg av tekster inkluderte Tre Skuespill Av Shakespeare, tre vitenskapelige tekster og fire romaner. Vi finner at spillene, kanskje nærmest talespråk, viser en lavere nestedness enn vitenskapsbøkene. Romanene viser de høyeste nivåene av nestedness. Utvalget er for lite til å trekke konklusjoner om ulike typer tekster er preget av typiske verdier av nestedness; men det er bemerkelsesverdig at nestedness er korrelert med variasjoner av skalering eksponenter av ordfrekvenser på en bok-for-bok basis.hovedfunnet i dette papiret er at en enkel prøve-romreduserende modell kan vise at nestedness faktisk forklarer fremveksten av skaleringslover i ordfrekvenser, spesielt Zipfs lov. Nærmere bestemt var vi i stand til å forholde seg til fremveksten av skaleringslover med topologisk struktur av ordovergangsmatrisen, eller ‘phasespace’. Resultatet er bemerkelsesverdig da matrisen ikke koder noen informasjon om hvor ofte ord j følger ord i, det forteller bare at j fulgte jeg minst en gang i hele teksten. Tilfeldige permutasjoner av matrisen som ødelegger sin nestedness kan ikke forklare skaleringen lenger, mens permutasjoner som holder nesting intakt, indikerer eksistensen av kraftlovene. Det er videre bemerkelsesverdig at ingen (ikke-lokale) fortrinnsrett, multiplikativ eller selvorganisert kritiske forutsetninger er nødvendig for å forstå den observerte skalering, og at ingen parametere er nødvendig utover ordet-overgang matriser.det faktum at den enkle modellen er så vellykket i å reprodusere den detaljerte skaleringsegenskapen i ordfrekvensstatistikk, kan peke på et viktig aspekt av språk som ikke har blitt notert så langt; det faktum at samlet ordbruk er statistisk sterkt påvirket av bruken av lokale hierarkiske strukturer og begrensninger som vi bruker til å generere setninger. Vi tror at det nære forholdet mellom nestedness og skaleringseksponenten åpner døren for en tolkning av ordfrekvensfordelinger som en statistisk observerbar som sterkt avhenger av bruken av vokabular og grammatikk i et språk. Følgelig antar Vi At Zipfs lov kanskje ikke er universell, men at ordbrukstatistikken avhenger av lokale strukturer som kan være forskjellige på tvers av tekster og til og med innenfor setninger. Videre forskning er nødvendig for å avklare dette punktet.Til Slutt er det verdt Å merke seg at klassen av sample-space reduserende prosesser gir en uavhengig vei til skalering som kan ha et bredt spekter av applikasjoner for historieavhengige og aldringsprosesser . I statistisk fysikk er det kjent at prosesser som suksessivt reduserer faseområdet når de utfolder seg, er preget av kraftlov eller strakte eksponentielle fordelingsfunksjoner. Disse fordelingene oppstår generelt som følge av faserromskollaps .

Forfatteres bidrag

S. T. designet forskningen, utførte numerisk analyse og skrev manuskriptet. R. H. og B. C.-M. utførte numerisk analyse og skrev manuskriptet. B. L. gjorde forbehandling av bøkene og utførte numerisk analyse.

Konkurrerende interesser

forfatterne erklærer ingen konkurrerende økonomiske interesser.

Finansiering

dette arbeidet ble støttet av Det Østerrikske Vitenskapsfondet FWF under KPP23378FW.

Fotnoter