donde r es el rango que se asigna a cada palabra en el texto. Para la mayoría de los textos, sin importar el idioma, el momento de creación, el género de la literatura, su propósito, etc. uno encuentra que α 1 1, que se conoce como la ley de Zipf . En la figura 1, se muestra la palabra frecuencia para el texto de Darwin, El origen de las especies. La búsqueda de una comprensión del origen de esta regularidad estadística ha estado en marcha durante casi un siglo. El propio Zipf ofreció una explicación cualitativa basada en los esfuerzos invertidos en eventos de comunicación por un emisor y un receptor . Estas ideas se formalizaron más tarde dentro de un marco teórico de la información . El primer modelo cuantitativo basado en supuestos lingüísticos sobre la generación de texto ha sido propuesto por Simon . El modelo asume que a medida que el contexto emerge en la generación de un texto, las palabras que ya han aparecido en el texto se privilegian sobre otras. Por la simple suposición de que las palabras que han aparecido previamente se agregan al texto con una probabilidad proporcional a su apariencia anterior (apego preferencial), y suponiendo que las palabras que hasta ahora no han aparecido se agregan a una tasa constante, es posible derivar la ley de Zipf, dado que esta última tasa es baja. Este modelo de apego preferencial se ha perfeccionado mediante la implementación del hecho empírico de que la tasa de aparición de nuevas palabras disminuye a medida que aumenta la longitud de los textos . Se ha demostrado en obras clásicas que los modelos de escritura a máquina aleatorios pueden conducir a distribuciones de frecuencias de palabras similares a Zipf . Sin embargo, estas obras se basan en suposiciones poco realistas sobre distribuciones de longitud de palabra y conducen a textos no estructurados e interpretables. Sin embargo, como mostraremos, la estructura gramatical, junto con los mecanismos de generación del discurso, pueden jugar un papel esencial en el origen de la ley de Zipf en un contexto realista. Es importante destacar que el estudio estadístico detallado de las propiedades del lenguaje no termina aquí; se ha presentado un trabajo importante más allá de la ley de Zipf (por ejemplo ). Estudios recientes tratan de la dependencia detallada de los exponentes de escala en la longitud del cuerpo del texto en estudio .

La ley de Zipf no se limita a las frecuencias de palabras, sino que aparece en innumerables sistemas y procesos, aparentemente sin relación . Solo por mencionar algunos, se ha encontrado en las estadísticas de tamaños de empresas, tamaños de ciudades , genoma , apellidos , ingresos , mercados financieros , tamaños de archivos de Internet o comportamiento humano ; para más ejemplos, consulte . Ha habido enormes esfuerzos para comprender el origen de la ley de Zipf y, más en general, el origen de la escala en sistemas complejos. Hay tres rutas principales para escalar: procesos multiplicativos, procesos preferenciales y criticidad autoorganizada . Se han propuesto varios otros mecanismos que están más o menos relacionados con estas rutas básicas de escalado (por ejemplo ).

Recientemente, se ha introducido una cuarta ruta independiente para escalar sobre la base de procesos estocásticos que reducen sus resultados potenciales (espacio de muestra) a lo largo del tiempo . Estos son procesos aleatorios dependientes de la historia que han sido estudiados en diferentes contextos en la literatura matemática, y más recientemente en el contexto de las leyes de escala . Un ejemplo de procesos de reducción de espacio de muestra es el siguiente. Piense en un conjunto de dados N donde el dado número 1 tiene una cara, el dado número 2 tiene dos caras (moneda), el dado número 3 tiene tres caras, y así sucesivamente. El número de matriz N tiene N caras. Comience seleccionando uno de los N dados al azar, digamos dado yo. Lanzar y registro de los obtenidos de valor nominal, que se dicen k. A continuación, tomar morir número de k − 1 lanzar, recibir j, expediente j, tomar morir número j − 1, tirar, etc. Sigue lanzando dados de esta manera hasta que tires 1 por primera vez. Como no hay troquel con menos de 1 cara, el proceso termina aquí. La secuencia de valores faciales registrados en la prescripción anterior (i, k, j, … , 1) obviamente está estrictamente ordenada o anidada, i > k > j > di > 1. En, se demostró rigurosamente que si este proceso se repite muchas veces, la distribución de los resultados (valores faciales 1, 2, N , N) es una ley exacta de Zipf, es decir, la probabilidad de observar un valor facial m en el proceso anterior (secuencia de lanzamientos) es exactamente PN(m) = m−1, dado que comenzamos con N dados. Tenga en cuenta que es necesario mantener N fijo durante las repeticiones del proceso para obtener la ley Zipf exacta. Si N varía durante las repeticiones, claramente la escala de Zipf está presente de forma asintótica para rangos altos; sin embargo, debido a la mezcla de diferentes N, aparecerán desviaciones de la ley exacta de Zipf para rangos bajos.

Más formalmente, cada dado N tiene un espacio de muestra, denotado por ΩN = {1, 2,…, N}, que es el número de resultados potenciales, es decir, el número de caras de dados N. Lanzar estos dados de la manera anterior da lugar a una secuencia de espacios de muestra anidados

La anidación de espacios de muestra en una secuencia dependiente del historial está en el corazón del origen de las leyes de escala en este tipo de proceso. Para más detalles, vea donde también se muestra que si se agrega ruido a los procesos dependientes del historial, se obtiene la ley de escalado PN(m) m m-λ, donde 0 << 1 es el nivel de ruido.

En este artículo, presentamos una derivación de la ley de frecuencias de palabras de Zipf, basada en un modelo simple para la formación de oraciones/discursos. El modelo está motivado por la observación de que el proceso de formar una oración, o más generalmente un discurso, es un proceso de reducción del espacio de muestra dependiente de la historia. Las palabras no se extraen al azar del espacio de muestra de todas las palabras posibles, sino que se usan en relaciones estrictas entre sí. El uso de palabras específicas en una oración restringe en gran medida el uso de palabras consecutivas, lo que lleva a un proceso de anidamiento (o reducción del espacio de muestra), similar al descrito anteriormente. El colapso del espacio de muestra en los textos es necesario para transmitir información significativa. De lo contrario, cualquier interpretación, incluso en términos metafóricos o poéticos, se volvería imposible. Vamos a hacer el punto más concreto con un ejemplo para la formación de una oración, donde las restricciones gramaticales y contextuales (que reducen el espacio de muestra) están en el trabajo (figura 2). Formamos la frase: «El lobo aúlla en la noche». En principio, la primera palabra ‘El lobo’ (ignorando artículos y preposiciones por el momento) se puede extraer de todas las palabras posibles. Supongamos que existen N palabras posibles, y denotan el espacio de muestra respectivo por ΩN = {1, 2, N, N}, donde cada número representa ahora una palabra. Esto se ilustra esquemáticamente en la figura 2a. Dado que elegimos’ El lobo ‘ de ΩN = {1, 2, N , N}, figura 2b, la siguiente palabra ahora (generalmente) no se elegirá de ΩN = {1, 2,…, N}, sino de un subconjunto de ella (figura 2c). Imagine que el subconjunto contiene palabras L, tenemos ΩL Ω ΩN. Normalmente, esperamos que el subconjunto contenga palabras que estén asociadas a propiedades de caninos, funciones biológicas, otros animales, etc. pero ya no todas las palabras posibles. Una vez que especificamos la segunda palabra ‘aullidos’ ∈ ΩL, el contexto, la inteligibilidad y la estructura gramatical restringen aún más el espacio de muestra para la tercera palabra a ΩM Ω ΩL, de la que finalmente sacamos ‘noche’. Obviamente, la anidación en la formación de oraciones es similar al ejemplo de los dados anidados antes. El anidamiento se impone a través de restricciones gramaticales y/o contextuales y/o interpretativas.

El papel de la gramática para el anidamiento es obvio. Típicamente en inglés, la primera palabra es un sustantivo con el papel gramatical del sujeto. El hecho de que la primera palabra sea un sustantivo restringe las posibilidades de la siguiente palabra al subconjunto de frases verbales. Dependiendo del verbo elegido en particular, las palabras que ahora pueden seguir suelen desempeñar el papel gramatical del objeto y, de nuevo, son más restringidas. Usamos los términos reducción de espacio de muestra y estructura jerárquica anidada en oraciones indistintamente. No es solo la estructura gramatical la que impone restricciones consecutivas al espacio muestral de palabras a medida que avanza la oración; la necesidad de inteligibilidad tiene el mismo efecto. Sin estructuras jerárquicas (al menos parciales) en la formación de oraciones, su interpretación sería muy difícil . Sin embargo, las estructuras anidadas en oraciones generalmente no se realizarán estrictamente. De lo contrario, el uso creativo y la flexibilidad del lenguaje se verían gravemente limitados. A veces, las palabras pueden actuar como una bisagra lingüística, lo que significa que permiten muchas más palabras consecutivas de las que estaban disponibles para su palabra anterior. Uno espera que la anidación se realice solo hasta cierto punto. El anidamiento imperfecto permite cierto grado de ambigüedad en el código lingüístico y es una de las fuentes de su asombrosa versatilidad .

En este artículo, cuantificamos el grado de anidación de un texto a partir de su matriz de transición de palabras M (red). Para caracterizar la estructura jerárquica de un texto con un solo número, definimos su anidamiento n como una propiedad de M por

donde el promedio se toma sobre todos los pares de palabras posibles (i, j). La anidación es un número entre 0 y 1, y especifica hasta qué punto la reducción de espacio de muestra está presente en promedio en el texto.1 Un sistema estrictamente anidado, como el que se muestra en la ecuación (1.2), tiene n(M) = 1. En términos lingüísticos, la anidación estricta es claramente poco realista.

Utilizamos matrices de transición de palabras de textos reales en inglés, que sirven como entrada a un modelo simple para la formación de oraciones. Luego estudiamos las distribuciones de frecuencia de palabras de estos textos producidos artificialmente y las comparamos con las distribuciones de los textos originales. Por primera vez, mostramos que es posible relacionar la característica topológica de la anidación (local) en la formación de oraciones con las características globales de las distribuciones de frecuencia de palabras de textos largos. En este sentido, proponemos una manera de entender las estadísticas de frecuencias de palabras—en particular, la ley de Zipf—por la característica estructural real del lenguaje, la anidación, sin necesidad de recurrir a intentos anteriores, incluidos procesos multiplicativos, apego preferencial o criticidad autoorganizada, que, en el contexto del lenguaje, a veces parecen basarse en suposiciones fuertes e inverosímiles.

Modelo

asumimos un vocabulario finito de N palabras. A partir de cualquier texto, obtenemos una matriz empírica de transición de palabras M. Las palabras se etiquetan con índices latinos. Mij = 1 significa que en el texto encontramos al menos una ocasión en la que la palabra j sigue directamente a i; si Mij = 0, la palabra j nunca sigue a i en todo el texto. La Figura 3a muestra la matriz de transición para el origen de las especies. Para cuantificar el espacio de muestra para palabras individuales, tenga en cuenta que una línea i en M contiene el conjunto de palabras, Ωi = {k|Mik = 1}, que siguen directamente a la palabra i. Por |Ωi|, denotamos el tamaño (número de elementos) de Ωi, que es el número de palabras diferentes que pueden seguir a i. Ωi es una aproximación para el volumen del espacio de muestra que es accesible después de que se haya producido la palabra i. Diferentes palabras tienen diferentes volúmenes de espacio de muestra (figura 3b), donde se muestra el perfil de espacio de muestra. Parametrizamos el perfil como yk = x, donde x corresponde al volumen del espacio de muestra | / Ωi/, e y al índice del espacio de muestra i. Llamamos a un sistema anidado linealmente si κ = 1 (como en la ecuación (1.2)), anidado débilmente para κ < 1 y anidado fuertemente si κ > 1 (como en la figura 3b). Se puede ver un ejemplo de un perfil débilmente anidado en una de las inserciones de la figura 4c. El parámetro κ tiene una interpretación intuitiva en términos de una medida de «estructuralidad» de las transiciones de palabras. En el caso de un perfil débilmente anidado (κ < 1), hay muchas palabras que pueden ser seguidas por muchas palabras diferentes, mientras que en un perfil fuertemente anidado (κ > 1), hay algunas palabras que son seguidas por muchas otras palabras, y muchas palabras que solo pueden ser seguidas por unas pocas. En este sentido, κ mide hasta qué punto las transiciones de palabras están efectivamente restringidas.

Tenga en cuenta que el perfil de la figura 3b en realidad no está bien equipado con una ley de potencia; la razón de la parametrización es un argumento puramente teórico que se aclarará a continuación. Excluimos las palabras que van seguidas de menos de dos palabras diferentes en todo el texto, es decir, eliminamos todas las líneas i de M para las que |Ωi / < 2. La anidación estricta no debe confundirse con la anidación fuerte o débil. Estas últimas son propiedades del perfil de espacio de muestra.

Para pruebas estadísticas, construimos dos versiones aleatorias de M, y las designamos por Mrand y Mrow-perm, respectivamente. La Mrand se obtiene permutando aleatoriamente las filas de las líneas individuales de la matriz M. Esto mantiene el número de entradas distintas de cero en cada línea igual que en la matriz original M, pero destruye su anidamiento y la información que las palabras se siguen entre sí. La segunda versión aleatoria Mrow-perm se obtiene permutando las filas (enteras) de la matriz M. Esto mantiene el nido de la matriz sin cambios, pero destruye la información sobre las transiciones de palabras.

Dado M, construimos oraciones aleatorias de longitud L con el siguiente modelo:

– Elige una de las N palabras al azar. Di que la palabra era i. Escribe i en una lista de palabras W, de modo que W = {i}.

– Salta a la línea i en M y elige aleatoriamente una palabra del conjunto Ωi. Diga que la palabra elegida es k; actualice la lista de palabras W = {i, k}.

– Salta a la línea k y elige una de las palabras de Ωk; digamos que obtienes j y actualizas W = {i, k, j}.

— Repita el procedimiento L veces. En esta etapa, se forma una oración aleatoria.

— Repita el proceso para producir Nsent frases.

De esta manera, obtenemos una lista de palabras con entradas L × Nsent, que es un libro aleatorio que se genera con la matriz de transición de palabras de un libro real. De la lista de palabras, obtenemos el modelo de distribución de frecuencia de palabras fm. El modelo actual es similar al de, pero difiere en tres aspectos: permite el anidamiento no perfecto n < 1, no tiene un componente de ruido explícito y tiene una longitud de secuencia (oración) fija.

Resultados

Analizamos el modelo con simulaciones por ordenador, especificando L = 10 y Nsent = 100 000. Utilizamos 10 libros elegidos aleatoriamente 2 del Proyecto Gutenberg (www.gutenberg.org). Para cada libro, determinamos su vocabulario N, su matriz M, su Ωi para todas las palabras, su anidamiento n (M) y el exponente de la distribución de frecuencia de palabras ordenada por rango α(ajustes mínimos cuadrados a f (r), rango de ajuste entre 5 ≤ r ≤ 200). f (r) se muestra para el origen de las especies en la figura 1 (azul); el exponente es α 0 0.90. Ejecutamos el modelo para los parámetros de cada libro individual para generar un texto aleatorio. El uso del Ωi empírico para el modelo asegura que este texto aleatorio tenga exactamente el mismo perfil de espacio de muestra y la anidación que el libro.

La distribución obtenida del modelo fmodel es claramente capaz de reproducir el exponente de la ley de potencia aproximada para El origen de la especie, amodel 0 0.86 (mismo rango de ajuste). Además, captura detalles de la distribución f. Para valores grandes de r en el modelo fm(r), se está formando una meseta antes de que se observe el corte de tamaño finito exponencial. Tanto la meseta como el punto de corte se pueden comprender completamente con el modelo aleatorizado.

En la figura 4a, comparamos los exponentes α extraídos de los libros con el modelo de resultados amodel. El modelo obviamente explica los valores reales en gran medida, subestimando ligeramente los exponentes reales. Obtenemos un coeficiente de correlación de ρ = 0.95 (p < 3.7 × 10-5). En la figura 4b, mostramos que el anidamiento n (M) está relacionado con los exponentes α de una manera aproximadamente lineal. Probamos la hipótesis de que al destruir el nido los exponentes desaparecerán. Usando la Mrand aleatoria, encontramos ( mismo rango de ajuste), que destruye efectivamente la ley de potencia. Usando la otra versión aleatoria que mantiene el nido intacto, Mrow-perm, para palabras de bajo rango (hasta un rango aproximado de aprox. 10), encontramos distribuciones de frecuencia de palabras similares a las de M; sin embargo, como era de esperar, la cola de la ley de potencia (rangos altos) desaparece para Mrow-perm debido a la contribución de ruido de la aleatorización (no se muestra). Para validar nuestra suposición de que el orden de palabras es esencial, calculamos las distribuciones de rango del modelo utilizando la matriz transpuesta MT, lo que significa que invertimos el flujo de tiempo en el modelo. Encontramos dos resultados. En primer lugar, la correlación entre los exponentes de los libros α y el modelo desaparece, reflejada por un coeficiente de correlación insignificante ρ = 0.47 (p = 0.17). En segundo lugar, los exponentes (promediados en los 10 libros) son significativamente más pequeños, que para el flujo de tiempo correcto, donde obtenemos La p-el valor de una prueba t es 0,039.

Finalmente, tratamos de entender la importancia del perfil de espacio de muestra en los exponentes de escala. Para ello, generamos una serie de matrices M que tienen un perfil parametrizado con una potencia κ. En la figura 4c, los exponentes modelo amodel de estos M generados artificialmente se muestran en función de κ, para varios tamaños de vocabulario N. Para κ < 1 (anidamiento débil), encontramos exponentes amodel ≈ 0, es decir, sin ley de escalado. Para N grande en κ = 1, se produce una transición rápida a amodelo ≈ 1 (Zipf). Para N más pequeño, encontramos un comportamiento más complicado de la transición, construyendo un exponente máximo en κ < 1. El rango de exponentes de libro α oscila entre 0,85 y 1.1, que es exactamente el rango observado para tamaños de vocabulario realistas N 1 1000-10 000. Verificamos que las variaciones en la longitud de la oración (con la excepción de L = 1) no cambian los resultados reportados. Para oraciones de una sola palabra (L = 1), obviamente obtenemos una distribución de frecuencia de palabras uniforme y, como consecuencia, una distribución de rango plano, ya que la mayoría de las palabras tienen casi el mismo rango. Variamos el número de oraciones de Nsent = 104 a 106, y no encontramos prácticamente ninguna influencia en los resultados reportados.

Discusión

En este artículo, nos centramos en la propiedad fundamental de la anidación en cualquier código que transmita información significativa, como el lenguaje. Argumentamos que si el anidamiento no estuviera presente, uno terminaría fácilmente en situaciones confusas como se describe en La Biblioteca de Babel de J. L. Borges, donde una biblioteca hipotética posee todos los libros compuestos de todas las combinaciones posibles de caracteres que llenan 410 páginas. Definimos y cuantificamos un grado de anidamiento en el código lingüístico. Los bajos grados de anidación típicamente implican una jerarquía menos estricta en el uso de palabras o un uso más igualitario del vocabulario, que los textos con anidación alta. Como era de esperar, los textos tienen una estructura bien definida, pero no estrictamente anidada, que podría surgir de un compromiso de especificidad (para transmitir mensajes inequívocos) y flexibilidad (para permitir un uso creativo del lenguaje). Encontramos que la anidación varía entre los diferentes textos, lo que sugiere que funcionan diferentes formas de usar el vocabulario y la gramática. Nuestra muestra de textos incluía tres obras de Shakespeare, tres textos científicos y cuatro novelas. Encontramos que las obras de teatro, tal vez más cercanas al lenguaje hablado, muestran un nido más bajo que los libros de ciencia. Las novelas muestran los niveles más altos de anidación. La muestra es demasiado pequeña para sacar conclusiones sobre si los diferentes tipos de textos se caracterizan por valores típicos de anidación; sin embargo, es notable que la anidación esté correlacionada con las variaciones de los exponentes de escala de las frecuencias de palabras libro por libro.

El principal hallazgo de este artículo es que un modelo simple de reducción de espacio de muestra puede mostrar que la anidación explica la aparición de leyes de escala en frecuencias de palabras, en particular, la ley de Zipf. Más precisamente, pudimos relacionar la aparición de leyes de escalado con la estructura topológica de la matriz de transición de palabras, o ‘espacio de fases’. El resultado es notable, ya que la matriz no codifica ninguna información sobre la frecuencia con la que la palabra j sigue a la palabra i, solo dice que j siguió a i al menos una vez en todo el texto. Las permutaciones aleatorias de la matriz que destruyen su nido ya no pueden explicar la escala, mientras que las permutaciones que mantienen el nido intacto indican la existencia de las leyes de poder. Además, es notable que no se necesiten suposiciones críticas preferenciales, multiplicativas o autoorganizadas (no locales) para comprender la escala observada, y que no se necesiten parámetros más allá de las matrices de transición de palabras.

El hecho de que el modelo simple tenga tanto éxito en la reproducción de la propiedad de escala detallada en las estadísticas de frecuencia de palabras podría apuntar a un aspecto importante del lenguaje que no se ha observado hasta ahora; el hecho de que el uso general de palabras está fuertemente influenciado estadísticamente por el uso de estructuras jerárquicas locales y restricciones que usamos en la generación de oraciones. Creemos que la estrecha relación entre la anidación y el exponente de escala abre la puerta a una interpretación de las distribuciones de frecuencia de palabras como un observable estadístico que depende en gran medida del uso del vocabulario y la gramática dentro de un idioma. En consecuencia, conjeturamos que la ley de Zipf podría no ser universal, pero que las estadísticas de uso de palabras dependen de estructuras locales que pueden ser diferentes entre los textos e incluso dentro de las oraciones. Es necesario seguir investigando para aclarar este punto.

Finalmente, vale la pena señalar que la clase de procesos de reducción de espacio de muestra proporciona una ruta independiente a la escala que podría tener una amplia gama de aplicaciones para procesos dependientes de la historia y de envejecimiento . En física estadística, se sabe que los procesos que reducen sucesivamente su espacio de fases a medida que se desarrollan se caracterizan por la ley de potencia o funciones de distribución exponencial estiradas. Estas distribuciones genéricamente surgen como consecuencia del colapso del espacio de fases .

Contribuciones de los autores

S. T. diseñó la investigación, realizó análisis numéricos y escribió el manuscrito. R. H. y B. C.-M. realizaron análisis numéricos y escribieron el manuscrito. B. L. hizo el preprocesamiento de los libros y realizó análisis numéricos.

intereses contrapuestos

Los autores declaran no hay intereses financieros.

Financiación

Este trabajo contó con el apoyo del Fondo Científico Austríaco FWF en el marco de KPP23378FW.

Notas al pie de página