はじめに

書かれたテキストは、単語頻度のランク順分布がおおよそのべき乗則に従うことを示す顕著な特徴を示している

1.1

ここで、Rはテキスト内のすべての単語に割り当てられているランクです。 ほとんどのテキストでは、言語、創造の時間、文学のジャンル、その目的などにかかわらず。 これはZipfの法則と呼ばれます。 図1では、ダーウィンのテキスト”種の起源”の単語頻度を示しています。 この統計的規則性の起源を理解するための探求は、ほぼ一世紀にわたって続いています。 Zipf自身は、送信者と受信者による通信イベントに投資された努力に基づいて定性的な説明を提供しました。 これらのアイデアは、後に情報理論的枠組みの中で形式化されました。 テキスト生成に関する言語的仮定に基づく最初の定量的モデルは、Simonによって提案されている。 このモデルでは、テキストの生成にコンテキストが現れると、テキストに既に登場している単語が他の単語よりも好まれることを前提としています。 以前に出現した単語が以前の出現に比例した確率でテキストに追加されるという単純な仮定（優先添付）と、これまで出現していない単語が一定の割合で追加されると仮定することにより、後者の割合が低いことを考えると、ジップフの法則を導出することができる。 この優先添付モデルは，テキストの長さが増加するにつれて新しい単語の出現率が減少するという経験的事実を実装することによって洗練された。 古典的な研究では、ランダムなタイプライティングモデルが単語頻度のZipfのような分布につながることが示されています。 しかし、これらの作品は語長分布に関する非現実的な仮定に基づいており、構造化されておらず、解釈できないテキストにつながります。 しかし，本稿で示すように，文法構造は談話生成メカニズムと共同して，現実的な文脈におけるＺｉｐｆの法則の起源に不可欠な役割を果たす可能性がある。 言語特性の詳細な統計的研究はここで終わらないことを強調することが重要です。 最近の研究では、スケーリング指数の研究中のテキストの本文の長さへの詳細な依存性を扱っています。

Zipfの法則は、単語の頻度に限定されるものではなく、無数の、一見無関係な、システムやプロセスに現れます。 いくつか言及するだけで、それは会社の大きさ、都市の大きさ、ゲノム、家族の名前、収入、金融市場、インターネットのファイルサイズ、または人間の行動の統計 Zipfの法則の起源、そしてより一般的には複雑なシステムにおけるスケーリングの起源を理解するために多大な努力がなされてきました。 スケーリングには、乗法的プロセス、優先的プロセス、自己組織化された臨界の三つの主要なルートがあります。 スケーリングへのこれらの基本的なルートに多かれ少なかれ関連するいくつかの他のメカニズムが提案されている（例えば）。

最近、時間の経過とともに潜在的な結果（サンプル空間）を減らす確率的プロセスに基づいて、スケーリングへの第四の独立したルートが導入されました。 これらは歴史に依存するランダム過程であり、数学文献のさまざまな文脈で研究されており、最近ではスケーリング則の文脈で研究されています。 サンプル空間削減プロセスの例は次のとおりです。 ダイ番号1は、1つの顔を持っているN個のサイコロのセットを考える,ダイ番号2は、2つの面を持っています(コイン),ダイ番号3は、というように3つの面を持っています,と. ダイ番号NはN面を持っています。 それを投げるとkと言っていた得られた額面を記録し、その後、ダイ番号k−1を取るそれを投げる、jを取得し、レコードjを、ダイ番号j−1を取る、それを投 あなたが初めて1を投げるまで、このようにサイコロを投げ続けます。 フェースが1つ未満のダイがないため、ここでプロセスが終了します。 上記の処方（i、k、j、…、1）に記録された額面のシーケンスは、明らかに厳密に順序付けられているか、ネストされています。i>k>j>>1。 で,このプロセスが何度も繰り返されている場合ことを厳密に示されました,結果の分布(額面1,2,…,N)正確なZipfの法則です,すなわち.上記のプロセスで額面mを観察する確率(スローのシーケンス)正確にPN(m)=m−1,我々はN個のサイコロで始まる与えられました. 正確なZipfの法則を得るためには、プロセスの繰り返し中にNを固定しておく必要があることに注意してください。 繰り返し中にNが変化すると、明らかにZipfスケーリングは高ランクに対して漸近的に存在しますが、異なるNの混合のために、正確なZipf則からの偏差は低ランクに対して表示されます。より形式的には、すべてのダイNは、Ω N={1,2,…,N}で表されるサンプル空間を持ち、これは潜在的な結果の数、すなわちサイコロNの面の数である。 上記の方法でこれらのサイコロを投げると、ネストされたサンプルスペースのシーケンスが生じます

1.2

履歴依存シーケンス ここで、0<<1はノイズレベルです。

本稿では、文/談話形成のための簡単なモデルに基づいて、単語頻度のZipfの法則の導出を提示します。 このモデルは、文を形成するプロセス、またはより一般的には談話を形成するプロセスが歴史に依存するサンプル空間減少プロセスであるという 単語は、すべての可能な単語のサンプル空間からランダムに引き出されるのではなく、互いに厳密な関係で使用されます。 文中の特定の単語の使用は、連続した単語の使用を非常に制限し、上記のものと同様のネスト（またはサンプルスペース削減）プロセスにつながります。 意味のある情報を伝えるためには，テキスト中のサンプル空間の崩壊が必要である。 そうでなければ、たとえ比喩的または詩的な言葉であっても、いかなる解釈も不可能になるでしょう。 文法的制約と文脈的制約（サンプル空間を減らす）の両方が機能している文の形成の例を使って、この点をより具体的にしましょう（図2）。 私たちは文を形成します：”オオカミは夜に遠吠え”。 原則として、最初の単語’the wolf’（現時点では記事と前置詞を無視して）は、すべての可能な単語から引き出すことができます。 N個の可能な単語が存在すると仮定し、それぞれのサンプル空間をΩ N={1,2,…,N}で表します。 Ω N={1,2,…,N}、図2bから’the wolf’を選択したとすると、次の単語は（通常）Ω n={1,2,…,N}からではなく、そのサブセットから選択されます（図2c）。 部分集合がL個の単語を含んでいると仮定すると、Ω L∩Ω Nがあります。 典型的には、サブセットは、犬歯、生物学的機能、他の動物などの特性に関連する単語を含むことが期待される。 しかし、すべての可能な言葉はもうありません。 第二の単語”howls”≤Ω Lを指定すると、文脈、明瞭度、文法構造は、第三の単語のサンプル空間をΩ M≤Ω Lにさらに制限し、そこから最終的に”夜”を描きます。 明らかに、文の形成におけるネストは、前のネストされたサイコロの例に似ています。 ネストは、文法的および/または文脈的、および/または解釈的な制約によって課されます。