Loi de Zipf

Loi de Zipf
Fonction de masse pour N = 10 dans un repère log-log. L'axe horizontal est l'indice k (la fonction est discrète, les droites de couleur n'indiquent pas de continuité).
Fonction de répartition pour N = 10. L'axe horizontal est l'indice k (la fonction est discrète, les courbes de couleur n'indiquent pas de continuité).
Paramètres	$s>0\,$ $N\in \{1,2,3\ldots \}$
Support	$k\in \{1,2,\ldots ,N\}$
Fonction de masse	${\frac {1}{H_{N,s}}}{\frac {1}{k^{s}}}$
Fonction de répartition	${\frac {H_{k,s}}{H_{N,s}}}$
Espérance	${\frac {H_{N,s-1}}{H_{N,s}}}$
Mode	$1\,$
Entropie	${\frac {s}{H_{N,s}}}\sum _{k=1}^{N}{\frac {\ln(k)}{k^{s}}}+\ln(H_{N,s})$
Fonction génératrice des moments	${\frac {1}{H_{N,s}}}\sum _{n=1}^{N}{\frac {e^{nt}}{n^{s}}}$
Fonction caractéristique	${\frac {1}{H_{N,s}}}\sum _{n=1}^{N}{\frac {e^{int}}{n^{s}}}$

La loi de Zipf est une observation empirique concernant la fréquence des mots dans un texte. Elle a été formulée en 1932 par le linguiste George Kingsley Zipf (1902-1950), mais plusieurs auteurs ont contribué à sa mise en forme, dont Jean-Baptiste Estoup en 1912. Elle a été par la suite démontrée à partir de formules de Shannon par Benoît Mandelbrot. Elle est parfois utilisée en dehors de ce contexte, par exemple au sujet de la taille et du nombre des villes dans chaque pays, lorsque cette loi semble mieux répondre aux chiffres que la distribution de Pareto.

Genèse

Fréquence des mots en fonction du rang dans la version originale d'Ulysse de James Joyce.

Zipf avait entrepris d'analyser une œuvre monumentale de James Joyce, Ulysse, d'en compter les mots distincts et de les présenter par ordre décroissant du nombre d'occurrences. La légende dit que :

• le mot le plus courant revenait 8 000 fois ;
• le dixième mot 800 fois ;
• le centième, 80 fois ;
• et le millième, 8 fois.

Toutefois ces résultats semblent un peu trop précis pour être parfaitement exacts : le dixième mot dans une étude de ce genre devrait apparaître environ 1 000 fois, en raison d'un effet de coude observé dans ce type de distribution. Il reste que la loi de Zipf prévoit que dans un texte donné, la fréquence d'occurrence $f(n)$ d'un mot est liée à son rang n dans l'ordre des fréquences par une loi de la forme $f(n)={\frac {K}{n}}$ où $K$ est une constante.

Point de vue théorique

Mathématiquement, il est impossible pour la version classique de la loi de Zipf d'affirmer exactement qu'il existe une infinité de mots dans une langue puisque, pour toute constante de proportionnalité $c>0$, la somme de toutes les fréquences relatives est proportionnelle à la série harmonique et doit être

$\sum _{n=1}^{+\infty }{\frac {c}{n}}=+\infty \neq 1.$

Des observations citées par Léon Brillouin dans son livre Science et théorie de l'information suggérèrent qu'en anglais, les fréquences parmi les mille mots les plus fréquemment utilisés étaient approximativement proportionnelles à ${\frac {1}{n^{s}}}\,$ avec s juste légèrement plus grand que 1. On sait toutefois que le nombre de mots d'une langue est limité. Le vocabulaire (passif) d'un enfant de 10 ans tourne autour de 5 000 mots