Prawo Zipfa

[ArturJD]

Znalazłem coś takiego, pewnie to znacie:
https://www.youtube.com/watch?v=fCn8zs912OE

Czy dzieje się to również w językach sztucznych? W Tjevango mam za mało tekstów aby to sprawdzić, jak to się u Was dzieje? Może byłby to test na dobry konlang, czy krzywa układa się tak czy siak zawsze w ten sam sposób?

[Henryk Pruthenia]

Nie przejrzałem filmiku,  bowiem na tym kanale są też filmiki o teorii płaskiej ziemi.

[Obcy]

Ciekawe prawo, tylko jest problem: moje języki są silnie fleksyjnie i wyszłoby bardzo dużo słów występujących niezbyt często, co by nie dało wiarygodnego wyniku. Gdybym miał sprawdzać tę regułę w szemierskim, to bym się doliczył, że każde słowo występuje podobnie często, bo można utworzyć z jednego rzeczownika lub czasownika ze sto innych  :-P A można zmodyfikować tę regułę tak, by liczyć tylko rdzenie słów i częstość występowania tych rdzeni? I przede wszystkim: zna ktoś narzędzia, by sprawdzić to prawo?

[ArturJD]

Nie przejrzałem filmiku,  bowiem na tym kanale są też filmiki o teorii płaskiej ziemi.

Znajdziesz tam też filmiki typu "co się stanie, jak wszyscy podskoczyliby na Ziemi na raz" albo "co by się stało, jeśli przełoży się długą słomkę przez atmosferę, ale one są takie dla beki. Fajne są filmiki np. o paradoksie Banacha czy "what if you were born in space" i inne tego typy "symulacje" oraz wyjaśnienia czy przedstawienia różnych teorii. A w tym filmiku o płaskiej Ziemi chodzi o to, jak wyglądałaby fizyka takiej bryły (pomijając fakt, że samo jej powstanie byłoby nie możliwe z powodu siły grawitacji).

Ciekawe prawo, tylko jest problem: moje języki są silnie fleksyjnie i wyszłoby bardzo dużo słów występujących niezbyt często, co by nie dało wiarygodnego wyniku. Gdybym miał sprawdzać tę regułę w szemierskim, to bym się doliczył, że każde słowo występuje podobnie często, bo można utworzyć z jednego rzeczownika lub czasownika ze sto innych  :-P A można zmodyfikować tę regułę tak, by liczyć tylko rdzenie słów i częstość występowania tych rdzeni?

Myślę, że tak. Jak to już ktoś tu określił, języki aglutynacyjne i analityczne różnią się tylko tym, że te pierwsze nie mają tyle spacji.

I przede wszystkim: zna ktoś narzędzia, by sprawdzić to prawo?

Dołączam się do pytania!

[Henryk Pruthenia]

Ctrl f?

[Toivo]

Czy dzieje się to również w językach sztucznych?

Nie sprawdzałem dla moich conlangów, ale to bardzo powszechnie znane prawo i raczej można być pewnym, że działa. Różnić się może co najwyżej stała, przez którą mnożymy.

Tutaj coś naukowego na ten temat. Gdzieś był też do tego artykuł.

[Towarzysz Mauzer]

Ciekawe prawo, tylko jest problem: moje języki są silnie fleksyjnie i wyszłoby bardzo dużo słów występujących niezbyt często, co by nie dało wiarygodnego wyniku. Gdybym miał sprawdzać tę regułę w szemierskim, to bym się doliczył, że każde słowo występuje podobnie często, bo można utworzyć z jednego rzeczownika lub czasownika ze sto innych  :-P A można zmodyfikować tę regułę tak, by liczyć tylko rdzenie słów i częstość występowania tych rdzeni? I przede wszystkim: zna ktoś narzędzia, by sprawdzić to prawo?

Ale częstość nie ma nic wspólnego z derywacją - to kompletnie nieistotne dla frekwencji słów, z jakich pochodzą rdzeni. W tekstach języka naturalnego dystrybucja słów przebiega zgodnie z prawem Zipfa z uwagi na strukturę informacji - im częstsze słowo, tym bardziej dąży do informacyjnej entropii - czyli po prostu przekazuje mniej informacji.

Narzędzie do przebadania? Jakikolwiek skrypt zliczający częstość słów w tekście (może być AntConc) i Excel do porównania korelacji częstości słów w korpusie i rozkładu przewidywanego prawem Zipfa (1 / [ pozycja słowa na liście frekwencyjnej * ln(1,78 * liczba słów w korpusie) ] ).