commit 6d6dd0473fedf4ef96f982d5528808f77f0cd35a Author: MambetniyazovAmir Date: Mon May 25 10:46:22 2020 +0500 minor changes diff --git a/apertium-uzb-kaa.uzb-kaa.dix b/apertium-uzb-kaa.uzb-kaa.dix index 933c5a0..e360b4d 100644 --- a/apertium-uzb-kaa.uzb-kaa.dix +++ b/apertium-uzb-kaa.uzb-kaa.dix @@ -19482,5 +19482,17 @@

zigʻirkor zıǵırkar

zoʻraki jasalma

 + +

yana jáne

 +

keyin keyin

 +

iliq jıllı

 +

ham hám

 +

vaqt waqıt

 +

AsalAsal

 +

uy úy

 +

ol al

 +

ular olar

 +

tashqari sırt

 + diff --git a/testvoc/corpus/uzb-kaa-new-wer.txt b/testvoc/corpus/uzb-kaa-new-wer.txt new file mode 100644 index 0000000..a8e50a5 --- /dev/null +++ b/testvoc/corpus/uzb-kaa-new-wer.txt @@ -0,0 +1,28 @@ +Test file: 'testvoc/corpus/uzb-kaa-new.txt' +Reference file 'testvoc/corpus/kaa.txt' + +Statistics about input files +------------------------------------------------------- +Number of words in reference: 347 +Number of words in test: 338 +Number of unknown words (marked with a star) in test: 70 +Percentage of unknown words: 20.71 % + +Results when removing unknown-word marks (stars) +------------------------------------------------------- +Edit distance: 224 +Word error rate (WER): 64.55 % +Number of position-independent correct words: 139 +Position-independent word error rate (PER): 59.94 % + +Results when unknown-word marks (stars) are not removed +------------------------------------------------------- +Edit distance: 231 +Word Error Rate (WER): 66.57 % +Number of position-independent correct words: 132 +Position-independent word error rate (PER): 61.96 % + +Statistics about the translation of unknown words +------------------------------------------------------- +Number of unknown words which were free rides: 7 +Percentage of unknown words that were free rides: 10.00 % diff --git a/testvoc/corpus/uzb-kaa-new.txt b/testvoc/corpus/uzb-kaa-new.txt new file mode 100644 index 0000000..370c8a8 --- /dev/null +++ b/testvoc/corpus/uzb-kaa-new.txt @@ -0,0 +1 @@ +ÁZIZ #QAY JERDE? Áziz #menen #Asal baǵda. Búgin *ob-hawa júdá jaqsı, #jıllı. Lekin keshe júdá suwıq boldı. Usı #sebep @li *ular *tashqarida *o’*ynay *olishmadi. Áziz *va #Asal #oyna jaqsı #soqır, *ular #hár *doyim úlken *uyning #aldı baǵda birge *o’*ynashadi. Áziz altı *yoshli kishkene bala. Qız onıń *singlisi, ol bes *yoshda. Ázizdiń kishkene bir *kuchugi #bar, házir ol #awa baǵda. #Kushık balalar #menen #oyna jaqsı #soqır. *Kuchugi házir júdá *xursand. #Asal #chi, *kuchugi *bormi? Joq, #Asal *kuchugi joq, onıń *mushugi #bar. Lekin *mushugi *uyda, uyıqlamaqta. *Ularning anası *mushugi #menen birge *uyda, ol áynekten Áziz #menen #Asal *oyiniga qarap turǵan eken. Áziz eski bir terekke qarap tez júgirip ketpekte, ol #Asal *yashiriniyabdi. Ne ushın *ekanligini bilesizlir ma? Pal qolı #menen #kóz jabıp otırǵan eken. Ol hesh zattı #soqır, ol sanamaqta. #Asal ne ushın #bunday qılmaqta? *Va Áziz terek *yonida ne qılmaqta? Bul oyın. #Asal sanap bolǵanınan *keyin átirapına qaradı. Ol "#Azamat #qay jerge ketti? Onı #soqır ma?" dep qıdırmaqta. #Asal Ázizdiń #qay jerde *ekanligini bilmeydi. #Kushık "Ázizdi #soqır ma?" dep soramaqta. Lekin, álbette, #kushık *gapira *olmaydi. Usınıń ushın #Asal óz sorawına juwap #ala *olmadi. #Odam *iyt #menen *gaplashganida odan hesh *qachon juwap #ala *olishmaydi! #Asal áynekten anasına qaraydı, anası ırjıymaqta. #Asal ol Ázizdiń #qay jerge *ketganligini biledi *dep oylamaqta. "Áziz #qay jerde, aytıńlar!" dep soraydı. "Joq, #Asal, *ayta *olmayman!" - dep anası juwap *berdi. Ol Ázizdiń #qay jerde *ekanligini #bil #awa #ayt *xohlamadi. #Asal baǵ ishinde #áste júrgen eken. Ol *haliyam Ázizdi #tap háreket qılmaqta. Ol stol *va stullardıń *tagini qıdırıp júrgen eken, lekin Áziz hesh #qay jerde joq. #Asal hámme jaydı qıdırıp júrgen eken, lekin onı *topa *olmayabdi. *Keyin ol bir *avoz esitti, bul *avoz eski úlken terektiń #artıdan shıqpaqta. Bul Áziz #bolıw *mumkun. *Avoz *yana esitildi! #Asal #dıqqat #menen tıńlaydı. Bul qus #awa, haywan #awa emes. Ol *avozni jaqsı esitpekte. Bul Áziz #bol kerek! *Keyin ol bir kishkene qol #soqır, *yaqinroq barǵanında #bolsa, basın #awa #soqır. #Asal "Men *seni *toptim!" - dep kúledi. *Ular #eki #awa *hursand bolıp *uyiga kelmekte, bir zat jep, *oziroq suw *ichadigan *vaqt boldı. \ No newline at end of file diff --git a/testvoc/corpus/uzb-kaa-next-wer.txt b/testvoc/corpus/uzb-kaa-next-wer.txt new file mode 100644 index 0000000..96b28c7 --- /dev/null +++ b/testvoc/corpus/uzb-kaa-next-wer.txt @@ -0,0 +1,28 @@ +Test file: 'testvoc/corpus/uzb-kaa-next.txt' +Reference file 'testvoc/corpus/kaa.txt' + +Statistics about input files +------------------------------------------------------- +Number of words in reference: 347 +Number of words in test: 338 +Number of unknown words (marked with a star) in test: 47 +Percentage of unknown words: 13.91 % + +Results when removing unknown-word marks (stars) +------------------------------------------------------- +Edit distance: 212 +Word error rate (WER): 61.10 % +Number of position-independent correct words: 153 +Position-independent word error rate (PER): 55.91 % + +Results when unknown-word marks (stars) are not removed +------------------------------------------------------- +Edit distance: 216 +Word Error Rate (WER): 62.25 % +Number of position-independent correct words: 149 +Position-independent word error rate (PER): 57.06 % + +Statistics about the translation of unknown words +------------------------------------------------------- +Number of unknown words which were free rides: 4 +Percentage of unknown words that were free rides: 8.51 % diff --git a/testvoc/corpus/uzb-kaa-next.txt b/testvoc/corpus/uzb-kaa-next.txt new file mode 100644 index 0000000..bd18bfd --- /dev/null +++ b/testvoc/corpus/uzb-kaa-next.txt @@ -0,0 +1 @@ +ÁZIZ #QAY JERDE? Áziz #menen #Asal baǵda. Búgin *ob-hawa júdá jaqsı, jıllı. Lekin keshe júdá suwıq boldı. Usı #sebep @li olar sırtta *o’*ynay *olishmadi. Áziz *va #Asal #oyna jaqsı #soqır, olar #hár *doyim úlken úydiń #aldı baǵda birge *o’*ynashadi. Áziz altı *yoshli kishkene bala. Qız onıń *singlisi, ol bes *yoshda. Ázizdiń kishkene bir *kuchugi #bar, házir ol hám baǵda. Kushık balalar #menen #oyna jaqsı #soqır. *Kuchugi házir júdá *xursand. #Asal #chi, *kuchugi *bormi? Joq, #Asal *kuchugi joq, onıń *mushugi #bar. Lekin *mushugi úyde, uyıqlamaqta. Olardıń anası *mushugi #menen birge úyde, ol áynekten Áziz #menen #Asal *oyiniga qarap turǵan eken. Áziz eski bir terekke qarap tez júgirip ketpekte, ol #Asal *yashiriniyabdi. Ne ushın *ekanligini bilesizlir ma? Pal qolı #menen #kóz jabıp otırǵan eken. Ol hesh zattı #soqır, ol sanamaqta. #Asal ne ushın #bunday qılmaqta? *Va Áziz terek *yonida ne qılmaqta? Bul oyın. #Asal sanap bolǵanınan keyin átirapına qaradı. Ol "#Azamat #qay jerge ketti? Onı #soqır ma?" dep qıdırmaqta. #Asal Ázizdiń #qay jerde *ekanligini bilmeydi. Kushıkten "Ázizdi #soqır ma?" dep soramaqta. Lekin, álbette, kushık *gapira almaydı. Usınıń ushın #Asal óz sorawına juwap #ala almadı. #Odam *iyt #menen *gaplashganida odan hesh *qachon juwap #ala *olishmaydi! #Asal áynekten anasına qaraydı, anası ırjıymaqta. #Asal ol Ázizdiń #qay jerge *ketganligini biledi *dep oylamaqta. "Áziz #qay jerde, aytıńlar!" dep soraydı. "Joq, #Asal, *ayta almayman!" - dep anası juwap *berdi. Ol Ázizdiń #qay jerde *ekanligini #bil hám #ayt *xohlamadi. #Asal baǵ ishinde #áste júrgen eken. Ol *haliyam Ázizdi #tap háreket qılmaqta. Ol stol *va stullardıń *tagini qıdırıp júrgen eken, lekin Áziz hesh #qay jerde joq. #Asal hámme jaydı qıdırıp júrgen eken, lekin onı *topa #al. Keyin ol bir dawıs esitti, bul dawıs eski úlken terektiń #artıdan shıqpaqta. Bul Áziz #bolıw múmkin. Dawıs jáne esitildi! #Asal #dıqqat #menen tıńlaydı. Bul qus hám, haywan hám emes. Ol dawıstı jaqsı esitpekte. Bul Áziz #bol kerek! Keyin ol bir kishkene qol #soqır, *yaqinroq barǵanında #bolsa, basın hám #soqır. #Asal "Men *seni *toptim!" - dep kúledi. Olar #eki hám *hursand bolıp úyine kelmekte, bir zat jep, *oziroq suw *ichadigan waqıt boldı. diff --git a/testvoc/corpus/uzb.txt b/testvoc/corpus/uzb.txt index 439239e..5a1b407 100644 --- a/testvoc/corpus/uzb.txt +++ b/testvoc/corpus/uzb.txt @@ -1 +1 @@ -AZIZ QAYERDA? Aziz bilan Asal bog’da. Bugun ob-havo juda yaxshi, iliq. Lekin kecha juda sovuq bo’ldi. Shu sababli ular tashqarida o’ynay olishmadi. Aziz va Asal o’ynashni yaxshi ko’radi, ular har doyim katta uyning oldidagi bog’da birga o’ynashadi. Aziz olti yoshli kichkina bola. Qiz uning singlisi, u besh yoshda. Azizning kichkina bir kuchugi bor, hozir u ham bog’da. Kuchuk bolalar bilan o’ynashni yaxshi ko’radi. Kuchugi hozir juda xursand. Asalning chi, kuchugi bormi? Yo’q, Asalning kuchugi yo’q, uning mushugi bor. Lekin mushugi uyda, uxlayabdi. Ularning onasi mushugi bilan birga uyda, u derazadan Aziz bilan Asalning oyiniga qarab turibdi. Aziz eski bir daraxtga qarab tez yugurib ketiyabdi, u Asaldan yashiriniyabdi. Nima uchun ekanligini bilasizmi? Asal qo’li bilan ko’zlarini yopib o’tiribdi. U hech narsani ko’rmayabdi, u sanayabdi. Asal nima uchun bunday qilayabdi? Va Aziz daraxt yonida nima qilayabdi? Bu o’yin. Asal sanab bo’lganidan keyin atrofiga qaradi. U "Azamat qayerga ketdi? Uni ko’rdingizmi?" deb qidiryabdi. Asal Azizning qayerda ekanligini bilmaydi. Kuchukdan "Azizni ko’rdingmi?" deb so’rayabdi. Lekin, albatta, kuchuk gapira olmaydi. Shuning uchun Asal o’z savoliga javob ola olmadi. Odamlar iyt bilan gaplashganida undan hech qachon javob ola olishmaydi! Asal derazadan onasiga qaraydi, onasi jilmayiyabdi. Asal u Azizning qayerga ketganligini biladi dep o’ylayabdi. "Aziz qayerda, ayting!" deb so’raydi. "Yo’q, Asal, ayta olmayman!" - deb onasi javob berdi. U Azizning qayerda ekanligini bilsa ham aytishni xohlamadi. Asal bog’ ichida sekin yuribdi. U haliyam Azizni topishga harakat qilayabdi. U stol va stullarning tagini qidirib yuribdi, lekin Aziz hech qayerda yo’q. Asal hamma joyni qidirib yuribdi, lekin uni topa olmayabdi. Keyin u bir avoz eshitdi, bu avoz eski katta daraxtning ortidan chiqiyabdi. Bu Aziz bo’lishi mumkun. Avoz yana eshitildi! Asal diqqat bilan tinglaydi. Bu qush ham, hayvon ham emas. U avozni yaxshi eshitayabdi. Bu Aziz bo’lishi kerak! Keyin u bir kichkina qo’l ko’radi, yaqinroq borganida esa, boshini ham ko’radi. Asal "Men seni toptim!" - deb kuladi. Ular ikkalasi ham hursand bo’lib uyiga keliyabdi, bir narsa yeb, oziroq suv ichadigan vaqt bo’ldi. \ No newline at end of file +AZIZ QAYERDA? Aziz bilan Asal bog’da. Bugun ob-havo juda yaxshi, iliq. Lekin kecha juda sovuq bo’ldi. Shu sababli ular tashqarida o’ynay olishmadi. Aziz va Asal o’ynashni yaxshi ko’radi, ular har doyim katta uyning oldidagi bog’da birga o’ynashadi. Aziz olti yoshli kichkina bola. Qiz uning singlisi, u besh yoshda. Azizning kichkina bir kuchugi bor, hozir u ham bog’da. Kuchuk bolalar bilan o’ynashni yaxshi ko’radi. Kuchugi hozir juda xursand. Asalning chi, kuchugi bormi? Yo’q, Asalning kuchugi yo’q, uning mushugi bor. Lekin mushugi uyda, uxlayabdi. Ularning onasi mushugi bilan birga uyda, u derazadan Aziz bilan Asalning oyiniga qarab turibdi. Aziz eski bir daraxtga qarab tez yugurib ketiyabdi, u Asaldan yashiriniyabdi. Nima uchun ekanligini bilasizmi? Asal qo’li bilan ko’zlarini yopib o’tiribdi. U hech narsani ko’rmayabdi, u sanayabdi. Asal nima uchun bunday qilayabdi? Va Aziz daraxt yonida nima qilayabdi? Bu o’yin. Asal sanab bo’lganidan keyin atrofiga qaradi. U "Azamat qayerga ketdi? Uni ko’rdingizmi?" deb qidiryabdi. Asal Azizning qayerda ekanligini bilmaydi. Kuchukdan "Azizni ko’rdingmi?" deb so’rayabdi. Lekin, albatta, kuchuk gapira olmaydi. Shuning uchun Asal o’z savoliga javob ola olmadi. Odamlar iyt bilan gaplashganida undan hech qachon javob ola olishmaydi! Asal derazadan onasiga qaraydi, onasi jilmayiyabdi. Asal u Azizning qayerga ketganligini biladi dep o’ylayabdi. "Aziz qayerda, ayting!" deb so’raydi. "Yo’q, Asal, ayta olmayman!" - deb onasi javob berdi. U Azizning qayerda ekanligini bilsa ham aytishni xohlamadi. Asal bog’ ichida sekin yuribdi. U haliyam Azizni topishga harakat qilayabdi. U stol va stullarning tagini qidirib yuribdi, lekin Aziz hech qayerda yo’q. Asal hamma joyni qidirib yuribdi, lekin uni topa olmayabdi. Keyin u bir ovoz eshitdi, bu ovoz eski katta daraxtning ortidan chiqiyabdi. Bu Aziz bo’lishi mumkin. Ovoz yana eshitildi! Asal diqqat bilan tinglaydi. Bu qush ham, hayvon ham emas. U ovozni yaxshi eshitayabdi. Bu Aziz bo’lishi kerak! Keyin u bir kichkina qo’l ko’radi, yaqinroq borganida esa, boshini ham ko’radi. Asal "Men seni toptim!" - deb kuladi. Ular ikkalasi ham hursand bo’lib uyiga keliyabdi, bir narsa yeb, oziroq suv ichadigan vaqt bo’ldi.