Azərbaycan dilində süni intellekt və NLP-nin inkişafı üçün layihə hazırlanıb
Biz bir neçə gəncdən ibarət komanda Azərbaycan dilində süni intellekt və NLP-nin inkişafı üçün layihə hazırlayıb.
Komandanın üzvü Kənan Süleymanlının Marja-ya təqdim etdiyi məlumatda bildirilir ki, son günlərdə süni intellekt və NLP (təbii dil işlənməsi, ing., “natural language processing”) bütün dünyada trend olduğunun şahidi oluruq. Xüsusilə, ChatGPT kimi söhbət botlarının hər kəsimdən şəxsin istifadəsində olması bu sahəni daha maraqlı edir. Bir çox sahədə olduğu kimi sözügedən sahələrdə də əksər tədqiqat işləri ingilis dili kimi yüksək resurslu dillərlə aparılmasına, az resurslu dillər üçün bu kimi sahələrdə ikinci planda olduğuna şahid olmaqdayıq. Ana dilimiz də bu az resurslu dillər siyahısında olduğundan süni intellekt və NLP kimi sahələrdə ana dilimizdə resurs və alət tapmaq demək olar ki, mümkün deyildi. Lakin son günlərdə bir neçə gəncdən ibarət komandanın hazırladığı NLP üçün ən vacib detallardan biri olan azərbaycanca korpus bu sektordan olan hər kəsin marağını cəlb etməkdədir.
Müxtəlif NLP layihələrində (mətn yaratma, çatbotlar və s.) istifadə oluna biləcək “azcorpus” Azərbaycan dilində ümumilikdə 1,9 milyon mətndən və təqribən 18 milyon cümlədən ibarətdir. Mətnlər xəbər saytları, jurnallar, vikipediya məqalələri, kitablar daxil olmaqla müxtəlif mənbələrdən seçilmişdir və siyasət, iqtisadiyyat, elm, mədəniyyət, idman, tarix, cəmiyyət və s. o cümlədən bir sıra digər mövzuları əhatə edən mətnlərlə janr və mövzu üzrə əhatə olunub.
Ən əsası isə, “azcorpus” təkcə bədii ədəbiyyat deyil, həm də fizika, kimya və s. kimi elmi mətnləri də əhatə edəcək şəkildə genişləndirilib.
“Azcorpus”da hal-hazırda 3 müxtəlif mənbədən götürülmüş (az_books, az_wiki və az_news) və təmizlənmiş toplamda 1,876,492 sənəd var. Hazırda korpusun ümumi həcmi 23.4 GB təşkil edir. Müqayisə üçün qeyd edək ki, hal-hazırda trend olan GPT-3 modeli müxtəlif mənbələrdən toplanmış 800 GB həcmli data, GPT-2 modeli isə 40 GB data üzərində öyrədilib.
Korpus üzərində işləyən komanda bildirir ki, bu korpusu geniş ictimaiyyət üçün əlçatan etməklə onlar Azərbaycan dilində NLP həllərinin yaradılması üçün gələcək tədqiqat və inkişafı stimullaşdırmağa, eyni zamanda dil müxtəlifliyi və mədəni irsin təşviqi kimi daha geniş məqsədə töhfə verməyə ümid edirlər.
Korpusdan istifadə etmək üçün bu linkidən istifadə edə bilərsiniz.
Müştərilərin xəbərləri
SON XƏBƏRLƏR
- 1 ay sonra
- 3 həftə sonra
-
1 həftə sonra
“Sizin Lombard”ın “36% Qızıl payız” kampaniyası davam edir ®
-
- 6 gün sonra
-
2 saat əvvəl
Anthropic səhmləri ilk birja günündən sonra10 faiz ucuzlaşıb, Nasdaq geriləyib
-
3 saat əvvəl
Abşeron Avtomobil Mərkəzində Mercedes-Benz-in yeni GLE, GLE Coupé və GLS modelləri təqdim olunub
- 4 saat əvvəl
-
4 saat əvvəl
Azərbaycanda aqrar kredit kooperativlərinin yaradılması nəzərdə tutulur
- 4 saat əvvəl
-
5 saat əvvəl
253 min 800 nəfər işsiz kimi qeydiyyatdadır, ayda orta hesabla 479 manat alırlar
- 5 saat əvvəl
- 5 saat əvvəl
Son Xəbərlər
Boş qalan iş yeri şirkətinizə neçəyə başa gəlir?
İş elanlarına bax - azvak.az
“Sizin Lombard”ın “36% Qızıl payız” kampaniyası davam edir ®
“Trendyol”da “Əfsanə günlər ” başlayır ®
Abşeron Avtomobil Mərkəzində Mercedes-Benz-in yeni GLE, GLE Coupé və GLS modelləri təqdim olunub
Dolların bazar ertəsi üçün rəsmi məzənnəsi müəyyən olunub
Ən çox oxunanlar
Azərbaycanda tikinti materialı istehsalı artb
Azərikard finteklər üçün yeni imkanlar təqdim edib
Bakıda 57B nömrəli müntəzəm avtobus marşrutu fəaliyyətə başlayır
Azərbaycanda nikah səviyyəsi aşağı düşüb, 31 min nikaha daxilolma və 15 min boşanma qeydə alınıb























