fbpx

nlp

AI-ийн анхны хэлний загвар: N-gram-ийн түүх ба өнөөдөр

Хиймэл оюун ухаан (AI) болон эх хэл боловсруулалт (NLP)-ийн хөгжилд N-gram хэлний модел нь анхны чухал алхам байжээ. Энэхүү энгийн хэрнээ хүчирхэг загвар нь хэлний бүтцийг ойлгох, текст үүсгэх, хэлний урьдчилсан таамаглал хийх зэрэг олон даалгаварт ашиглагддаг. Тэгвэл N-gram хэлний модел хэрхэн үүссэн бэ, өнөөдөр энэ нь ямар үүрэг гүйцэтгэж байна вэ? N-gram хэлний модел […]

Үгийг тоо болгох нь ( Үг токенжуулалт буюу Word tokenization)

Эх хэл боловсруулалт нь ойрын хугацаанд эрчээ аваад байгаа бөгөөд  Chatgpt, Deepseek, Gemini зэрэг моделиуд нь дэлхий даяар олон сая хүмүүсийн өдөр тутмын хэрэглээнд нэвтрээд байгаа билээ. Хүний ярьдаг хэлийг компьютер ойлгох боломжтой болгож өгсөн хэд хэдэн чухал техник байдгаас өнөөдөр би хамгийн суурь ойлголт буюу үг токенчлох үйл явцыг онцлон өгүүлмээр санагдлаа. Токен гэж […]