fbpx

token

Үгийг тоо болгох нь ( Үг токенжуулалт буюу Word tokenization)

Эх хэл боловсруулалт нь ойрын хугацаанд эрчээ аваад байгаа бөгөөд  Chatgpt, Deepseek, Gemini зэрэг моделиуд нь дэлхий даяар олон сая хүмүүсийн өдөр тутмын хэрэглээнд нэвтрээд байгаа билээ. Хүний ярьдаг хэлийг компьютер ойлгох боломжтой болгож өгсөн хэд хэдэн чухал техник байдгаас өнөөдөр би хамгийн суурь ойлголт буюу үг токенчлох үйл явцыг онцлон өгүүлмээр санагдлаа. Токен гэж […]