МАШИН ОРЧУУЛГА

Sainbayar Batbaatar

• 2023-11-06

Introduction

1. Seq2Seq

2. Encoder

3. Decoder

4.Reference

Seq2Seq

Encoder-Decoder загвар нь дараалалаас дарааллыг урьдчилан таамаглах асуудалд давтагдах мэдрэлийн сүлжээг ашиглах арга юм.

Хэргэлээ:

•Чатботууд

•Машины орчуулга

•Текстийн хураангуй

•Зургийн тайлбар

Энэ нь encoder, завсрын вектор, decoder гэсэн 3 хэсгээс бүрдэнэ.

•Encoder

•Завсрын вектор

•Декодер

Encoder

Загварын encoder хэсгийг ойлгох нь.

•Encoder нь LSTM/GRU элемэнттэй.

•Encoder нь оролтын дарааллын мэдээллийг hidden state вектор болгоно.

•Encoder зөвхөн hidden state ашиглана.

Internal state

h0, c0 – нь LSTM/GRU – тэй давхаргын тоотой ижил .

Эцсийн hi,ci нь оролтын бүх дарааллын гол зангилаа агуулж байна.

Жишээ нь:

X0 = ‘India ’

X1 = ‘India is’

X2 = ‘India is beautiful’

Decoder

Декодер – ын оролтын эхэнд START, төгсгөлд END нэмнэ.

(h0, c0) нь START – тай хамт Decoder дахвхаргад орсноор үгээ тааж эхэлнэ. Ямар үг вэ гэдгийг (ht, ct) зааж өгнө:

•Эхлээд бид START_-г оруулснаар декодер дараагийн үгийг үүсгэж END-г урьдчилан таамаглаж сургадаг.

•Энд бид Teacher Forcing арга техникийг ашигладаг.

•Decoder(ht, ct) – үүд хэрэггүй.