Vector Database гэж юу вэ?

Vector database буюу вектор өгөгдлийн сан нь текст, зураг, дуу, видео зэрэг бүтэцгүй мэдээллийг тоон вектор хэлбэрээр хадгалж, тэдгээрийн утга болон агуулгын төстэй байдлаар хайлт хийх зориулалттай систем юм. Уламжлалт өгөгдлийн сан нь ихэвчлэн түлхүүр үг, дугаар, нэр, огноо зэрэг яг тохирох утгаар мэдээлэл хайдаг. Харин vector database нь хэрэглэгчийн оруулсан асуулттай утгын хувьд ойролцоо мэдээллийг олж чаддаг. Жишээлбэл, хэрэглэгч “компьютер өөрөө суралцах технологи” гэж хайхад “machine learning” гэсэн нэр томьёо бүхий баримтыг түлхүүр үг нь яг таарахгүй байсан ч утгын хувьд холбоотой гэж үзэн илрүүлэх боломжтой.

Мэдээллийг вектор болгохын тулд embedding model хэмээх хиймэл оюун ухааны загварыг ашигладаг. Embedding model нь үг, өгүүлбэр, баримт бичиг эсвэл зургийн агуулгыг олон хэмжээст тоон дараалал болгон хувиргана. Тухайлбал, нэг өгүүлбэрийг хэдэн зуу эсвэл хэдэн мянган тооноос бүрдэх вектороор илэрхийлж болно. Ижил утгатай мэдээллүүд вектор орон зайд хоорондоо ойр, ялгаатай утгатай мэдээллүүд хол байрладаг. Хэрэглэгч асуулт оруулах үед тухайн асуултыг мөн ижил embedding model-оор вектор болгож, өгөгдлийн санд хадгалагдсан векторуудтай харьцуулна. Энэ харьцуулалтад cosine similarity, Euclidean distance, dot product зэрэг математик аргуудыг ашигладаг.

Vector database нь их хэмжээний өгөгдөл дундаас хамгийн төстэй мэдээллийг хурдан олохын тулд Approximate Nearest Neighbor буюу ANN алгоритмуудыг ашигладаг. Pinecone, Milvus, Weaviate, Qdrant болон FAISS зэрэг технологиуд нь вектор хайлт хийхэд түгээмэл хэрэглэгддэг. Эдгээр систем нь вектороос гадна баримтын нэр, огноо, төрөл зэрэг metadata мэдээллийг хамтад нь хадгалах боломжтой.

Орчин үеийн хиймэл оюун ухааны системд vector database нь RAG архитектурын чухал бүрэлдэхүүн хэсэг болдог. Хэрэглэгч асуулт асуух үед систем өгөгдлийн сангаас холбогдох баримтыг хайж, олсон мэдээллээ хэлний загварт өгснөөр илүү үнэн зөв, тухайн байгууллагын мэдээлэлд тулгуурласан хариулт гаргана. Иймээс vector database нь ухаалаг хайлт, зөвлөмжийн систем, чатбот болон баримт бичгийн асуулт-хариултын системд өргөн хэрэглэгддэг.