Bài giảng Cơ sở dữ liệu đa phương tiện - Chương 4: Tìm kiếm dữ liệu đa phương tiện - Phần 1: Dữ liệu văn bản - Nguyễn Thị Oanh
Chương 4: Tìm kiếm DL ĐPT
P1: Dữ liệu văn bản
Nguyễn Thị Oanh
Bộ môn HTTT – Viện CNTT & TT
1
Nội dung
Giới thiệu chung
Biểu diễn văn bản
– Chất lượng từ
– Trọng số từ
Đánh chỉ mục (chỉ số hóa) (indexing)
Tìm kiếm văn bản (retrieving)
Phản hồi thích đáng (relevance feedback)
Đánh giá hiệu năng
2
Văn bản
Dữ liệu văn bản:
– 1 tài liệu văn bản là chuỗi các từ
Giây phút cận kề cái chết ở Nhật
Vẫn biết động đất là chuyện cơm bữa ở Tokyo vì một năm có khoảng
200 trận. Vẫn biết rằng khi động đất lớn thì phải thật bình tĩnh và việc
đầu tiên là phải chui xuống gầm bàn chứ đừng có chạy. Vậy mà! ...
– Từ đồng nghĩa: coi – xem (hát), coi – giữ - trông (nhà)
– Từ đa nghĩa: mũi (người), mũi (thuyền, dao, mác)
– Thứ tự các từ: đi ra – ra đi
Tập văn bản: tập các chuỗi
3
Tìm kiếm thông tin văn bản ?
Cho: 1 (tập) tài liệu văn bản (từ, câu, đoạn, văn
bản, …)
Mục tiêu: tìm các tài liệu liên quan đến tài liệu truy
vấn (tài liệu tương tự)
4
Biểu diễn và tìm kiếm
1 tài liệu văn bản là chuỗi các từ, đó có thể:
– tiêu đề
– tóm tắt
– toàn bộ nội dung tài liệu
CSDL văn bản: tập các chuỗi được chỉ số hóa một
cách hợp lý
Tìm kiếm: tìm các văn bản trong CSDL có chứa các từ
trong văn bản truy vấn
Bài toán khớp xâu (string-matching, substring-finding)
5
Ví dụ
Document
String
ID
d1
d2
d3
d4
d5
d6
Jose Orojuelo’s Operations in Bosnia
The Medellin Cartel’s Financial Organization
The Cali Cartel’s Distribution Network
Banking Operation and Money Laundering
Profile of Hector Gomez
Connection between Terrorism and Asian Dope
Operations
d7
d8
Hector Gomez: How He Gave Agents the Slip in Cali
Sex, Drugs, and Videotape
d9
The Iranian Connection
d10
Boating and Drugs: Slips Owned by the Cali Cartel
6
Vấn đề khi khớp xâu
VD truy vấn 1: tìm các tài liệu liên quan đến chủ đề
« money laundering »
– Tìm được d4, không có d2
VD truy vấn 2: tìm các tài liệu liên quan đến vấn đề
« drugs »
– Tìm được d8,d10, không có d6 dù « dope » ~~ « drugs »
– d2, d3 bị bỏ qua mặc dù cả hai đều là sự phối hợp hành động
chung chống ma tuý (drug cartel)
7
Vấn đề khi khớp xâu
Xử lý vấn đề ngữ nghĩa:
– Từ đồng nghĩa: buy/purchase
– Từ đa nghĩa: present : a gift, the current moment, to show or
display
Xử lý trật tự từ
8
Kiến trúc tổng thể hệ thống IR
9
Biểu diễn văn bản
10
Biểu diễn văn bản
Mỗi tài liệu text được biểu diễn bởi một tập các từ (bag
of words)
– VD: “Lord of the rings” {“the”, “Lord”, “rings”, “of”}
– Mỗi từ được coi là một chiều trong không gian từ điển
– Số chiều = kích thước của từ điển
Một số kỹ thuật xử lý:
– Stop list
– Stemming
– Frequency table
11
Biểu diễn văn bản
12
Biểu diễn văn bản (…)
Stop list: các từ không giúp phân biệt các tài liệu trong
1 tập các tài liệu được xem xét
– Chung:
« the », « a », « of », « at », « are », « for », « with », …
– Tùy thuộc vào bản chất của CSDL:
Tài liệu kỹ thuật về Computer Science :
« computer » thuộc stop list
Tài liệu về ngành nông, lâm nghiệp :
« computer » KHÔNG thuộc stop list
13
Biểu diễn văn bản (…)
Stemming: nhóm các biến thể của một từ gốc thành 1
nhóm, biểu diễn bởi 1 từ
– « retrieved », « retrieval », « retrieving », « retrieval »
« retriev »
– « drug », « drugs », « drugged » « drug »
– ..
Thesaurus: nhóm các từ gần nghĩa sử dụng từ điển
từ đồng nghĩa hoặc có liên quan giữa chúng:
– « learning », « school work », « reading », « study »
« study »
14
Biểu diễn văn bản (…)
Frequency table (bảng tần số): hỗ trợ xác định mức độ
quan trọng khác nhau của các từ trong văn bản khi
thực hiện tìm kiếm
– D: tập N văn bản
– T: tập M từ trong các tài liệu trong D
– Frequency table: MxN
tf(i, j) (term frequency): số lần xuất hiện các từ ti trong văn bản
dj
15
Biểu diễn văn bản (…)
Term/document d1
d2
d3
10
d4
10
d5
18
d6
65
816
1
t1
t2
t3
t4
t5
615 390
15
2
4
8
76
217
142
11
91
815
765
711
491
312 511 677
45 33 516
2
64
59
– Mỗi văn bản dj được biểu diễn bởi 1 vector chỉ tần suất
xuất hiện của các từ trong văn bản đó : (tf1,j, tf2,j, … ,tfM,j)
– Thường được chuẩn hóa về [0, 1]: để tính đến ảnh
hưởng của độ dài của văn bản
16
Term/Doc.
d1
d2
d3
d4
d5
d6
t1
t2
t3
t4
t5
0,62 0,41
0,02 0,00
0,00 0,01
0,32 0,54
0,05 0,03
0,00
0,04
0,39
0,32
0,25
0,02
0,49
0,32
0,02
0,14
0,01
0,04
0,37
0,34
0,24
0,07
0,87
0,00
0,00
0,06
1,00
0,80
0,60
0,40
0,20
0,00
d1
d2
d3
d4
d5
d6
t1
t2
t3
t4
t5
– (d1, d2), (d3, d5): giống nhau
– (d3, d6): rất khác nhau
17
Biểu diễn văn bản (…)
idf (inverse document frequency): xác định độ quan
trọng của mỗi từ trong tập dữ liệu văn bản đang xem
xét
idfi log(N /dfi )
N: tổng số văn bản trong tập DL
dfi : số văn bản có chứa từ ti
– Trọng số tf.idf của từ ti trong văn bản dj là:
wi,j= tf(i,j) x idf(i)
Mỗi văn bản dj được biểu diễn bởi 1 vector tf.idf:
(w1,j, w2,j, … , wM,j)
18
Đánh chỉ mục (indexing)
19
Indexing
Flat-files không hiệu quả
Inverted files: hiệu quả, dễ cài đặt, thông dụng trong
hệ thống tìm kiếm văn bản
Signature files (PAT trees, graphes)
20
Tải về để xem bản đầy đủ
50 trang
21560
Free
Bạn đang xem 20 trang mẫu của tài liệu "Bài giảng Cơ sở dữ liệu đa phương tiện - Chương 4: Tìm kiếm dữ liệu đa phương tiện - Phần 1: Dữ liệu văn bản - Nguyễn Thị Oanh", để tải tài liệu gốc về máy hãy click vào nút Download ở trên
File đính kèm:
- bai_giang_co_so_du_lieu_da_phuong_tien_chuong_4_tim_kiem_du.pdf
