Bài giảng Cơ sở dữ liệu đa phương tiện - Chương 4: Tìm kiếm dữ liệu đa phương tiện - Phần 2: Dữ liệu ảnh - Nguyễn Thị Oanh
Chương 4: Tìm kiếm DL ĐPT
P2: Dữ liệu ảnh
Nguyễn Thị Oanh
Bộ môn HTTT – Viện CNTT & TT
1
Nội dung
Tổng quan
Biểu diễn ảnh – trích chọn đặc trưng
– Đặc trưng toàn cục: Shape – texture - color
– Đặc trưng cục bộ:
Phân đoạn (segmentation)
Key points (characters points)
Đánh chỉ mục (chỉ số hóa) (indexing)
Đối sánh ảnh: tương tự, không gian
2
Ảnh và lưu trữ
Mức xám - 8 bits:
0 - đen
255 - trắng
64 60 69 100 149 151 176 182 179
65 62 68 97 145 148 175 183 181
65 66 70 95 142 146 176 185 184
66 66 68 90 135 140 172 184 184
66 64 64 84 129 134 168 181 182
59 63 62 88 130 128 166 185 180
60 62 60 85 127 125 163 183 178
62 62 58 81 122 120 160 181 176
63 64 58 78 118 117 159 180 176
3
Source : Tal Hassner. Computer Vision. Weizmann Institute of Science (Israel).
Ảnh và lưu trữ
x
y
x =
58 59
60 61 62 63 64 65 66 67
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
210 209 204 202 197 247 143 71 64 80
206 196 203 197 195 210 207 56 63 58
201 207 192 201 198 213 156 69 65 57
216 206 211 193 202 207 208 57 69 60
221 206 211 194 196 197 220 56 63 60
209 214 224 199 194 193 204 173 64 60
204 212 213 208 191 190 191 214 60 62
214 215 215 207 208 180 172 188 69 72
209 205 214 205 204 196 187 196 86 62
208 209 205 203 202 186 174 185 149 71 63 55 55 45 56
207 210 211 199 217 194 183 177 209 90 62 64 52 93 52
208 205 209 209 197 194 183 187 187 239 58 68 61 51 56
204 206 203 209 195 203 188 185 183 221 75 61 58 60 60
200 203 199 236 188 197 183 190 183 196 122 63 58 64 66
205 210 202 203 199 197 196 181 173 186 105 62 57 64 63
y =
4
Source : Tal Hassner. Computer Vision. Weizmann Institute of Science (Israel).
Ảnh và lưu trữ
Ảnh là tín hiệu 2D (x,y)
Về mặt toán học:
– Ảnh là một ma trận biểu diễn tín hiệu
Đối với người dùng:
– Ảnh chứa các thông tin về ngữ nghĩa
5
Phân loại ảnh
Ảnh tự nhiên: ảnh thu nhận từ các thiết bị
– camera, microscope, tomography, infrared, satellite, …
Ảnh nhân tạo: tạo ra từ các phần mềm chuyên biệt
– Đồ họa máy tính (computer graphics), thực tại ảo (virtual
reality)
Ảnh tự nhiên
ảnh nhân tạo
Ảnh nhân tạo
6
Phân loại ảnh
Ảnh mức xám
I(x,y) [0..255]
Ảnh nhị phân
I(x,y) {0 , 1}
Ảnh màu
IR(x,y) IG(x,y) IB(x,y)
7
Source : Tal Hassner. Computer Vision. Weizmann Institute of Science (Israel).
Ảnh màu trong hệ tọa độ RGB
Bên cạnh hệ tọa độ
màu RGB ta còn có
các hệ tọa độ màu
khác
8
Source : Tal Hassner. Computer Vision. Weizmann Institute of Science (Israel).
Cơ sở dữ liệu ảnh
2 kiểu CSDL ảnh:
– CSDL chung (General database) : Photo collection, Internet
– CSDL hẹp/cụ thể (Specific database): face database, medical
database
9
CSDL ảnh (…): General database
General database : Photo collection, Internet
– Nội dung đa dạng, không đồng nhất
– Biểu diễn dựa trên các đặc trưng chung (shape, color, texture,..)
– Vùng ứng dụng rộng
10
CSDL ảnh (…): Specific database
Specific database: Nội dung khá thuần nhất
– Thường dành cho các ứng dụng đặt biệt (ảnh sinh trắc học (-
bimometry, ảnh y học – medical images)
– Đặc trưng được trích chọn tùy thuộc vào mỗi lĩnh vực ứng
dụng
11
Tìm kiếm ảnh
Tìm các bức hình của « Steve Jobs » ?
Đây là bức hình của ai ? / Đây là cái gì ? / Bức hình
này chụp ở đâu ?
What ?
Where ?
Who ?
12
Kiểu truy vấn: từ khóa
Tìm các bức hình của « Steve Jobs » ?
Được sử dụng rộng rãi nhất: Google, youtube, …
1
Kiểu truy vấn: từ khóa
Hạn chế:
– Từ khóa được lấy từ:
Văn bản xung quanh ảnh (Google Image, Google Video)
Đánh dấu thủ công giá thành cao
– Nhập nhằng: chọn từ khóa thế nào ?
Tính chủ quan của người đánh dấu keyword-image
Phụ thuộc ngôn ngữ
Phụ thuộc ngữ cảnh
14
Kiểu truy vấn: dựa trên nội dung
15
Kiểu truy vấn: dựa trên nội dung
Đặc điểm:
– Truy vấn chứa hình ảnh
– Mục đích tìm kiếm : «tương tự »: đối sánh không chính xác
Trích chọn tự động các đặc trưng và tìm kiếm dựa trên độ
tương tự giữa các đặc trưng
Lĩnh vực nghiên cứu đang được quan tâm
Truy vấn:
– Bằng ví dụ
– Bộ phận
17
– Bằng hình vẽ (Sketch)
Kiểu truy vấn: dựa trên nội dung
Vấn đề:
– Nội dung đa dạng
– Khối lượng dữ liệu cần xử lý lớn và thường trùng lặp:
Numeric gap
– Vấn đề về ngữ nghĩa: Semantic gap
VD: làm thế nào để biết 1 người đang vui /buồn
18
CBIR
19
Source: Slides of Muriel Visani
CBIR – các bước chính
Trích chọn đặc trưng (Biểu diễn ảnh):
Đánh chỉ mục để tăng hiệu năng tìm kiếm (xem
chương 3)
Lựa chọn thước đo độ tương tự ?
20
Tải về để xem bản đầy đủ
94 trang
26/04/2022
8840
Bạn đang xem 20 trang mẫu của tài liệu "Bài giảng Cơ sở dữ liệu đa phương tiện - Chương 4: Tìm kiếm dữ liệu đa phương tiện - Phần 2: Dữ liệu ảnh - Nguyễn Thị Oanh", để tải tài liệu gốc về máy hãy click vào nút Download ở trên
File đính kèm:
- bai_giang_co_so_du_lieu_da_phuong_tien_chuong_4_tim_kiem_du.pdf
