Bài giảng Nhập môn điều khiển thông minh - Chương 4: Mạng thần kinh

Moân hoïc

NHẬP MÔN ĐIỀU KHIỂN THÔNG MINH

Giảng viên: PGS.TS. Huỳnh Thái Hoàng

Bộ môn Điều Khiển Tự Động

Khoa Điện – Điện Tử

Đạ

i h

ọ

c Bách Khoa TP.HCM

Email: [email protected]

Homepage: http://www4.hcmut.edu.vn/~hthoang

19 August 2014

1

Chương 4

M

Ạ

NG THẦN KINH

19 August 2014

2

Nội dung

 Khái niệm về mạng thần kinh

 Các cấu trúc mạng và giải thuật huấn luyện

 Perceptron

 Adaline

 Mạng truyền thẳng nhiều lớp

 Giới thi

ệ

u Neural Network Toolbox của Matlab

19 August 2014

3

MẠNG THẦN KINH

19 August 2014

4

Bộ não

 Bộ não con người là hệ thống xử lý thông tin phức

hợp, phi tuyến và song song có khả năng học, ghi

nhớ, tổng quát hóa và xử lý lỗi.

19 August 2014

5

Mạng thần kinh sinh học

 Bộ não con người gồm khoảng 10¹¹tế bào thần kinh

liên kết với nhau thành mạng

19 August 2014

6

Tế bào thần kinh sinh học

 Tế bào thần kinh gồm: thân tế bào (soma), đầu dây

thần kinh vào (dendrite), khớp nối (synapse), sợi

trục (axon) và đầu dây thần kinh ra

19 August 2014

7

Tế bào thần kinh

T

x 



x₁x₂ x_m



vector tín hieäu vaøo teá baøo thaàn

T

kinh

w





w

₁

w

₂



w

_m



vector tr

ọ

ng s

ố

teá baøo thaàn kinh

19 August 2014

8

Hàm tích hợp ngõ vào tế bào thần kinh

 Hàm tuyến tính (linear function):

m





T





f



net



w x







w x





_



j j



j1





 Hàm toàn phương (quadratic function):

m







²

f  net  w x 

_

j j



j1





 Hàm cầu (spherical function):

m





2

T



²

f  net   (x  w )    (x  w) (x  w) 



j





j1





19 August 2014

9

Hàm tác động

 Hàm nấc (step):

 Hàm dấu (sign):

1 if f  0

0 if f  0







a( f ) 

1 if f  0





-1 if f  0



1 neáu f 1





a

(

f

)



f

neáu

0



f



1



Hàm d

ố

c bão hòa:





0 neáu f  0



1 neáu f 1





a( f )  f neáu 0  f 1

 Hàm tuyến tính bão hòa:





1 neáu f  1



19 August 2014

10

Hàm tác động

 Hàm tuyến tính: (purelin)

a( f )  f

 Hàm dạng S đơn cực (logistic sigmoid function - logsig)

1

a( f ) 

(  1)

1 e^f

 Hàm dạng S lưỡng cực (hyperbolic tangent sigmoid

function - tansig)

1 e^f

a( f ) 

(  1)

1 e^f

19 August 2014

11

Các dạng hàm tác động

a(f)

1

0

1

0

f

1

0

Hàm dạng S đơn cực

Hàm dốc bão hòa

Hàm nấc

a

(

f

)

a

(

f

)

a

(

f

)

1

f

1

0

1

1

Hàm dấu

Hàm tuyến tính bão hòa Hàm dạng S lưỡng cực

19 August 2014

12

Ví dụ tính ngõ ra của tế bào thần kinh

x

₁

w₁

w₂

y

a(.)

x₂

x₃





w₃

 Tính ngõ ra của tế bào thần kinh, biết rằng hàm tổng ở ngõ

vào là hàm tuyến tính, hàm tác động là sigmoid đơn cực:

x₁ 1; x₂ 0.5; x₃ 0.4;

w₁ 0.3;w₂ 0.8;w₃ 0.4;  0.6

 Giải:

19 August 2014

13

Cấu trúc mạng thần kinh

Mạng truyền thẳng 1 lớp Mạng truyền thẳng nhiều lớp

Mạng hồi qui lớp

Mạng hồi qui nhiều lớp

19 August 2014

14

Các phương pháp huấn luyện mạng

Học có giám sát

19 August 2014

15

Các phương pháp huấn luyện mạng

Học có củng cố

19 August 2014

16

Các phương pháp huấn luyện mạng

Học có không giám sát

19 August 2014

17

Sơ đồ huấn luyện một tế bào thần kinh

w_i(k 1)  w_i(k)  w_i(k)

w_i(k) rx(k)

r  f_r



w_i(k), x(k),d_i



19 August 2014

18

Cấu trúc mạng perceptron

 Mạng perceptron là mạng truyền thẳng 1 lớp, trong đó:

 Hàm xử lý ngõ vào là hàm tuyến tính

m

net



w x



w^T

x



i

ij

j

i

j1

 Hàm kích hoạt ở ngõ ra là hàm nấc

1 neáu net  0

0 neáu net_i 0







i

y  a(net )  step (net ) 

i

19 August 2014

19

Ví dụ tính ngõ ra của Perceptron

x

₁

w₁

w₂

a

y

x₂

x₃





w₃

 Tính ngõ ra của Perceptron ở trên, biết:

x

₁

 

1

;

x

₂



0.5;

x

₃

 

0.4;

w₁ 0.5;w₂ 0.8;w₃ 0.8;  0.2



Gi

ả

i:

19 August 2014

20

Bài giảng Nhập môn điều khiển thông minh - Chương 4: Mạng thần kinh - Huỳnh Thái Hoàng