MỤC LỤC . i
Danh mục các thuật ngữ.iii
Bảng các ký hiệu, từ viết tắt. iv
Danh sách bảng. vii
Danh sách hình vẽ.viii
MỞ ĐẦU. 1
CHƯƠNG 1. CÁC KIẾN THỨC CƠ SỞ. 9
1.1. Một số khái niệm về tập thô. 9
1.1.1. Hệ thông tin. 9
1.1.2. Các tập xấp xỉ. 10
1.1.3. Miền dương . 11
1.1.4. Bảng quyết định. 11
1.2. Một số khái niệm về tập thô mờ xác định trên bảng quyết định miền giá trị thực
. 11
1.2.1. Bảng quyết định miền giá trị thực . 12
1.2.2. Quan hệ tương đương mờ . 12
1.2.3. Ma trận tương đương mờ . 13
1.2.4. Phân hoạch mờ và lớp tương đương mờ. 14
1.2.5. Các tập xấp xỉ mờ. 17
1.2.6. Miền dương mờ . 17
1.3. Một số khái niệm về tập thô mờ xác định trên bảng quyết định mờ . 18
1.3.1. Bảng quyết định mờ. 18
1.3.2. Phân hoạch mờ và lớp tương đương mờ. 20
1.3.3. Các tập xấp xỉ mờ. 21
1.3.4. Miền dương mờ . 21
1.4. Rút gọn thuộc tính trong bảng quyết định. 23
1.4.1. Tổng quan về rút gọn thuộc tính . 23
1.4.2. Tổng quan về rút gọn thuộc tính trong bảng quyết định theo tiếp cận tập
thô . 26
1.4.3. Định hướng nghiên cứu của luận án. 28
1.5. Kết luận chương 1. 29ii
CHƯƠNG 2. RÚT GỌN THUỘC TÍNH TRONG BẢNG QUYẾT ĐỊNH MIỀN GIÁ
TRỊ THỰC SỬ DỤNG MIỀN DƯƠNG MỜ VÀ KHOẢNG CÁCH JACCARD MỜ. 30
2.1. Đặt vấn đề . 30
2.2. Rút gọn thuộc tính sử dụng miền dương mờ. 31
2.2.1. Phương pháp rút gọn thuộc tính sử dụng miền dương mờ . 32
2.2.2. Thử nghiệm và đánh giá kết quả . 37
2.3. Rút gọn thuộc tính sử dụng khoảng cách Jaccard mờ . 44
2.3.1. Khoảng cách Jaccard mờ và các tính chất . 44
2.3.2. Phương pháp rút gọn thuộc tính sử dụng khoảng cách Jaccard mờ . 52
2.3.3. Thử nghiệm và đánh giá kết quả . 56
2.4. Kết luận chương 2. 61
CHƯƠNG 3. RÚT GỌN THUỘC TÍNH TRONG BẢNG QUYẾT ĐỊNH MIỀN GIÁ
TRỊ THỰC SỬ DỤNG KHOẢNG CÁCH PHÂN HOẠCH MỜ. 63
3.1. Đặt vấn đề . 63
3.2. Khoảng cách phân hoạch mờ và các tính chất . 64
3.3. Phương pháp rút gọn thuộc tính sử dụng khoảng cách phân hoạch mờ . 70
3.4. Thử nghiệm và đánh giá kết quả . 77
3.5. Kết luận chương 3. 82
CHƯƠNG 4. RÚT GỌN THUỘC TÍNH VÀ SINH LUẬT TRÊN BẢNG QUYẾT
ĐỊNH MỜ . 84
4.1. Đặt vấn đề . 84
4.2. Phương pháp rút gọn thuộc tính của bảng quyết định mờ . 87
4.3. Phương pháp sinh luật quyết định của bảng quyết định mờ . 91
4.3.1. Luật quyết định mờ. 92
4.3.2. Sinh luật quyết định từ bảng quyết định mờ . 93
4.3.3. Thử nghiệm và đánh giá kết quả . 105
4.4. Kết luận chương 4. 110
KẾT LUẬN . 112
Danh mục các công trình của tác giả . 114
TÀI LIỆU THAM KHẢO. 115
137 trang |
Chia sẻ: trungkhoi17 | Lượt xem: 490 | Lượt tải: 1
Bạn đang xem trước 20 trang tài liệu Luận án Nghiên cứu các phương pháp rút gọn thuộc tính và sinh luật quyết định theo tiếp cận tập thô mờ - Cao Chính Nghĩa, để xem tài liệu hoàn chỉnh bạn click vào nút DOWNLOAD ở trên
đồng thời
, ,J A B J A C và , ,J B C J A C . Từ (2.12) ta có:
,
1 ,
AB A A B B
J A B
V V V
J A B
(2.13)
Ta phải chứng minh : ( )( ) 0B A B CV V V V hay
0B B B C A B ACV V V V
1 1 1 1
min( , ) min( , ) min( , ) min( , ) 0
0
n n n n
i i i i i i i i
i i i i
b b b c a b a c
B B C A B A C
(thỏa mãn theo tính chất 3 của bổ đề 2.2 là điều phải chứng minh).
Kết hợp với (2.12) ta có:
, , ,
0
1 , 1 , 1 ,
BB BB CC AA BB AA CC
J B C J A B J A C
V V V V V V V
J B C J A B J A C
, ,
1 0
1 , 1 ,
, , , ,
1 , 1 , 1 , 1 ,
BB
A A C C
J A B J B C
V
J A B J B C
J A B J A C J B C J A C
V V
J A B J A C J B C J A C
(2.14)
Rõ ràng A A A BV V , sử dụng (2.13) thu được
,
1 ,
AA AA BB
J A B
V V V
J A B
hay ,A A ABV J A B V (2.15)
Từ giả thiết , , 0J A B J A C ta có
, ,
0
1 , 1 ,
J A B J A C
J A B J A C
. Do đó từ
(2.15) ta có
49
, , , ,,
1 , 1 , 1 , 1 ,
A A B B
J A B J A C J A B J A C
V J A B V
J A B J A C J A B J A C
(2.16)
Tương tự:
, , , ,,
1 , 1 , 1 , 1 ,
CC B B
J B C J A C J B C J A C
V J B C V
J B C J A C J B C J A C
(2.17)
Từ (2.14), (2.16), (2.17) ta có:
, , , ,1 ,
1 , 1 , 1 , 1 ,
B B B B
J A B J B C J A B J A C
V J A B V
J A B J B C J A B J A C
, ,,
1 , 1 ,
B B
J B C J A C
J B C V
J B C J A C
(2.18)
Nếu 0B BV thì hiển nhiên (2.11) thỏa mãn. Giả sử 0B BV . Khi đó,
(2.18) tương đương với:
2 2
, , , , , ,
1 ,
1 , 1 , 1 ,
J A B J A B J B C J B C J A B J B C
J A C
J A B J B C J A C
, , 1 ,J A B J B C J A C .
Do đó, bất đẳng thức (2.11) được chứng minh.
Tiếp theo, luận án xây dựng khoảng cách Jaccard mờ giữa hai phân
hoạch dựa trên ma trận tương đương mờ, áp dụng rút gọn thuộc tính của
bảng quyết định miền giá trị thực. Cho bảng quyết định ,DT U C D với
1 ,..., nU u u và P C , giả sử i Pu là một lớp tương đương chứa iu trong
phân hoạch /U P . Khi đó, khoảng cách giữa tập thuộc tính C và C D
trong công trình [4] được xây dựng dựa trên khoảng cách Jaccard giữa hai
tập hợp hữu hạn như sau:
50
1
1, 1
U
i iC C D
J
i i iC C D
u u
d C C D
U u u
(2.19)
Sử dụng các phép toán trong [4] biến đổi độ đo khoảng cách trong công
thức (2.19) tương đương công thức (2.20) như sau:
1 1
1 1, 1 1
( )
U U
i i i i iC C D C D
J
i ii i i iC C D C
u u u u u
d C C D
U Uu u u u
(2.20)
Độ đo khoảng cách trong công thức (2.20) đặc trưng cho độ “gần
nhau” giữa tập thuộc tính điều kiện C và tập thuộc tính quyết định D và
được tác giả trong công trình [4] sử dụng để xây dựng phương pháp rút gọn
thuộc tính trong bảng quyết định. Sử dụng độ đo khoảng cách trong công
thức (2.20) kết hợp với công thức (2.9), luận án xây dựng độ đo khoảng cách
Jaccard mờ giữa hai phân hoạch mờ dựa trên ma trận tương đương mờ theo
hướng tiếp cận tập thô mờ.
Định nghĩa 2.4. Cho bảng quyết định mờ ,DT U C D , giả sử hai quan
hệ tương đương mờ CR và DR xác định trên hai tập thuộc tính C và D tương
ứng. Gọi Cijr là các phần tử của ma trận tương đương mờ CM R và Dijr là
các phần tử của ma trận tương đương mờ DM R với 1 ,i j n . Dựa trên
công thức (2.20) và (2.9), luận án xây dựng độ đo khoảng cách Jaccard mờ
giữa hai tập thuộc tính C và C D dựa trên ma trận quan hệ tương đương
mờ như sau:
1
1
1
min ,
1, 1
n
C D
ij ijU
j
FJ n
Ci
ij
j
r r
d C C D
U r
(2.21)
Mệnh đề 2.1. Cho bảng quyết định mờ ,DT U C D và CR , DR là hai quan
hệ tương đương mờ xác định trên tập thuộc tính C, D. Khi đó ta có:
51
1) 0 , 1FJd C C D (2.22)
2) , 0FJd C C D khi C DR R (2.23)
Chứng minh:
1) Theo công thức tính khoảng cách mờ (2.21), dễ dàng nhận thấy
0 , 1FJd C C D .
2) Theo tính chất của quan hệ tương đương mờ [40], [72] ta có:
C DR R , ,C DR x y R x y , [1..n]C Dij ijr r i j . Thay vào công thức
(2.21) ta có , 0FJd C C D .
Mệnh đề 2.2. Cho bảng quyết định mờ ,DT U C D và B C , khi đó ta
có , ,FJ FJd B B D d C C D .
Chứng minh: Theo [40], [72] ta có B C / /U C U B (phân hoạch
/U C mịn hơn phân hoạch /U B ) khi và chỉ khi [ ] [ ]C Bu u .
Theo tính chất của quan hệ tương đương mờ [40], [72] và công thức
(2.21) ta có [ ] [ ]C Bu u ( ) ( )[ ] [ ]i iR C R Bu u
, 1 , 1
n n
C B
ij ij
i j i j
r r
, 1 , 1
n n
C B
ij ij
i j i j
r r
. Do , [0,1]C Bij ijr r nên
D D
ij ij
C B
ij ij
r r
r r
(1 ) (1 )
D D
ij ij
C B
ij ij
r r
r r
.
Thay vào công thức tính khoảng cách mờ (2.21) có
( , ) ( , )FJ F Jd B B D d C C D .
Khoảng cách Jaccard giữa hai phân hoạch mờ theo công thức (2.21)
được gọi là khoảng cách Jaccard mờ dựa trên ma trận tương đương mờ.
52
2.3.2. Phương pháp rút gọn thuộc tính sử dụng khoảng cách
Jaccard mờ
Trong phần này, luận án trình bày phương pháp rút gọn thuộc tính của
bảng quyết định miền giá trị thực sử dụng độ đo khoảng cách Jaccard mờ
dựa trên ma trận quan hệ tương đương mờ ở công thức (2.21). Cho bảng
quyết định miền giá trị thực ,DT U C D với 1 2, ,..., nU x x x . Trên tập
thuộc tính điều kiện luận án sử dụng một quan hệ tương đương mờ xác định
trên miền giá trị thuộc tính như ở công thức (1.11).
Trên tập thuộc tính quyết định luận án sử dụng quan hệ tương đương
IND D với ma trận tương đương ij n nM IND D d , 1ijd nếu
j i Dx x và 0ijd nếu j i Dx x . Nói cách khác, lớp tương đương i Dx có
thể xem là lớp đương đương mờ, ký hiệu là i Dx , với hàm thuộc 1i D jx x
nếu j i Dx x và 0i D jx x nếu j i Dx x . Khi đó, ký hiệu phân hoạch mờ
11 ,...,
n
i nD D Di
D x x x
.
Tương tự phương pháp rút gọn thuộc tính sử dụng khoảng cách
Jaccard trong lý thuyết tập thô truyền thống, phương pháp đề xuất bao gồm
các bước: Định nghĩa tập rút gọn dựa trên khoảng cách Jaccard mờ, định
nghĩa độ quan trọng của thuộc tính và xây dựng thuật toán heuristic tìm một
tập rút gọn không dư thừa dựa trên tiêu chuẩn độ quan trọng của thuộc tính.
Định nghĩa 2.5. Cho bảng quyết định có miền giá trị thực ,DT U C D và
tập thuộc tính P C . Nếu
1) , ,FJ FJd P P D d C C D
2) , ( , ) ( , )FJ FJp P d P p P p D d C C D
(2.24)
(2.25)
thì P là một tập rút gọn của C dựa trên khoảng cách Jaccard mờ.
53
Định nghĩa 2.6. Cho bảng quyết định ,DT U C D , P C và b C P .
Độ quan trọng của thuộc tính b đối với P được định nghĩa bởi
, ,P FJ FJSIG b d P P D d P b P b D (2.26)
Độ quan trọng của thuộc tính đặc trưng cho sự phụ thuộc của thuộc
tính điều kiện vào thuộc tính quyết định và được sử dụng làm tiêu chuẩn lựa
chọn thuộc tính cho thuật toán heuristic tìm tập rút gọn sau đây.
Thuật toán FJ_DBAR (Fuzzy Jaccard Distance based Attribute
Reduction): Thuật toán heuristic tìm một tập rút gọn sử dụng khoảng cách
Jaccard mờ.
Đầu vào: Bảng quyết định miền giá trị thực ,DT U C D , quan hệ
tương đương mờ R .
Đầu ra: Một tập rút gọn P .
// Khởi tạo tập rút gọn bằng rỗng
1. P; ( ) 0PM R ; , 1FJd D ;
2. Tính ( )CM R , M (IND(D)) ;
3. Tính ,FJd C C D ;
// Thêm dần vào P các thuộc tính có độ quan trọng lớn nhất
4. While , ,FJ FJd P P D d C C D Do
5. Begin
6. For each a C P Do
7. Begin
8. Tính ,FJd P a P a D ;
9. Tính , ,P FJ FJSIG a d P P D d P a P a D ;
// Tính độ quan trọng của từng thuộc tính điều kiện còn
lại với tập thuộc tính quyết định
10. End;
54
11. Chọn ma C P sao cho P m Pa C PSIG a Max SIG a ;
// Chọn thuộc tính có độ quan trọng lớn nhất theo khoảng cách
Jaccard mờ kết nạp vào tập rút gọn
12. mP P a ;
13. Tính ,FJd P P D ;
14. End;
//Loại bỏ các thuộc tính dư thừa trong P nếu có
15. For each a P
16. Begin
17. Tính ,FJd P a P a D ;
18. If , ,FJ FJd P a P a D d C C D then P P a ;
// Loại bỏ những thuộc tính không cần thiết đến điều kiện xây
dựng tập rút gọn
19. End;
20. Return P ;
Ví dụ 2.3. Cho bảng quyết định miền giá trị thực ,DT U C D (Bảng 2.1)
với 1 2 3 4 5 6, , , , ,U u u u u u u , 1 2 3 4 5 6, , , , ,C c c c c c c .
Bảng 2.1. Bảng quyết định miền giá trị thực
U 1c 2c 3c 4c 5c 6c D
1u 0.8 0.2 0.6 0.4 1 0 0
2u 0.8 0.2 0 0.6 0.2 0.8 1
3u 0.6 0.4 0.8 0.2 0.6 0.4 0
4u 0 0.4 0.6 0.4 0 1 1
5u 0 0.6 0.6 0.4 0 1 1
6u 0 0.6 0 1 0 1 0
55
Áp dụng các bước của thuật toán FJ_DBAR, sử dụng quan hệ tương
đương mờ theo công thức (1.11).
P, ( ) 0PM R , , 1FJd D , tính các ma trận tương đương
mờ 1 2 3 4 5 6( ), ( ), ( ), ( ), ( ), ( ), ( ), ( )c c c c c c CM R M R M R M R M R M R M R M IND D .
1
1 1 0 0 0 0
1 1 0 0 0 0
0 0 1 0 0 0
0 0 0 1 1 1
0 0 0 1 1 1
0 0 0 1 1
( )
1
cM R
, 2
1 1 0 0 0 0
1 1 0 0 0 0
0 0 1 1 0 0
0 0 1 1 0 0
0 0 0 0 1 1
(
0 0 0 1 1
)
0
cRM
3
1 0 0 1 1 0
0 1 0 0 0 1
0 0 1 0 0 0
1 0 0 1 1 0
1 0 0 1 1 0
0 1 0 0 0
( )
1
cM R
, 4
1 0 0 1 1 0
0 1 0 0 0 0
0 0 1 0 0 0
1 0 0 1 1 0
1 0 0 1 1 0
(
0 0 0 0 1
)
0
cRM
5
1 0 0 0 0 0
0 1 0 0.2 0.2 0.2
0 0 1 0 0 0
0 0.2 0 1 1 1
0 0.2 0 1 1 1
0 0.2 0 1 1 1
( )cRM
, 6
1 0 0 0 0 0
0 1 0 0.2 0.2 0.2
0 0 1 0 0 0
0 0.2 0 1 1 1
0 0.2 0 1 1 1
0 0.2 0 1 1 1
( )cRM
1 0 0 0 0 0
0 1 0 0 0 0
0 0 1 0 0 0
0 0 0 1 0 0
0 0 0 0 1 0
0 0 0 0 0 1
( ) ,CM R
1 0 1 0 0 1
0 1 0 1 1 0
1 0 1 0 0 1
0 1 0 1 1 0
0 1 0 1 1 0
1 0 1 0 0 1
( )M IND D
.
Tính:
, 0,FJd C C D 1 1{ },{ } { } 0.38889;FJd c c D
56
2 2{ },{ } 0.5;{ }FJd c c D 3 3{ },{ } { } 0.389;FJd c c D
4 4{ },{ } { } 0.222;FJd c c D 5 5{ },{ } { } 0.23958;FJd c c D
6 6{ },{ } { } 0.23958.FJd c c D
1 0.611 1} ;{ 1PSIG c 2} 0 5{ .PSIG c ; 3{ } 0.611PSIG c ;
4{ } 0.778PSIG c ; 5{ } 0.76042PSIG c ; 6{ } 0.76042PSIG c .
Thuộc tính 4c được chọn và 4P c .
Tính tương tự, ta có: 4 1 4 1{ , } 0,{ , } { }FJd c c c c D , kiểm tra
4 1 4 1{ , },{ , } , 0FJ FJd c c c c D d C C D , thuật toán dừng và kết luận
4 1,P c c . Sau khi kiểm tra tính dư thừa, kết luận 4 1,P c c là tập rút gọn
của DT .
Thuật toán FJ_DBAR tìm được một tập rút gọn và kiểm tra tính dư
thừa của tập rút gọn. Độ phức tạp tính toán ma trận tương đương mờ của một
thuộc tính là 2( )O U với U số lượng đối tượng, C là số lượng thuộc tính điều
kiện; độ phức tạp tính toán của ( )CM R là 2( )O C U . Thuật toán có hai vòng
lặp lồng nhau theo số lượng của thuộc tính điều kiện. Do vậy, độ phức tạp
tính toán của FJ_DBAR là 3 2( )O C U .
2.3.3. Thử nghiệm và đánh giá kết quả
Luận án lựa chọn thuật toán heuristic tìm một tập rút gọn dựa trên
lượng thông tin tăng thêm GAIN_RATIO_AS_FRS [24] (gọi là GRAF) khi
thêm một thuộc tính vào tập rút gọn để so sánh với thuật toán FJ_DBAR về
thời gian thực hiện, tập rút gọn và độ chính xác phân lớp dữ liệu. Thuật toán
GRAF tính toán độ quan trọng của thuộc tính dựa trên entropy mờ. Để tiến
hành thực nghiệm, luận án thực hiện các công việc sau:
1) Cài đặt thuật toán GRAF [24] và thuật toán FJ_DBAR bởi ngôn ngữ
C#. Cả hai thuật toán đều sử dụng quan hệ tương đương mờ định nghĩa ở
57
công thức (1.11) ở các thuộc tính điều kiện, trên tập thuộc tính quyết định sử
dụng quan hệ tương đương mờ như ở công thức (1.12).
2) Trên máy tính PC với cấu hình: Bộ xử lý Pentium Core i3, 2.4 GHz
CPU, 2 GB RAM, sử dụng hệ điều hành Windows 10, chạy thử nghiệm các
thuật toán trên sáu bộ dữ liệu lấy từ kho dữ liệu UCI [99] như ở Bảng 2.2.
Với mỗi bộ dữ liệu, ký hiệu U là số lượng các đối tượng, R là số lượng
thuộc tính của tập rút gọn, C là số lượng các thuộc tính điều kiện, t là thời
gian thực hiện của thuật toán (tính bằng giây), các thuộc tính điều kiện ký
hiệu là 1, 2, ..., C .
Bảng 2.2. Bộ dữ liệu thử nghiệm
TT Bộ dữ liệu
Số thuộc tính
điều kiện
Số đối
tượng
Số lớp
1 Fisher_Order 35 47 4
2 Iris 4 150 3
3 Glass 10 214 7
4 Sonar 60 208 2
5 Sensor_Readings_24 24 5456 4
6 EEG_Eye_State 14 14980 2
Thời gian thực hiện và tập rút gọn thu được của hai thuật toán được
miêu tả trong Bảng 2.6 và Bảng 2.7.
Bảng 2.6. Kết quả thực nghiệm của FJ_DBAR và GRAF
TT Tập dữ liệu |U| |C|
FJ_DBAR GRAF
|R| t |R| t
1 Fisher_Order 47 35 18 0.095 21 0.107
2 Iris 150 4 1 0.002 2 0.003
3 Glass 214 10 6 0.46 8 0.48
4 Sonar 208 60 26 2.053 23 1.980
58
5 Sensor_Readings_24 5456 24 14 2.095 12 1.986
6 EEG_Eye_State 14980 14 7 2.580 7 2.790
Kết quả thực nghiệm ở Bảng 2.6 cho thấy số lượng thuộc tính của tập
rút gọn thu được của FJ_DBAR và GRAF phụ thuộc vào từng bộ dữ liệu cụ
thể. Thuật toán FJ_DBAR tìm được tập rút gọn có số lượng thuộc tính nhỏ
hơn GRAF tại 3/6 bộ dữ liệu thử nghiệm (Fisher_Order, Iris, Glass), bằng
nhau ở tại 1/6 bộ dữ liệu thử nghiệm (EEG_Eye_State), lớn hơn GRAF tại
2/6 bộ dữ liệu (Sonar, Sensor_Readings_24). Thời gian thực hiện của
FJ_DBAR nhanh hơn GRAF tại 4/6 bộ dữ liệu (Fisher_Order, Iris, Glass,
EEG_Eye_State). Trên một số bộ dữ liệu thử nghiệm, thuật toán nào tìm
được tập rút gọn có số lượng thuộc tính ít hơn thì có thời gian thực hiện
nhanh hơn. Tại bộ dữ liệu (EEG_Eye_State) tìm được tập rút gọn giống nhau
theo hai thuật toán thì FJ_DBAR có thời gian thực hiện nhanh hơn, điều này
phù hợp với lý thuyết bởi có cùng độ phức tạp tính là 3 2( )O C U nhưng công
thức tính độ quan trọng của thuộc tính của GRAF [24] tiếp cận theo hướng
entropy mờ có sử dụng biểu thức Logarit sẽ mất thời gian tính toán hơn so
với FJ_DBAR. Biểu đồ so sánh thời gian thực hiện của FJ_DBAR và GRAF
được thể hiện như Hình 2.3
Hình 2.3. Thời gian thực hiện của FJ_DBAR và GRAF
0
0.5
1
1.5
2
2.5
3
FJ_DBAR
GRAF
59
Các tập rút gọn cụ thể của FJ_DBAR và GRAF trên sáu bộ số liệu thực
nghiệm thể hiện ở Bảng 2.7.
Bảng 2.7. Tập rút gọn thu được bởi FJ_DBAR và GRAF
TT Bộ dữ liệu FJ_DBAR GRAF
1 Fisher_Order
{11,13,14,15,16,17,18,19,29,3
0,31,32,33,34,28,24,12,2}
{22,11,13,14,15,16,17,18,19
,29,30,31,32,33,34,9,20,5,2
5,10,3}
2 Iris {3} {3,4}
3 Glass {2,1,3,4,5,10} {2,1,3,4,6,10,8,7}
4 Sonar
{21,36,27,12,31,54,24,22,33,2
9,57,48,39,34,6,46,20,16,7,11,
26,50,8,10,56,58}
{21,36,30,12,27,54,41,22,32
,57,39,16,46,34,6,11,10,31,
8,26,56,48,58}
5 Sensor_Readings_24
{4,3,7,2,15,5,10,23,8,6,14,11,
1,9}
{3,7,12,15,5,21,24,8,14,17,1
,16}
6 EEG_Eye_State {8,11,2,3,12,10,5} {8,11,2,3,12,10,5}
Tiếp theo, luận án thực hiện việc so sánh độ chính xác phân lớp dữ
liệu của tập rút gọn thu được bởi FJ_DBAR và GRAF. Độ chính xác phân
lớp dữ liệu của các tập rút gọn được đánh giá bằng thuật toán C4.5 trong
công cụ J48 của WEKA [100]. Để thực hiện việc đánh giá độ chính xác phân
lớp dữ liệu, luận án chia tập dữ liệu thử nghiệm thành mười phần bằng nhau;
chín phần mười tập dữ liệu được dùng làm dữ liệu huấn luyện, một phần
mười dùng làm dữ liệu kiểm tra. Kết quả thực nghiệm được thể hiện ở Bảng
2.8.
Bảng 2.8. Độ chính xác phân lớp C4.5 của FJ_DBAR và GRAF
TT Tập dữ liệu |U| |C|
FJ_DBAR GRAF
|R|
Độ chính
xác phân
lớp (%)
|R|
Độ chính
xác phân
lớp (%)
1 Fisher_Order 47 35 18 78.72 21 76.59
60
2 Iris 150 4 1 94.00 2 94.00
3 Glass 214 10 6 80.15 8 81.70
4 Sonar 208 60 26 71.63 23 70.67
5 Sensor_Readings_24 5456 24 14 94.84 12 91.25
6 EEG_Eye_State 14980 14 7 81.25 7 81.25
Kết quả thực nghiệm trên sáu bộ dữ liệu ở Bảng 2.8 chỉ ra rằng độ
chính xác phân lớp dữ liệu theo thuật toán C4.5 của FJ_DBAR cao hơn
GRAF tại 3/6 bộ dữ liệu (Fisher_Order, Sonar, Sensor_Readings_24), bằng
nhau tại 2/6 bộ dữ liệu (Iris, EEG_Eye_State), thấp hơn tại 1/6 bộ dữ liệu
(Glass). Do vậy, luận án kết luận FJ_DBAR có độ chính xác phân lớp cao
hơn GRAF trên một số bộ dữ liệu thử nghiệm, với những bộ dữ liệu có tập
rút gọn giống nhau thì độ chính xác phân lớp theo thuật toán C4.5 của hai
thuật toán là như nhau. Độ chính xác phân lớp này phụ thuộc vào tập rút gọn
thu được theo các phương pháp với những bộ dữ liệu cụ thể, không phụ
thuộc vào số lượng thuộc tính của tập rút gọn. Có những bộ dữ liệu có số
lượng thuộc tính của tập rút gọn giống nhau nhưng các thuộc tính cụ thể khác
nhau thì độ chính xác phân lớp theo thuật toán C4.5 có thể cũng khác nhau.
Ví dụ bộ Iris với tập rút gọn thu được theo thuật toán FJ_DBAR là thuộc tính
{3} thì độ chính xác phân lớp là 94%, với tập rút gọn thu được theo thuật
toán F_RSAR2 là thuộc tính {4} thì độ chính xác 94.67%. Ngoài ra, độ chính
xác phân lớp của các tập rút gọn theo thuật toán C4.5 còn phụ thuộc vào tỷ lệ
phân chia tập dữ liệu giữa phần huấn luyện và phần kiểm tra. Thông thường,
các phương pháp hay lựa chọn chia tập dữ liệu thành mười phần hoặc ba
phần bằng nhau; một phần sử dụng làm dữ liệu huấn luyện, các phần còn lại
sử dụng làm dữ liệu kiểm tra. Biểu đồ so sánh độ chính xác phân lớp của
FJ_DBAR và GRAF theo C4.5 được thể hiện như Hình 2.4.
61
Hình 2.4. Độ chính xác phân lớp C4.5 của FJ_DBAR và GRAF
Bằng thực nghiệm, luận án kết luận thuật toán toán FJ_DBAR có khả
năng cho kết quả tốt hơn GRAF về thời gian thực hiện và độ chính xác phân
lớp dữ liệu trên một số bộ dữ liệu thử nghiệm.
2.4. Kết luận chương 2
Một trong những mục tiêu của rút gọn thuộc tính trong bảng quyết
định là nâng cao độ chính xác phân lớp của dữ liệu. Trên lớp bài toán rút gọn
thuộc tính trong bảng quyết định miền giá trị thực, các nghiên cứu liên quan
cho thấy các phương pháp rút gọn thuộc tính theo tiếp cận tập thô mờ có độ
chính xác phân lớp cao hơn phương pháp rút gọn thuộc tính theo tiếp cận tập
thô truyền thống [24], [39], [44], [47], [72], [80]. Chương 2 của luận án cải
tiến phương pháp rút gọn thuộc tính của bảng quyết định miền giá trị thực sử
dụng miền dương mờ trong công trình của Hu, Q., [38] để tìm một tập rút
gọn không dư thừa thuộc tính, bảo toàn miền dương mờ dựa trên quan hệ
tương đương mờ. Bên cạnh đó, phương pháp đề xuất cũng cải tiến công thức
tính độ quan trọng của thuộc tính sử dụng làm tiêu chuẩn lựa chọn thuộc tính
cho tập rút gọn để giảm bớt thời gian tính toán độ quan trọng của thuộc tính.
78.72
94
80.15
71.63
94.84
81.25
0.00
10.00
20.00
30.00
40.00
50.00
60.00
70.00
80.00
90.00
100.00
FJ_DBAR
GRAF
62
Đóng góp chính của Chương 2 là đề xuất phương pháp rút gọn thuộc tính
trực tiếp trên bảng quyết định miền giá trị thực sử dụng khoảng cách Jaccard
mờ. Khoảng cách Jaccard mờ được xây dựng dựa trên khoảng cách Jaccard
giữa hai tập hợp và chứng minh đầy đủ các tính chất của khoảng cách. Kết
quả thử nghiệm trên một số bộ dữ liệu mẫu từ kho dữ liệu UCI [99] cho thấy,
độ chính xác phân lớp của phương pháp sử dụng khoảng cách Jaccard mờ tốt
hơn độ chính xác phân lớp của phương pháp sử dụng entropy mờ trên một số
bộ dữ liệu thực nghiệm, thời gian thực hiện của phương pháp khoảng cách
nhanh hơn entropy trên đa số bộ dữ liệu thử nghiệm.
63
CHƯƠNG 3. RÚT GỌN THUỘC TÍNH TRONG BẢNG QUYẾT
ĐỊNH MIỀN GIÁ TRỊ THỰC SỬ DỤNG KHOẢNG CÁCH PHÂN
HOẠCH MỜ
Tiếp nối sự thành công của kỹ thuật sử dụng khoảng cách Jaccard mờ
trong phần trước, Chương 3 của luận án đề xuất một độ đo khoảng cách
giữa hai phân hoạch mờ, gọi là khoảng cách phân hoạch mờ. Dựa trên
khoảng cách phân hoạch mờ đề xuất, chương này xây dựng phương pháp rút
gọn thuộc tính của bảng quyết định miền giá trị thực. Thử nghiệm trên một
số bộ dữ liệu cho thấy, phương pháp đề xuất hiệu quả hơn phương pháp sử
dụng entropy thông tin mờ và phương pháp sử dụng miền dương mờ theo
tiêu chí đánh giá độ chính xác phân lớp dữ liệu và thời gian thực hiện của
thuật toán.
3.1. Đặt vấn đề
Chương 2 của luận án cho thấy sự hiệu quả của phương pháp rút gọn
thuộc tính trực tiếp trên bảng quyết định miền giá trị thực sử dụng khoảng
cách Jaccard mờ. Thực nghiệm trên một số bộ dữ liệu lấy từ kho dữ liệu UCI
[99] thấy rằng kỹ thuật sử dụng khoảng cách Jaccard mờ tỏ ra hiệu quả so
với phương pháp sử dụng entropy mờ dựa trên các tiêu chí đánh giá về thời
gian thực hiện và độ chính xác phân lớp dữ liệu. Với mục tiêu nghiên cứu
các phương pháp hiệu quả để rút gọn thuộc tính của bảng quyết định miền
giá trị thực, bổ sung làm phong phú thêm bộ sưu tập các phương pháp, nhằm
đánh giá một cách khái quát hơn về nhóm phương pháp sử dụng khoảng cách
mờ theo tiếp cận tập thô mờ. Chương 3 của luận án đề xuất độ đo khoảng
cách giữa hai phân hoạch mờ và ứng dụng rút gọn thuộc tính của bảng quyết
định miền giá trị thực. Thực nghiệm trên một số bộ số liệu lấy từ kho dữ liệu
UCI [99] chỉ ra rằng, phương pháp sử dụng khoảng cách phân hoạch mờ tỏ ra
hiệu quả hơn phương pháp sử dụng pháp sử dụng entropy thông tin mờ [24],
[38]-[40], [88], [89] và miền dương mờ [9], [38]-[40], [72] trên một số bộ dữ
64
liệu thử nghiệm theo tiêu chí đánh giá thời gian thực hiện thuật toán và độ
chính xác phân lớp dữ liệu. Qua đó, khẳng định được sự thành công của
phương pháp sử dụng khoảng cách mờ trong rút gọn thuộc tính của bảng
quyết định miền giá trị thực, là sự tiếp nối của phương pháp sử dụng khoảng
cách trong tập thô truyền thống.
Các kết quả chính trong chương này được công bố trong công trình
[CCN4].
3.2. Khoảng cách phân hoạch mờ và các tính chất
Trong hệ thông tin, mỗi tập thuộc tính sinh ra một tri thức về tập các
đối tượng, trong đó mỗi phần tử của tri thức là một lớp tương đương, hay
một khối. Khoảng cách cho phép đánh giá độ gần nhau (hay độ tương
đương) giữa các tri thức, nghĩa là khoảng cách giữa hai tri thức càng nhỏ
thì hai tri thức đó càng gần nhau, hay càng tương đương nhau và ngược lại.
Như vậy, khi một khoảng cách nào đó được định nghĩa trên tập các tri thức
thì cũng có nghĩa là một khoảng cách đã được xác lập trên tập các thuộc
tính. Sử dụng khoảng cách để đánh giá sự khác nhau giữa các thuộc tính,
phát hiện các thuộc tính quan trọng [38], [64], [69]-[71]. Nhờ đó, xây dựng
thuật toán hiệu quả để giải quyết bài toán rút gọn thuộc tính trong lý thuyết
tập thô mờ.
Kế thừa sự thành công của kỹ thuật rút gọn thuộc tính sử dụng khoảng
cách phân hoạch theo tiếp cận tập thô truyền thống [4], luận án xây dựng
thuật toán heuristic để rút gọn thuộc tính của bảng quyết định miền giá trị
thực sử dụng khoảng cách phân hoạch mờ. Khoảng cách phân hoạch mờ giữa
hai tập thuộc tính được xây dựng dựa trên khoảng cách mờ giữa hai tập mờ.
Kết quả thực nghiệm trên một số bộ số liệu lấy từ kho dữ liệu UCI [99] cho
thấy, phương pháp đề xuất cải thiện độ chính xác phân lớp dữ liệu tốt hơn so
với các công bố trước đây [72].
65
Đầu tiên trong mục này luận án xây dựng một khoảng cách giữa hai
tập mờ, gọi là khoảng cách mờ.
Mệnh đề 3.1. Cho hai tập mờ ,A B trên cùng tập đối tượng U. Khi đó
, 2NFd A B A B A B (3.1)
là một độ đo khoảng cách giữa A và B .
Chứng minh: Để chứng minh ( , )NFd A B là một độ đo khoảng cách mờ
trên tập đối tượng U , nghĩa là mọi tập mờ , ,A B C trên U thỏa mãn các điều
kiện
Các file đính kèm theo tài liệu này:
- luan_an_nghien_cuu_cac_phuong_phap_rut_gon_thuoc_tinh_va_sin.pdf