Hệ thốngVICON được xây dựng bao gồm
một robot tay máy với hai bậc tự dopan vàtilt của
hãngDPerception Inc, như hình1, với các đặc
trưng chủyếu của robot giới thiệu trong bảng1.
Camera CV-M50, monochrome CCDCamera của
hãngJAI Corporation, cótiêu cự λ= 8mm,tín hiệu
ra video 25 hình/s. Quá trình thu thập ảnhvàsốhóa
ảnh được thực hiện nhờcard xửlí ảnhFrameLocker
của hãng Ajeco, tốc độxửlí33ms.Thiết bịtính
toánvà điều khiển là một máy tínhTouchscreen
màn hình 6.4 inchs, theochuẩn PC104,tốc độxửlí
800MHz/s, dohãngNagasakiIPCTechnologychế
tạo. Phần mềm của hệ điều khiển và xửlí ảnh được
viết bằngngôn ngữC trênmôi trườngMS-DOS
6 trang |
Chia sẻ: lethao | Lượt xem: 1918 | Lượt tải: 1
Bạn đang xem nội dung tài liệu Đề tài Nghiên cứu phát triển hệ Robot – camera tự động tìm kiếm và bám đối tượng di động VICON, để tải tài liệu về máy bạn click vào nút DOWNLOAD ở trên
Nghiên cứu phát triển hệ Robot – camera
tự động tìm kiếm và bám đối tượng di động VICON.
PGS. TSKH Phạm Thượng Cát, Ths. Trần Việt Phong
Phòng công nghệ Tự Động Hóa - Viện Công Nghệ Thông Tin
Tel. 8363484, e-mail: ptcat@ioit.ncst.ac.vn
Tóm tắt:
Hệ điều khiển visual servoing bám đối tượng di động liên quan đến vấn đề điều khiển và thị giác máy được
rất nhiều tác giả quan tâm. Hệ thống được trình bày trong báo cáo này bao gồm một robot hai bậc tự do pan/tilt
có gắn một camera. Hệ thống có nhiệm vụ bám đối tượng đang di chuyển với quỹ đạo không biết trước, thông
qua điều khiển các khớp quay của robot sao cho ảnh của đối tượng thu được ở chính giữa tâm camera. Báo cáo
đưa ra mô hình động học của hệ, liên quan đến vị trí của đối tượng trong ảnh và góc quay pan, tilt. Sau đó, để
mục tiêu luôn luôn ở chính giữa ảnh, một mô hình dự báo vị trí và tốc độ của mục tiêu được áp dụng. Báo cáo
cũng giới thiệu về phương pháp xử lí ảnh, tự động tìm kiếm và nhận dạng đối tượng di động. Các kết quả nghiên
cứu được áp dụng trong hệ thực nghiệm VICON cho kết quả rất khả quan.
Development of a Robot-camera system VICON
for automatic recognition and tracking of moving objects.
Abstract:
The robotic visual servoing system relates to robot control and machine vision issue has received many
attention from reseachers. The system introduced in this paper consists of a pan/tilt robot with 2 degree of
freedom (pitch and yaw) that controls a videocamera. The aim of system is to move robot in such a way that the
image of an unknown moving object attains the center of camera. We propose a kinematic model that relates the
position of object’s centroid in the image plane with the pan and tilt rotation angles. In order to permanently
maintain the object in the field of vision of videocamera, a prediction algorithm is used. This paper also briefly
describes image processing, auto detection and recognition of moving objects. The experiments with VICON
system present good results.
1.GIỚI THIỆU.
Hệ thống điều khiển robot có thị giác được
sử dụng để theo dõi các mục tiêu di động trong các
ứng dụng của robot công nghiệp và quốc phòng. Hệ
thống thị giác có thể được phân thành hai lớp, theo
như cấu trúc của hệ, đó là hệ có camera gắn cố định
và hệ có camera gắn trên tay máy (eye-in-hand).
Trong hệ camera cố định, các camera được gắn cố
định so với hệ tọa độ thực, thu thập ảnh của cả mục
tiêu và của cả môi trường. Mục đích của hệ này là
cung cấp tín hiệu điều khiển tay máy sao cho tay
máy đạt tới vị trí mong muốn. Mục đích của cấu
trúc eye-in-hand là điều khiển tay máy sao cho ảnh
của mục tiêu cố định hoặc di động luôn luôn được
duy trì ở vị trí mong muốn trên mặt phẳng ảnh thu
được. Trên cơ sở ảnh thu được từ camera, được số
hóa và tích hợp trong vòng điều khiển phản hồi, hệ
thống điều khiển các khớp của tay máy (DOF). Để
cải thiện chất lượng của hệ bám, các thuật điều
khiển khác như thích nghi, tối ưu, lọc Kalman
thường được sử dụng. Số bậc tự do của robot tùy
thuộc từng bài toán cụ thể, ví dụ khi i éng59838962TT3.46027 Tf
0AB Tc 10.02 0 0 10.0203174.717 t76.00032 Tm
Tj
/T/TT038194 2TT3.46027 Tmn r40i ttTm
(ng)Tj
10.02 0 0 100 2165194 112590 186 Tmm
(i )Tj
10.02 0 0 10.02 244.472 92.88251 966. 1Tj
10112590 186 T0 Tc 0 Tw 10.02 0 010.02 174.71 14502 244.472 92.88251 966.8.7754 112590 186 Tmc
(bot)Tj
10.02 0 0 10.149.432944 112590 186 Tmib,2b i
thể thay đổi không biết trước (do gió, ánh sáng thay
đổi). Các nghiên cứu về hệ môi trường động bị bỏ
khá xa so với hệ môi trường tĩnh do bị ảnh hưởng
khá lớn của tốc độ tính toán, cũng như độ chính xác
của việc phân tích ảnh. Do vậy, có nhiều thuật toán
để cải thiện tốc độ xử lý ảnh và xem xét đến các
yếu tố nhiễu tác động lên quá trình thu thập ảnh.
Một thách thức khác của bài toán visual servoing là
việc phân loại đối tượng. Một robot có thể phải đối
mặt với rất nhiều đối tượng khác nhau, trong đó chỉ
có một đối tượng quan tâm, còn các đối tượng khác
thì không. Do vậy chúng ta phải mở rộng khả năng
của hệ thống bao gồm chức năng thông minh tự
nhận dạng chính xác đối tượng cần tìm. Để nhận
được thông tin về vị trí của mục tiêu trong môi
trường động, các đặc trưng của mục tiêu rất quan
trọng. Các điểm lỗ, các góc cạnh, các đặc trưng
hình ọc của mục tiêu được phân tích thông qua
quá t
tiêu c
của ả
trong
thực
pháp
tiếp
gian
phươ
Hệ th
1 đượ
quả t
ở ph
Phần
thứ h
thống
Kalm
thuật
hệ th
cùng
2. MÔ
trong
quay
chuy
H
Cấu
thành
dựa vào chuỗi ảnh liên tiếp thu được từ camera để
nhận dạng và tính toán vị trí của đối tượng quan
tâm. Phần thứ hai là phần điều khiển, dựa vào thông
tin vị trí của đối tượng trong mặt phẳng ảnh, tính
toán tín hiệu điều khiển robot sao cho ảnh của đối
tượng di chuyển duy trì ở chính giữa mặt phẳng
ảnh.
Precision
deg/step
Range
deg
Max velocity
deg/s
Pan 0.01290 -1590 – +1580 60
Tilt 0.01290 -300 – +410 60
Bảng 1. Các đặc trưng chủ yếu của Robot.
Các thông số cơ bản của robot được giới thiệu như
trên bảng 1.
Do các tín hiệu điều khiển dựa trên thông tin xử lí
ảnh, nên một mô hình ánh xạ từ mặt phẳng ảnh vào
h
rình nhận dạng. Đặc tính về trọng tâm của mục
ó thể dễ dàng tính thông qua momen bậc nhất
nh, trong trường hợp môi trường tĩnh, nhưng
trường hợp môi trường động, việc này rất khó
hiện vì chi phí thời gian tính toán lớn. Một giải
hay được sử dụng để lọc nhiễu, dự báo vị trí
theo của mục tiêu, do đó giảm đáng kể thời
xử lí ảnh, được trình bày trong trong bài báo là
ng pháp lọc Kalman.
ống VICON được thiết kế dựa trên sơ đồ hình
c thử nghiệm trong phòng thí nghiệm cho kết
ốt, mặc dù có một số hạn chế sẽ được trình bày
ần sau. Bài báo này được tổ chức như sau.
thứ nhất mô tả hệ bám mục tiêu di động. Phần
ai trình bày về mô hình động học của hệ
. Phần tiếp theo giới thiệu về mô hình bộ lọc
an trong dự báo vị trí mục tiêu. Phần thứ 4 là
toán nhận dạng, xử lí ảnh. Kết quả thử nghiệm
ống VICON sẽ được trình bày ở phần 5. Cuối
là kết luận và hướng nghiên cứu tiếp theo.
TẢ HỆ BÁM MỤC TIÊU DI ĐỘNG.
Hệ bám mục tiêu di động được trình bày
bài này như hình 2. Hệ thống bao gồm một bệ
hai bậc tự do (2DOF), camera CCD có thể di
ển đồng thời theo hai hướng pan và tilt.
ình 2. Thiết bị điều khiển pan/tilt-camera.
trúc hệ điều khiển visual servoing gồm hai
phần chính. Phần thứ nhất là phần xử lí ảnh,
không gian robot cần được thực hiện. Hơn nữa, để
giảm ảnh hưởng của nhiễu và giảm khối lượng tính
toán trong xử lí ảnh nên các bước tiền xử lí, nhận
dạng, thích nghi cũng được sử dụng. Các bước này
sẽ lần lượt được trình bày dưới đây.
3. MÔ HÌNH HÓA ĐỘNG HỌC ROBOT.
Nhằm mục đích duy trì ảnh của mục tiêu
càng gần tâm của mặt phẳng ảnh, chúng ta thiết lập
mối quan hệ tương đối giữa biến quan sát được x0
và y0 là tọa độ của đối tượng trên hệ tọa độ gắn với
mặt phẳng ảnh (IP), đối với biến điều khiển của
robot φ và θ.
Yc
Xc
Oc
P(X, Y, Z)Zc Z
Y'
d2
θ φ
d1X
O X' Z'
Y
Hình 3. Mô hình động học hệ.
Trong hình 3, ta có thể nhìn thấy rằng φ và θ là các
góc quay xung quanh trục tương ứng là OZ và OZ’,
sao cho, sau khi di chuyển tâm của mục tiêu di
động có tọa độ P(X, Y, Z) sẽ được ánh xạ lên tâm
của mặt phẳng ảnh.
Mô hình động học của hệ sẽ được thể hiện trong hai
phần. Đầu tiên là xây dựng một mô hình hình học
xấp xỉ quan hệ giữa biến điều khiển và biến quan
sát. Tiếp theo, sử dụng xấp xỉ đó để xây dựng mô
hình động học của hệ.
2
1. Mô hình xấp xỉ hình học.
Gọi OXYZ là hệ toạ độ thực của hệ robot-camera
và OXcYcZc là hệ toạ độ gắn với camera. P(X, Y, Z)
là toạ độ của đối tượng trên hệ toạ độ thực, toạ độ
của P chiếu lên mặt phẳng ảnh là (xp, yp). Hình 4
thể hiện quan hệ hình học của góc quay φ là góc
quay của hệ robot-camera sao cho tâm của đối
tượng P(X, Y, Z) nằm trên trục OcZc. Từ hình vẽ 4,
có thể nhận thấy:
X
Y)tan( =φ (1)
và
λ
−=−==α
p
c
c x
dX
Y
Z
X
)tan(
1
(2)
trong đó X và Y thể hiện vị trí của tâm mục tiêu
trong hệ tọa độ thực, d1 là khoảng cách từ trục OY
đến trục OcXc , λ là tiêu cự camera.
Từ (1) ta nhận thấy, để tính được φ chúng ta phải
biết X và Y, là các đại lượng không đo được, cũng
không quan sát được, khi chỉ dùng một camera tĩnh.
Cũng từ (2) ta nhận thấy rằng, từ xP, là biến có thể
quan sát được, và λ là đại lượng có thể đo được, ta
có thể tính được α.
Nếu sai số để có thể xấp xỉ φ ≈ α là đủ nhỏ, thì φ có
thể tính qua α, do đó có thể tính φ từ các đại lượng
đo được và quan sát được.
Nếu φe là sai lệch khi thực hiện xấp xỉ này thì ta có
φ = α + φe. Do đó ta có thể viết:
)tan()tan(1
)tan()tan(
)tan()tan(
e
e
e φα
φαφαφ −
+=+=
(3)
từ (1), (2), (3) ta có:
⎟⎟⎠⎝ 1 YXdX
từ (4) có thể nhận thấy rằng sai số khi thực hiện xấp
⎞
⎜⎜
⎛
+−=φ 22
1Ydarctane (4)
- 0. Khi hệ điều khiển bám chính xác
-
d và Y, tức là X >> d Y .
n giải của robot và sai số do nhiễu
ác biến quan sát được x , y và đo lường được λ.
2. Mô hình động học của hệ robot-camera.
xỉ có thể chấp nhận được, trong các trường hợp sau:
limY→0 φe =
đối tượng.
- limd1→0 φe = 0. Khi gốc O và Oc là trùng nhau.
limX→∞ φe = 0. Khi khoảng cách X rất lớn so với
1 1
Các giả thiết này được áp dụng cho mô hình động
học của hệ thống đang xét với sai số nhỏ φc ≈ 0.005
rad. Sai số này có thể chấp nhận được nếu so với
sai số do độ phâ
trong xử lí ảnh.
Đối với xấp xỉ góc θ cũng tính tương tự. Ta có thể
kết luận rằng, khi tính φ và θ có thể giả thiết rằng O
và OC trùng nhau. Mục đích của xấp xỉ này là
chúng ta có thể tính góc quay pan φ và góc tilt θ từ
c P P
Nhằm mục đích tìm mô tả quan hệ giữa xp và yp đối
với φ và θ, đầu tiên ta tìm ma trận chuyển đổi đồng
nhất của hai phép quay c era xung quanh O
một góc φ và θ.
O
Oc
R
Hệ toạ độ quy chiếu của robot được xác định theo
quy tắc David - Hetenberg như trên hình 3.
Hình 4. Phép chiếu quay quanh trục OZ.
Ma trận chuyển từ hệ toạ độ O’X’Y’Z’ về hệ toạ độ
OXYZ:
ch hệ toạ độ
cos(φ) 0 sin(φ) 0
sin(φ) 0 -cos(φ) 0
0 1 0 0
1
O
O'R =
Y
P(X, Y, Z)
Xc
Yφ Zcλ α
xp O Oc X
IP
d1
X
Ma trận
O’X’Y’Z’
Ma trận đồ
Oc về hệ to
đồng nhất
độ camera
R
Do vậy:
=cOOR
Hình 3 và
được chiếu
thực hiện p
trận đồng n
co
-co
'O
OCR = uyển từ hệ toạ độ OcXYZ về
khi quay quanh O’Z’ góc θ:
0 0 0 ng nhất khi chuyển
ạ độ thực O là
khi chuyển từ hệ tọa
O
O
OCR
c, theo định nghĩa
( ) ( OOOOOO CCc RR == −1
hình 4 chỉ ra rằng cá
lên tâm của mặt p
hép quay φ và θ .
hất , ta có thể vcOOR
s(φ)cos(θ) sin(φ)c
s(φ)sin(θ) -sin(φ)s
sin(φ) -cos
0 0
cos(θ) -sin(θ)
sin(θ) cos(θ)
0 0
0 0
c
0
0
1am từ hệ toạ độ camera
. Ma trận
độ thực O về hệ tọa
'O
O
O
'O CRR=
ta có:
)T
c điểm P(X, Y, Z) sẽ
hẳng ảnh IP sau khi
Do vậy, khi biết ma
iết được như sau:
(5)
os(θ) sin(θ) 0
in(θ) cos(θ) 0
(φ) 0 0
0 1
0 0
0 0
1 0
0 1
=
3
Trong đó, (c, 0, 0, 1) và (X, Y, Z, 1) là tọa độ đồng
nhất của điểm P khi nhìn trong hệ toạ độ Oc và hệ
toạ độ O tương ứng.
Giải (5) ta có:
Xsin(φ) - Ycos(φ) = 0 (6)
-Xcos(φ)sin(θ) - Ysin(φ)sin(θ) + Zcos(θ) = 0
ta có:
⎟⎠
⎞⎜⎝
⎛=φ
X
Yarctan
(7)
( )⎟⎠
⎞⎜⎝
⎛ φ−=θ cos
Y
Zarctan
từ giả thiết xấp xỉ (1) và (2) ta có:
⎟⎟⎠
⎞
⎜⎜⎝
⎛
λ−=φ
pxarctan
(8)
( )⎟⎟⎠
⎞
⎜⎜⎝
⎛ φλ=θ cos
y
arctan p
Công thức (8) biểu diễn quan hệ giữa vị trí của mục
tiêu trên hệ tọa độ ảnh và các biến điều khiển của
robot, qua đó ta có thể điều khiển robot sao cho ảnh
của mục tiêu tiến tới chính giữa của mặt phẳng ảnh.
Trước khi trình bày về phần xử lý ảnh, ta giới thiệu
về phương pháp dự báo vị trí, tốc độ của mục tiêu
trên ảnh để điều khiển sao cho ảnh của mục tiêu
luôn duy trì ở chính giữa mặt phẳng ảnh khi mục
tiêu di chuyển, đồng thời phép dự báo này cũng làm
giảm khối lượng tính toán xử lí ảnh.
3. DỰ BÁO VỊ TRÍ CỦA MỤC TIÊU TRONG
MÔI TRƯỜNG CÓ NHIỄU BẰNG BỘ LỌC
KALMAN.
Bài toán bám mục tiêu di động với quỹ
đạo không biết trước yêu cầu phải dự báo được vị
trí và tốc độ của đặc trưng ảnh ở bước tiếp theo. Bộ
lọc Kalman được sử dụng để ước lượng dự đoán
căn cứ vào thông tin ảnh thu được từ camera số tại
thời điểm hiện tại. Bộ lọc Kalman được coi như bộ
ước lượng trạng thái hệ thống, có cấu trúc lọc đơn
giản và độ hội tụ tốt cùng với khả năng lọc nhiễu
cao [8], [9], [10].
Mô hình cần được ước lượng dự báo được mô tả
bởi hệ phương trình trạng thái:
kkk
kkk
ζCxy
GωAxx
+=
+=
+
+
1
1
ở đây, x và y tương ứng là vector trạng thái và
vector đầu ra của hệ thống, các chỉ số ‘k’ và ‘k+1’
chỉ các vector tại thời điểm thứ k và k+1. Đối với
bài toán ước lượng đặc trưng ảnh, ta có:
T
kkkkk vvuu ][ &&=x ; Tkkk vu ][=y
trong đó (uk, vk) và tương ứng là toạ
độ và tốc độ của ảnh đối tượng trên mặt phẳng ảnh
ở thời điểm thứ k.
),( kk vu &&
- Nhiễu quá trình ωk là nhiễu thể hiện độ không
chính xác của mô hình và được giả thiết là nhiễu ồn
trắng có giá trị kỳ vọng bằng 0 và ma trận tương
uan Q; ζk là nhiễu đo lư ng do độ không chính
ác của sensor và cũng đư c giả thiết là nhiễu ồn
X
Y
Z
1
cos(φ)cos(θ) sin(φ)cos(θ) sin(θ) 0
-cos(φ)sin(θ) -sin(φ)sin(θ) cos(θ) 0
sin(φ) -cos(φ) 0 0
0 0 0 1
q
x
trắng có giá trị kỳ vọng b
quan R. Trong mô phỏng Q
dương và là các ma trận đơ
Trong bài toán dự bá
điểm đặc trưng, ta xấp xỉ c
giữa hai lần cắt mẫu T có v
Các ma trận được tính như
⎥⎥
⎥⎥
⎦
⎤
⎢⎢
⎢⎢
⎣
⎡
=
1000
100
0010
001
A
T
T
Gọi P là ma trận tương qu
chọn là ma trận đơn vị, c
trước thời điểm hiện tại.
Ta có thuật toán lọc Kalma
Đầu ra của bộ dự báo cho
điểm đặc trưng.
Mô phỏng của bộ lọc dự
bày trên hình 5, khi ảnh củ
quỹ đạo thẳng.
Hình 5. Kết quả
ờ
ợ(15)
ằng 0 và ma trận tương
, R được chọn xác định
n vị.
o vị trí và vận tốc của
huyển động của mục tiêu
ận tốc không đổi.
sau:
⎥⎦
⎤⎢⎣
⎡=
0100
0001
C
G = I
an sai lệch, ban đầu P0
hỉ số “-“ xác định giá trị
n [9]:
ta vị trí và tốc độ của
báo Kalman được trình
a mục tiêu di chuyển với
bộ lọc Kalman.
4
Trong thực tế, áp dụng bộ lọc Kalman phụ thuộc
nhiều vào việc lựa chọn ma trận tương quan Q, R.
Ngoài ra nếu mục tiêu di chuyển với sự thay đổi
quỹ đạo nhanh chóng, tức là giả thiết tốc độ mục
tiêu là hằng số giữa hai lần lấy mẫu không còn
chính xác thì việc dự báo bằng bộ lọc Kalman sẽ
tiến tới kết quả không ổn định. Khi đó có thể sử
dụng phương pháp dự báo khác như phương pháp
Luenberger [10].
4. NHẬN DẠNG VÀ BÁM MỤC TIÊU DI
ĐỘNG.
Nhận dạng mục tiêu di động là bước quan
trọng trong hệ tự động tìm kiếm và bám mục tiêu di
động. Mục đích của quá trình này là thực hiện các
phép xử lí ảnh để tìm kiếm đối tượng cần quan tâm,
xác định vị trí của nó trong mặt phẳng ảnh hiện
thời. Trong quá trình tìm kiếm, ta chia một ảnh là
tập hợp các pixel bao gồm hai thành phần, hoặc là
thuộc đối tượng, hoặc là thuộc nền. Ta xem xét việc
tìm kiếm để nhận dạng các điểm thuộc đối tượng
trong mỗi ảnh thuộc chuỗi ảnh thu được.
Có rất nhiều cách để nhận dạng một đối tượng, ví
dụ ta có thể áp đặt mô hình của đối tượng đã biết
trước (màu sắc, hình dáng) lên toàn bộ ảnh, từ đó
tìm ra vị trí phù hợp nhất của đối tượng trong ảnh.
Tuy nhiên cách này phải tốn nhiều thời gian, và
không hiệu quả trong thực tế. Một phương pháp
nhanh hơn để xử lí ảnh và nhận dạng đối tượng
được trình bày như lưu đồ trên hình 6.
Hình 6. Lưu đồ xử lí ảnh.
Để đánh giá trạng thái của một pixel là đối tượng
hay là nền, chúng ta giả thiết là đối với các pixel
thuộc nền, cường độ sáng thay đổi chậm, trong khi
đó đối với pixel thuộc đối tượng, cường độ sáng
thay đổi lớn. Như vậy, một phép so sánh được thực
hiện giữa các pixel trong ảnh hiện thời, nếu giá trị
của pixel lớn hơn ngưỡng đặt trước, pixel đó có giá
trị 1, nếu không pixel có giá trị 0. Nếu ngưỡng quá
lớn, pixel thuộc đối tượng có thể lẫn với nền, nếu
ngưỡng quá nhỏ, thì sự thay đổi ánh sáng trong môi
trường sẽ tạo ra nhiều pixel có giá trị 1, mà các
diểm này lại không phải là điểm quan trọng.
Ngưỡng hợp lí được tạo ra sau khi thực hiện một số
phép lọc nhiễu và các bước tiền xử lí ảnh khác.
Khi ảnh đã được xử lí ngưỡng, ảnh nhị phân thu
được sẽ gồm các pixel có hai trạng thái 0 và 1. Các
pixel 0 thuộc nền và các pixel 1 thuộc các đối
tượng, ta phải phân tích các đối tượng được thể
hiện. Tuy nhiên ảnh thu được sẽ bao gồm rất nhiều
đối tượng khác nhau, bao gồm cả nhiễu, nhưng
trong đó chỉ có duy nhất một đối tượng cần quan
tâm. Các bước xử lí ảnh nhị phân tiếp theo được
thực hiện nhằm loại bỏ nhiễu, hoặc điền đầy các lỗ
của đối tượng, cũng làm giảm khối lượng tính toán
của các bước xử lí ảnh tiếp theo. Quá trình phân
đoạn ảnh thành từng đối tượng riêng rẽ được thực
hiện thông qua algorithm đánh nhãn liên tiếp
(Sequential Labeling Algorithm). Quá trình này có
thể tạo ra hàng trăm đối tượng khác nhau, trong đó
chỉ có một số đối tượng gần với đối tượng quan
tâm. Một quá trình quét tiếp theo sẽ loại bỏ các đối
tượng không hợp lý so với đối tượng mẫu.
Bước tiếp theo là phân tích các đặc trưng của các
đối tượng vừa thu thập được trên ảnh, và quyết định
xem đối tượng nào thuộc lớp đối tượng quan tâm.
Sử dụng phương pháp momen bất biến hoặc
phương pháp quyết định Bayes là các biện pháp
ương đối hiệu quả [4]. Việc còn lại là xác định vị
Bắt đầu
Tiền xử lý
ảnh nhị phân
ảnh phân vùng
Nhận dạng
mục tiêu
Xác định tọa độ
mục tiêu
Kết thúc
t
trí trọng tâm của mục tiêu trên ảnh tương đối đơn
giản, thông qua xác định momen bậc nhất.
Quá trình xử lí ảnh được thực hiện không phải trên
toàn bộ ảnh thu được, mà sử dụng kết quả dự báo ở
trên để làm giảm thời gian tính toán. Hình 7 thể
hiện ảnh kết quả sau khi đã thực hiện nhận dạng.
a) ảnh gốc. b) ảnh sau khi xử lí
Hình 7. ảnh sau khi qua các bước xử lí.
5. THỬ NGHIỆM HỆ THỐNG.
Hệ thống VICON được xây dựng bao gồm
một robot tay máy với hai bậc tự do pan và tilt của
hãng DPerception Inc, như hình 1, với các đặc
trưng chủ yếu của robot giới thiệu trong bảng 1.
Camera CV-M50, monochrome CCD Camera của
hãng JAI Corporation, có tiêu cự λ = 8mm, tín hiệu
ra video 25 hình/s. Quá trình thu thập ảnh và số hóa
ảnh được thực hiện nhờ card xử lí ảnh FrameLocker
của hãng Ajeco, tốc độ xử lí 33ms. Thiết bị tính
toán và điều khiển là một máy tính Touchscreen
màn hình 6.4 inchs, theo chuẩn PC104, tốc độ xử lí
800MHz/s, do hãng Nagasaki IPC Technology chế
tạo. Phần mềm của hệ điều khiển và xử lí ảnh được
viết bằng ngôn ngữ C trên môi trường MS-DOS.
5
Thực nghiệm hệ thống với mục tiêu đặt cách
camera khoảng 6.5 m. Mục tiêu được gắn động cơ
di chuyển với tốc độ khoảng 0.5m/s. Hình 8 chỉ ra
một số frame ảnh trích từ chuỗi ảnh thu được từ
camera, minh họa khả năng bám đối tượng cũng
như tìm kiếm tự động đối tượng.
a) Frame ảnh ban đầu b) Frame ảnh thứ 4
c) Frame ảnh thứ 5 d) Frame ảnh thứ 6
e) Frame ảnh thứ 7 f) Frame ảnh thứ 8
ình 8. Chuỗi ảnh thu được sau khi thực hiện xử lí
ảnh và điều khiển hệ robot-camera.
Từ kết quả thực nghiệm thấy rằng, hệ bám mục tiêu
di động với tốc độ xử lí ảnh khoảng 15 frame/s. Với
tốc độ này, thí nghiệm cũng chỉ ra rằng, khi mục
tiêu di chuyển với tốc độ nhanh thì ảnh mục tiêu sẽ
i chuyển ra ngoài vùng quan sát của camera, do
ậy hệ sẽ không bám được mục tiêu. Các thuật xử lí
ảnh và nhận dạng sẽ được cải thiện nhằm tăng chất
lượng của hệ thống.
6. KẾT LUẬN.
Báo cáo này đã mô tả ngắn gọn hệ thống
tự động bám đối tượng di động sử dụng thông tin
phản hồi hình ảnh. Động học của hệ được xây
dựng, vị trí của đối tượng trong ảnh được nhận
dạng theo kỹ thuật đã được trình bày ở trên. Nhằm
mục đích duy trì mục tiêu ở tâm của ảnh, phương
pháp dự báo Kalman cho vị trí tiếp theo của mục
tiêu được áp dụng. Hệ thống đã cho kết quả tốt khi
thử nghiệm, tuy nhiên để nâng cao tính ổn định và
tốc độ bám, các nghiên cứu tiếp theo sẽ được thực
hiện để hệ thống càng hoàn chỉnh hơn.
7. TÀI LIỆU THAM KHẢO.
1. J.Somlo, B.Lantos, P.T.Cat. Advanced robot
control. Akademiai Kiado press, 1997.
2. Wolfram Stadler. Analytical robotics and
mechatronics. McGraw-Hill, Inc press, 1995.
3. D. Maravall, L. Baumela. Adaptive control of a
video camera for the automatic detection and
tracking of mobiles.
4. Charles A. Rechards, Nicholaos
Papanikolopoulos. The automatic detection and
visual tracking of moving objects by eye-in hand
robotics system.
5. Bharat N. Shah, Paul.Y.Oh. Biomimetic Visual
Servoing Using A Partitioned Control Scheme.
6. Apostolos Dailianas, Robert B. Allen, Paul
England. Comparison of automatic video
segmentation algorithms.
7. Halina Kwa_nicka and Bartosz Wawrzyniak.
License plate localization and recognition in
camera pictures. Artificial Intelligence Methods
8. K. Daniilidis, C. Krauss, M. Hansen and G.
Sommer. Real-Time Tracking of Moving Objects
with an Active Camera. Real-Time Imaging 4,
(1998).
9. Kyu Bum Han, Yoon Su Back. Visual servo
tracking strategy using time-varying kalman filter
estimation. Yonsei University, Seoul, Korea.
10. J.A. Piepmeier, G.V. McMuray, H.Lipkin.
Tracking moving target with Model Independent
Visual Servoing: A predictive estimate Approach
Proceeding of the 1998 IEEE, Int. Conf. On
intelligent robot and system, Leuven, Begium,
1998.
11. Armel Cretual, Francois Chaumette. Image-
based visual servoing by integration of dynamic
measurements. IEEE Int. Conf. Robot. Automat.,
Vol 3:1994-2001, May, 1998.
12. Venkataraman Sundareswaran, Patrick
Bouthemy, Franácois Chaumette. Visual servoing
using dynamic image parameters.
13. Trần Việt Phong. Xây dựng hệ điều khiển robot
trên cơ sở phản hồi hình ảnh. Luận văn thạc sỹ, Đại
học Bách Khoa 2002.
6d
vH
Các file đính kèm theo tài liệu này:
- Nghiên cứu phát triển hệ Robot – camera tự động tìm kiếm và bám đối tượng di động VICON.pdf