Mục lục
Mục lục.1
Danh mục hình ảnh .4
Danh mục bảng biểu.6
Giới thiệu.7
Chương 1: Tổng quan vềhệthống quảng cáo theo ngữcảnh.10
1.1 Giới thiệu quảng cáo trực tuyến .10
1.2 Các đặc điểm của quảng cáo trực tuyến .11
1.3 Những hình thức quảng cáo trực tuyến cơbản .13
1.4 Tiếp cận quảng cáo theo ngữcảnh .14
1.5 Mô hình hệthống quảng cáo theo ngữcảnh AdEngine .16
Chương 2: Phương pháp tự động xác định phần nội dung chính của một trang web bất kỳ.21
2.1 Tổng quan.21
2.2 Một sốnghiên cứu gần đây .23
2.2.1 Tiếp cận theo hướng loại bỏcác tag HTML.23
2.2.2 Tiếp cận theo hướng rút trích các Text node .24
2.2.3 Tiếp cận theo hướng so sánh khung mẫu.25
2.2.4 Tiếp cận theo hướng phân tích mã HTML và xửlý ngôn ngữtựnhiên .26
2.2.5 Tiếp cận theo hướng phân đoạn trang web .28
2.3 Mô hình đềxuất của luận văn .32
2.3.1 Biểu diễn nội dung web dưới dạng lược đồHistogram .33
2.3.2 Mịn hóa Histogram .39
2.3.3 Gom nhóm trên Histogram .43
2.4 Kết quảthửnghiệm .45
Chương 3: Rút trích từkhóa trên văn bản Tiếng việt .49
3.1 Tổng quan.49
3.2 Một sốnghiên cứu gần đây .50
3.2.1 Hướng tiếp cận dựa vào thống kê .51
3.2.2 Hướng tiếp cận dựa trên máy học .52
3.3 Mô hình tiếp cận của luận văn .52
3.3.1 Tiền xửlý .53
3.3.2 Độ đo cục bộchi-bình-phương2χ .56
3.3.3 Độ đo toàn cục IDF.60
3.3.4 Độ đo kết hợp.60
3.4 Kết quảthửnghiệm .61
Chương 4: Thửnghiệm hệthống quảng cáo trực tuyến AdEngine .63
4.1 Tổng quan.63
4.2 Thiết kếhệthống .63
4.3 Cách thức hoạt động.67
Chương 5: Tổng kết và hướng phát triển .72
5.1 Tổng kết.72
5.2 Hướng phát triển.72
Tài liệu tham khảo.75
Phụlục.78
11 trang |
Chia sẻ: maiphuongdc | Lượt xem: 1813 | Lượt tải: 4
Bạn đang xem nội dung tài liệu Luận văn Xây dựng công cụ quảng cáo theo ngữ cảnh tiếng Việt, để tải tài liệu về máy bạn click vào nút DOWNLOAD ở trên
10
Chương 1: Tổng quan về hệ thống quảng cáo theo ngữ cảnh
1.1 Giới thiệu quảng cáo trực tuyến
Quảng cáo trực tuyến ngày càng đóng vai trò quan trọng trong kỷ nguyên công
nghệ thông tin, đặc biệt là trong bối cảnh công nghệ web phát triển như vũ bão như
hiện nay. Khi 70% độc giả báo chí thừa nhận đã phát ngấy với việc tăng trang chuyên
mục quảng cáo và 80% thính giả ra-đi-ô cho biết họ sẽ chuyển đài ngay khi nội dung
cần nghe kết thúc, đã đến thời điểm các nhà quảng cáo cần nghĩ đến một con đường
nhiều cơ hội và ít người đi hơn.
Internet - mỏ vàng đầy tiềm năng
Số liệu năm 2007 cho thấy trung bình một người châu Á dành 28% thời gian trong
ngày cho Internet, chỉ sau Tivi (34%). Tỷ lệ này vẫn đang tiếp tục tăng, vì Internet
ngày càng chứng minh những tiện ích vượt trội đem lại. Một công chức bận rộn không
cần rời mắt khỏi màn hình máy vi tính vẫn có thể thỏa mãn tất cả các nhu cầu như giải
trí, mua sắm, tra cứu thông tin, đọc sách báo, xem Tivi, gọi điện thoại, viết nhật ký.
Với các cỗ máy tìm kiếm ngày càng hoàn thiện, hệ thống email, website tích hợp nhiều
tiện ích, công nghệ mới và nhiều dịch vụ hấp dẫn ra đời, Internet đang thuyết phục
hàng triệu người trở thành một phần của mạng lưới đầy quyền lực này mỗi ngày.
Internet và các dịch vụ kèm theo phát triển nhanh đến nỗi từng khiến các chuyên gia lo
ngại cơ sở hạ tầng “đuối sức” sẽ gây sập hệ thống mạng toàn cầu. Nhưng đó là vấn đề
của những chuyên viên kỹ thuật. Dưới góc nhìn của nhà quảng cáo, điều này chỉ mang
một ý nghĩa hấp dẫn duy nhất: Internet đang phủ sóng một lượng khách hàng đáng mơ
ước có thể không bao giờ xem tivi, nhưng dành đến 16 tiếng mỗi ngày để online.
Cơ bản về quảng cáo trực tuyến
11
Cũng như các loại hình quảng cáo khác, quảng cáo trên mạng nhằm cung cấp thông tin,
đẩy nhanh tiến độ giao dịch giữa người mua và người bán. Nhưng quảng cáo trên Web
khác hẳn quảng cáo trên các phương tiện thông tin đại chúng khác, nó giúp người tiêu
dùng có thể tương tác với quảng cáo. Khách hàng có thể nhấn vào quảng cáo để lấy
thông tin hoặc mua sản phẩm cùng mẫu mã trên quảng cáo đó, thậm chí họ còn có thể
mua cả sản phẩm từ các quảng cáo trực tuyến trên website. Quảng cáo trực tuyến đã
tạo cơ hội cho các nhà quảng cáo nhắm chính xác vào khách hàng của mình, và giúp họ
tiến hành quảng cáo theo đúng với sở thích và thị hiếu của người tiêu dùng. Các
phương tiện thông tin đại chúng khác cũng có khả năng nhắm chọn, nhưng chỉ có mạng
Internet mới có khả năng tuyệt vời như thế.
1.2 Các đặc điểm của quảng cáo trực tuyến
Những ưu điểm của quảng cáo trực tuyến:
- Khả năng nhắm chọn: Nhà quảng cáo trên mạng có rất nhiều khả năng nhắm
chọn mới. Họ có thể nhắm vào các công ty, các quốc gia hay khu vực địa lý
cũng như họ có thể sử dụng cơ sở dữ liệu để làm cơ sở cho tiếp thị trực tiếp. Họ
cũng có thể dựa vào sở thích cá nhân và hành vi của người tiêu dùng để nhắm
vào đối tượng thích hợp.
- Khả năng theo dõi: Các nhà tiếp thị trên mạng có thể theo dõi hành vi của người
sử dụng đối với nhãn hiệu của họ và tìm hiểu sở thích cũng như mối quan tâm
của những khách hàng triển vọng. Ví dụ, một hãng sản xuất xe hơi có thể theo
dõi hành vi của người sử dụng qua website của họ và xác định xem có nhiều
người quan tâm đến quảng cáo của họ hay không? Các nhà quảng cáo cũng có
thể xác định được hiệu quả của một quảng cáo (thông qua số lần quảng cáo
được nhấn, số người mua sản phẩm, và số lần tiến hành quảng cáo,…) nhưng
điều này rất khó thực hiện đối với kiểu quảng cáo truyền thống như trên tivi, báo
12
chí và bảng thông báo. Tính linh hoạt và khả năng phân phối: Một quảng cáo
trên mạng được truyền tải 24/24 giờ một ngày, cả tuần, cả năm. Hơn nữa, chiến
dịch quảng cáo có thể được bắt đầu cập nhật hoặc huỷ bỏ bất cứ lúc nào. Nhà
quảng cáo có thể theo dõi tiến độ quảng cáo hàng ngày, xem xét hiệu quả quảng
cáo ở tuần đầu tiên và có thể thay thế quảng cáo ở tuần thứ hai nếu cần thiết.
Điều này khác hẳn kiểu quảng cáo trên báo chí, chỉ có thể thay đổi quảng cáo
khi có đợt xuất bản mới, hay quảng cáo tivi với mức chi phí rất cao cho việc
thay đổi quảng cáo thường xuyên.
- Tính tương tác: Mục tiêu của nhà quảng cáo là gắn khách hàng triển vọng với
nhãn hiệu hoặc sản phẩm của họ. Điều này có thể thực hiện hiệu quả trên mạng,
vì khách hàng có thể tương tác với sản phẩm, kiểm tra sản phẩm và nếu thoả
mãn thì có thể mua. Ví dụ, một quảng cáo cho phần mềm máy tính có thể đưa
khách hàng tới nơi trưng bày sản phẩm để lấy thông tin và kiểm tra trực tiếp.
Nếu khách hàng thích phần mềm đó, họ có thể mua trực tiếp. Không có loại
hình thông tin đại chúng nào lại có thể dẫn khách hàng từ lúc tìm hiểu thông tin
đến khi mua sản phẩm mà không gặp trở ngại nào như mạng Internet.
Hạn chế của quảng cáo trực tuyến:
- Khác với các phương tiện quảng cáo khác, để tiếp cận được với quảng cáo trực
tuyến đối tượng tiềm năng của bạn phải có máy tính và máy tính phải được nối
mạng Internet.
- Người dùng phải có kỹ năng duyệt web. Ở các nước phát triển, việc tin tưởng
vào quảng cáo và mua hàng trực tuyến đang rất phổ biến, còn ở nước ta, đây
mới chỉ là xu hướng và chỉ thực sự có hiệu lực cho một số ngành nghề phù hợp.
- Các văn bản và chính sách đang trong quá trình hoàn thiện, còn nhiều kẽ hở cho
lừa đảo trực tuyến phát triển cũng làm giảm độ tin cậy của quảng cáo trực tuyến.
13
Định giá quảng cáo trực tuyến:
- Khi quảng cáo trực tuyến mới ra đời, việc tính giá quảng cáo trên mạng chưa có
khuôn mẫu. Nhưng ngày càng có nhiều mô hình mới kéo theo nhiều cấu trúc
định giá ra đời. Ngày nay, các mô hình định giá có đủ loại từ giá cố định theo
điểm ảnh (pixel), đến tính giá theo số lần xem một mục quảng cáo, tính giá theo
số người nhấn vào quảng cáo, tính theo số lần quảng cáo truyền phát được, tính
phổ quát của từ khoá, số hàng được mua.
- Một số thuật ngữ thông dụng dùng để tính giá cho quảng cáo như CPM (Cost
Per Impression: Trả tiền trên tổng số lần truyền phát quảng cáo) và CPC (Cost
per click: trả tiền cho mỗi lần có khách hàng nhấn vào liên kết đến website).
1.3 Những hình thức quảng cáo trực tuyến cơ bản
Quảng cáo trực tuyến tại Việt Nam hiện nay thường theo các hình thức sau:
- Thông qua các cỗ máy tìm kiếm. Khi người sử dụng Internet gõ một từ khóa
(keyword) đã được “mua” bởi một nhãn hàng, website của nhãn hàng đó sẽ hiện
ra trong phần nhà tài trợ nằm bên trên hoặc bên tay phải của kết quả tìm thấy.
Từ đó cơ hội khách hàng ghé thăm website, nắm thông tin và muốn mua sản
phẩm hoặc dịch vụ sẽ tăng lên.
- Đặt logo hoặc banner tại các website có lượng người truy cập lớn, trong đó có
nhiều đối tượng phù hợp với khách hàng tiềm năng của sản phẩm.
- Thông qua hệ thống thư điện tử (email). Những hệ thống email lớn như Yahoo
hay MSN đều có gói quảng cáo này nên các doanh nghiệp có thể gửi thông tin
đến hàng loạt email trong hệ thống với chi phí rẻ. Tuy nhiên, hình thức này đang
gây phản cảm khi tình trạng thả thư rác ngày càng tràn lan bừa bãi.
14
- Quảng cáo đa phương tiện bằng cách ứng dụng công nghệ mới nhất tạo ra các
mẩu quảng cáo sản phẩm. Phần mềm thông dụng là AdobeFlash. Hình thức này
đòi hỏi đầu tư cao về ý tưởng, thiết kế mỹ thuật. Bù lại, các thành phẩm đặc biệt
sáng tạo, cuốn hút và có khả năng xác định chính xác đối tượng khách hàng.
Hiện tại, đây là hình thức quảng cáo trực tuyến hiệu quả nhất.
Trong đó hình thức phổ biến nhất ở Việt Nam là quảng cáo bằng banner:
Quảng cáo bằng banner theo kiểu Việt Nam còn lạc hậu ở chỗ tính định hướng của nó
rất thấp, theo nhận định của giới chuyên gia quảng cáo. Các banner chỉ được "treo" lên
cố định ở một chỗ, theo từng chuyên mục của website và nằm yên đó, không thay đổi
dù nhiều khi bài viết nằm dưới nó liên quan rất ít, thậm chí chẳng liên quan gì đến sản
phẩm được quảng cáo. Nhược điểm này đã được các công nghệ quảng cáo quốc tế khắc
phục từ rất lâu. Chẳng hạn công nghệ AdSense của Google có thể "đọc" thông tin trên
trang web và đưa lại các quảng cáo có liên quan đến nội dung của trang. Chỉ cần một
đoạn mã duy nhất, nhưng khi dán lên các trang khác nhau nó sẽ đem lại các quảng cáo
khác nhau.
Một yếu tố khác khiến quảng cáo trực tuyến Việt Nam "thua chị kém em" là sự nghèo
nàn, đơn điệu về hình thức. Ngoài banner và pop-up, hầu như không thể tìm thấy loại
hình quảng cáo nào khác. Trong khi đó trên thế giới, nguồn thu chính trong quảng cáo
trực tuyến lại là dịch vụ tìm kiếm.
1.4 Tiếp cận quảng cáo theo ngữ cảnh
Khác với các loại hình quảng cáo khác, thuật ngữ “quảng cáo theo ngữ cảnh” là
một xu thế mới hiện nay. Hệ thống quảng cáo theo ngữ cảnh sẽ quét nội dung trên một
trang web để tìm kiếm các từ khoá và trả lại một danh sách những quảng cáo thích hợp
có liên quan tới nội dung đang được xem trên trang web đó. Chẳng hạn, một trang web
15
có nội dung về thể thao có thể tự động được cung cấp các quảng cáo về các dụng cụ thể
thao hoặc những sự kiện thể thao.
Các quảng cáo lúc này sẽ chỉ được đăng trên những trang web có nội dung phù hợp với
đối tượng sử dụng của sản phẩm cần quảng cáo mà thôi. Khi ấy nhà quảng cáo sẽ
quảng cáo trên đúng đối tượng phù hợp của mình, ngược lại người sử dụng cũng cảm
thấy dễ chịu và chú ý hơn đến những sản phẩm có liên quan đến nội dung mà mình
đang đọc, đang tìm kiếm.
Hình 1-1: Ứng dụng quảng cáo theo nội dung ngữ cảnh
AdContext:
Quảng cáo theo
nội dung web
16
Vì vậy quảng cáo sẽ được thay đổi theo nội dung. Điều này giúp các nhà quảng cáo
hướng đúng đến đối tượng người dùng của mình hơn, tránh quảng cáo tràn lan, không
hiệu quả, và giảm được chi phí.
1.5 Mô hình hệ thống quảng cáo theo ngữ cảnh AdEngine
Vì những lý do nêu trên, luận văn đã tiến hành xây dựng thử nghiệm hệ thống
máy quảng cáo AdEngine để phục vụ cho nhu cầu quảng cáo trực tuyến theo mô hình
cảm ngữ cảnh này. Hệ thống được thiết kế như là một dịch vụ có thể thực hiện phân
phối các quảng cáo (đã được đăng ký trước đó trên hệ thống) đến với người dùng
Internet thông qua mạng lưới các trang web (các trang tin tức, diễn đàn, blog, v.v…)
đồng ý nhận đăng các quảng cáo trực tuyến của hệ thống.
Mô hình nghiệp vụ:
Hệ thống AdEngine đóng vai trò như là nhà trung gian, tiếp nhận các quảng cáo từ các
nhà quảng cáo (tạm gọi là Subcriber) và thực hiện phân phối lại các quảng cáo này trên
mạng lưới các trang web thành viên của nó (xem hình 1-3).
Các trang web thành viên này là các trang web mà chủ của nó (tạm gọi là Webmaster)
muốn đăng quảng cáo để kiếm thêm thu nhập. Để quảng cáo có thể hiển thị trên trang
web của mình thì Webmaster phải thực hiện đăng ký là thành viên với hệ thống
AdEngine trước. Để cho các Webmaster có thể nhận đăng quảng cáo thì chúng ta phải
chia một phần lợi nhuận thu được từ quảng cáo cho họ.
Nhà quảng cáo không có mối liên hệ trực tiếp với các Webmaster, họ chỉ liên hệ thông
qua hệ thống AdEngine và mọi việc còn lại như chọn lựa trang web thành viên để đặt
quảng cáo, tính phí, thời gian lưu quảng cáo… sẽ do AdEngine tự động thực hiện. Các
mẩu quảng cáo đều theo định dạng sẵn cho trước bao gồm các thông tin: tiêu đề, nội
dung quảng cáo, đường link đến trang chủ, và tập từ khóa đại diện cho quảng cáo. Các
thông tin này đều do nhà quảng cáo cung cấp. Bên cạnh đó, thời gian lưu quảng cáo sẽ
17
phụ thuộc vào chi phí mà nhà quảng cáo chi trả. Chi phí cho quảng cáo sẽ được tính
theo độ đo CPC (Cost Per Click), nghĩa là quảng cáo sẽ chỉ bị tính phí khi và chỉ khi có
ai đó click vào xem quảng cáo mà thôi, cho dù xuất hiện bao nhiêu lần đi nữa. Khi bị
trừ hết tiền thì quảng cáo sẽ ngưng xuất hiện.
Mọi quy trình hoạt động trên, bao gồm đăng ký, tiếp nhận quảng cáo, phân phối quảng
cáo, v.v… đều được thực hiện tự động trên web thông qua hệ thống AdEngine.
Mô hình hoạt động
Hệ thống cho phép các nhà quảng cáo đăng ký các mẩu quảng cáo. Các mẩu quảng cáo
được đại diện bởi một số từ khóa do nhà quảng cáo tự xác định. Sau đó, các quảng cáo
này sẽ được hệ thống phân phối và hiển thị trên mạng lưới các trang web thành viên
đồng ý nhận đăng quảng cáo thông qua một đoạn mã nhúng javascript. Đoạn mã nhúng
này sẽ tự động phân tích nội dung hiện tại của trang web để tìm kiếm các từ khóa đại
diện, sau đó sẽ tiến hành tìm kiếm trong hệ thống để lấy ra các quảng cáo có các từ
khóa tương đồng. Sau cùng nó tải về danh sách các quảng cáo được tìm thấy và hiển
thị lên trang web thành viên.
18
Hình 1-2: Mô hình quảng cáo truyền thống
Website A
Website B
Website Z
Mạng lưới Internet
Nhà quảng cáo 1 Nhà quảng cáo 2
Nhà quảng cáo n
Các nhà quảng cáo
Liên hệ đặt quảng cáo
19
Hình 1-3: Mô hình quảng cáo thông qua hệ thống trung gian AdEngine
AdEngine Server
Website A
Website B
Website Z
Mạng lưới các trang web
đăng ký thành viên
Nhà quảng cáo 1 Nhà quảng cáo 2
Nhà quảng cáo n
Các nhà quảng cáo
Hệ thống trung gian
AdEngine
đăng ký quảng cáo
phân phối quảng cáo
20
Để hệ thống có thể thực hiện phân phối các quảng cáo đến mạng lưới các trang web
một cách hợp lý, chúng ta phải đối mặt với các vấn đề như: bóc tách nội dung văn bản
chính của trang web bất kỳ, kỹ thuật rút trích từ khóa tự động từ văn bản có sẵn.
Chương tiếp theo chúng ta sẽ bàn chi tiết hơn về các vấn đề nầy.