Đề tài Ứng dụng Neural Network vào thị trường tài chính Việt Nam

hép Network thích nghi nhanh hơn với những điều kiện thay đổi của thị trường. Tính nhất quán hay tính thay đổi của kết quả trong nhóm dữ liệu ngoài mẫu là một thước đo quan trọng. Ví dụ, trong trường hợp hệ thống điều chỉnh thông thường, Neural Network với kết quả dự báo tồi tệ trong sự giảm sút vốn nặng nề trong bất cứ giai đoạn ngoài mẫu sẽ không được bổ sung để tránh rủi ro của sự phá sản. Hình 2.2. Phép thử Wark-forward trong chuỗi thời gian Cần nên nhớ rằng các quá trình huấn luyện và kiểm tra phải có cùng tỷ lệ với nhau khi mục đích của quá trình kiểm tra là để quyết định khả năng bao quát của Network. Tuy nhiên, quá trình công nhận cũng nên có cùng tỷ lệ với hoặc quá trình huấn luyện hoặc quá trình kiểm tra khi điều này có khuynh hướng về tính toàn vẹn của quá trình công nhận như là kiểm duyệt cuối cùng và độc lập trong Neural Network. Trong điều kiện sử dụng thực tế, các nhà nghiên cứu không có cách nào biết chính xác hàng loạt giá trị tương lai, nhưng chỉ có đánh giá hợp lý dựa trên một loạt các quá trình huấn luyện và hoặc kiểm tra. 2.6. XÁC ĐỊNH CÁC THÔNG SỐ CHO NEURAL NETWORK Có vô số cách để tạo nên Neural Network. Neurodynamic và architecture là hai cách dùng để miêu tả cách thức tổ chức mô hình Neural Network. Sự kết hợp giữa Neurodynamics và architecture xác định rõ mẫu của Neural Network. Neurodynamic miêu tả các đặc điểm của một Neuron riêng lẻ như chức năng truyền tải của nó và những biến đầu vào được kết nối như thế nào. Một Neural Network architecture xác định cấu trúc của nó bao gồm số lượng neuron trong mỗi lớp và số lượng cũng như loại và mối liên hệ của chúng với nhau. Số lượng neuron đầu vào là một trong những mẫu dễ nhất có thể thu thập được khi các biến độc lập đã được huấn luyện sơ lược vì mỗi biến độc lập được trình bày bởi neuron đầu vào của chính nó. 2.6.1. Tính toán số lượng các lớp ẩn Các lớp ẩn cung cấp cho Network với khả năng của nó để phổ biến nó.Về mặt lý thuyết, một Neural Network với một lớp ẩn với số lượng đủ các neuron ẩn có thể duy trì bất kỳ chức năng nào. Về thực tiễn, hệ thống Neural Network với một hay thỉnh thoảng là 2 lớp ẩn thường được dùng phổ biến và cũng cho thấy chức năng tốt. Gia tăng các lớp ẩn cũng đồng nghĩa với việc gia tăng thời gian tính toán, và nguy hiểm của “học quá mức” làm cho việc dự báo ngoải mẫu tệ đi. “Học quá mức” xảy ra khi mà một mô hình dự báo có quá nhiều cấp dễ dãi. Nói các khác, nó có tương đối nhiều quan sát có quan hệ với mẫu của nó. Trong trường hợp hệ thống Neural Network, mức độ ảnh hưởng, không làm thay đổi số lượng lớp ẩn và neuron và kích cở của bước huấn luyện ( số lượng quan sát) quyết định của việc có thể xảy ra của “học quá mức”. Mức độ ảnh hưởng càng lớn có liên quan đến kích cỡ của bước huấn luyện, khả năng của Network để nhớ đặc tính của một quan sát riêng lẻ càng lớn. Kết quả là việc khái quát cho bước công nhận bị mất đi và mô hình trở nên ít được sử dụng trong dự báo thực tế. Vì thế, cần nên nhớ là mọi hệ thống Neural Network nên bắt đầu tốt nhất là với một hay hầu hết là 2 lớp ẩn. Nếu một Neural Network có 4 lớp ( ví dụ có 2 lớp ẩn ) chứng tỏ sự không thỏa mãn sau khi được kiểm tra nhiều lần với các neuron ẩn sử dụng một số lượng hợp lý các trọng số được thu thập ngẫu nhiên, sau đó các nhà nghiên cứu nên chú ý các biến đầu vào một thời gian trước khi thêm vào lớp ẩn thứ ba. Cả lý thuyết và các công việc kinh nghiệm thực tế đều khuyên rằng Neural Network với nhiều hơn bốn lớp ẩn sẽ không cải tiến được kết quả. 2.6.2. Tính toán số lượng các neuron ẩn Mặc dù rất quan trọng, nhưng không có công thức thần kỳ nào trong việc lựa chọn số lượng các neuron ẩn tốt nhất. Vì thế, các nhà nghiên cứu đều sa vào các thí nghiệm. Tuy nhiên, một vài quy luật ngón tay cái phát huy lợi thế.Việc số xấp xỉ gần đúng có thể tuân theo quy luật kim tự tháp được nghiên cứu bởi Masters. Với một Network gồm 3 lớp với n neuron đầu vào và m neuron đầu ra thì sẽ có SQRT(n x m) neuron. Con số thực sự của neuron ẩn có thể dao động từ ½ đến 2 lần giá trị có được từ quy luật kim tự tháp phụ thuộc vào tính phức tạp của vấn đề. Baily và Thompson đề nghị số lượng các neuron ẩn trong Neural Network ba lớp nên bằng 75% số lượng neuron đầu vào. Katz chỉ ra rằng số lượng neuron ẩn tốt nhất sẽ được tìm thấy trong khoảng từ ½ đến 3 lần số neuron đầu vào. Ersoy đề nghị nên gấp đôi số lượng các neuron ẩn cho đến khi mô hình Network thể hiện tốt trong giai đoạn kiểm tra. Klimasauskas đề nghị nên có ít nhất 5 lần giai đoạn huấn luyện, để tạo giới hạn trên cho số lượng các neuron đầu vào và neuron ẩn. Điều quan trọng là cần phải chú ý đến quy luật tính toán số lượng các neuron ẩn là bội số của số lượng các neuron đầu vào cũng đã coi như ám chỉ rằng bước huấn luyện cũng cần ít nhất hai lần số lượng trọng số và có thể lớn hơn gấp bốn lần hoặc hơn thế nữa. Nếu không trong trường hợp này, những quy luật này sau này sẽ nhanh chóng dẫn các mô hình “khít quá mức” kể từ khi số lượng các neuron ẩn phụ thuộc hoàn toàn vào số lượng các neuron đầu vào (nó sẽ lần lượt quyết định số lượng các trọng số). Cách giải quyết này hoặc gia tăng kích cỡ của bước huấn luyện, hoặc nếu nó không thể, để xác lập mức giới hạn trên của các neuron đầu vào để số lượng các trọng số ít nhất cũng được phân nửa số lượng thực tế đã huấn luyện. Việc lựa chọn các biến đầu vào trở nên cực kỳ quan trọng trong một Neural Network nhỏ từ khi sự thoải mái trong việc lựa chọn số lượng biến đầu vào quá nhiều và cho nó phớt lờ đi những cái không phù hợp đang dần biến mất ngày càng nhiều. Lựa chọn số lượng các neuron ẩn “tốt nhất” đòi hỏi cần phải huấn luyện. Ba phương pháp thường được sử dụng là phù hợp, phát triển và cấu trúc lại. Trong cách tiếp cận phù hợp, một nhóm các Neural Network với các neuron ẩn khác nhau đã được huấn luyện và mỗi cái được đánh giá trong phần kiểm tra sử dụng số lượng hợp lý các trọng số bắt đầu được lựa chọn một cách ngẫu nhiên. Việc gia tăng số lượng các neuron ẩn có thể là một hai hoặc nhiều hơn phụ thuộc vào các tài nguyên máy tính phù hợp. Việc đưa ra các tiêu chuẩn ước lượng (ví dụ như tổng các sai lệch ) trong phần kiểm tra như là một công thức của nhiều neuron ẩn cho mỗi Neural Network một cách phổ biến sản sinh ra một đồ thị sai lệch có dạng hình cái bát. Network với sai số ít nhất được thấy ở đáy bát đã được thu thập bởi vì có thể phổ biến tốt nhất. Cách tiếp cận này mất nhiều thời gian, nhưng hầu như đều cho kết quả tốt. Lối tiếp cận triển khai và cấu trúc lại bao gồm việc thay đổi số lượng các neuron ẩn trong quá trình huấn luyện hơn là tạo nên những Network riêng biệt với những neuron ẩn khác nhau như trong lối phù hợp. Nhiều phần mềm đóng gói Neural Network không hỗ trợ việc thêm vào hay bớt đi các neuron ẩn trong quá trình huấn luyện. Lối tiếp cận cấu trúc bao gồm việc thêm vào các neuron ẩn cho đến khi mô hình cho thấy làm xấu đi các yếu tố ban đầu. Lối tiếp cận cấu trúc lại cũng gần vậy ngoại trừ các neuron được xóa bỏ trong quá trình huấn luyện. Dù cho phương pháp nào được sử dụng để thu thập các neuron ẩn cho quá trình kiểm tra, nguyên tắc là luôn lựa các neuron thể hiện tốt trong giai đoạn huấn luyện với số lượng neuron ẩn ít nhất. Khi kiểm tra một loạt các neuron ẩn, rất quan trọng để giữ tất cả các biến khác nhất quán. Việc thay đổi bất kỳ biến nào trong việc tạo ra ấn tượng tốt về một mô hình Neural Network mới với bộ mặt về các sai phạm tiềm tàng khác nhau, cái có thể làm phức tạp không cần thiết việc lựa chọn số lượng tốt nhất các neuron ẩn. 2.6.3. Tính toán số lượng các neuron đầu ra Việc quyết định số lượng các neuron đầu ra là cái gì đó khó hơn đường thẳng phía trước kể từ khi có các lý do hấp dẫn luôn sử dụng chỉ một neuron đầu ra. Hệ thống Neural Network với nhiều loại neuron đầu ra, đặc biệt nếu những đầu ra này được trải dài, sẽ tạo ra nhiều kết quả tồi khi so sánh với một Network chỉ với một biến đầu ra. Một Neural Network đã được huấn luyện bằng cách chọn các trọng số như sai số trung bình trên tất cả các neuron đầu ra đã được giới hạn thấp nhất. Ví dụ, một Neural Network cố gắng dự báo một tháng rưỡi giá tương lai sẽ tập trung hầu hết các hiệu quả của nó trong việc giảm dự báo với những sai lệch lớn giống như là dự báo 6 tháng. Kết quả là có một sự cải thiện lớn liên quan đến đến dự báo 1 tháng sẽ không được tạo ra nếu nó gia tăng hoàn toàn sai sót của dự báo 6 tháng bằng một số lượng lớn hơn sự cải tiến hoàn toàn của dự báo 1 tháng. Cách giải quyết để có được hệ thống Neural Network chuyên môn hóa bằng cách sử dụng các network phân biệt cho từng dự báo. Sự chuyên môn hóa cũng tạo ra các sản phẩm được thiết kế dùng thử và sai sót một cái gì đó đơn giản hơn từ khi mỗi Neural Network nhỏ hơn và nhiều biến hơn cần để thay đổi sự hòa hợp trong mô hình cuối cùng 2.6.4. Xác định loại hàm truyền Các hàm truyền là những công thức toán học mà quyết định số đầu ra của một quá trình neuron. Chúng cũng đồng thời nối kết với các chức năng thay đổi, nén lại, kích hoạt hay đổi mới. Điểm chính trong mô hình Neural Network hiện nay sử dụng chức năng hình S, nhưng những cái khác như tiếp tuyến và hồi quy cũng được đưa ra. Mục đích của hàm truyền là để ngăn chặn các biến đầu ra trong việc đặt đến các giá trị lớn mà chúng có thẻ “làm liệt” mô hình và do đó hạn chế huấn luyện. Hàm truyền tuyến tính không có ích lắm trong các ánh xạ và loại phi tuyến. Levich và Thoma, Kao và Ma nhận ra rằng các thị trường tài chính đều phi tuyến và cũng nhớ đề nghị rằng các hàm truyền phi tuyến thì thích hợp hơn. Các hàm truyền như hình sigma thì thường sử dụng phổ biến hơn cả cho dữ liệu chuỗi thời gian vì chúng cũng phi tuyến và những đặc trưng tiếp diễn có thể là những tính năng ao ước được dùng cho mô hình Neural Network. Dữ liệu thô thường đều có cùng tỷ lệ và ở giữa 0 – 1 và -1 đến 1, vì thế nó thường nhất quán với loại hàm truyền đang được sử dụng. Tuyến tính và độ lệch chuẩn là hai trong các phương pháp phổ biến nhất được sử dụng trong hệ thống Neural Network. Trong phương pháp tuyến tính, tât cả các biến đều được đo với số lớn nhất và nhỏ nhất được xác định theo công thức sau: Với SV là giá trị cần cân, TF là giá trị tương ứng của hàm truyền, D là giá trị của mẫu, là giá trị lớn nhất và nhỏ nhất của mẫu. 2.7. XÁC ĐỊNH TIÊU CHUẨN ĐÁNH GIÁ KẾT QUẢ Hầu hết các sai lệch thông thường đều được tối thiểu trong mô hình Neural Network là tổng các sai lệch bình phương. Các hàm sai lệch khác được đưa ra nhờ các phần mềm. Các hàm số sai lệch này có thể không phải là các tiêu chuẩn cuối cùng từ khi các phương pháp dự báo thông thường khác như MAPE thường không được tối thiểu trong mô hình này. Trong trường hợp các hệ thống điều chỉnh thông thường, các dự báo của Neural Network có thể chuyển thành tín hiệu mua bán tùy thuộc vào các tiêu chuẩn đã quyết định trước. Ví dụ, tất cả các dự báo đều lớn hơn 0.8 hay 0.9 điều đó nghĩa là đó là dấu hiệu mua, còn dự báo nhỏ hơn 0.2 hay 0.1 là dấu hiệu bán. Dấu hiệu mua hay bán sau đó được đưa vào chương trình để tính xem các loại rủi ro và được huấn luyện lại và Neural Network đưa ra kết quả được điều chỉnh rủi ro. Mức độ sai sót thấp và lợi nhuận giao dịch đều cần thiết đối với nhà đầu tư. Lọc lại chuỗi thời gian để loại bỏ nhiều sự thay đổi giá nhỏ có thể phần lớn ngăn chặn được trường hợp mà Neural Network với những điểm dự báo cao nhưng lại không mang đến lợi nhuận. Cũng vậy, giá trị của hệ thống giao dịch đơn lẻ nào cũng chỉ có thể xác định đưa theo hệ thống danh mục đầu tư của người dùng. Theo quan điểm này, mô hình Neural Network rất hữu ích nếu chúng hành động như là hệ thống đếm xu hướng trái với những hệ thống theo sau xu hướng của các trái phiếu thông thường 2.8. LỰA CHỌN KIỂU HUẤN LUYỆN MÔ HÌNH NEURAL NETWORK Quá trình huấn luyện một mạng lưới Neural nhằm học hỏi các mô hình dữ liệu có liên quan đến việc giới thiệu mạng lưới Neural có tính lặp đi lặp lại với các ví dụ nhằm nhận biết những câu trả lời nào là chính xác. Mục tiêu của việc huấn luyện là tìm cách để bố trí các trọng số ở giữa các neural nhằm định rõ toàn bộ số lượng tối thiểu của chức năng sai số. Nếu mô hình không được “khít quá mức”, điều này bố trí các trọng số nhằm cung cấp một khái quát hóa tốt. Mạng lưới Backpropagation sử dụng một thuật toán huấn luyện dốc xuống nhằm huấn luyện các trọng số để di chuyển xuống một độ dốc nhất của bề mặt sai số. Việc tìm thấy toàn bộ số lượng tối thiểu thì không được bảo đảm từ khi bề mặt sai số có thể chứa đựng một lượng cực tiểu cục bộ mà trong thuật toán có thể trở nên bế tắc. Thuật ngữ momentum và 5 cho tới 10 việc xếp đặt ngẫu nhiên của các trọng số ban đầu có thể cải tiến các cơ hội của sự đạt đến một mức tối thiểu chung. Phần này sẽ được thảo luận khi kết thúc việc huấn luyện một mạng lưới Neural và việc lựa chọn tỷ lệ nghiên cứu và các giá trị momentum 2.8.1. Xác định thông số lặp lại quá trình huấn luyện Có hai trường phái tư duy quan tâm về điểm mà việc huấn luyện nên được ngừng lại. Các căng thẳng đầu tiên là sự nguy hiểm của việc đánh bẫy trong các mức cực tiểu cục bộ và sự khó khăn của việc đạt đến một mức cực tiểu chung. Nhà nghiên cứu nên chỉ dừng việc huấn luyện cho đến khi không có sự cải tiến nào trong công thức sai số được dựa trên một số lượng hợp lý các trọng số ban đầu được lựa chọn ngẫu nhiên. Điểm mà mạng lưới không cải tiến được gọi là sự hội tụ. Cách nhìn thứ hai tán thành một chuỗi các gián đoạn mang tính huấn luyện. Việc huấn luyện được dừng lại sau khi một số lượng các gián đoạn được định trước và khả năng của mạng lưới là tổng quát hóa các quá trình kiểm tra đã được đánh giá và quá trình huấn luyện được tiếp tục. Việc tổng quát hóa là ý kiến mà một mô hình dựa trên vật mẫu của dữ liệu thì thích hợp cho việc dự báo tổng số lượng. Mạng lưới mà trong đó việc xếp đặt huấn luyện lỗi sai được chọn từ khi nó được cho rằng để khái quát hóa tốt nhất. Sự phê bình các thủ tục huấn luyện – kiểm tra rằng là các gián đoạn của các quá trình huấn luyện – kiểm tra thêm vào có thể gây ra lỗi sai trong việc xếp đặt huấn luyện – kiểm tra để rời xa hơn trước khi tăng trở lại hoặc nó thậm chí có thể rơi theo đường tiệm cận. Nói một cách khác, nhà nghiên cứu không có cách nào để biết được nếu việc huấn luyện thêm có thể cải thiện khả năng khái quát hóa một cách đặc biệt của mạng lưới khi mà các trọng số ban đầu được lựa chọn ngẫn nhiên. Cả hai trường phái đều đồng ý rằng khái quát hóa quá trình công nhận là mục tiêu cuối cùng và cả hai trường phái này đều sử dụng các tập hợp kiểm tra để đánh giá một số lượng lớn các mạng lưới. Điểm mà cả hai trường phái tiếp cận các trung tâm khởi hành với ý niệm của việc huấn luyện quá nhiều chống lại với việc “học quá mức”. Sự hội tụ tiếp cận đến các trạng thái không có huấn luyện quá mức mà chỉ có “học quá mức”. “Học quá mức” chỉ đơn giản là dấu hiệu của một mạng lưới mà có quá nhiều trọng số. Giải pháp nhằm để giảm thiểu số lượng các neural ẩn (hoặc các lớp ẩn nếu có hơn 1) và (hoặc) gia tăng kích cỡ của tập hợp huấn luyện. Việc huấn luyện – kiểm tra nhằm cố gắng để cảnh giác chống lại “học quá mức” bằng cách dừng lại việc huấn luyện dựa trên khả năng khái quát hóa của mạng lưới. Ưu điểm của lối tiếp cận hội tụ là chúng có thể thêm tin cậy rằng mức tối thiểu chung đã được đạt đến. Sự tái tạo thì dường như khó khăn cho việc huấn luyện tiếp cận đến các trọng số ban đầu được đưa ra một cách ngẫu nhiên thường xuyên và sự tương quan có thể dao động dữ dội như các tiến trình huấn luyện. Một ưu điểm khác là nhà nghiên cứu có ít hơn hai thông số để lo lắng; cụ thể là điểm mà tại đó để dừng việc huấn luyện và phương pháp để đánh giá những gì của các huấn luyện của các mạng lưới là tối ưu. Một ưu điểm của việc tiếp cận các huấn luyện có thể là các mạng lưới với ít cấp độ tự do có thể được thi hành với sự khái quát hóa tốt hơn là sự hội tụ của việc huấn luyện mà đưa ra kết quả trong “học quá mức”. Tuy nhiên, công việc mang tính kinh nghiệm không được nhằm vào kết quả này một cách đặc biệt. Việc tiếp cận huấn luyện có thể cũng yêu cầu ít thời gian huấn luyện hơn. Mục tiêu của sự hội tụ huấn luyện là nhằm với tới một mức tối thiểu chung. Điều đó yêu cầu việc huấn luyện cho đủ số lượng của các epoch sử dụng một số lượng hợp lý các trọng số ban đầu được chọn lựa một cách ngẫu nhiên. Thậm chí không có sự bảo đảm với một mạng lưới Backpropagation rằng mức tối thiểu chung được đạt đến từ khi nó có thể trở nên bị mắc kẹt trong mức tối thiểu địa phương. Trong thực tế, các nguồn lực có sử dụng tính toán thì bị giới hạn và các giao dịch nảy sinh. Nhà nghiên cứu phải sắp đặt lại số lượng các kết nối bên trong có thể thay đổi được để được huấn luyện, khoảng thời gian các neural ẩn nhiều hơn của mỗi mạng lưới được huấn luyện, số lượng của các trọng số ban đầu được chọn lựa một cách ngẫu nhiên, và số lượng tối đa của các cuộc hành trình ngắn. Ví dụ như, 50 kết nối có thể biến đổi bên trong được kiểm tra nhiều hơn 3 neural tiềm ẩn khác nhau với 5 nhóm các trọng số ban đầu được chọn lựa một cách ngẫu nhiên và số lượng tối đa của quãng đường đi ngắn của 4.000 kết quả trong 3.000.000 epoch. Với cùng thời gian tính toán được yêu cầu cho 10 kết nối bên trong có thể biến đổi được kiểm tra cho hơn 6 neural ẩn với 6 nhóm các trọng số ban đầu được chọn lựa một cách ngẫu nhiên và 5.000 tỷ epoch. Một phương pháp để xác định giá trị hợp lý cho số lượng tối đa các quãng đường đi ngắn là để vẽ sơ đồ ra sự tương quan, tổng của các sai số ước lệ, hoặc một phương pháp đo lường lỗi sai thích hợp khác cho mỗi epoch hoặc các khoảng thời gian đã được xác định trước đến một điểm mà nơi đó sự cải tiến không đáng kể (thường lên tới tối đa là 10,000 epoch). Mỗi epoch có thể được vẽ sơ đồ một cách dễ dàng nếu phần mềm mạng lưới neural tạo ra một dữ liệu thống kê hoặc, nếu như không đúng như thế, sự tương quan có thể được ghi nhận với khoảng thời gian từ 100 đến 200 từ màn hình máy vi tính. Sau khi vẽ sơ đồ sự tương quan của một số lượng các trọng số khởi đầu được chọn lựa một cách ngẫu nhiên, nhà nghiên cứu có thể chọn số lượng tối đa xu hướng được dựa trên điểm mà sự tương quan dừng việc gia tăng một cách nhanh chóng và dừng lại. Nhiều nghiên cứu đã đề cập đến số lượng các epoch ghi nhận sự hội tụ từ 85 đến 5,000 epoch. Tuy nhiên, việc xếp loại thì rất rộng như 50,000 và 191,400 epoch và thời gian huấn luyện của 60 giờ đã được ghi nhận. Việc huấn luyện bị ảnh hưởng bởi nhiều tham số như là sự chọn lựa tỷ lệ tiếp thu kiến thức và mometum, các sự cải tiến độc quyền sở hữu đến thuật toán Backpropagation, nằm trong những cái khác nữa, mà khác nhau giữa các nghiên cứu và thật là khó khăn để xác định một giá trị chung cho số lượng tối đa các xu hướng. Ngoài ra, sự chính xác bằng số của phần mềm mạng lưới neural có thể ảnh hưởng đến việc huấn luyện bởi vì độ dốc của các dẫn xuất sai số có thể trở nên rất nhỏ gây ra một vài chương trình mạng lưới neural để di chuyển về hướng sai nhờ vào các sai số mà có thể được tạo ra một cách nhanh chóng trong thuật toán huấn luyện có tính lặp đi lặp lại cao. Điều đó yêu cầu rằng các nhà nghiên cứu xác định số lượng các epoch được yêu cầu để đạt được sự cải tiến không đáng kể cho các vấn đề cụ thể của họ và kiểm tra càng nhiều các trọng số khởi đầu được chọn lựa một cách ngẫu nhiên càng nhiều thúc ép có sử dụng máy điện toán được cho phép 2.8.2. Lựa chọn learning rate và momentum Một mạng lưới BP được huấn luyện để sử dụng một thuật toán dộ dốc xuống nhằm tuân theo các diễn biến của bề mặt sai số bằng cách luôn luôn di chuyển xuống một độ dốc nhất. Mục tiêu của việc huấn luyện này nhằm tối thiểu tổng các sai số ước lệ, đuợc định nghĩa như sau: E = 2 1  M h E h = 2 1  M h  N i (thi – Ohi) 2 với E là tổng sai số của tất cả các mẫu hình, Eh là sai số trên mô hình h, chỉ số h xếp hạng toàn bộ các mô hình đầu vào, và i ám chỉ i neural đầu ra. Giá trị thay đổi thi là giá trị đầu ra được yêu cầu cho neural đầu ra ith khi mà mô hình h được trình bày. Nguyên tắc nghiên cứu để huấn luyện trọng số giữa neural i và j được định nghĩa như sau:  hi = (thi – Ohi) Ohi (1 – Ohi) (3)  hi = Ohi (1- Ohi)  N k  hkwjk (4) Δwij (n + 1) = ε ( δhiOhj) (5) với: n là số trình bày δhi là sai số của neural i của mô hình h € là tỷ lệ nghiên cứu. Tỷ lệ nghiên cứu thì mang tính cân xứng cố định nhằm xác định kích cỡ của các thay đổi trọng số. Thay đổi trọng số của một neural thì cân xứng với tác động của trọng số từ neural khác trên sai số đó. Sai số của neural bên ngoài và neural ẩn được tính toán bởi Eq. (3) và (4), thường dùng. Hình 2.3. Ví dụ đơn giản về bề mặt sai số của Neural Network Như là một sự tương đồng đối với thuật toán kiểm nghiệm BP, một khi có thể xem xét vấn đề trong việc cố gắng ném quả banh từ điểm A đến điểm C như trong hình 2.3, mặc dù trong thực tế bề mặt sai số là nhiều thứ nguyên của một đại lượng và không thể được trình bày dưới dạng đồ thị. Lực đẩy vào trái banh thì tương tự như tỷ lệ nghiên cứu. Việc áp dụng quá nhiều lực đẩy sẽ làm cho quả banh bắn xa hơn ra ngoài mục tiêu của nó và nó có thể không bao giờ trở lại điểm A hoặc nó có thể dao động chính giữa điểm A và diểm B. Trong suốt quá trình huấn luyện, tỷ lệ nghiên cứu mà quá cao bị khám phá khi công thức sai số đang thay đổi một cách dữ dội mà đang không chỉ ra một sự cải thiện tiếp tục. Quá ít lực đẩy vào quả banh và nó không thể thoát ra khỏi điểm A như là bằng chứng trong suốt quá trình huấn luyện khi có quá ít hoặc không có sự cải thiện nào trong công thức sai số. Một tỷ lệ nghiên cứu rất nhỏ cũng yêu cầu thêm thời gian huấn luyện. Trong trường hợp này, người nghiên cứu phải huấn luyện tỷ lệ nghiên cứu trong suốt quá trình huấn luyện hoặc “ tẩy não” mạng lưới bằng cách lựa chọn ngẫu nhiên tất cả các trọng số và thay đổi tỷ lệ nghiên cứu theo cách mới thông qua cài đặt việc huấn luyện. Một phương pháp nhằm gia tăng tỷ lệ nghiên cứu và nhờ đó tốc độ làm gia tăng thời gian huấn luyện mà không cần hướng đến sự dao dộng mà bao gồm lực đẩy trong Backpropagation quy tắc huấn luyện. Thuật ngữ momentum chỉ ra rằng các thay đổi trọng số trong quá khứ tác động như thế nào đến các thay đổi trọng số ở hiện tại. Quy tắc huấn luyện được sửa đổi BP được định nghĩa như sau: Δwij(n + 1) = ε( δhiOhi ) + α Δwij(n) (6) với α là thuật ngữ động lượng, và các thuật ngữ khác đã được định nghĩa ở trên. Thuật ngữ động lượng ngăn chặn sự dao động từ bên này sang bên kia bằng cách lọc ra những thay đổi có tần số xuất hiện cao. Sự tìm kiếm sự hướng dẫn mới là tổng trọng số hiện tại và độ dốc trước đó. 2.9. TIẾN HÀNH THỰC HIỆN MÔ HÌNH Tiến hành thực hiện mô hình được đưa ra như là bước cuối, nhưng trong thực tế đòi hỏi phải xem xét cẩn thận trước khi tập hợp dữ liệu. Dữ liệu có sẵn, tiêu chuẩn định giá và các lần huấn luyện tất cả được sắp đặt bởi môi trường mà trong đó hệ thống Neural Network sẽ được phát triển. Hầu hết các nhà bán phần mềm của mô hình Neural Network cung cấp phương tiện bởi các mạng lưới được huấn luyện có thể được bổ sung trong các chương trình của mô hình Neural Network hoặc như là một tập tin thi hành. Nếu không một mạng lưới được huấn luyện có thể được tạo ra một cách dễ dàng trong bảng tính bằng cách hiểu rõ cấu trúc của nó, các hàm truyền, và trọng số. Sự thận trọng nên được đặt vào các dữ liệu biến đổi, việc chia tỷ lệ, và các tham số để duy trì cùng lúc từ lúc huấn luyện cho đến khi sử dụng thực tế. Một ưu điểm của mô hình Neural Network là khả năng của nó có thể thích nghi được với sự thay đổi các điều kiện của thị trường thông qua sự huấn luyện trước đó. Trước khi triển khai, sự thể hiện của mô hình Neural Network sẽ giảm giá trị theo thời gian nếu không có huấn luyện lại để thay thế. Tuy nhiên, với sự huấn luyện lại trước đó cũng không có bất kỳ một sự bảo đảm nào là sự thể hiện của mô hình có thể được duy trì như là các giá trị thay đổi độc lập được chọn có thể trở nên ít quan trọng hơn. Có đề nghị rằng độ thường xuyên của việc huấn luyện lại cho mạng lưới được triển khai cùng lức với việc sử dụng trong suốt quá trình huấn luyện cuối cùng của mô hình. Tuy nhiên, khi huấn luyện một số lượng lớn các mạng lưới để thu được mô hình cuối cùng, độ thường xuyên của việc huấn luyện lại ít đi cũng được chấp nhận để giữ cho số lần huấn luyện là hợp lý. Một mô hình tốt nên mạnh đối với độ thường xuyên của việc huấn luyện lại và sẽ thường xuyên cải thiện bằng cách thay thế việc huấn luyện lại thường xuyên. KẾT LUẬN Để thiết kế một mô hình Neural Network hoàn chỉnh cần thông qua qui trình tám bước. Đầu tiên là lựa chọn yếu tố đầu vào có liên quan đến các yếu tố đầu ra, rồi chúng ta tiến hành thu thập m