Có một số khác biệt thú vị về tiêu chuẩn học/ước lượng bởi các cộng đồng khác nhau. Dân khmt đặc biệt là về thuật toán thì quan tâm đến làm sao tìm ra được thuật toán chạy có thời gian đa thức, và cần số lượng mẫu cũng là đa thức. Đa thức đối với kích cỡ của đầu vào của bài toán (ở đây sẽ là chiều của mô hình = số lượng tham số), và đa thức đối với . Epsilon ở đây là lỗi ước lượng cho phép. Ví dụ như bài báo này , bài này .

Tôi không hiểu tại sao và số lượng tham số lại “nghiễm nhiên” để ngang hàng nhau trong việc phân tích asymptotic. Nếu giới hạn cho polynomial asymptotic một cách chung chung thì chắc không sao — có nhiều ví dụ cho ta thấy điều đó. Phân biệt giữa độ phức tạp exponential và phức tạp polynomial là vấn đề truyền thống trong KHMT. Điều này cũng có nghĩa là trong khmt sự phân biệt giữa các tốc độ đa thức còn chưa được chú ý nhiều ( vs. chẳng hạn.) Kỳ thực so với thống kê thì các kết quả về phức tạp mẫu bên computational learning theory còn khá đơn giản, vì họ chưa chú trọng đến độ đa thức.

Trong thống kê hay học máy thống kê thì quan tâm chính là độ hội tụ của ước lượng (convergence of estimation error) đối với số mẫu. là một tốc độ kinh điển trong thống kê tham số hữu hạn chiều (khi đó, ta cũng có ). Trong các vấn đề ước lượng khác thì tốc độ hội tụ có thể rất khác, hoặc rất chậm theo tốc độ logarithm, , chẳng hạn. Lý thuyết minimax, nếu có, cho ta biết giá trị tốt nhất có thể của delta đạt được bởi một thuật toán tốt nhất có thể được.

Tuy nhiên bên thống kê chưa quan tâm đến sự phức tạp về thời gian của thuật toán. Có thể nói các kết quả về sự phức tạp của thuật toán ở bên thống kê hầu như không tồn tại.

Có thể tiếp cận vấn đề này theo hai hướng.

Một là tạm thời tách rời hai sự phức tạp khác nhau này ra. Thực ra cái này đã được làm ở một chừng mực nào đó: Đây chính là sự tách rời giữa lỗi xấp xỉ (approximation error) và lỗi ước lượng thống kê (estimation error). Thông thường lỗi xấp xỉ cũng cho ta biết tốc độ tốt nhất của một giải thuật tính xấp xỉ một đại lượng nào đó (không ngẫu nhiên), tuy điều này không phải luôn rõ ràng. Dân thống kê mới chỉ chú tâm đến cái thứ hai (lỗi ước lượng thống kê). Còn phân tích về lỗi xấp xỉ thì là địa hạt của những người nghiên cứu về lý thuyết xấp xỉ. Chỉ việc bê kết quả bên lý thuyết xấp xỉ sang áp dụng là xong.

Hướng này hay ở chỗ nó tách ra hai khái niệm mà bản thân chúng đều không đơn giản. Nhưng nếu không có kết quả về xấp xỉ cho một lớp mô hình cần quan tâm thì chịu. Điều này không phải là hy hữu, vì sự chú ý và động cơ của các ngành có nhiều khác nhau. Ví dụ, đân làm xấp xỉ có vẻ không quan tâm nhiều đến các biến rời rạc hoặc các dạng hàm số định nghĩa cho tập hợp (như hàm phân bố xác suất).

Hướng thứ hai là không tách rời hai dạng lỗi kể trên. Qua đó ta có thể nghiên cứu về sự tương tác giữa phức tạp về mẫu và phức tạp về thuật toán. Đặc biệt, sự tương tác giữa các mức phức tạp đa thức của cả mẫu và thời gian thuật toán. Tôi nghĩ đây là một trong những vấn đề thú vị trong lý thuyết học máy hiện nay.

Luyện gà chọi thi đại học cũng tiềm ẩn một vấn đề overfitting. Các sinh viên “fit” vào một mô hình thi cử cứng nhắc chưa chắc đã dễ giáo dục thành các kỹ sư, bác sĩ, luật sư giỏi. Gần đây, Narayana Murthy của Infosys đã gióng hồi chuông cảnh báo ở hội nghị “Pan IIT” summit rằng các kỹ sư tốt nghiệp hệ thống IIT càng lúc càng tệ, do vấn đề luyện gà chọi để “fit” vào hệ thống thi cử.

More emphasis has to be given to research at the undergraduate level and examinations should test independent thinking of students rather than their ability to solve problems.

Murthy said in order to produce good research at IITs, the Indian government has to be persuaded to create institutions that fund research projects.

In addition, faculty members should also be evaluated annually on their research performance by an independent committee, Murthy said adding that India must shift from the tenure system for its faculty to a five year contractual appointment system.

Johnny Ray vốn là thợ xây tường đá.  Năm 1997, khi ông 59 tuổi, ông bị đột quỵ cuống não (brain-stem stroke), dẫn đến hội chứng khoá trong (locked-in syndrome). Ông vẫn tư duy được như thường nhưng hoàn toàn không còn có thể di động bất kỳ bộ phận nào trên cơ thể, trừ mắt vẫn còn thấy.

Johnny Ray đã “may mắn” được chọn làm đối tượng thử nghiệm thứ 2 của một nhóm nghiên cứu thần kinh học ở trường đại học Emory, bang Atlanta, Mỹ. Hai nhà thần kinh học Phillip Kennedy và Roy Bakay đã bắt đầu nghiên cứu cách “đọc” thông tin từ sóng não bằng cách cấy trực tiếp các điện cực vào não từ 1990. Đến 1996, họ đã có một số kết quả khả quan sau các thí nghiệm với các động vật linh trưởng (primates) và Cơ quan quản lý thực và dược phẩm Mỹ (FDA) đã cho phép nhóm nghiên cứu của Kennedy và Bakay thử nghiệm trên … hai người. Người thứ nhất là một phụ nữ bị bệnh Lou Gehrig giai đoạn cuối. Bà ta qua đời hai tháng sau. Johnny Ray là bệnh nhân thứ hai.

Để đơn giản tối đa tín hiệu sóng não cần diễn dịch, các bác sĩ đã bảo Ray tập trung vào những suy nghĩ nhị phân kiểu như nóng/lạnh, lên/xuống. Những suy nghĩ phân cực này tạo ra các mẫu (pattern) sóng khác nhau được một máy tính cá nhân nối trực tiếp vào các điện cực qua cổng USB xử lý và “học” dùng các phương pháp phổ dụng trong ngành xử lý tín hiệu và xác suất thống kê. Sau một thời gian tập huấn với các kiểu tập trung tư duy phức tạp hơn (như thử cố di động cánh tay), ông Ray đã có thể di động được … con trỏ chuột trên màn hình máy tính, gõ các ký tự trên bàn phím (trên màn hình), và thậm chí chơi cả vài nốt nhạc. Sau thành công ban đầu với trường hợp của Johnny Ray, nhóm nghiên cứu đã nhận được tài trợ để thử thêm 8 bệnh nhân nữa.

Năm 2002, Jens Neumann – một người mù không bẩm sinh – được cấy các điện cực nối với cameras vào các vùng thị giác trong não. Các cameras đặc biệt này gửi các tín hiệu kích thích vào các vùng thị giác trong não. Hệ thống này do nhà Y-Sinh học William H. Dobelle (1941—2004) thiết kế. Neumann đã dùng “thị giác” còn rất chi là “khiếm” này để lái xe trong sân đậu xe của viện nghiên cứu.

Năm 2005, Matt Nagle – một bệnh nhân bị tứ chi bất toại (Tetraplegic) – đã dùng chông nghệ BrainGate của công ty Cyberkinetics Neurotechnology để di chuyển một cánh tay robot, di chuyển con trỏ chuột, bật tắt đèn và TV.

Tháng 2 năm 2011, anh trung sĩ cụt tay Glen Lehman của quân đội Mỹ đã biểu diễn điều khiển cánh tay giả của mình bằng ý nghĩ ở hội nghị thường niên của Tổ chức vì tiến bộ Khoa Học Hoa Kỳ (American Association for the Advancement of Science – gọi tắt là AAAS). Trong video quay lại cuộc trình diễn của anh, ta có thể thấy Lehman đã dùng tay giả cầm gói đồ ăn, khay thức ăn, và chuyền một chai nước. Anh nói với các nhà báo: “tay tôi hầu như là đồng bộ với suy nghĩ của tôi!”.

Các trường hợp của Johnny Ray, Jens Neumann, Matt Nagle, và Glen Lehmann là bốn trong số rất nhiều ví dụ thử nghiệm thành công của “giao diện não-máy” (Brain-Computer Interface, BCI), một nhánh nghiên cứu đầy hứa hẹn sẽ mang lại những phép màu cho các phế nhân. Không những thế, công nghệ và khoa học đằng sau BCI còn có khả năng sẽ đặt nền tảng cho những ứng dụng không tiền khoáng hậu cho cả nhân loại và đào sâu tầm hiểu biết của chúng ta vào cỗ máy phức tạp nhất mà con người đã từng “giao diện” vào được: não bộ!

2. “Truy cập” vào não …

Năm 1875, bác sĩ người Anh Richard Caton (1842—1926) đã khám phá ra rằng não thỏ và khỉ có các hiện tượng điện. Sau đó, nhiều bác sĩ và nhà khoa học đã dùng điện não đồ (electroencephalogram, viết tắt là EEG) để đo và nghiên cứu các hoạt động điện trong não thú vật. Năm 1924, bác sĩ người Đức Hans Berger (1873—1941) là người đầu tiên trong lịch sử nhân loại đã có thí nghiệm đo “sóng não” người bằng điện não đồ. Các điện cực được gắn trên da đầu. Ông quan sát thấy có một nhịp sóng alpha (còn gọi là sóng Berger) ở tần số khoảng 8—12Hz. Ban đầu người ta không tin lắm vì có khả năng đây chỉ là nhiễu từ bên ngoài, nhưng sau đó các nhóm nghiên cứu khác đã độc lập kiểm chứng được rằng quả là có cái gọi là “sóng não” phát sinh bởi các hoạt động điện từ của các neurons thần kinh.

Điện cực gắn vào đầu để đo EEG

Đo lường và phân tích sóng não từ các điện cực gắn ngoài sọ là việc cực kỳ khó vì các điện cực không tiếp xúc trực tiếp với não nên tín hiệu vốn đã yếu còn bị mất mát; ngoài ra tín hiệu đo được còn bị hứng thêm nhiều loại tín hiệu nhiễu như nhiễu sinh học từ hoạt động của cơ, tim mạch, mắt, hay nhiễu từ môi trường xung quanh như nguồn điện gia dụng chẳng hạn. Do đó hầu như chỉ có những hoạt động của não đòi hỏi nhiều thành tố thần kinh hoạt động đồng bộ mới tạo sóng đủ mạnh để phân tích và dùng được.

Dù gặp nhiều khó khăn như vậy, từ những năm 60 các nhà khoa học đã nghiên cứu các phương pháp xử lý tín hiệu và xác suất thống kê để dùng tín hiệu EEG làm được những thí nghiệm kỳ diệu. Năm 1964 nhà vật lý Edmond Dewan của phòng nghiên cứu Không Quân ở tiểu bang Massachussetts, Mỹ, đã minh chứng rằng các người dùng hệ thống của ông có thể dùng tín hiệu EEG để gửi mã Morse.. Đầu thập niên 1970, giáo sư ngành khoa học máy tính Jacques Vidal của đại học UCLA, Mỹ, cũng đã huấn luyện người sử dụng dùng não phát ra các lệnh di động đèn tín hiệu trái phải, trên dưới. Điều khá thú vị là người dùng hệ thống của cả Dewan và Vidal đều chủ ý di động mắt để tạo ra sóng EEG. Nhưng đây cũng là một “thất bại” của họ trên phương diện ứng dụng Y học, vì họ cần người dùng di chuyển một bộ cơ (mắt) để lấy tín hiệu; các bệnh nhân bị liệt chưa chắc đã “lanh mắt” được như vậy.

Sau đó các nhóm nghiên cứu khác đã từ từ “giải mã” được một số loại sóng não mà không cần dựa vào sự chuyển động của mắt hay các bộ cơ khác trong cơ thể. Ví dụ, các nhà khoa học đã có thể giải mã được sóng não EEG khi người dùng tưởng tượng một chuyển động nào đó.

Có thể phần nào giải quyết những khó khăn về mặt chất lượng tín hiệu của kỹ thuật EEG bằng cách cấy điện cực thẳng vào não thay vì chỉ gắn chúng ngoài đầu. Tuy nhiên phương pháp “can thiệp sâu” này cực kỳ khó nghiên cứu trên diện rộng vì lý do hiển nhiên: có cho tiền tỉ cũng không ai cho cưa sọ ra làm chuột thí nghiệm, chưa kể tính bất khả thi về mặt luật pháp. Do đó, các thí nghiệm của phương pháp can thiệp sâu vào não này chủ yếu được tiến hành trên các động vật linh trưởng, hoặc là chuột, mèo. Thỉnh thoảng mới có kết quả áp dụng vào các bệnh nhân bị liệt, mặc dù chúng rất khả quan.

Trên thú vật thì từ năm 1969 nhà vật lý Eberhard Fetz của đại học Washington (thành phố Seattle, Mỹ) cùng các cộng sự đã minh chứng rằng ta có thể huấn luyện khỉ dùng não điều khiển các cánh tay robot. Từ đó đến nay đã có nhiều công trình nghiên cứu phân tích các sóng não phức tạp hơn nhiều. Đã có thêm rất nhiều công trình phân tích sóng não của các loại khỉ, vượn, giúp chúng điều khiển các thiết bị cơ học hoặc máy tính bằng suy nghĩ. Thậm chí vào năm 2000 các nhà khoa học của đại học Duke (Bắc Carolina, Mỹ), đại học MIT (bang Massachussetts, Mỹ) và đại học bang New York (SUNY) đã huấn luyệncho khỉ di chuyển tay robot từ xa qua mạng Internet: khỉ ở Duke, tay robot ở MIT cách nhiều trăm dặm.

Về mặt hình ảnh thì năm 1999, nhóm nghiên cứu của giáo sư Yang Dan ở đại học UC Berkeley, Mỹ, đã giải mã được sóng não của mèo để xây dựng lại phần nào (với độ phân giải thấp) hình ảnh mà mèo nhìn thấy.

Hình ảnh thực ở ngoài mèo nhìn thấy, và ảnh xây dựng lại của nhóm Yang Dan

Năm 2008, một nhóm các khoa học gia Nhật bản cũng đã xây dựng lại được hình ảnh mà một người nhìn thấy dùng công nghệ “chụp ảnh cộng hưởng từ chức năng” (functional Magnetic Resonance Imaging, viết tắt là fMRI). Mặc dù hình ảnh mà họ xây dựng lại có độ phân giải rất thấp (10 x 10 pixels) và chỉ là đen trắng,  kết quả này thật sự là rất hứa hẹn (ví dụ, nó cho thấy khả năng ghi hình lại các giấc mơ!). Một điểm đáng lưu ý nữa là kỹ thuật fMRI chỉ chụp ảnh từ ngoài, không can thiệp trực tiếp vào não bộ.

Để phân tích sóng não, các kỹ thuật phổ dụng của ngành Học máy Thống kê (statistical machine learning) là thành phần cốt lõi. Học máy thống kê là một hướng tiếp cận đến vấn đề trí tuệ nhân tạo. Trong thập niên đầu của thế ký 21, Học máy Thống kê đã len lỏi vào hầu hết các ngóc ngách của cuộc sống hiện đại: nó là khối óc của công nghệ tìm kiếm của Google, của các chương trình lọc thư rác, của xe ô-tô không người lái, của các hệ thống theo dõi bệnh lý tự động, nhận diện chữ viết, tiếng nói, hình ảnh, các chương trình bảo mật mạng, các giao dịch tài chính và chứng khoán diễn ra hàng ngày với tốc độ nanô-giây, vân vân và vân vân. Thành công vang dội của hệ thống máy tính Watson của công ty IBM trong trò Jeopardy! tháng 2 vừa qua đã đưa Học máy thống kê lên vị trí thống lĩnh không thể chối cãi trong trí tuệ nhân tạo hiện đại. Mục tiêu chủ yếu của Học máy thống kê là phối hợp thuật toán máy tính và mô hình thống kê để tìm ra các cấu trúc có liên hệ về mặt toán học trong một mớ dữ liệu hổ lốn và nhiều nhiễu như mạng WWW, giao dịch chứng khoán, hay hình ảnh X-quang chẩn bệnh. Do đó, việc Học máy thống kê được dùng để phân tích sóng não cũng là điều dễ hiểu.

Kể cũng khá thú vị là, mục tiêu của môn Học Máy nói riêng và trí tuệ nhân tạo nói chung là huấn luyện cho máy biết tự “suy nghĩ”. Nhưng trong ngữ cảnh bài này chúng ta lại thấy kỹ thuật Học Máy được dùng để huấn luyện cho máy hiểu suy nghĩ của người. Và để làm được điều này người cũng phải được huấn luyện để tập trung tư duy theo một mẫu nhất định cho máy học được mẫu đó. Một thông tin nhỏ cho các bạn đọc chuyên ngành: hiện nay support-vector machines (SVM) vẫn là công cụ hiệu quả nhất cho vấn đề “học” sóng não này.

3. Thần giao cách cảm

Việc nghiên cứu và áp dụng BCI để giúp người tàn tật đã và đang phát triển nhanh chóng. Ngoài các minh chứng điều khiển tay chân giả, đã có các kết quả về điều khiển xe lăn, điều khiển thắng xe hơi bằng tư duy, . Nhưng các ứng dụng của BCI rõ ràng là không chỉ nằm ở đó. Khi đã có thể gửi thông điệp tới máy bằng suy nghĩ thì “thần giao cách cảm” không còn là chuyện khoa học giả tưởng nữa. Một trọng những ứng dụng quan trọng của “công nghệ thần giao cách cảm” là trên … chiến trường.

Năm 2008, quân đội Mỹ đã bắt đầu tài trợ cho một dự án gồm nhiều trường đại học ở Mỹ để phát triển công nghệ “cách cảm tổng hợp” (synthetic telepathy) dùng cho mục tiêu quân sự.  Mục tiêu “đơn giản” của dự án là phát triển các loại “nón” đặc biệt chứa các thiết bị đo sóng não, để các chiến binh có thể suy nghĩ và máy sẽ đo và gửi qua đường truyền không dây những thông điệp tác chiến đơn giản đến những cái nón khác của đồng đội, có bộ phận chuyển tín hiệu thành âm thanh cho họ. Chúng ta hoàn toàn có thể tưởng tượng được cuộc cách mạng quân sự  khi ý tưởng này thành hiện thực.

Ảnh chôm của tạp chí Discover

Dự án này do tiến sĩ Elmar Schmeisser ấp ủ khi ông làm quản lý dự án ở phòng nghiên cứu của quân đội Mỹ (Army Research Office). Sau một lần tham dự hội nghị về các tiến triển mới nhất của khoa học và công nghệ BCI, Schmeisser chợt nhận ra rằng BCI không chỉ có lợi cho người tàn tật. Ông đã thuyết phục các lãnh đạo ở phòng nghiên cứu tài trợ cho dự án dài hơi này. Cùng với tư vấn của các nhà khoa học hàng đầu về BCI, các nhà lãnh đạo phòng nghiên cứu quân đội Mỹ đã … siêu lòng. Từ đó, các đơn xin tài trợ chất đầy phòng quản lý của Schmeisser. Đến 2008, Schmeisser  quyết định tài trợ cho hai nhóm nghiên cứu theo đuổi hai cách tiếp cận đến vấn đề này. Nhóm đầu tiên do tiến sĩ Gerwin Schalk, một nhà Y-Sinh học ở đại học Y Albany, bang New York dẫn đầu, theo đuổi hướng “can thiệp sâu”. Nhóm thứ hai gồm các giáo sư ở các đại học UC Irvine, Carnegie Mellon University và đại học Maryland, do giáo sư Mike D’Zmura ở UC Irvine lãnh đạo theo đuổi hướng dùng EEG, không cần cưa sọ. Họ đã nhận được tài trợ đầu tiên với số tiền khởi điểm hơn 6 triệu đô.

Để tránh các khó khăn về nhiễu của công nghệ EEG, ban đầu nhóm thứ hai dùng thêm công nghệ “từ não đồ” (Magnetoencephalography, viết tắt là MEG), giống EEG ở chỗ chỉ cần đội một cái nón đồ sộ đặc biệt mà không cần mổ não, nhưng MEG đo từ trường tạo bởi các hoạt động của não. Lý do mà các máy MEG trông như các bộ sấy tóc khổng lồ ở thẩm mỹ viện là vì chúng cần các “lá chắn” nhiễu từ trường ngoài môi trường. Lợi thế của MEG so với EEG là từ trường tạo bởi hoạt động của não ít bị giảm chất lượng so với điện trường khi đi xuyên qua sọ. So với fMRI thì MEG “nhạy” hơn nhiều, có thể dùng để đo các thay đổi trong não trong thời khoảng mili-giây. Với MEG thì nhóm của D’Zmura đã có các thành tựu bước đầu với mã Morse và một số suy nghĩ đơn giản. Còn với các nón EEG nhỏ thì công nghệ của họ cũng đã có thể giải mã được suy nghĩ một số cụm từ nhất định nhưng chỉ với xác suất khoảng 45%.

Ta có thể tin chắc rằng sẽ phải ít nhất vài mươi năm nữa cho đến khi đội đặc nhiệm câm của Mỹ đột nhập vào các hang núi ở Afghanistan. Nhưng việc những người tàn phế tận dụng công nghệ BCI để giao tiếp và điều khiển những “cánh tay” nối dài bằng suy nghĩ, hay các game thủ chơi game không cần tay chân thì chắc chắn sẽ thành hiện thực trong tương lai rất gần.

4. Những hạt giống đầu tiên của công nghệ sóng não trên thị trường

Không chỉ còn là khái niệm minh chứng trong phòng thí nghiệm, công nghệ BCI và các ứng dụng của nó đã bắt đầu được phát triển và kinh doanh ngoài “đời thực”.

Để kỷ niệm sinh nhận 10 năm của chiếc xe “thân thiện môi trường” Prius, công ty Toyota đã thiết lập một chương trình tài trợ gọi là “các dự án Prius” với mục đích tài trợ hoặc hợp tác với các dự án xây dựng và thiết kế công nghệ dựa trên “triết lý Toyota Prius”: hướng về tương lai. Một trong những dự án đã có sản phẩm mẫu ra đời tháng 8 vừa qua là chiếc xe đạp PXP, là thành quả hợp tác của Toyota, công ty xe đạp Parlee Cycles, và công ty công nghệ DeepLocal. Ngoại trừ rất nhiều các cải tiến tối ưu động lực, vật liệu, cua-rơ PXP còn có thể tự sang số xe bằng ý nghĩ. Cua-rơ đội một “tai nghe sóng não” nối với một điện thoại iPhone gắn vào xe. Bạn đọc có thể xem giới thiệu PXP trên một youtube video:

Các thiết bị giao diện não-máy đã được một số công ty phát triển và bán ra thị trường: ví dụ như bộ “tai nghe” MindWave (100usd) của công ty NeuroSky, bộ kích hoạt NIA (90usd) của công ty OCZ, hay bộ EPOC neuroheadset (300usd) của công ty Emotiv Systems. Có nhiều công ty đang phát triển và kinh doanh ứng dụng (chủ yếu là giải trí và Y tế) dựa trên giao diện lập trình của các thiết bị nghe sóng não này.

Cụ thể hơn, EPOC neuroheadset là một trong những thiết bị giao diện người-máy mới nhất và thông minh nhất, hứa hẹn sẽ sớm đưa bàn phím và con chuột vào dĩ vãng. EPOC neuroheadset có ba loại cảm biến “giải mã” hoạt động não mà họ gọi là (1) Expressiv: khả năng diễn đạt lại các biểu hiện trên mặt, (2) Affectiv: khả năng “hiểu” các biểu hiện tình cảm trong não, và (3) Cognitiv: khả năng hiểu được suy nghĩ. Bạn đọc có thể xem demo về các khả năng của EPOC neuroheadset ở trên youtube:

EPOC neuroheadset chắc chắn sẽ cách mạng hoá công nghệ trò chơi điện tử. Với Expressiv, các nhân vật trong trò chơi điện tử sẽ mang “dấu ấn” biểu hiện gương mặt của người chơi. Với Affectiv, môi trường chơi có thể biến ảo về màu sắc, âm nhạc, tuỳ theo trạng thái tình cảm của gamer. Với Cognitive, EPOC neuroheadset có thể sẽ đóng vai trò chủ đạo, nếu không muốn nói là loại bỏ hoàn toàn bộ game console. Hiện nay EPOC neuroheadset đã được bán trên thị trường Mỹ với giá 299 USD một bộ. Người mua chủ yếu là các nhà nghiên cứu và các nhà phát triển ứng dụng (games, Y tế).

EPOC neuroheadset

Liên quan đến Việt Nam, hai trong bốn sáng lập viên của Emotiv Systems là người gốc Việt: Lê Thị Thái Tần (tổng giám đốc) và Đỗ Hoài Nam. Lê Thị Thái Tần cùng gia đình vượt biên sang Úc năm 1982, khi chị bốn tuổi. Đến năm 1998 chị được giải thưởng gương mặt trẻ tiêu biểu của Úc. Đỗ Hoài Nam là cựu học sinh chuyên Lý trường Amsterdam. Tháng 7 năm 2010, chị Tần đã có bài nói chuyện giới thiệu EPOC ở hội nghị TED lừng danh. Bạn đọc có thể xem buổi nói chuyện của chị:

5. Thay lời kết

Nguồn cảm hứng cho bác sĩ Hans Berger nghiên cứu sóng não con người là từ một sự trùng hợp. Năm 1893 ông gia nhập đội kỵ binh, bị ngã ngựa tưởng chết trong một lần tập dù không bị thương tích gì nặng. Cùng ngày hôm đó, chị ông có linh tính chẳng lành và đòi cha ông liên lạc với ông hỏi han tình hình. Từ sự kiện này Hans Berger tin vào khả năng thần giao cách cảm.

Tuy nhiên, thay vì biến sự kỳ bí thành một niềm tin huyền bí siêu nhiên để thờ phụng, ông đã quyết tâm tìm ra cơ chế hoạt động của “thần giao cách cảm”. “Sóng não” là một khởi đầu hữu lý, phần còn lại là lịch sử.

Chọn lựa của ông thấm nhuần tư duy khoa học và tinh thần Khai Sáng.

Đầu thế kỷ 17, René Descartes có tuyên ngôn triết học rằng: “tôi nghĩ, nên tôi tồn tại!” Đầu thế kỷ 21, khẩu hiệu của công ty Emotiv là “bạn nghĩ, nên bạn có thể!”

• HM5: Mô hình giả thuyết không nhất quán và định lý hội tụ đều Vapnik-Chervonenkis
• HM7: AdaBoost

Trong bài HM 5, ta đã giới thiệu mô hình giả thuyết không nhất quán và chứng minh định lý hội tụ đều của Vapnik và Chervonenkis. Đây là một trong những định lý cơ bản nhất của lý thuyết học máy thống kê. Ta gọi tắt nó là định lý VC. Định lý VC chặn trên lỗi tổng quát hóa bằng lỗi thực nghiệm và độ phức tạp VC (hay VC dimension) của lớp giả thuyết. Trong bài này, ta chứng minh một kết quả tổng quát hơn định lý VC. Ta sẽ chặn trên lỗi tổng quát hóa bằng lỗi thực nghiệm và cái gọi là độ phức tạp Rademacher. Định lý VC là một hệ quả trực tiếp của chặn trên dùng độ phức tạp Rademacher này. Chứng minh kết quả này cũng trực quan hơn rất nhiều so với chứng minh định lý VC trong bài trước. Bạn có thể quên luôn chứng minh của bài trước đi. Ngoài ra, ta sẽ dùng kết quả của bài này để phân tích thuật toán AdaBoost thảo luận trong bài tới. Phần lớn bài này viết theo bài giảng số 3 của Mehryar Mohri ở NYU.

1. Độ phức tạp Rademacher

Gọi là một họ các hàm từ một miền nào đó vào đoạn . Trong các ứng dụng thì hay . Gọi là một phân bố xác suất trên miền . Phân bố này sẽ được hiểu ngầm trong các phát biểu xác suất dưới đây, để tránh ký hiệu lằng nhằng quá.

Gọi là một tập phần tử bất kỳ của . Độ phức tạp Rademacher thực nghiệm (của , tính tương đối theo ) được định nghĩa là

Trong đó, là một vector của các biến Rademacher: với xác suất .

Nếu là họ các hàm phân loại (classifiers), mỗi hàm lấy giá trị , thì độ phức tạp Rademacher thực nghiệm có thể hiểu nôm na như sau. Ta gán giá trị ngẫu nhiên vào điểm của . Rồi tính trung bình xem cái hàm phân loại tốt nhất của phân loại đúng được bao nhiêu. Ví dụ, nếu là một tập các hàm rất hùng mạnh, với bất kỳ cách gán nào vào cũng tồn tại hàm gán nhãn chính xác, thì độ phức tạp Rademacher bằng . Ta chia độ phức tạp cho là để “bình thường hóa” số đo này cho nó không phụ thuộc vào số mẫu.

Độ phức tạp Rademacher của là trị kỳ vọng của độ phức tạp Rademacher thực nghiệm:

Quan sát đầu tiên của ta liên hệ độ phức tạp Rademacher của một bộ hàm phân loại và bộ hàm mất mát (loss functions) tương ứng. Cụ thể hơn, gọi là một bộ các hàm . Mỗi hàm của là một hàm phân loại nhị phân. Từ giờ trở đi ta dùng các nhãn thay vì nhãn cho tiện về mặt toán học. Đặt . Như vậy các phần tử có dạng với và . Xét một phân bố trên tùy hỉ. Định nghĩa một họ hàm từ vào như sau. Với mỗi , định nghĩa .

Bổ đề 1 Ta có

Chứng minh: Hai đẳng thức đầu tiên là định nghĩa. Đẳng thức thứ tư là hệ quả trực tiếp của đẳng thức thứ ba. Ta chứng minh đẳng thức thứ ba.

Đẳng thức thứ tư ta dùng quan sát đơn giản là có phân bố giống hệt và các độc lập nhau.

Độ phức tạp Rademacher liên quan đến VC-dimension như thế nào? Massart hồi 2000 cho ta câu trả lời. Ta sẽ chứng minh bổ đề sau ở cuối bài, sau khi đã làm quen hơn với độ phức tạp Rademacher.

Bổ đề 2 Gọi là một bộ các hàm số vào . Với là một tập mẫu bất kỳ, ta có

Và do đó,

Trong đó là VC-dimension của .

Dùng cái gọi là độ phức tạp Gaussian, Bartlett và Mendelson chứng minh một chặn khác chặt hơn nữa: , và vì thế . Ta sẽ quay lại với Gaussian complexity vào dịp khác.

2. Các chặn cho độ phức tạp Rademacher

Kết quả chính của đề mục này là từ một bài báo của Koltchinskii và Panchenko hồi năm 2002. Các bác cựu Liên Xô ngố rất giỏi mấy trò này. Dùng Liên Xô ngố chứ không phải Nga ngố là vì bác Vladimir Koltchinskii tốt nghiệp đại học Kiev. Còn Dmitry Panchenko là học trò của Koltchinskii.

Để chứng minh kết quả chính này ta cần bất đẳng thức McDiarmid của Colin McDiarmid. BĐT này khá dễ nhớ và dễ dùng.

Định lý 3 (BĐT McDiarmid) Xét biến ngẫu nhiên độc lập trên một miền nào đó, và một hàm số . Hàm số thỏa điều kiện là thay đổi tọa độ thứ thì chỉ thay đổi giá trị của nhiều nhất là . Cụ thể hơn, với mọi , ta có

Thì với mọi ta có

và

Định lý 4 (Koltchinskii-Panchenko) Gọi là một bộ các hàm từ miền vào . Với mọi , với xác suất ít nhất là bất đẳng thức sau đây đúng với mọi ,

Với mọi , với xác suất ít nhất là bất đẳng thức sau đây đúng với mọi ,

Chứng minh: Để đơn giản hóa ký hiệu, ta định nghĩa

Để chứng minh (1), ta cần chứng minh rằng với xác suất cao. Để chứng minh điều này thì ta chứng minh , sau đó áp dụng bất đẳng thức McDiarmid vào hàm số . Nói chung, chìa khóa của toàn bộ định lý là chứng minh quan hệ bằng kỹ thuật “đối xứng hóa”.

Lưu ý rằng Ta có

Đẳng thức ở dòng thứ là một dạng “đối xứng hóa” (symmetrization) đơn giản: sau khi lấy các mẫu ta có thể hoán chuyển và từ sang và ngược lại. Do và là các mẫu độc lập, sự hoán chuyển này không thay đổi phân bố của chúng.

Bây giờ ta áp dụng bất đẳng thức McDiarmid vào hàm . Khi thay một điểm bằng nào đó, giá trị của hàm thay đổi nhiều nhất là . Do đó, từ bất đẳng thức McDiarmid ta có

với xác suất ít nhất là . Đó là chứng minh (1).

Để chứng minh (2) thì ta lại áp dụng McDiarmid một lần nữa. Lần này là với hàm số . Trước hết, McDiarmid như lần 1 cho ta

với xác suất ít nhất . Rồi từ bất đẳng thức vừa chứng minh, ta có . Khi thay chỉ một mẫu thì thay đổi nhiều nhất là . Do đó, với xác suất ít nhất ta có

Từ (3) và (4) ta có (2).

3. Một số hệ quả của chặn độ phức tạp Rademacher

Từ Bổ đề 1 và Định lý 4, ta có hệ quả sau đây.

Hệ quả 5 Gọi là một họ các hàm phân lớp từ vào . Thì với mọi , với xác suất ít nhất ta có

Chặn thứ 2 chỉ phụ thuộc vào dữ liệu, do đó có khả năng hữu dụng trong việc chọn mô hình phân lớp, giúp giải quyết vấn đề model selection. Vấn đề là làm thế nào để tính độ phức tạp Rademacher một cách hiệu quả, chưa nói đến việc chọn một hàm với lớn nhất. Bài này khó tương đương với bài toán tối thiểu hóa lỗi thực nghiệm (ERM), và nói chung là -khó. Câu hỏi tự nhiên là, có một “độ phức tạp” nào hữu dụng và dễ tính hơn không?

Từ hệ quả trên và Bổ đề 2 ta có định lý VC. Vậy ta chứnh minh bổ đề 2. Nhưng ta sẽ chứng minh một bổ đề còn tổng quát hơn Bổ đề 2, gọi là Bổ đề Massart. Mấy cái mẹo dùng trong chứng minh bổ đề Massart rất phổ dụng trong các chứng minh hiện tượng tập trung (concentration inequalities).

Bổ đề 6 (Bổ đề Massart) Xét một tập con hữu hạn , với . Ta có

Chứng minh: Ta dùng cái mẹo Bernstein, còn gọi là phương pháp mô-măng mũ (exponential moment method). Do hàm mũ là hàm lồi, bất đẳng thức Jensen suy ra, với ta có

Đến đây, ta dùng một bất đẳng thức tạm gọi là bất đẳng thức Hoeffding nhỏ, thường dùng làm bước chính trong chứng minh BĐT Hoeffding (lớn). BĐT Hoeffding nhỏ phát biểu như sau: nếu là một biến ngẫu nhiên với và thì, với mọi ta có . Chứng minh BĐT này rất đơn giản. (Xem ở đây chẳng hạn.) Từ BĐT Hoeffding nhỏ ta có

Như vậy,

Lấy hai vế, với mọi ta có

Chọn để giảm thiểu vế phải là hoàn tất toàn bộ chứng minh.

Bài tập: chứng minh Bổ đề 2 từ Bổ đề Massart.

]]> http://www.procul.org/blog/2011/03/15/hm6-d%e1%bb%99-ph%e1%bb%a9c-t%e1%ba%a1p-rademacher/feed/ 0 http://www.procul.org/blog/2011/03/04/ch%e1%bb%a9ng-minh-d%e1%bb%8bnh-ly-loomis-whitney-dung-entropy/ http://www.procul.org/blog/2011/03/04/ch%e1%bb%a9ng-minh-d%e1%bb%8bnh-ly-loomis-whitney-dung-entropy/#comments Fri, 04 Mar 2011 21:52:38 +0000 NQH http://www.procul.org/blog/?p=2988

1. Bất đẳng thức Loomis-Whitney

Từ bài toán đố mấy anh lính bắn laser, bác Xuân Long giới thiệu bất đẳng thức Loomis-Whitney. Phiên bản lý thuyết độ đo của BĐT này thì để bác Long viết. Trong bài này chúng ta chỉ thảo luận phiên bản rời rạc (và hữu hạn) của BĐT này.

Trước hết, ta phát biểu dạng đơn giản của BĐT — theo dòng suy nghĩ của bài toán đố. Gọi là tập một số điểm trong . Với mỗi chiều , gọi là tập “bóng” của trên mặt phẳng vuông góc với chiều . Cụ thể hơn, nếu là một điểm trong thì là điểm trong . Dạng đơn giản của BĐT Loomis-Whitney rời rạc nói rằng:

Trong bài lính bắn laser, và . Do đó . Tôi có lời giải dùng lý luận kiểu định lý Turan, cho chặn chặt và chính xác khi không phải là số chính phương. Chứng minh này để khi khác viết, vì nó quá “bầy hầy” cho nên tổng quát lên (1) rất mất công, chưa nói đến (2) dưới đây.

Dạng phức tạp hơn của BĐT Loomis-Whitney rời rạc phát biểu như sau. Lần này chúng ta được phép chiếu xuống các không gian có chiều nhỏ hơn nữa. Gọi là một bộ các tập con của sao cho mỗi phần tử của thuộc về đúng thành viên của . Ví dụ, nếu là tập các tập con kích thước của thì . Nếu là tập các tập con kích thước của thì . Với mỗi , gọi là hình chiếu của xuống các tọa độ trong . Ta có dạng tổng quát của (1)

2. Chứng minh bất đẳng thức Loomis-Whitney bằng lập luận entropy

Về cơ bản, BĐT Loomis-Whitney là một dạng nguyên tắc chuồng bồ câu (tiếng Việt còn gọi là nguyên lý Dirichlet). Nếu mà một tập điểm quá lớn thì chúng phải có “bóng” lớn từ các hướng. Bây giờ chúng ta chứng minh trực quan này bằng lập luận dùng entropy, một kỹ thuật rất quan trọng của phương pháp xác suất. Ta sẽ chứng minh phiên bản đơn giản (1) trước, và không đi vào chi tiết, để dành chi tiết cho phần tới. Xem thêm quyển sách miễn phí này.

Ý tưởng chính là như sau: ta chọn một điểm ngẫu nhiên từ tập với xác suất đều . Như vậy cái joint entropy là tối đa (xác suất đều là hỗn loạn nhất, nhiều thông tin nhất). Và ta có

Kế đến, ta dùng một bất đẳng thức đơn giản gọi là bất đẳng thức Han:

Bất đẳng thức này có thể hiểu nôm na là, nếu mà độ hỗn loạn là lớn trong không gian chiều, thì tổng độ hỗn loạn ở các hình chiếu cũng phải lớn. Bất đẳng thức này rất dễ chứng minh chỉ dùng định nghĩa của entropy thôi.

Quan sát cuối cùng của ta rất đơn giản:

Bởi vì là một điểm ngẫu nhiên trong tập , cái joint entropy không thể lớn hơn entropy của phân bố đều được.

Từ (3), (4), và (5) ta có (1).

3. Entropy, bất đẳng thức Shearer, và bất đẳng thức Loomis-Whitney tổng quát

Gọi là một biến rời rạc ngẫu nhiên có giá trị là một trong “ký tự” . Entropy nhị phân của , dùng để đo tính bất định (khó đoán) của , được định nghĩa là

trong đó là hàm mật độ của .

Định lý 1 Đừng lấy vợ có entropy cao.

Do là hàm lõm, bất đẳng thức Jensen cho ta biết

Đây là lý do mà ta suy ra được (3) và (5) ở trên. Khi có nhiều biến hơn thì hàm (joint) entropy cũng được định nghĩa tương tự:

Một cách đơn giản, hiểu là một biến ngẫu nhiên trong không gian chiều, rồi áp dụng định nghĩa đầu tiên cũng vậy.

Entropy có điều kiện thì dùng để đo tính ngẫu nhiên của biến sau khi đã biết biến . Ngày xưa ông bà ta nói “nồi nào vung nấy” chính là một định lý của lý thuyết thông tin, ý bảo khi đã biết anh chồng thì entropy của cô vợ giảm hẳn. Entropy của cho biết được định nghĩa là giá trị kỳ vọng của entropy của biến , biết rồi thì tính trung bình ta biết thêm được bao nhiêu về :

Từ định nghĩa, ta có thể suy ra vài công thức rất trực quan về hàm entropy. Ví dụ, từ ta có:

Lấy trị kỳ vọng hai vế ta có

(Công thức này gọi là luật chuỗi, như luật chuỗi trong tính đạo hàm.) Shannon đã nghiệm ra các quan hệ khác, đều không khó chứng minh,

Chúng ta quan tâm đến (sự thay đổi) entropy khi chiếu một vector nhiều chiều xuống một số chiều nhất định. Cụ thể hơn, gọi là một tập con khác rỗng bất kỳ. Cho các biến ngẫu nhiên , và gọi là vector “hình chiếu” .

Hàm số là hàm sub-modular, nghĩa là

Để chứng minh bất đẳng thức trên, trừ hai vế cho và áp dụng luật chuỗi (6) ta có bất đẳng thức tương đương

Đây chính là bất đẳng thức (7). Bây giờ ta đã có đủ công cụ để chứng minh bất đẳng thức Shearer, tổng quát hơn bất đẳng thức Han. Gọi là một bộ các tập con của sao cho mỗi phần tử của thuộc về đúng thành viên của . Bất đẳng thức Shearer nói rằng

Khi là tập tất cả các tập con kích thước của thì ta có BĐT Han. Để chứng minh BĐT Shearer thì ta áp dụng tính chất sub-modularity (8) vào vế phải liên tục. Cứ lấy hai thành viên bất kỳ của và áp dụng (8). Khi đó ta thay bằng . Trong quá trình này, số lần xuất hiện của trong các tập vẫn luôn giữ là . Quá trình thay thế này chỉ không đổi khi hoặc . Do đó, khi không còn thay đổi gì nữa thì ta có một đám tập hợp là tập con của nhau, xâu thành một chuỗi. Một số tập có thể là tập rỗng, entropy bằng , có thể bỏ đi. Các tập còn lại, do mỗi xuất hiện đúng lần, buộc phải là phiên bản của , và đó là vế trái của BĐT Shearer.

Từ BĐT Shearer chứng minh BĐT Loomis-Whitney tổng quát (2) không khó khăn gì.

Nếu bạn không phải là người học thống kê, câu trả lời có thể là thế này: Đó là công việc của những người giữ sổ sách. Ở Việt nam ta và nhiều nước bạn XHCN khác, viện thống kê làm người ta liên tưởng đến nơi người ta liệt kê sản lượng thóc thu hoạch hàng năm, đôi khi nhân lên bởi một con số nào đó (1.2 chẳng hạn) sao cho khi chia ra diện tích đất làm nông thì được một con số 5 tấn tròn trĩnh. Ngày xưa ở Liên bang Xô viết, lý thuyết xác suất thì phát triển rực rỡ với những Kolmogorov hay Dynkin, nhưng Thống kê hầu như không được phép nghiên cứu. Nghe nói một nhà thống kê có tiếng ở đó được giao cho phân tích dữ liệu, và đã đưa ra các kết luận không trùng với ý của Stalin. Ông này hình như bị xử tử, hay bị đi cải tạo ở Siberi, còn có ai ho he nói đến “statistical inference” thì cũng xin chừa từ đó. Ở các nước TBCN anh em thì thống kê được sử dụng mọi nơi mọi chỗ đến mức độ bị lạm dụng. Cho nên có câu: there are lies, damn lies, and statistics!

Cho nên đôi khi tôi lại phải than thở: Tội nghiệp cho Statistics. He he.

Có bài viết gần đây của Michael Jordan có một số mô tả thú vị về Thống kê. (Đọc ở đây ). Bài này kỳ thực viết về Leo Breiman, một nhà thống kê nổi tiếng của thế kỷ trước. Phải biết về hành trình của Breiman, bắt đầu từ một nhà xác suất (probabilistic) hàng đầu rồi trở thành một người làm thống kê ứng dụng và sau đó trở thành một người cổ vũ nhiệt tình cho machine learning, để thấy sự tính đa mặt của thống kê. Trong blog này cũng đã nói về Breiman ở đây.

Câu bình của Jordan về Thống kê cho thấy định nghĩa lĩnh vực nghiên cứu này cũng rất khó khăn kể cả trong dân trong nghề:

Statistics is a uniquely difficult field to convey to the uninitiated. It sits astride the abstract and the concrete, the theoretical and the applied. It has a mathematical flavor and yet it is not simply a branch of mathematics. Its core problems blend into those of the disciplines that probe into the nature of intelligence and thought, in particular philosophy, psychology and artificial intelligence. Debates over foundational issues have waxed and waned, but the field has not yet arrived at a single foundational perspective.

Nhưng đây lại là lĩnh vực nghiên cứu thú vị:

Given these complexities it might seem surprising that human beingscould have definite opinions about core issues in statistics, and surprising that working in such a field could be pleasurable. And yet there was Leo Breiman, who had his definite opinions about statistics and who took great pleasure in waking up every morning to see what more he could do to bring the field along.

To the extent that most statisticians have a vision about the final conclusive form the field might take, I suspect that this vision is a mathematical one—a set of core definitions, axioms and theorems. Moreover, I think that many statisticians will expect for these mathematical ideas to involve a set of optimality principles, such that it will be possible for a user of statistics
circa 2500 AD to dial in the description of a problem and out will pop the optimal procedure.

Thống kê và các nghiên cứu về thuật toán đang hội tụ thành một ngành mới trong tương lai. Không có thuật toán thì nhiều lý thuyết Thống kê sẽ trở nên vô dụng. Không có Thống Kê thì nhiều kết quả về Thuật toán sẽ không có ích. Kết hợp cả hai ta sẽ làm được rất nhiều việc. Trong Thống kê, “statistics” là một khái niệm căn bản: Một thống kê (statistics) được định nghĩa là một hàm số được định nghĩa trên dữ liệu, f(X). X ở đây là dữ liệu đầu vào. Ngày xưa thì hàm f này chỉ là mẫu trung bình hay median gì đó, nhưng ngày nay các hàm f trở nên phức tạp hơn nhiều để mô tả các loại dữ liệu nhiều biến và pattern phức tạp hơn. Trong KHMT, “thuật toán” (algorithm) là một khái niệm căn bản: nó được định nghĩa là một quá trình tính toán trên cơ sở đầu vào để có được đầu ra f(X). Thống kê quan tậm đến việc định nghĩa và mô hình f(X) thế nào cho phù hợp với các vấn đề và hiện tượng được đặt ra, còn KHMT quan tâm đến việc thực hiện các phép tính định nghĩa bởi hàm f thế nào cho nhanh. Như vậy, suy cho cùng TK và KHMT hiện tại có cùng chung một đối tượng nghiên cứu. Chỉ có ở các khía cạnh khác nhau mà thôi.

Để tập Cửu Âm Bạch Cốt Trảo, Mai Siêu Phong thu thập đầu lâu. Mỗi đêm một cái đầu mới. Thừa giấy vẽ voi, Mai Siêu Phong định nhân tiện sưu tầm luôn một bộ đầu lâu người tất cả các môn phái. Có môn phái. Mỗi đêm Mai Siêu Phong giết bừa một mạng, và kẻ xấu số thuộc về một trong môn phái với xác suất . Bài toán Mai Siêu Phong là như sau: tính trung bình thì Mai Siêu Phong cần bao nhiêu đêm mới thu thập được toàn bộ đầu lâu các phái? Bài toán này có nhiều biến thể và nhiều ứng dụng, là một trong những bài toán cơ bản nhất của bộ môn xác suất.

Gọi là tổng số người Mai Siêu Phong cần giết thêm để lấy được sọ của một phái mới sau khi đã có sọ của phái rồi. Dễ thấy rằng là biến ngẫu nhiên hình học (geometric random variable) với tham số . Do đó, và . Gọi là tổng số đêm Mai Siêu Phong cần để có đủ bộ sưu tập, ta có

Trong đó là số đồng điều thứ . Do các biến độc lập nhau (tại sao?), ta cũng có

(Đẳng thức cuối cùng là đẳng thức Euler, bài toán Basel.) Đến đây ta dùng con gà của Chebyshev để biết xác suất Mai Siêu Phong hoàn tất được bộ sưu tập sọ. Giả sử Mai Siêu Phong xuất quân liên tục đêm liền, với là một tham số, thì xác suất nhỏ hơn xác suất . Do đó, ông Chebyshev bảo đảm là Mai Siêu Phong thất bại với xác suất nhỏ hơn

Như vậy, để đảm bảo 99 phần trăm xác suất thành công thì Mai Siêu Phong cần dạ hành cỡ đêm.

Thật ra thì mình không cần ông Chebyshev, chỉ cần dùng “chặn hội” (union bound) là đã có kết quả tốt hơn rồi. Giả sử Mai Siêu Phong làm việc đêm liền. Xác suất mà phái Hoa Sơn không bị tổn thất là . Do đó, xác suất mà có ít nhất một phái không bị tổn thất là nhỏ hơn . Nhớ rằng . Nếu ta chọn thì

Để đảm bảo xác suất thành công 99 phần trăm thì chỉ cần thay vì như cách dùng Chebyshev. Cái chặn tốt hơn hẳn .

Có nhiều biến thể hợp lý của bài toán Mai Siêu Phong, và mỗi biến thể đều dùng được trong phân tích một ứng dụng cụ thể. Bạn có thể chọn một bộ các điều kiện sau đây để tạo biến thể mới. (Bài này tóm tắt một số kết quả đã biết. Và bài này nữa.)

• Xác suất lấy được sọ người phái là (không nhất thiết là ). Dĩ nhiên ta giả sử
• Ta cần sưu tập ít nhất sọ của mỗi phái. (Nghĩa là có ít nhất bộ sưu tập.) Bài toán Mai Siêu Phong tương ứng với . Hồi 1960, Newman và Shepp có câu trả lời cho biến thể này, dùng một phương pháp kiểu tính toán symbolic như trong enumerative combinatorics. Câu trả lời là ta cần thu thập, tính trung bình, sọ để có bộ sưu tập hoàn tất. Như vậy, bộ sưu tập đầu tiên tiêu tốn sọ; còn mỗi bộ sưu tập còn lại chỉ tốn khoảng sọ thôi. Âu cũng là dễ hiểu.
• Mỗi lần dạ hành lấy được sọ khác nhau, phân bố ngẫu nhiên. Ta có thể gọi bài này là bài toán Trần Huyền Phong.

Ngoài ra, có một số câu hỏi tự nhiên khác như:

• Ngay lúc Mai Siêu Phong vừa có đủ một bộ sưu tập thì (trị kỳ vọng của) số đệ tử phái Hoa Sơn mất mạng là bao nhiêu?
• Ngay lúc Mai Siêu Phong vừa có đủ một bộ sưu tập thì (trị kỳ vọng của) số môn phái mất ít nhất mạng là bao nhiêu?

Foata-Zeilberger tổng quá hoá phương pháp của Newman-Shepp để trả lời các câu hỏi tương tự như trên. Một bài gần đây của Adler-Oren-Ross dùng phương pháp truyền thống và đơn giản hơn.

2. Bài toán Trần Huyền Phong

Trần Huyền Phong mỗi đêm thu thập được sọ khác nhau, phân bố ngẫu nhiên. (Nghĩa là bộ sọ chọn ngẫu nhiên từ bộ.) Một biến thể của bài toán này có ứng dụng trong việc thiết kế kế hoạch truyền dữ liệu trong mạng không dây, kênh broadcast. Xem bài này. Tuy nhiên, tôi không biết có bài báo hay sách nào viết trực tiếp về bài toán Trần Huyền Phong. Bác nào thấy thảo luận bài này ở đâu đó rồi thì xin cho biết!

Về mặt trực quan thì, khi lớn, lấy một bộ sọ ngẫu nhiên cũng gần bằng lấy sọ ngẫu nhiên, từng cái từng cái một. Do đó, số đêm Trần Huyền Phong cần dạ hành là .

Thế công thức chính xác hoặc là chặn dưới asymptotic thì sao? Ta có thể nghĩ về bài này dùng chuỗi Markov rời rạc với các trạng thái , trong đó là trạng thái khởi điểm, và là trạng thái hấp thu (absorbing state). Trần Huyền Phong ở trạng thái nếu hắn đã thu thập được sọ của phái khác nhau. Bắt đầu từ trạng thái , ta cần tính số bước kỳ vọng đến khi chuỗi bị hút vào trạng thái . Con số này gọi là mean time to absorption, và có thể tính được bằng cách tính ma trận cơ bản (fundamental matrix) của chuỗi. Xem chương sách này, định lý 11.5. Tuy nhiên, phương pháp này không đảm bảo cho ra công thức cụ thể (closed-form).

Có cách nào tính trực tiếp hơn một chút không? Trước hết, chúng ta tính các xác suất chuyển trạng thái (transition probability). Từ trạng thái đến thì xác suất là . Giả sử ta ở trạng thái với . Ta chỉ có thể chuyển đến trạng thái với mà thôi, với xác suất

Gọi là số bước kỳ vọng để bắt đầu từ trạng thái đến trạng thái . Ta cần tính . Rõ ràng là , và . Với thì dễ thấy công thức quy hồi:

Do đó, ta có thể dùng công thức sau đây để tính tất cả các , với ,

Bài tập mở. Tìm asymptotic behavior của .

Bài Tập. Dùng chặn hội để chứng minh rằng xác suất mà Trần Huyền Phong lấy chưa đủ bộ sưu tập sau đêm xuất mã là nhỏ hơn .

]]> http://www.procul.org/blog/2010/12/29/bai-toan-mai-sieu-phong/feed/ 9 http://www.procul.org/blog/2010/11/09/lexicon-xac-su%e1%ba%a5t-th%e1%bb%91ng-ke-va-h%e1%bb%8dc-may/ http://www.procul.org/blog/2010/11/09/lexicon-xac-su%e1%ba%a5t-th%e1%bb%91ng-ke-va-h%e1%bb%8dc-may/#comments Tue, 09 Nov 2010 05:45:35 +0000 Nguyễn Xuân Long http://www.procul.org/blog/?p=2532 Last Updated: 18/11/2010

Trang này lấy cảm hứng từ trang lexicon của chùa THT bắt đầu từ gợi ý của địa chủ blog này.

Chủ đề trung tâm là suy diễn thống kê. Với nhãn quan này tôi bắt đầu từ lý thuyết xác suất, sau đó chuyển sang lexicon bên thống kê học và đảo qua học máy (machine learning) bên khmt rồi đến các giải thuật quy hoạch tối ưu.

Số lượng lexicon tôi biết còn rất cám cảnh, mục tiêu chính (ích kỷ) ở đây sẽ là cơ hội (cho tôi) để học thêm. Có một số từ chuyên ngành sẽ khá là mới mẻ, đây sẽ là cơ hội để ta tự do sáng tác. Sẽ cố gắng thống nhất với các lexicon đã được xem là chuẩn, nhưng vẫn có thể xem lại một số chưa được sát nghĩa. Rất mong được sự góp ý của mọi người.

Khởi động với lý thuyết xác suất (có vẻ dễ dàng hơn cả, càng đi tiếp hình như càng cam go). Tôi sẽ tiếp tục cập nhật khi có thêm đóng góp.

Mục lục.

1. Lý thuyết xác suất

1.1 Căn bản
1.2 Độc lập và hội tụ
1.3 Quá trình ngẫu nhiên

2. Mô hình thống kê

2.1 Căn bản
2.2 Tham số
2.3 Đầy đủ và thông tin
2.4 Nhãn quan Bayes và Tần suất
2.5 Phân lớp các mô hình và cách tham số hóa
2.6 Dao cạo của Occam

3. Suy diễn thống kê

3.1 Tổng quan
3.2 Lý thuyết quyết định
3.3 Các cách ước lượng/ học thống kê
3.4 Các suy diễn thống kê cụ thể
3.5 Thống kê vô hạn, lý thuyết học và lý thuyết thông tin
3.6 Lựa chọn mô hình
3.7 Thiết kế thí nghiệm

4. Giải thuật thống kê/ học giả

4.1 Tổng quan

….

1. Lý thuyết xác suất:

1.1 Căn bản: Lý thuyết xác suất cho chúng ta một ngôn ngữ để mô tả sự ngẫu nhiên (randomness). Đối tượng cơ bản nhất của LTXS là các biến ngẫu nhiên (random variables).  Để định nghĩa một biến ngẫu nhiên thì cần một hàm phân bố (distribution function), qua đó có thể định nghĩa được các khái niệm như trung bình (mean) và phương sai (variance). Standard deviation gọi là độ lệch chuẩn. Mean và variance là các phiếm hàm (functionals), được áp dụng cho một hàm phân bố hoặc một biến ngẫu nhiên. Hàm phân bố nếu liên tực tuyệt đối với một độ đo chuẩn (?) như Lebesgue thì có thể được biểu diễn bởi hàm mật độ (density), theo định lý Radon-Nikodym.

Cơ sở toán học của lý thuyết xác suất là thuyết độ đo (measure theory), nhưng việc chính của các xác suất gia (?) (probablist) là xây dựng phát triển cáng nhiều loại đo đo xác suất càng tốt. Nói chuyện với một chuyên gia độ đo không thể không định nghĩa một đại số sigma (sigma-algebra). Nói chuyện với một chuyên gia xác suất thì rất nhiều khi khái niệm này ẩn rất kỹ. Công cụ chính của các XSG chính là khái niệm độc lập (independence), và mạnh mẽ hơn là độc lập có điều kiện (conditional independence). Cho nên dân toán thường trêu LTXS chẳng qua là thuyết độ đo + độc lập. Vậy sự khác biệt giữa một độ đo xác suất và những biến ngẫu nhiên là gì? Theo David Aldous thì đó là sự khác biệt giữa recipe để làm bánh và những cái bánh. Hiểu được sự khác biệt này thì mới làm được bước nhảy từ lý thuyết độ đo khô khan sang lý thuyết xác suất tươi mát hơn.

1.2 Độc lập và hội tụ: Khái niệm độc lập cho ta một loạt các định luật cơ bản của LTXS. Tất cả đều xoay quanh hiện tượng tập trung của độ đo (concentration of measure). Bắt đầu là luật các số lớn (có phiên bản luật mạnh (strong law) và luật yếu). Luật giới hạn trung tâm (Central limit theorem) nhắc rằng sample mean (mẫu trung bình)  có quy luật bình thường (normal/Gaussian) khi số mẫu tiến đến vô hạn. Các định luật này đều có sử dụng các khái niệm hội tụ (convergence) trong giải tích. Hội tụ gần chắc (almost sure), hội tụ về phân bố hoặc về luật (convergence in distribution/ in law).  Ngoài luật số lớn còn có luật các số nhỏ (hay luật các hiện tượng hiếm có — law of rare events), cho ta biết khi nào thì mẫu trung bình có quy luật Poisson. Không phải ngẫu nhiên, Gaussian và Poisson là hai hàm phân bố căn bản nhất — là những viên gạch cho toàn bộ lâu đài XS.

Khái niệm độc lập và độc lập có điều kiện là những chất keo để gắn kết các biến xác suất với nhau, qua đó cho ta các hàm xác suất cho các vật thể toán học có cấu trúc phức tạp hơn. Một dạng độc lập có điều kiện hay dùng là tính chất Markov. Ngoài chất keo độc lập, còn có một chất keo nữa rất hữu dụng, đó là tính hoán chuyển được (exchangeability).  Nếu tính độc lập là nền tảng cho các phương pháp suy diễn tần số (frequentist) , thì tính hoán chuyển được lại là cơ sở nền tảng cho các phương pháp suy diễn Bayesian. Tính hoán chuyển được đang được mở rộng ra thành hoán chuyển từng phần (partial exchangeability), một khái niệm quan trọng để phái triển các độ đo cho các vật thể tổ hợp (combinatorial object) rời rạc và phức tạp.

1.3 Quá trình ngẫu nhiên: LTXS phát triển rất nhiều hàm phân bố không chỉ cho các biến xác suất scalar (?) đơn giản, mà người ta còn sáng tạo ra các hàm phân bố cho các cấu trúc toán học phức tạp, nhiều chiều hơn. Chúng ta bắt đầu nói chuyện đến hàm phân bố cho những tập các hàm số đo được (measurable functions), và hàm phân bố cho các độ đo ngẫu nhiên (random measures). Hàm phân bố cho các vật thể vô hạn chiều này gọi chung là các quá trình ngẫu nhiên (stochastic processes). Cách thức khẳng định sự tồn tại là qua định lý của bác Kolmogorov, cho phép ta hiểu về các hàm phân bố cho không gian vô hạn chiều từ các điều kiện nhất quán (consistency) của độ đo cho các cylinder sets. Đây là cách để chúng ta xây dựng được các hàm phân bố cho quá trình Gauss (Gaussian processes), quá trình Dirichlet (Dirichlet process), v.v.

Một cách hữu hiệu để xây dựng một quá trình stochastic là quay lại với khái niệm độc lập, và đẩy khái niệm này đến giới hạn. Công cụ ở đây là nhìn vào phép biến đổi Fourier (Fourier transform) của các hàm phân bố.  Theo ngôn ngữ XS thì khái niệm này gọi là hàm tính cách (characteristic function). Để đẩy khái niệm độc lập tới giới hạn thì ta cần khái niệm các hàm phân bố khả phân vô hạn (infinitely divisible). Khái niệm tiếp theo là các hàm phân bố ổn định (stable distribution). Gauss và Poisson chính là hai hàm phân bố ổn định — không phải là “ngẫu nhiên” nếu chúng ta quay về các luật số lớn và số nhỏ nhắc ở trên. Max-stable là một họ phân bố cực đại ổn định.

Các quá trình ngẫu nhiên có tính chất gia tăng độc lập (independent increment) gọi là quá trình Lévy. Tổng quát hơn một chút là các độ đo hoàn toàn độc lập (completely random measures). Định lý biểu diễn Lévy-Khintchine cho chúng ta biết rõ hàm tính cách của các quá trính stochastic này là gì, thông qua độ đo Lévy (Levy measure). Chọn độ đo Lévy thích hợp (beta, gamma, v.v.) thì ta sẽ có một quá trính stochastic tương ứng. Định lý này cho ta thấy tại sao Gauss và Poisson lại trở thành các viên gạch chỉ của các lâu đài xác suất đồ sộ:  Theo định lý Lévy-Itó, dựa trên biểu diễn L-K thì tất cả các quá trính Lévy đều có thể được decompose (phân rã) (phân tách) thành tổng của ba quá trình stochastic độc lập, một là quá trình Wiener (một dạng quá trình Gauss), với quá trình phức hợp (compound) Poisson, và một là quá trình martingale.

Rất khó tưởng tượng các tập con đo được của sigma đại số đối với các quá trính ngẫu nhiên. Thay vì hình dung sigma đại số (recipe làm bánh) thì ta có thể mô tả những cái bánh. Nếu quá trình được liệt kê bởi tham số thởi gian, thì một cái bánh ở đây có thể hiểu là một lối mẫu (sample path). Với một số quá trình ngẫu nhiên thì có thể mô tả cách tạo mẫu từ một quá trình ngẫu nhiên bằng phương pháp nhặt mẫu từ giỏ Pólya (Pólya’s urn).  Rất nhiều quá trình ngẫu nhiên có thể được mô tả bằng biểu diễn bẻ gậy (stick-breaking representation). Theo biểu diễn này thì cần các nguyên tử (atom) và các mẩu gậy (stick-breaking weight). Cách thức bẻ gậy và nhặt nguyên tử đều dựa theo cơ sở của độc lập có điều kiện, một chất keo kỳ diệu cho phép ta mô tả các cấu trúc phức tạp bằng các nguyên liệu giản đơn hơn.

Được quan tâm hàng đầu là biểu hiện của giá trị kỳ vọng (expectation) của một vật thể xác suất. Liên quan là khái niệm kỳ vọng điều kiện (conditional expectation), bản thân nó cũng là một biến ngẫu nhiên. Một công cụ quan trọng là khái niệm martingale. Martingale có thể được mô tả dưới dạng một quá trình NN, tạm gọi là quá trình đánh bạc(?). Cần khái niệm filtration (hệ thống lọc). Ngoải ra ta còn có submartingale, supermartingale và semimartingale (?). Nhờ các công cụ này mà ta có thể tìm hiểu các khái niệm xác suất hữu ích như thời điểm dừng (stopping time), thời điểm chạm (hitting time), thời gian/thởi điểm vượt biên (boundary crossing time).

Một họ quá trình NN rất thông dụng là quá trình Markov (Markov process). Định nghĩa trên cơ sở hạch xác suất chuyển dịch (transition probability kernel), và khái niệm hệ thống lọc. Cần khái niệm subordinator (?), một dạng quá trình Lévy quan trọng. Local time được dịch là thời gian địa phương. Quá trình Markov cho thời gian rời rạc còn gọi là chuỗi Markov (hoặc xích Markov). Liên qua đến chuỗi Markov là lý thuyết ergodic (?). Irreducibility dịch là bất khả quy.  Một vấn đề được quan tâm là thời gian hòa tan (mixing time) của chuỗi Markov.  Điều kiện cần cho chuỗi Markov được hòa tan về một trạng thái phân bố bất dịch (phân bố dừng) (stationary distribution)  là ergodicity, thỏa mãn phương trính cân bằng chi tiết (detailed balance). Chuỗi Markov định nghĩa cho không gian rởi rạc (dàn lattice chẳng hạn) thì sẽ trở thành quá trình đi bộ ngẫu nhiên (random walk).  Gọi lattice là dàn thiên lý rất hay, thế phải phân biệt với dàn nho thế nào đây. Khái niệm coupling trong chuỗi Markov dịch là sự cặp đôi. Coupling from the past? Quá đơn giản, cặp nhau từ quá khứ! Time-homogeneous Markov process gọi là quá trình Markov đồng biến.

Nói đến quá trình ta thường nghĩ đến thời gian — cụ thể là các quá trình NN thường được hiểu là tập hợp các hàm phân bố nhất quán (consistent) được liệt kê bởi một tham số chỉ thời gian. Không nhất thiết phải như vậy. Mở rộng khái niệm tham số thời gian ra một không gian bất kỳ (ví dụ không gian Euclidean, dàn, hoặc không gian phi-Euclidean), thì ta có quá trình NN tổng quát hơn. Markov random fields sẽ được gọi là trường ngẫu nhiên Markov. Gaussian random field là trường ngẫu nhiên Gauss. Poisson point process gọi là quá trình điểm Poisson (lại quá trình, nhưng kỳ thực phải gọi là trường Poisson mời phải!) . Spatial process là quá trình không gian (?). Spatiotemporal process gọi là quá trình không-thời gian. Khái niệm phase transition rất hay trong trường ngẫu nhiên Markov của một dàn vô hạn, ta sẽ dịch là hiện tượng chuyển pha.

Một dạng quá trình NN khá hay ho gọi là empirical process (quá trình thực nghiệm). Thường được nghiên cứu để tìm hiểu về tính hiệu quả của các phương pháp suy diễn thống kê, thay vì dùng để mô tả một quá trình ngẫu nhiên trong tự nhiên. Sẽ nói  ở mục sau.

Các khái niệm quan trọng khác: percolation, excursion, optional stopping

2. Mô hình thống kê

2.1 Căn bản. Mô hình thống kê (statistical model) cũng là mô hình xác suất, sử dụng từ các nguyên liệu được phát triến cho các hàm phân bố vá các quá trình NN trong LTXS. Cái khác ở đây là trong mô hình thống kê có một số biến ngẫu nhiên được gán nhãn là dữ liệu (data), những biến số ngẫu nhiên mà chúng ta có thể quan sát, hoặc thu thập được giá trị bằng thực nghiệm và các thiết bị công nghệ. Cho nên trọng tâm của việc xây dựng mô hình thống kê là làm sao ước lượng (estimate) /học (learn) được mô hình này từ dữ liệu, làm sao có thể đánh giá được tính hiệu quả (efficiency) hoặc tính phổ quát (generalization) của mô hình, làm sao có thể chọn ra được mô hình hữu ích (model selection/model choice).

2.2 Tham số. Để kiểm soát được độ phức tạp của mô hình thì công cụ chính ở đây là phải tham số hóa (parameterization) mô hình. Các tham số (parameter) là phần còn lại của mô hình xác suất mà chúng ta phải ước lượng, học. Đến đây có một vấn đề nho nhỏ, các tham số là một giá trị không biết nhưng không ngẫu nhiên, hay bản thân chúng là ngẫu nhiên. Có hai cách tiếp cận vấn đề này, trường phái tần suất giả dụ cách đẩu, còn trường phái Bayes thì giả dụ cách sau. Nếu các tham số là có số chiều hữu hạn, ta có một mô hình tham số (parametric model), nếu số chiều là vô hạn thì ta có mô hình phi tham số (nonparametric model). Như vậy, gọi là phi tham số không có nghĩa là không có tham số. Nếu tham số là ngẫu nhiên mà lại vô hạn chiều thì người ta gọi mô hình là mô hình phi tham số Bayes (Bayesian nonparametric model). Điều này không có nghĩa làm việc với các mô hình dạng này là theo trường phái Bayes, mặc dù trên thực tế thì phần lớn những người phát triến mô hình phức tạp nói chung và mô hình phi tham số Bayes nói riêng lại có nhãn quan Bayes. Song không nhất thiết phải vậy.

2.3 Đầy đủ và thông tin. Một công cụ quan trọng trong việc tham số hóa là khái niệm thống kê đầy đủ (sufficient statistics). Để hiểu khái niệm này phải hiểu khái niệm thống kê là gì. Một thống kê là một hàm số được áp dụng vào các dữ liệu (cộng trừ nhân chia kiểu gì cũng được). Liên hệ với khmt thì thống kê chính là đầu ra (output) của một giải thuật sử dụng dữ liệu như là đầu vào.  Còn thống kê đầy đủ đối với một mô hình là những thống kê chứa đựng mọi thông tin có thể có được từ dữ liệu về các tham số của mô hình. Nghĩa là nếu vứt hết dữ liệu đi, chỉ cần giữa lại các thống kê đầy đủ, vẫn không bị mất thông tin gì về mô hình. Đây có lẽ là một trong những khái niệm đẹp đẽ nhất của toàn bộ thống kê học. Sau khi quyết định được thống kê đầy đủ rồi người ta có thể biết được rằng dữ liệu phải là mẫu của một hàm phân bố có một cách tham số hóa nhất định, qua một định lý biểu diễn phân tích Fisher-Neyman (Fisher-Neyman factorization theorem). Nhắc thêm khái niệm thống kê đầy đủ là một khái niệm có tính lý thuyết thông tin (information-theoretic), có thể phát biểu bằng tính độc lập có điều kiện và các khái niệm entropy.

Một loạt các mô hình đẹp có thể được động viên từ khái niệm cần và đủ kiểu này. Mô hình họ mũ (exponential family) là mô hình tạo ra dữ liệu ngẫu nhiên nhất có thể được, nếu các thống kê đầy đủ đã được cho. Mô hình xác suất đồ thị (probabilistic graphical model) là mô hình duy nhất thỏa mãn các ràng buộc về độc lập có điều kiện cho các biến ngẫu nhiên, theo định lý Hammersley-Clifford. Nếu các biến ngẫu nhiên được giả dụ là hoán chuyển được, thì chúng bắt buộc phải được mô tả bởi một mô hình trộn/ mô hình hỗn hợp (mixture model), theo định lý nổi tiếng của de Finetti. Nếu các biến ngẫu nhiên có hàm phân bố không thay đổi kể cả khi bị biến đổi trực chuẩn (orthornomal transformation) thì chúng bắt buộc phải được mô tả bởi một elliptically contoured distribution (phân bố có đường cong ê líp), kiểu như Gauss đa biến vậy.

2.4 Nhãn quan Bayes và tần suất. Các mô hình thống kê cho ta keo dính để gắn kết các dữ liệu với nhau, và là đối tượng trung tâm của ngành thống kê. Nhưng trong lịch sử và đến tận bây giờ, các mô hình vẫn được trường phái Bayes chào đón nồng nhiệt hơn là trường phái tần suất, bởi vì sự lệ thuộc vào một mô hình thống kê làm cho người ta liên tưởng đến sự lệ thuộc vào tiên nghiệm (prior knowledge) quá nhiều, và do đó thiếu đi sự “khách quan”. Đặc biệt trong trường phái Bayes có một nhánh gọi là Bayes chủ quan (subjective Bayes) và Bayes khách quan. Những người theo Bayes chủ quan cho rằng, nếu ta có những niềm tin chủ quan (subjective belief) nhất định về dữ liệu, thì ta sẽ sử dụng một mô hình xác suất tương ứng, do các định lý kiểu như của de Finetti và Hammersley-Clifford kể trên. Một mảng không nhỏ của ngành thống kê học, thuộc trường phái tấn suất, tập trung vào các phương pháp mô hình tự do (distribution free), qua đó không sử dụng một mô hình xác suất cụ thể nào, mặc dù họ có giả sử là tộn tại một hàm phân bố để tạo ra các mẫu dữ liệu một cách độc lập.  Chú ý rằng điều này không có nghĩa là các nhà tần suất là khách quan hơn các nhà Bayes chủ quan, vì sự giả dụ tính độc lập nói chung là mạnh hơn sự giả dụ tính độc lập điều kiện, hay tính hoán chuyển được. Cả hai cách nhìn Bayes và tần suất đều hữu ích trong các ngữ cảnh khác nhau, và về nhiều mặt không có phe hoàn toàn đúng. Cả hai cách nhìn này đều chứa chất mâu thuẫn trong mình, có sự đối chọi nhau, nhưng cũng có sự tương hỗ nhau giống như bức tranh âm-dương trong Kinh Dịch vậy. Ta sẽ tiếp tục soi lại quan hệ này mỗi khi có dịp.

2.5 Phân lớp các mô hình cụ thể và cách tham số hóa.  Các mô hình thống kê giống như các sinh vật trong thế giới tự nhiên, rất đa dạng và có thể được phân lớp, và có thể quan sát sự phức tạp tăng dần với quá trình phát triển của ngành. Trong ngành học máy thì một số người còn gọi một mô hình là một cái máy (machine), nghe công nghệ, hiện đại và mới mẻ hơn. Để mô tả một mô hình thì cần phải nói cách tham số hóa của chúng thế nào, nên cần rất nhiều khái niệm và lexicon. Tham số hóa thế nào chính là vấn đề cơm và nước mắm của người học thống kê.

Với rất nhiều biến ngẫu nhiên, cần phải định ra joint distribution (phân bố liên hợp). Marginal distribution gọi là ? Conditional distribution gọi là phân bố điều kiện. Covariates gọi là đồng biến. Trong công nghệ thường là đầu vào. Features thực ra cũng là đồng biến, nhưng xuất xứ từ học máy, và sẽ gọi là đặc trưng.

Trong họ mũ, có hai cách tham số hóa. Natural parameterization gọi là cách tham số hóa tự nhiên. Canonical parameterization gọi là tham số hóa chính tắc? Còn gọi là tham số hóa trung bình (mean parameterization). Hai hệ tham số kể trên có liên hệ mất thiết với nhau qua quan hệ đối ngẫu liên hợp (conjugate duality), một khái niệm của giải tích lồi (convex analysis). Trong hình học thông tin (information geometry) thì hai hệ tham số này có thể hiểu qua khái niệm e-flat manifold và m-flat manifold (?). Normalizing constant gọi là hắng số chuẩn hóa. trong vật lý thống kê thì khái niệm này còn gọi là partition function — hàm ngăn phần. Các mô hình thông dụng trong vật lý lý thuyết như mô hình Ising, spin glass (?), đều là trường hợp đặc biệt của họ mũ. Rất nhiều hàm phân bố là trường hợp đặc biệt của họ mũ. Đặc biệt quan trọng là multivariate Gaussian dịch là Gauss đa biến. Mean vector và covariance matrix gọi là vector trung bình và ma trận hiệp phương sai.

Mô hình họ mũ lại là trường hợp đặc biệt của họ mô hình xác suất đồ thị (graphical model). Phân biệt graphical và graph và graphics thể nào đây? Để định nghĩa mô hình này cần potential function (hàm tiềm năng), được định nghĩa trên clique (?) của các biến ngẫu nhiên. Có hai loại mô hình XSDT. Một là mô hình đồ thị vô hướng (undirected graphical model), cũng đồng nghĩa với trường ngẫu nhiên Markov (Markov random fields). Một là mô hình đồ thị có hướng (directed graphical model), còn gọi là mạng Bayes (Bayesian network) của Pearl. Trong mạng Bayes có khái niệm nốt cha và nốt con. Khái niệm moralization gọi là lấy nhau. Một số trường hợp thông dụng của mạng Bayes có thể kể đến mô hình cây xác suất ĐT (tree-structured graphical model), mô hình đa  cây (polytree) nhưng có lẽ gọi là cây đa cũng thích hợp, mô hình Markov ẩn (hidden Markov), mô hình lọc Kalman (Kalman filter), mài trơn Kalman (Kalman smoothing) … Latent/hidden variables gọi là các biến ẩn. Naive Bayes tạm gọi là Bayes thơ ngây, hoặc Bây ngô. Mạng Bayes cho các dạng dữ liệu tuần tự (sequential data) còn gọi là dynamic Bayes net (?).

Một số mô hình tham số khác phải kể đến: Mô hình hổi quy tuyến tính, mạng nơ ron (neural network), mô hình cây quyết định (decision tree), mô hình hợp xướng (ensemble), mô hình hổi quy logit (logistic regression), mô hình tuyến tính tổng quát (generalized linear model), mô hình mạng tin, mạng tin sâu (deep belief net). v.v. Những mô hình kiểu này thường áp dụng vào các vấn đề suy diễn cụ thể hơn, đặc biệt trong bài toán phân lớp (classification) và hồi quy (regression). Có một số cách phân loại nữa: Trong học máy thì các mô hình dự trên hàm phân bố xác suất liên hợp thường gọi là mô hình sinh mẫu (generative model), nhưng cũng có một số mô hình áp dụng cho các vẫn đề liên quan đến xác suất điều kiện thì gọi là mô hình phân biệt (discriminative model). Cái sau hay được dùng cho các kiểu suy diễn đặc biệt hơn như bài toán phân lớp, bài toán phân hạng, v.v.

Một mô hình bao gồm cả tham số có số chiều hữu hạn và tham số có số chiều vô hạn thường gọi là mô hình bán tham số (semiparametric model).  Một ví dụ tiêu biểu là mô hình hồi quy Cox (Cox regression model) trong bài toán phân tích sống sót và phân tích sự kiện lịch sử (survival analysis/ event history analysis). Time to event data dịch là dữ liệu sự kiện. Trong mô hình này, thành phần tham số hữu hạn gắn liền với những đồng biến (covariates) quan tâm,  thành phần tham số vô hạn là cường độ tử vong/lỗi cơ bản (baseline hazard intensity). Đôi khi họ các mô hình bán tham số được gộp chung vào họ các mô hình phi tham số.

Họ các mô hình phi tham số Bayes được lấy từ các quá trình ngẫu nhiên kể trên. Infinite mixture model gọi là mô hình trộn/ hỗn hợp vô hạn. Có các quá trình đậm chất ẩm thực: Quá trình nhà hàng Tàu (Chinese restaurant process), quá trình búp phê Ấn độ (Indian buffet process). Quá trình coelescence gọi là gì? Với dân tần suất thì nhiều khi các mô hình phi tham số chỉ là tập các hàm quen thuộc trong giải tích hàm. Ví dụ lớp Sobolev (Sobolev class), lớp Besov, không gian Hilbert nhân tự sinh (reproducing kernel Hilbert space), lớp smoothing splines (?), v.v.  Dân Bayes sẽ luôn luôn nói về các hàm phân bố (độ đo) cho các hàm số kiểu này.

Dân Bayes còn có một việc là phải tham số hóa các tham số. Theo cách nhìn Bayes, các tham số cũng ngẫu nhiên, phải được giả dụ bởi một hàm phân bố khác. Các tham số của hàm này sẽ là hyperparameter (tham số tầng trên/ tham số thượng tầng?). Nếu là người theo Bayes cuồng tín, thì các tham số thượng tầng này cũng phải ngẫu nhiên… và phải tiếp tục quá trình tham số này đến tận Big Bang. Điều này dẫn đến một họ mô hình đa tầng (hierarchical model/ multi-level model), rất mạnh và rất giàu. Tuy có thể coi là một trường hợp của mô hình XSDT, nhưng trọng tâm và nguổn gốc rất khác, nên ta không nên gộp làm một. (Chú ý là ta không thể đi đến tận Big Bang, nên sau vài tầng của hierarchy thì các nhà thống kê Bayes cũng sẽ  mệt và dửng lại. Trên thực tế, khi đó vai trò của các tham số tầng rất cao không còn ý nhiều trong chuyện chi phối các biểu hiện của mô hình nữa). Việc định ra cách tham số hóa các tham số còn gọi là sự định ra các prior distribution (phân bố tiên nghiệm) cho các tham số ngẫu nhiên. Áp dụng công thức Bayes (Bayes rule) thì tính được posterior distribution, dịch là phân bố hậu nghiệm. Conjugate prior thì gọi là phân bố tiên nghiệm liên hợp. Tham số hóa cho các tham số hyper còn gọi là sự định ra các hyperprior (phân bố tiên nghiệm thượng tầng). Quyết định lựa chọn prior nào (sự chỉ định tiên nghiệm) phụ thuộc vào sự giằng co giữa tiên nghiệm (prior knowledge), thực nghiệm từ dữ liệu (empirical data), và sự thuận tiện về tính toán (computational convenience). Sử dụng các phân bố tiên nghiệm liên hợp (phát âm đầy mồm!) là một ví dụ của sự thuận tiện. Sự giẳng co giữa tiên nghiệm và thực nghiệm chẳng qua là một thể hiện của dao cạo Occam, dưới nhãn quan của trường phái Bayes.

Dân tần suất thì không thích khái niệm tham số hyper chút nào, mà cho rằng các tham số phải là không ngẫu nhiên. Về mặt mô hình mà nói thì cách nhìn này là cái trói vô hình, theo quan điểm Bayes những tham số kiểu này là vẫn có thể coi là ngẫu nhiên theo một độ đo Dirac (độ đo nguyên tử – atomic measure), một sự ràng buộc rất chặt không cần thiết. Cho nên, trong lịch sử mô hình của các nhà tần suất thường không giàu có bằng mô hình của các nhà Bayes. Tuy không nhất thiết phải là như vậy.

2.6 Dao cạo của Occam. Như ông Gớt nói là mọi chân lý đều màu xám, còn cây đời thì mãi mãi xanh tươi. Thay chữ chân lý bằng chữ mô hình, thay chữ cây đời bằng chữ dữ liệu quan sát được, ta có một biên phản cho các nhà thống kê. Bác George Box có một câu nổi tiếng tương tự — mọi mô hình đều sai, chỉ có những mô hình hữu ích hay không. Cho nên ta phải nhìn nhận các mô hình là cách chúng ta xấp xỉ thế giới thực nghiệm. Vì vậy ngoài sai số ước lượng (estimation error) của các tham số, còn có một dạng sai số gọi là sai số xấp xỉ (approximation error). Mô hình dùng ngôn ngữ thống kê và các cấu trúc toán học (như các quá trình stochastic) làm viên gạch, nhưng lại được ước lượng, điều chỉnh (update), và đánh giá, phân tích bằng dữ liệu thật.  Công cụ toán học càng mạnh thì tính phức tạp mô hình (model complexity) càng lớn, dẫn đến khả năng biểu diễn của một mô hình càng lớn, khi đó sai số xấp xỉ sẽ nhỏ, song việc ước lượng (estimation) từ dữ liệu cũng có thể lớn lên.  Đây chính là giằng co (tradeoff ) giữa sai số xấp xỉ và sai số ước lượng. Hiện tượng này gọi là cái dao cạo của Occam (Occam’s razor),  luôn luôn ám ảnh và xuyên suốt mọi quyết định trong việc thiết kế và đánh giá một mô hình học. Sợ nhất là mô hình overfit dữ liệu (quá rộng) Một đánh giá khách quan đối với sự hiệu quả và tích hữu ích của một mô hình là tính dự báo của nó, và nói chung thì lỗi dự báo thường được chặn bởi hai dạng sai số nói trên. Liên quan đến các khái niệm xấp xỉ: Model misspecification gọi là sự chỉ định mô hình không chuẩn. Khái niệm model identifiability gọi là tính khả nhận diện mô hình. Parameter identifiability là tính khả nhận diện của tham số.

Tóm tắt: joint probability, marginal probability, conditional probability, model identifiability, model mis-specification, model choice, model selection, parameter identifiability, consistency, parametric model, nonparametric, exponential family, curved exponential family, graphical model, hierarchical model, mixture model, hidden markov model, copula model, latent/hidden variables, nonparametric Bayesian model, density, intensity measure, analysis of variance, functional data, curve data, prior distribution, posterior distribution, a priori, a posteriori, sufficient statistics, order statistics, mean parameterization, canonical parameterization, normalizing constant, log-partition function, mean function, covariance function, covariates, features, conjugate prior, conjugacy

3. Các phương pháp suy diễn thống kê

3.1 Tổng quan. Cần phân biệt suy diễn thống kê (statistical inference) với suy diễn xác suất (probabilistic inference). Cái sau chỉ là sự tính toán các xác suất điều kiện trên cơ sở mô hình xác suất. Còn SDTK là suy diễn trên cơ sở mô hình thống kê với sự hiện diện của số liệu. Có hai vấn đề chính, một là suy diễn về tham số, hay còn gọi là ước lượng về tham số (parameter estimation), và dự báo (prediction). Với nhãn quan Bayes thì suy diễn thống kê còn gọi là suy diễn Bayes, về mặt toán học thì không khác gì suy diễn xác suất vì cả tham số và dữ liệu đều được mô tả bằng biến ngẫu nhiên. Cho nên về mặt khái niệm thì đơn giản, mẫu mực. Với nhãn quan tấn suất thì cách tiếp cận đến các vấn đề suy diễn thống kê khó khăn hơn về mặt khái niệm, và đòi hỏi các cách tiếp cận không mẫu mực. Trong học máy thì vấn đề ước lượng về tham số còn gọi là học.

Nếu như trong vấn đề xác định mô hình thì quan điểm Bayes và quan điểm tần suất có tính tương hỗ nhau (ví dụ, anh Bây nói với với anh Tần: Tôi mệt rồi, cho phép cái tham số hyper của tôi là không ngẫu nhiên nhá — và anh Tần nói với anh Bây: Cho tôi gọi tham số của anh là biến ẩn nhá), thì trong vấn đề suy diễn, hai quan điểm này xung khắc nhau quyết liệt bất phân thắng bại. Quan điểm của Bây là: đối với vấn đề ước lượng tham số thì chỉ suy diễn điều kiện vào dữ liệu có sẵn (conditioning on data), và “marginalize out/ integrate out” (?) các tham số ngẫu nhiên trong việc dự báo. Quan điểm của Tần là: đồi với vấn đề ước lượng tham số thì phải suy diễn cho cả dữ liệu tưởng tượng (imaginary data, và dùng ước lượng “plug-in” (?) trong việc dự báo. Tiêu chuẩn của Bây là lạc quan, quan tâm nhiều đến phân tích trường hợp trung bình (average-case analysis). Tiêu chuẩn của Tần rất bi quan, chú trọng nhiều hơn đến phân tích tình huống xấu nhất (worst-case analysis). Đây chỉ là hai thái cực để cho thấy sự khác biệt. Trên thực tế có thể  kết hợp cả hai cách tiếp cận trong việc suy diễn từ dữ liệu.

Có một số vấn đề suy diễn cụ thể hơn, và do đó có một số lexicon riêng: Point estimation gọi là ước lượng điểm (một khái niệm của TK Tần). Hypothesis testing gọi là kiểm định lý thuyết (phép thử lý thuyết?).  Classification gọi là vấn đề phân lớp. Clustering gọi là vấn đề chia nhóm. Bài toán ranking trong học máy gọi là vấn đề phân hạng.  Supervised learning gọi là học có nhãn, học có hướng dẫn. Unsupervised learning gọi là học không nhãn (học không có hướng dẫn, học không thầy). Sequential analysis gọi là phân tích chuỗi/ phân tích tuần tự (?), mà cụ thể có bài toán optimal stopping dịch là bài toán dừng tối ưu. Survival analysis gọi là phân tích sự sống sót (?). Vấn đề change point detection gọi là bài toán phát hiện điểm thay đổi. Chú ý là tất cả các vẫn đề suy diễn cụ thể này đều có thể hiểu tổng quát theo một trong hai vấn đề suy diễn (ước lượng tham số, hoặc dự báo), đều có thể tiếp cận theo cách nhìn Tần hay Bây, nhưng có thể sự điểu chỉnh một chút về cách đánh giá của suy diễn.

3.2 Lý thuyết quyết định. Nền tảng lý thuyết của suy diễn thống kê chính là lý thuyết quyết định của Abraham Wald. Cần khái niệm rủi ro (risk). Rủi ro Bayes là Bayes risk. Rủi ro là kỳ vọng của hàm thiệt hại/tổn thất/thiệt/mất (loss function). Dân kinh tế sẽ dùng hàm utility (hàm tiện ích/thỏa dụng) thay vì dùng hàm thiệt hại. Một khái niệm tương tự là hàm reward (?)  trong môn học reinforcement learning(?), và quá trình quyết định Markov.

Lý thuyết quyết định là cái ô chung cho cả hai trường phái Bây và Tần, nhưng với dân Tần thì có nhiều việc phải lo hơn. Estimator dịch là cách ước lượng cho một tham số, và là một hàm số áp dụng vào dữ liệu. Như vậy cũng giống một thống kê, như vậy có thể coi một thống kê là một cách ước lượng thô sơ.  Estimate là một ước lượng cụ thể cho một tham số nào đó. Trong bài toán phân lớp thì estimator còn gọi là một learning machine (máy học), estimate sẽ là hàm số phân lớp (classifier).  Trong vấn đề kiểm định lý thuyết (hypothesis testing) thì cái phải ước lượng là một hàm số quyết định (decision function).  Dù theo nhãn quan nào thì đều cần tìm ước lượng theo tiêu chuẩn có giá trị rủi ro tối thiểu (minimum risk criterion).  Nhưng rủi ro của anh Bây thì khác với anh Tần.  Kỳ vọng tần suất (frequentist expectation) là kỳ vọng của hàm mất đối với phân bố của dữ liệu (ảo tưởng) trên cơ sở một mô hình với một tham số có sẵn. Kỳ vọng Bayes là giá trị kỳ vọng của hàm mất đối với phân bố điều kiện của tham số trên cơ sở dữ liệu có sẵn. Nói cách khác, với anh Tần thì dữ liệu là ngẫu nhiên, với anh Bây thì tham số là ngẫu nhiên. Nếu lấy kỳ vọng của kỳ vọng tần suất đối với phân bố của tham số, hoặc lấy kỳ vọng của kỳ vọng Bayes đối với phân bố của dữ liệu thì ta cùng nhận được Rủi ro Bayes!

Một số hàm thiệt hại thông dụng: Hàm thiệt  0-1. Khi đó Rủi ro Bayes gọi là Lỗi Bayes (Bayes error).  Hàm thiệt bình phương (square loss). Hàm thiệt mũ (exponential loss). Hàm thiệt logit (logistic loss). Surrogate loss sẽ được dịch là hàm thiệt thế chỗ (?). Để so sánh các cách ước lượng (estimator) khác nhau người ta có thể dùng tiêu chuẩn Bayes (thông qua việc so sánh Rủi ro Bayes). Dân tần suất sẽ hay dùng tiêu chuẩn minimax, mượn từ lý thuyết trò chơi (mà cuộc chơi ở đây là giữa nhà thống kê và Trời — chỉ Ông Trời biết chân lý (mô hình đúng là gì, và ông trời mỗi lần ra tay sẽ nhả ra một mẫu dữ liệu). Cần một số phẩm chất cho các cách ước lượng, như khái niệm unbiasedness (?), admissibility (?), consistency (nhất quán), invariance (bất biến phương sai), efficiency (hiệu quả), superefficiency (siêu hiệu quả). Dân Bayes chủ quan không quan tâm đến mấy cái chuẩn này, vì họ đã có niềm tin son sắt vào tiên nghiệm rồi, và suy diễn Bayes bằng cách tính phân bố hậu nghiệm là xong. Tuy vậy phương pháp suy diễn Bayes chủ quan có nhiều tính chất lý thuyết rất tốt. Suy diễn dựa trên cơ sở của phân bố hậu nghiệm được chứng minh là tối ưu theo tiêu chuẩn Rủi ro Bayes. Dân Bayes khách quan thì không quá tự tin như dân Bayes chủ quan, nên họ muốn phân bố tiên nghiệm phải có những phẩm chất tốt. Tính nhất quán hậu nghiệm (posterior consistency) là một phẩm chất quan trọng.

3.3 Các cách ước lượng/học thống kê. Tôi đặt vài viên gạch ở đây. Khi nào rỗi sẽ viết dần dần. Bạn nào có nhã hứng đóng góp từng paragraph vào các mục sau (hoặc các mục chưa ghi) xin cho biết. Ước lượng hay học ở đây vẫn trên cơ sở một họ mô hình định sẵn. Còn vấn đề khó hơn là chọn mô hình (model selection), so sánh các mô hình, đặc biệt giữa các mô hình có độ phức tạp khác hẳn nhau. Kiểm định giả thuyết  là một dạng rất đặc biệt của lựa chọn giữa các mô hình, song vẫn có thể hiểu gọn trong phạm vi ước lượng.

Empirical risk minimization. Rủi ro được định nghĩa trên cơ sở hàm phân bố của mô hình (chân lý — chỉ có Trời mới biết). Chỉ có thể tiếp cận đến mô hình này thông qua quá trình thực nghiệm (empirical process). Nói cách khác, rủi ro phải được ước lượng bẳng rủi ro thực nghiệm (empirical risk). Hầu hết các cách ước lượng của phe Tần suất đều ở dạng tính rủi ro thực nghiệm cực tiểu (empirical risk minimization (ERM)). Một lexicon đồng nghĩa là M-estimation (ước lượng M), M có nghĩa là maximization hoặc minimization. Cách ước lượng dựa vào moment (moment-based estimation/ moment matching) thực ra cũng có thể được động viên và liên hệ với cách ước lượng rủi ro thực nghiệm cực đại. Một vấn đề đau đầu cho cách ước lượng rủi ro cực tiểu là phải chọn hàm mất gì? Có một số tên riêng: Nếu hàm mất là hàm bình phương, thì ta có phương pháp bình phương cực tiểu (least square) rất thông dụng trong hồi quy.

Maximum likelihood và nguyên tắc likelihood. Nếu mô hình thống kê chỉ định ra một hàm phân bố cho dữ liệu, thì ta có khái niệm likelihood (khả năng?). Đây là hàm số của tham số, nhưng được lại là ngẫu nhiên vì được định nghĩa trên cơ sở dữ liệu ngẫu nhiên. Likelihood chính là một ví dụ tiêu biểu (nhất) của rủi ro thực nghiệm. Hàm mất tương ứng ở đây là hàm logarithm của mật độ. Maximum likelihood dịch là cách ước lượng khả năng cực đại (?), một phát kiến vĩ đại của Ronald Fisher. Đây là cách ước lượng thông dụng, đa năng bậc nhất trong ngành thống kê (ít nhất là với nhãn quan tần suất). Với các mô hình tham số thì cách ước lượng này được đảm bảo bởi tính nhất quán (consistency) — mô hình sẽ được ước lượng chính xác nếu số dữ liệu tiến đến vô hạn. Tại sao hàm mất lại là hàm logarithm của mật độ mà không phải là một hàm số nào khác? Đây là một ví dụ của sự diệu kỳ bất ngờ của toán học — câu trả lởi truy ra khái niệm độc lập, khái niệm tập trung của độ đo trong xác suất, và tính lồi trong giải tích (và hình học). Nguyên tắc khả năng (likelihood principle) cho rẳng hàm khả năng là một thống kê đầy đủ (sufficient statistics). Nguyên tắc này phá sản trong ngữ cảnh phi tham số.

Regularization/Penalization/Shrinkage. Với sự ước lượng các mô hình phi tham số thì chỉ dựa vào dữ liệu (thông qua hàm khả năng (likelihood) hoặc tổng quát hơn, hàm rủi ro thực nghiệm) không đủ. Cần phải có sự điều chỉnh trong việc lấy cực đại/cực tiểu thông qua khái niệm regularization (kiểm soát), còn gọi là penalization (soát phạt). Regularized empirical risk gọi là rủi ro thực nghiệm có kiểm soát.  Khái niệm kiểm soát, soát phạt bắt nguổn từ một phát hiện bất ngờ của Charles Stein về shrinkage estimator (cách ước lượng co). Cho nên nhiều khi người ta cũng gọi nhóm ước lượng này là ước lượng co.  Để dùng một số lượng dữ liệu hữu hạn mà ước lượng các đại lượng (tham số) vô hạn hoặc có số chiều đủ lớn (cho dù số dữ liệu có lớn đến đâu và tiến dần đến vô hạn đi chăng nữa) thì vẫn phải có sự kiểm soát trong ước lượng, và không thể dựa hoàn toàn vào dữ liệu thực nghiệm được.  Theo nhãn quan Bayes thì điều này chính là sự giằng co giữa thực nghiệm và tiên nghiệm. Co (shrinkage) ở đây chính là co về tiên nghiệm.

Phương pháp phân tích hậu nghiệm/ học Bayes. Phương pháp phân tích hậu nghiệm (a posteriori analysis), cụ thể là cách suy diễn hậu nghiệm (posterior inference), suy diễn Bayes (Bayesian inference), học Bayes (Bayesian learning),… đều mô tả cùng một cách ước lượng theo trường phái Bayes. Đó là thay vì người ta ước lượng tham số (không ngẫu nhiên) như trong trường phái tần suất, người ta sẽ tính hàm phân bố hậu nghiệm cho tham số thông qua công thức Bayes. Cách này mẫu mực — phần việc chính ở đây là chỉ định ra phân bố tiên nghiệm ra sao, và tính toán phân bố hậu nghiệm thế nào (vì phải tính tích phân rất phức tạp về mặt tính toán).  Chú ý rằng cách ước lượng maximum likelihood chẳng qua là tính mốt (mode) của phân bố hậu nghiệm, nếu phân bố tiên nghiệm được chọn là phân bố đều (uniform distribution). Trong phân tích Bayes, đặc biệt là với mô hình tham số, thì không phải lo lắng gì về việc kiểm soát (regularization). Nhưng nếu phân bố tiên nghiệm là một quá trình ngẫu nhiên (trong mô hình phi tham số) thì vẫn phải lo lắng về chuyện kiểm soát tính phức tạp của tiên nghiệm (complexity of prior distribution). Một công cụ là sensitivity analysis (phân tích tính nhạy cảm) của phân bố cho tham số.

Phương pháp Bayes thực nghiệm (empirical Bayes). Phương pháp này có thể xem cách ước lượng tần suất cho mô hình đa tầng. Mô hình đa tầng là một công cụ lý tưởng trong việc kiểm soát độ phức tạp của các mô hình cho tham số.

3.4. Các vấn để suy diễn cụ thể hơn.

Hypothesis testing. Trong kiểm định giả thuyết có một số khái niệm quan trọng: Null hypothesis gọi là ? Alternative hypothesis? Có hai loại lỗi: Lỗi loại một (type-1 error) và lỗi loại hai (type-2 error). Còn gọi là tỷ lệ lỗi dương tính (false positive) và lỗi âm tính (false negative) trong đánh giá các treatment (?) trong y học. Trong công nghệ thì type-1 error gọi là false alarm error rate (?), type-2 error chính là misdetection error rate (?). Tất cả các loại rỗi này đều là hàm rủi ro đối với hàm thiệt 0-1. Cách ước lượng trong kiểm định giả thuyết gọi là một hàm quyết định. Và người ta sử dụng hàm quyết định thực hiện phép thử (test) cho giả thuyết. Một phép thử được đánh giá thông qua các bảo đạm về giới hạn của các lỗi kể trên. Sự giẳng co giữa lỗi loại một và loại hai được biểu diễn bẳng ROC curve (đường cong ROC). Các khái niệm liên hệ còn có significance (?). Confidence interval dịch là ? p-value dịch là giá trị p. Power của phép thử gọi là sức mạnh.  Nếu chỉ có hai giả thuyết đẻ so sánh thì hàm quyết định tối ưu chính phải dựa vào likelihood ratio (phân số khả năng). Likelihood ratio test gọi là phép thử dựa vào phân số khả năng. Công cụ để đánh giá sức mạnh của một phép thử là thống kê giới hạn (asymptotic statistics).

Kiểm định giả thuyết xuất phát từ thống kê tấn suất, do công của Neyman và Pearson. Khái niệm này rất phản trực quan, và phải đợi đến Wald mới thống nhất cách suy diễn này với cách hình thức suy diễn kiểu khác trong thống kê.  Nếu tiếp cận theo nhãn quan Bayes thì KDGT khá là đơn giản, không khác gì việc ước lượng một mô hình là bao. Cần khái niệm phân bố tiên nghiệm cho các giả thuyết. Khái niệm Bayes factor sẽ được dịch là ?

Sequential analysis. Trong phân tích tuần tự (sequential analysis) thì có sự giẳng co của lỗi Bayes và thời gian trễ (delay time) của quyết định về giả thuyết. Khái niệm thử thông dụng là sequential likelihood ratio test (phép thử dựa theo chuỗi phân số khả năng). Công cụ lý thuyết đẻ đánh giá sức mạnh của phép thử là các phân tích về thời gian dừng, phân tích các loại thời điểm vượt biên, v.v. trong lý thuyết xác suất về quá trình Markov.

Classification/regression/ranking. Trong bài toán phân lớp thì người ta gọi một cách ước lượng để phân lớp là một máy học (learning machine). Tham số cần ước lượng ở đây gọi là một hàm phân loại (classifier). Có thể tiếp cận vấn đề này trên cơ sở mô hình tham số hoặc mô hình phi tham số. Để học được máy (mô hình) thường đòi hỏi nhiều tính toán,  chứ không phải các thống kê đơn giản như trong kiểm định giả thuyết cổ điển. Cho nên dẫn đến những quan tâm về vấn đề hiệu quả của các giải thuật học/ ước lượng.  Cách học/ ước lượng, về mặt tính toán, có lexicon riêng là training (việc huấn luyện).  Dữ liệu cần cho việc huấn luyện gọi là dữ liệu huấn luyện (training data). Phép thử một hàm phân loại với dữ liệu mới gọi là testing. Dữ liệu thử chính là test data. Nếu có hai lớp để phân loại thì hàm phân loại tối ưu phải dựa vào likelihood ratio, rất giống như trong kiểm định giả thuyết. Một khác biệt căn bản giữa bài toán phân lớp với bài toán kiểm định lý thuyết là chỗ này: Cái đầu phải thử giả thuyết cho từng mẫu một. Cái sau chỉ phải thử giả thuyết một lần cho cả đám đông. Có rất nhiều phương pháp phân lớp, với các mô hình tham số và phi tham số, và các giải thuật học/ước lượng rất phong phú. Kinh điển thì có linear discriminant analysis (phân tích phân biệt tuyến tính), logistic regression (hồi quy logit). Hiện đại hơn thì có mạng nơ ron (neural network), radiant basis network (?), support vector machines (?),…

Bài toán hồi quy (regression analysis) tương tự như bài toán phân lớp, khác ở đây là cần phải ước lượng/học phương trình hồi quy (thay vì hàm phân loại). Hàm phân lớp chỉ có giá trị rởi rạc, còn phương trình hồi quy thường tính ra các giá trị liên tục. Bài toán phân cấp gần giống bài toán phân cấp ở chỗ hàm phân loại cũng có giá trị rời rạc (và không phải nhị phân), nhưng dữ liệu huấn luyện các mẫu về sự so sánh giữa các cấp chứ không phải nhãn lớp (cấp).

Dimensionality reduction/ exploratory data analysis. Phân tích khám phá với dữ liệu là một mảng quan trọng. Principle component analysis dịch là phân tích thành phần chủ yếu. Multidimensional scaling dịch là ?. Independence component analysis gọi là phân tích thành phần độc lập. Vấn đề chia nhóm (clustering) cũng có thể đặt vào đây, nhưng các phương pháp chia nhóm dựa vào mô hình (model-based clustering) đã phát triển đến mức độ rất tinh xảo, và nên đặt nó vào nhóm suy diễn dựa vào mô hình.

3.5 Thống kê  ở vô hạn, lý thuyết học, và lý thuyết thông tin (asymptotic statistics, learning theory, information theory)

Thống kê ở asymptotic chính là cơ sở lý thuyết giả thích sự hiệu quả và giới hạn của các suy diễn thống kê.  Thống kê ở vô hạn nghiên cứu tính chất của các phép ước lượng khi lượng mẫu (sample size) tiến đến vô hạn. Một vấn đề người ta cần quan tâm là các tiêu chuẩn dựa vào rủi ro phải tiến về 0. Tính chất này gọi là tính nhất quán (consistency) của một cách ước lượng. Nếu đã nhất quán rồi thì còn quan tâm rate of convergence – tốc độ hội tụ – của các rủi ro. Ngoải ra ta còn quan tâm đến tính chất về phân bố của sự hội tụ. Một tính chất quan trọng thường gặp là asymptotic normality (sự bình thường ở giới hạn). Với trường phái Bayes khách quan thì có khái niệm nhất quán hậu nghiệm (posterior consistency) — khi số mẫu tiến đến giới hạn thì phân bố hậu nghiện phải tập trung về một điểm, điểm đó chính là giá trị chân lý của tham số cần ước lượng. Tính chất này mang tính tấn suất, vì nó vẫn giả sử tham số là không ngẫu nhiên, mặc dù ta có thể định ra phân bố tiên nghiệm và làm phân tích hậu nghiệm. (Các nhà Bayes chủ quan cuồng tín sẽ ngoảnh mặt quay gót khi ai nó nói đến khái niệm này).

Một vấn đề khác người ta cũng quan tâm là tính chất về phân bố của các thống kê được sử dụng trong các phép suy diễn cụ thể, như trong kiểm định giả thuyết chẳng hạn. Nhờ tính chất phân bố của thống kê (ở điều kiện mẫu vô hạn) mà ta có thể có những đảm bảo nhất định về các rủi ro của suy diễn.

Công cụ toán học của phân tích thống kê asymptotic là tính chất tập trung của độ đo (concentration of measure), đặc biệt trong ngữ cảnh của quá trình thực nghiệm (empirical process). Empirical process theory là tên thường gọi. Công cụ quan trọng có symmetrization argument (mẹo cân đối hóa). Chaining method dịch là phương pháp chuỗi, một phương pháp mẫu mực để chứng minh các chặn trên cho tiếm hàm rủi ro (định nghĩa trên quá trình thực nghiệm) bởi các đại lượng mô tả sự phức tạp của mô hình (model complexity). Khái niệm sự phức tạp của mô hình đến từ lý thuyết xấp xỉ (approximation theory).  Các khái niệm chính gồm có covering number (số đĩa phủ), packing number (số đĩa chèn?). Khái niệm entropy (Kolmogorov entropy chứ không phải Shannon entropy) được giữ nguyên trong lexicon. Ngoài các chặn trên, còn có thể chứng minh các chặn dưới, gọi chung là chặn minimax. Chặn này cho biết tốc độ hội tụ của rủi ro tốt nhất có thể được (trong mọi cách ước lượng) đối với một lớp mô hình cho sẵn. Đối với lớp mô hình tuyến tính thì độ phức tạp của mô hình có thể mô ta bằng một khái niệm tổ hợp nổi tiếng trong lý thuyết học (learning theory) của Vapnik và Chervonenkis,  số chiều VC (VC dimension).

Lý thuyết thông tin (information theory) của Shannon chính là lý thuyết thống kê giới hạn cho một số bài toán suy diễn cụ thể trong công nghệ thông tin, công nghệ nén và truyền tải dữ liệu. LTTT cũng tập trung nhiều vào đại lượng có thể dùng để mô ta sự hiệu quả của một giải thuật suy diễn. Các đại lượng này xuất hiện trên exponent của các chặn trên và chặn dưới của các rủi ro của suy diễn, không chỉ trong các bài toán cụ thể trong công nghệ thông tin, mà còn trong các ngữ cảnh suy diễn thống kê tổng quát. Các khái niệm quan trọng gồm có: Shannon entropy, conditional entropy (entropy điều kiện), Kullback-Leibler divergence (độ phân kỳ Kullback-Leibler), mutual information (thông tin chung). Do đó, các khái niệm về thông tin này còn có vai trò quan trọng trong các vấn đề về sự lựa chọn mô hình (model selection), thiết kế thí nghiệm (experimental design) và trong các phân tích khám phá. Về mặt toán học, các khái niệm thông tin này đều là các phiếm hàm mô tả sự ngẫu nhiên và quan hệ của một hay nhiều hàm phân bố xác suất. Các khái niệm liên hệ có thể kể đến: Fisher information (thông tin Fisher), phương sai.

3.5 Lựa chọn mô hình (model selection).

3.6 Thiết kế thí nghiệm (experiment design). Tôi không biết đủ sâu/rộng để viết về phần này. Hy vọng bác nào là chuyên gia xắn tay vào viết giúp một vài paragraph.

Tóm tắt: Bayesian learning, Bayesian inference, posterior inference, maximum likelihood, posterior consistency, asymptotic consistency, asymptotic normality, sensitivity analysis, stability analysis, heat map,  efficiency, superefficiency, estimator, estimate, learning algorithm, learner, chaining method, symmetrization, covering number, free probability

ROC, hypothesis test, Bayes error, approximation error, estimation error, null hypothesis, alternative hypothesis, type-1 error, type-2 error, power, significance, p-value, Bayesfactor, nested design, empirical Bayes method, shrinkage, sequential analysis, sequential change point analysis, online analysis, distributed algorithm

4. Các giải thuật thống kê, học giả

4.1 Tổng quan. Thống kê cổ điển không có khái niệm về giải thuật. Khi chưa có công cụ máy tính người ta chỉ có thể nghiên cứu tính chất và áp dụng các cách ước lượng khá giản đơn về mặt tính toán. Sự ra đời của máy tính và thông qua đó phát triển của lĩnh vực giải thuật và học máy thổi một làn gió mới vào vấn đề suy diễn từ dữ liệu. Làn gió này bắt đầu rất nhỏ từ thập niên 60, mạnh dần lên vào thập niên 80, đến thập niên 90 và những năm đầu thế kỷ này có lẽ nó đã trở thành bão. Cơn bão của khoa học tính toán đang làm thay đổi hoàn toàn khung cảnh của thống kê hiện đại, hứa hẹn những bước phát triến ngoạn mục trong tương lai. Về mặt lý thuyết, trước kia, ta chỉ quan tâm quan hệ giữa lượng mẫu và độ hiệu quả của suy diễn thống kê thông qua sự chính xác của các phép ước lượng.  Nay, ta còn phải quan tâm đến hai đại lượng mới: đó là sự phức tạp về tính toán — computational complexity (về mặt thời gian và bộ nhớ), và sự xấp xỉ của mô hình (approximation error) , vì bây giờ chúng ta đã có thể phát triến và nghiên cứu các dạng mô hình mạnh hơn trước, các phép ước lượng phức tạp hơn trước. Đại lượng đầu tiên, sự phức tạp về tính toán, đến từ khoa học máy tính. Đại lượng thứ hai, tính xấp xỉ của mô hình, đến từ thuyết xấp xỉ của toán ứng dụng, và lý thuyết xác suất. Một sự thay đổi rõ nét nhất trong sự phát triển của các phương pháp suy diễn thống kê hiện đại chính là sự lên ngôi của trường phái Bayes, vì các công cụ giải thuật ngày nay cho phép thực hiện phân tích Bayes một các hiệu quả hơn về mặt tính toán. Các mô hình Bayes còn nối lại quan hệ mật thiết giữa những người xây dựng mô hình thống kê với những người nghiên cứu về quá trình ngẫu nhiên trong lý thuyết xác suất.  Với sự hiện diện của khái niệm phức tạp tính toán và khái niệm xấp xỉ trong suy diễn thống kê, sự đối nghịch giữa hai trường phái Bayes và Tần suất bị loãng đi và mất dần tính cực đoan cuồng tín của thế kỷ 20. Người ta bắt đầu có cái nhìn cân bằng hơn về vai trò và quan hệ giữa hai trường phái này.

expectation-maximization algorithm, variational inference, message-passing algorithm, belief propagation, back propagation, training, testing, classification, clustering, hierarchical clustering, linear regression, kernel method, sparsity
, regularization, penalization, cross-validation, leave-one-out, boosting, bagging, bootstrap, compressed sensing, quantization, heteroscedasticity, multi-modality,

5. Các phương pháp tối ưu trong suy diễn thống kê

simulated annealing, local search, global search, heuristic search, restart, hill-climbing, saddle point, sampling, importance sampling, proposal distribution, acceptance probability, heat bath method, particle filtering, filtering, smoothing