Ưu điểm chính của kernel-based models là: chúng đơn giản cho người dùng, vì không đòi hỏi modeling assumption. Chúng cũng đơn giản cho thuật toán học, vì chỉ là một dạng linear model trên một không gian Hilbert. Nhưng việc chúng đủ phức tạp để mô tả nhiều dạng data trong thực tế cho ta thấy vẻ đẹp và sức mạnh của một chút toán học cao cấp (a little more math goes a long way, moving to higher dimensional space, i.e.,
http://www.procul.org/blog/2006/03/08/going-to-higher-dimensional-space/
)

Về lý thuyết thì kernel-based estimator kho^ng phải là optimal in minimax sense. Xem, vi’ du/ một dạng tutorial sau:
E. J. Candès. Modern statistical estimation via oracle inequalities. Acta Numerica, 15 257-325.
(available from his homepage)

và manuscript cũng có online của GS I. Johnstone của Stanford vói tựa “Function estimation”, homepage:
http://stat.stanford.edu/people/faculty/johnstone/index.html

Có thể fix vấn đề (về sự hạn chế của kernel models) bằng cách learn a family of kernels. Tuy nhiên tôi không thích cách này vì nó cũng giống như một dạng đẩy mô hình neural network từ 2 tầng lên thành 3 tầng. Cách này mất đi vẻ đẹp và đơn giản của phương pháp kernel ban đầu. Lợi ích về sức mạnh mô hình chưa thấy đâu nhưng bạn sẽ chết ngập vì các vấn đề optimization phát sinh, (tương tự như với neural nets vậy).

@Nguyên: Có thể nhìn nhận vấn đề bác nói là một dạng classification, nhưng không rõ có useful không?
Nếu tôi muốn tấn công v/đ này tôi sẽ tấn công nó một cách trực diện thay vì reduce nó về một classification formulation, mà theo tôi khá là hạn chế, với bài toán của bác.

1. Các vấn đề liên quan đến online ad hiện nay là rất hot. Tôi có dịp nói chuyện với Prabhakar Raghavan mấy tháng trước và đa số các vấn đền algorithmic hoặc ML ở Yahoo Research ông nêu ra đều liên quan đến đề tài này. (Dĩ nhiên, ông ta cũng nói đến mục tiêu lâu dài hơn là phát triển computational economics/game theory/etc, however online ad is where you win or lose BILLIONS of USD in a few years. Yahoo literally lost roughly a billion dollars due to bad ad strategies/algorithms.)

2. Khi nào viết lại tôi sẽ thay ví dụ khác spam filtering. Quả là ví dụ này có hơi “khinh thường” ML. Dùng doc classification chắc tốt hơn. Thanks for your comments.

3. ta = chúng ta (as in “we” when I write papers, even in sole author papers). “We” doesn’t mean “you and I”, it’s just a standard academic and perhaps boring way to avoid the egoistic “I”

4. Tác giả đọc đến đâu thì dẫn reader(s) đến đó . Như đã nói từ đầu, đây là “nhật ký” của tôi khi đi tìm hiểu xem learnability mô hình bằng toán như thế nào. I’m happy as long as there are more than 2 people who’d take the time to read things I wrote and give useful feedbacks.

mô hình PAC, trong mắt của lý thuyết thống kê ko phải là cái gì quá xa lạ.
nhưng theo tôi hiểu thì PAC vẫn có mặt trong các bài báo ở COLT hiện nay (bài toán phân lớp cổ điển) khi xem xét trong ngữ cảnh active learning, semi-supervised learning, lí do là vì không có hoặc đòi hỏi khá nhẹ về phân bố xác suất của dữ liệu.

theo tôi hiểu, các mô hình, giải thuật active learning hay semi-supervised learning đã từng được (và vẫn đang được) xem xét dưới góc độ thống kê, nhưng khi đó luôn có giả thiết (ngầm hoặc hiện) về phân bố xác suất của dữ liệu.

theo tôi hiểu, 1 chủ đề khá hot ở COLT (và SODA?) mấy năm gần đây là “online learning” (nonstochastic) dạng “bandit” (partial feedback) với các biến thể về “number of bandits” (until infinite).
với trình độ < abc về CS lẫn ML, tôi không hiểu ngoài ứng dụng “online advertising” (ở mấy web search engines) và “obvious routing” mà các tác giả này đem ra làm ví dụ, mô hình dự đoán kiểu cờ bạc này có thể có ứng dụng cụ thể ở đâu nữa.

@bác Hưng:
- tôi không thích ví dụ spam filtering bằng ML lắm, vì theo tôi hiểu, lọc spam ở mức này là mức cuối cùng rồi (kiểu nan đề captcha, tính bảo mật của các giải thuật ML).
Ví dụ hiền lành, cổ điển kiểu phân loại emails, bài báo theo chủ đề có phù hợp với ML hơn không?
- tôi không hề có ý định phá bĩnh nhiệt tình của bác, nhưng tôi có mấy câu hỏi củ chuối (tương tự tên sinh viên nào đó của bác?) với tư cách 1 novice reader:
mục đích của series này là gì? tác giả định dẫn readers đi đến đâu?
dành cho đối tượng readers nào? và ko dành cho đối tượng nào?
(theo kiểu cụ Hồ (sgk lớp 4 nói thế): viết cho ai, viết để làm gì, rồi mới viết cái gì, viết như thế nào?)
- có gì thay đổi đáng kể nếu thay các chữ “ta” bằng “tôi” ko?
sorry bác, vì tôi vốn bị dị ứng nặng với các từ ta, chúng ta trong các bài báo mậu dịch vn (chúng ta phải thế này thế nọ, bla bla).
đọc mấy bài báo kiểu đó tôi thực sự chẳng hiểu là người nói, người viết đang muốn nói cụ thể đến ai, hay kiểu phiếm chỉ chí phèo, AQ, …

Bác Long bình “Tuy nhiên models phức tạp quá thì ta cũng không học vì 2 lý do: overfit (cái này là statistical constraint), hoặc không đủ computational và mathematical tools dde^? học nó.”. Đúng là models càng phức tạp thì càng dễ overfit, nhưng đó là data sparseness và cái này là gốc của statistical learning. Khi thiết kế models ngoài những khoản constraints như bác Long viết thì ta phải quan tâm đến training data. Bác Hồ đã nói là “Tuổi nhỏ làm việc nhỏ, tùy theo sức của mình”, áp dụng vào ML nghĩa là nếu mức độ sophisticated của models phụ thuộc vào training data.

Machine translation có thể được nhìn dưới góc độ 1 bài toán classification. Khi ta muốn dịch 1 câu tiếng Việt sang tiếng Anh, cũng có thể hiều là ta muốn label câu tiếng Việt bởi 1 nhãn là câu tiếng Anh với tập nhãn là vô hạn. Tồn tại một features space bên tiếng Việt gọi là VS và 1 mapping function Phi(V) chuyển câu tiếng Việt V vào VS; tương tự với tiếng Anh là ES và Omega(E). Dịch Việt-Anh tương đương với hàm Omega(E) = W * Phi(V). Công viêc của training là học ma trận W (mùi SVM nồng nặc ) ).

Với ví dụ trên, một câu hỏi là liệu các bài toán có thể ép về 1 dạng nào đó của bài toán classification được ko?

Tôi không có ý nói là Vapnik không nghiên cứu về learnability, mà chỉ nói là quyển nature of statistical learning theory của ông không có chương nào về tractability. Tôi sẽ viết về VC-dimension và ứng dụng trong một/hai bài tới.

Tôi cũng hoàn toàn đồng ý với bác là PAC như tôi đã trình bày đến nay rất hạn chế, nó chỉ mô tả mỗi bài classification trong supervised learning. Theo tôi hiểu thì gần đây COLT cũng có vài phát kiến mới, sẽ đọc và viết thêm.

Tôi có một số nhận xét nhanh (và critical, bác biết rồi đó về PAC:

– Đóng góp về mô hình PAC có ý nghĩa lịch sử với cộng đồng nghiên cứu ML nói riêng và AI nói chung, bởi nghĩa nó giúp cho cộng đồng này chuyển sang sử dụng ngôn ngữ xác suất thống kê thay vì dùng logic để thực hiện inductive inference.

– Sự tập trung vào boolean function classes là hoàn toàn mới và rất KHMT. Tuy vậy những function classes này không có đủ nhiều structures và do đó tôi có cảm tưởng kho’ có tiến xa gì về mặt lý thuyết. Ngoài ra hầu như không có ứng dụng thực tiễn nào cho việc sử dụng function classes này cho to+’i nay.

– Các khía cạnh khác của lý thuyết PAC không mới và hầu như đã được nghiên cứu *rộng* và *sâu* hơn trong lý thuyết thống kê. Xin đưa ví dụ:

++ PAC chủ yếu tập trung vào bài toán classification (cho dữ liệu và nhãn). Tuy nhiên đó chỉ là một vấn đề hẹp trong cả một bức tranh rộng lớn các loại mô hình và statistical inference.
++ PAC tập trung vào worst-case analysis của một số concept classes (như Boolean classes). Theoretical statistics từ những năm 60,70 đã thiết lập lý thuyết độ sộ về worst-case analysis qua minimax theory, cho phép ta biết hiệu quả học tốt nhất có thể được cho từng concept class. Tuy họ không nghien cứu cụ thể Boolean classes, nhưng ứng dụng các kết quả này cho các classes có nhiều analytic structures hơn (ví dụ smooth function classes như spline chẳng hạn, hoặc các dạng class biểu diễn qua mixture models), và có ứng dụng thực tiễn. Các kết quả lower-bound này rất combinatorial. Một số tác giả lớn như Le Cam, Hajek, Pinsker, Birgé, Vapnik,… từ thập niên 60/70.
++ Tôi ngạc nhiên là bác Hưng nói Vapnik không nghiên cứu các vấn đề PAC-learnable như đinh nghĩa ở trên. Lý thuyết VC đi xa và sophisticated hơn nhiều những gì PAC-theory đạt được.
++ PAC cảm thấy khó khăn khi rời khỏi i.i.d. assumption. Lý do tại sao tôi sẽ viết duới đây
++ PAC là một lý thuyết frequentist, tuy nhiên một bức tranh thống nhất cho learning (inference) phải là một sự kết hợp giữa Bayesian framework và frequentist techniques.

Nói ngắn gọn, xét trong sự phát triển chung với cả ngành thống kê thì PAC không mới, phần nhiều tụt hậu so với những phát triển của thống kê lý thuyết đã phát triển ở các thập niên trước đó.

Hạn chế lớn nhất của PAC formulation và learning theory formulation (nhất là thời gian đầu) là lấy learning algorithm (kèm với input/output) là trọng tâm. Kỳ thực là rất quan trọng, nhưng learning algorithm chỉ là mặt nổi của một mặt ẩn quan trọng hơn nhiều, đó là models.

Models dùng ngôn ngữ toán học (đặc biệt là xác suất) để mô phỏng các hiện tượng diễn tả data mà ta có. Data quyết định models, models quyết định thuật toán, chứ không phải ngược lại.

Do đó khi ta design của thuật toán phải tính đến tính chất của models. Khi đó sẽ có hai tương tác/tradeoff quyết định cho design. Tương tác giữa computational và statistical constraints. Thuật toán phải đủ nhanh. Đây là một resource constraint của user, phần nhiều là computational. Nhưng models phải đủ phức tạp để diễn tả data. Cái này là statistical constraint. Tuy nhiên models phức tạp quá thì ta cũng không học vì 2 lý do: overfit (cái này là statistical constraint), hoặc không đủ computational và mathematical tools dde^? học nó.

Như vậy nếu không đặt cả model lên bàn ngay từ đâu thì ta không thể nói gì đuợc nhiều. Mô hình PAC hạn chế chính vì không đặt vai trò của model lên làm trọng tâm. Điều này khác với statistics, cũng như các khoa học khác. (Như bài báo của bác Hưng đã dẫn, model ví dụ chủ yếu của PAC là các Boolean classes, ra^’t i’t structure và ít có ứng dụng với data trong thực tế).

Nếu lấy models làm trọng tâm, thêm các assumptions về chúng, thì thuật toán sẽ đến theo. Các vấn đề về thuật toán và computational complexity vẫn còn nguyên đó, nhưng sẽ fruitful hơn.

Ta cũng có thể phê bình ngược lại với thống kê lý thuyết là họ quá chú trọng về model, nhưng lại hoàn toàn thờ ơ về các vấn đề computational. Phê bình này hoàn toàn đúng, nhưng từ thập niên 90 lại đây thì các nhà thống kê cũng program và optimize rất kinh.

Theo tôi đóng góp lâu dài của ML không phải là về lý thuyết (như PAC), mà chính là các mô hình/thuật toán độc đáo và hiệu quả. Tôi cũng bắt đầu đến với ML theory qua cái nhìn của PAC, và lúc đầu cũng rất ấn tượng với nó. Nhưng nếu học lại ML, tôi sẽ không bắt đầu bằng PAC, mà sẽ bắt đầu cùng với một vài quyển sách nhập môn statistics như quyển của Peter Bickel & Girshik, và quyển về Bayesian statistics của Jim Berger. Nếu muốn đi sâu vào lý thuyết learning, một quyển nhập môn Asymptotic Statistics của Van der Vaart chẳng hạn rất bổ ích. Và tìm hiểu càng nhiều dạng mô hình thống kê càng tốt.