Thế nào là “giúp ích cho cuộc sống con người”?

1. Hồi Cardano giải phương trình bậc 3 có “giúp ích cho cuộc sống con người” không?

2. Google có giúp ích cho cuộc sống con người không?

Nếu câu trả lời của bạn cho 1 hoặc 2 là “có” thì câu trả lời của tôi (cho câu hỏi của bạn) là “có”, “nó” có giúp ích. (Tại sao liên quan đến Google, tại vì các thuật toán ML ít nhiều phải dùng boosting và support vector machines, những thứ đến từ lý thuyết học máy như đã và sẽ trình bày.)

Nếu câu trả lời của bạn cho cả hai câu 1 và 2 ở trên là “không”, thì câu trả lời của tôi (cho câu hỏi của bạn) là “không”, “nó” không giúp ích gì cho cuộc sống của bạn cả.

Tôi không biết nó có giúp ích cho bạn không; Tôi biết rằng “nó” giúp ích cho cuộc sống của tôi.

Cháu là một người làm bên Công Nghệ Thông Tin, cụ thế là hướng theo Software Engineering, Information System, Business Management và Báo Chí Truyền Thông

Tình cờ đi qua WebBlog này, tuy mới chỉ đọc lướt nhanh các bài viết này, cháu nhận thấy rằng : Các bài viết trên, quả là chứa đứng nhiều lý thuyết về toán học, trí tuệ nhân tạo, thuật toán, thi quốc tế, các kiểu… Ấy thế mà, cái chứng minh cần thiết, mà nhiều người mong chờ, nó ko làm được là : nó phải chứng tỏ được nó tham ra quá quá trình thế nào, giúp ích ra sao cho cuộc sống con người đây ?? – Quá trình đó, phải chăng là mờ nhạt,

Rất mong chú có câu trả lời, dù chỉ đôi dòng ý nghĩa

Vụ Kolmogorov entropy chắc phải chờ bác viết thôi. Đọc Vapnik review “history of learning theory” thấy rất … tếu . BTW, tôi đọc sách Intro to COLT của Kearns và Vazirani cũng thấy cite Dudley (quyển “A Course on Empirical Processes”).

Valiant sẽ được Turing vì nhiều đóng góp khác chứ không chỉ có PAC (#P, superconcentrator, algebraic complexity, mind circuit, evolvability, hollographic algorithms, v.v.) Hầu như cứ vài năm là Valiant lại có một ý tưởng original mở ra một field mới.

Cảm ơn bác giới thiệu quyển Empirical processes. Các bài báo về PAC trên FOCS/STOCS thật ra has little to do with learning, they’re all about hardness of approximation. Tôi không ngạc nhiên nếu họ không biết statistics nhiều. COLT mới là về learning (from a TCS viewpoint) thật, vì thế COLT community mới rẽ nhánh ra khỏi STOC/FOCS.

1. Khái niệm VC-dimension đúng là rất độc đáo, original, đặc biệt là tính chất tổ hợp của chúng và liên hệ trực tiếp đến statistical efficiency (theo Định lý 5.3). Tuy vậy VC dimensions có một số hạn chế fundamental, ở chỗ phần nhiều các function classes hữu ích trên thực tế lại có infinite VC dimensions. Khái niệm tốt hơn để đo độ phức tạp của function classes là khái niệm entropy của Kolmogorov (liên quan đến packing và covering numbers). Không biết bác Hưng có dự định nói về khái niệm này không.

2. Một kết quả rất thú vị là covering number của VC function class thì được chặn trên bởi một đa thức (đối với 1/delta, ở đây delta là kich cở của quả bóng con dùng để cover theo định nghĩa của covering number). Như vậy nếu VC dimension hữu hạn thì entropy cũng vậy, nhưng ngược lại không đúng.

3. Trong một số comments trước tôi nói rằng bên thống kê họ đã phái triển rất sâu rộng khái niệm PAC, và có thể minh họa chính bằng khái niệm entropy này. Cuối thập niên 70 có nhiều kết quả quan trọng để (nói theo ngôn ngữ PAC) để chứng minh PAC-learnability cho các lớp hàm số dựa theo khái niệm entropy (e.g., ví dụ, sử dụng Dudley’s entropy integral). Các kết quả tương tự như Định lý 5.1 ở trên: Ta có thể chặn trên \epsilon theo sample size m (từ Định lý 5.1) .Điều thú vị nhất là các chặn trên này cũng trùng với chặn dưới luôn (minimax bound: với một function class đây là chặn worse-case tốt nhất có thể được với mọi thuật toán learning).

4. Khái niệm entropy (khác với Shannon’s entropy) xuất hiện đầu tiên bên approximation theory của Russian school (xem vi’ du.:
http://www.procul.org/blog/2006/05/24/cac-bai-bao-kinh-oi%e1%bb%83n-khmt-9-birman-and-solomjaks-1967-paper/
)
và có liên hệ mật thiết với information theory.

5. Khái niệm Shannon’s entropy và approximation entropy thực ra có liên hệ với nhau cực kỳ hay, nếu ta sử dụng generalized Bayesian viewpoint. (Tong Zhang gần đây có một bài báo rất thú vị về cái này trên Annals of Statistics, 2006). Hy vọng một dịp nào đó tôi sẽ nói thêm về cái này.

6. Vapnik thường được gắn liền với statistical learning theory như một cha đẻ. Điều này đúng.
Không chỉ trong learning theory, đóng góp của VC theory có thể coi là original trong theoretical statistics, góp phần tạo ra subfield gọi là empirical process theory trong statistics. Nếu Valiant đuợc Turing award, thì tôi nghĩ Vapnik cũng nên được một cái Nhưng sách của Vapnik thường không cân bằng và không ghi nhận xứng đáng các khái niệm khác trong empirical process theory mà tôi nghĩ Vapnik biết rõ là sẽ rất hữu ích và powerful hơn cho learning theory. Có cảm tưởng ông này là một người egoistic. Một quyển sách cân bằng hơn về khái niệm VC theo tôi là của van der Vaart và Wellner (Weak convergence and empirical processes). Quyển này nói kỹ về VC theory, and much much more. Và ứng dụng không chỉ trong classification như PAC’s setting mà trong estimation nói chung.

7. Tôi cảm tưởng dân FOCS/STOC làm về learning theory chưa có exposure nhiều về empirical process theory (ngoài lý thuyết VC ra). Tuy vậy dân COLT với background statistics những năm gần đây có sự dịch chuyển đáng kể từ khái niệm VC sang sủ dụng khái niệm entropy.

8. Qua proof cu?a Định lý 5.3 có thể suy ra là NQH cũng có một cây Ramirez với xác suất cao.