I hope we can keep touching

Email còn gửi kèm ảnh, một chú … húi cua đeo kính cận.

TT - Hình ảnh đoàn cứu trợ của các đơn vị, cơ quan báo chí, doanh nghiệp đến trực tiếp vùng thiên tai, hỏa hoạn, sự cố lớn giúp đỡ người dân bị nạn từ nay sẽ không còn. Trước nhiều ý kiến băn khoăn khác nhau về việc này, bà Hà Thị Liên - ủy viên ban thường trực Mặt trận Tổ quốc VN - giải thích:

- Tuần tới chúng tôi sẽ họp với các tổ chức liên quan về việc thành lập các ban cứu trợ, thảo luận việc triển khai nghị định 64 và thông tư 72 về công tác cứu trợ. Còn quỹ cứu trợ hiện có ở các cơ quan báo chí và các cơ quan khác sắp tới, theo tôi, nên chuyển hết về tài khoản của ban cứu trợ trung ương.

…

Xem toàn bài trên TTOnline

Thứ hai, một tin không liên quan

TT - Chiều muộn, Alejandra và Georg - đôi vợ chồng người Mexico - đi lượm rác dọc bờ biển Nha Trang. Họ đến đây du lịch và rất thích bãi biển tuyệt đẹp với làn nước trong xanh, song họ nói biển sẽ đẹp hơn nhiều nếu không có rác. Thế là vợ xách bao, chồng cặm cụi lượm từng que kem, túi nilông, hộp xốp… vương vãi trên bờ biển.

Cảm kích trước thiện chí của hai người bạn nước ngoài, chị Tú đi dạo gần đó dù đang mang thai khá lớn cũng vui vẻ nhập cuộc. Cả ba người cùng đi lượm đến lúc rác đầy bao mới thôi.

Let n and k be positive integers with k ≥ n and k−n an even number. Let 2n lamps labelled 1, 2, . . . , 2n be given, each of which can be either on or off. Initially all the lamps are off. We consider sequences of steps: at each step one of the lamps is switched (from on to off or from off to on).

Let N be the number of such sequences consisting of k steps and resulting in the state where lamps 1 through n are all on, and lamps n + 1 through 2n are all off.

Let M be the number of such sequences consisting of k steps, resulting in the state where lamps 1 through n are all on, and lamps n + 1 through 2n are all off, but where none of the lamps n + 1 through 2n is ever switched on.

Determine the ratio N/M.

Bài này dễ một cách đáng ngạc nhiên so với bài tổ hợp năm ngoái. Bản thân câu hỏi đã gợi ý hướng suy nghĩ: tính N/M có nghĩa là ta nên xét tương quan giữa các chuỗi on/off loại 1 và các chuỗi on/off loại 2. Nôm na, N - tổng số các chuỗi loại 1 - là tổng số các chuỗi có k phần tử thuộc tập {1, 2, …, 2n} sao cho mỗi phần tử trong {1, …, n} xuất hiện một số lẻ lần, và mỗi phần tử trong {n+1, …, 2n} xuất hiện một số chẵn lần. Còn M - tổng số chuỗi loại 2 - là tổng số các chuỗi giống như loại 1 nhưng các phần tử trong {n+1, …, 2n} không xuất hiện lần nào.

Phản ứng đầu tiên của tôi là: lấy một chuỗi loại 2 và xây dựng từ đó một số X chuỗi loại 1. Nếu mỗi chuỗi loại 2 tương ứng với chính xác X chuỗi loại 1 (one-to-many mapping), và các bộ X phần tử này không giao nhau, và mỗi phần tử loại 1 đều nằm trong một bộ X chuỗi nào đó, thì ta kết luận N/M = X. Phần còn lại để cho các bạn đọc. [Cần một fact đơn giản sau: cho một tập S kích thước y, tổng số tập con của S với lực lượng chẵn là 2 lũy thừa (y-1).]

Bài này rất có tinh thần “định trị một đại lượng bằng hai cách“. Do tập các chuỗi loại 2 là tập con của tập các chuỗi loại 1, cũng có thể hiểu rằng ta phân hoạch tập các chuỗi loại 1 ra làm các tập con có kích thước X, sao cho mỗi tập có chính xác một chuỗi loại 2. Cách hiểu thứ hai này tuy có vẻ dễ dàng hơn trong ngữ cảnh của bài toán này, nhưng tôi không thích nó vì nó không “tổng quát” bằng. Nếu cách xây dựng như trên không thỏa mãn điều kiện “không giao nhau” (disjointness) thì ta phải xây dựng một “many-to-one map” ngược lại từ loại 1 vào loại 2 rồi tính tỉ lệ.

Chứng minh rằng học một lớp khái niệm dùng một lớp giả thuyết nào đó là bài toán khó (NP-hard chẳng hạn) không đáng ngạc nhiên (dù không dễ dàng). Thế nếu ta không giới hạn cả lớp giả thuyết nữa thì sao? Bài toán sẽ khó hơn hay dễ hơn? Một mặt, ta cho learner thêm flexibility, bài toán có vẻ “dễ” hơn. Mặt khác, không giới hạn lớp giả thuyết thì learner output cái gì bây giờ? Ta sẽ quay lại đề tài này trong một bài sau.

4. Occam’s learning và mối liên hệ giữa mô hình nhất quán và mô hình PAC, trường hợp lớp khái niệm hữu hạn

Tóm tắt lại mô hình PAC: learner muốn học khái niệm trong lớp khái niệm bằng lớp giả thuyết , nghĩa là learner phải đưa ra một giả thuyết bằng cách lấy mẫu theo phân bố trên miền sao cho rất gần với xác suất rất cao.

Trong đề mục này, ta chỉ xét các lớp giả thuyết hữu hạn, có thể giống hoặc khác . Một kết quả cổ điển của Valiant nói rằng: nếu learner đưa ra một giả thuyết nhất quán với “khá nhiều” các mẫu lấy độc lập thì đó chính là PAC learner! (Có thể không phải là efficient PAC learner, nhưng chắc chắn là PAC learner.) Cụ thể hơn:

Định lý Valiant. Nếu learner có thể đưa ra một giả thuyết nhất quán với mẫu (i.d.d.) thì giả thuyết đó sẽ thỏa điều kiện , nghĩa là learner là một PAC-learner.

Chứng minh. Gọi một giả thuyết gọi là giả thuyết tồi nếu

Định lý này dẫn đến một kết quả khác thường được xem như một cách giải thích về mặt toán học nguyên tắc Occam’s Razor. Đại khái, nguyên tắc này nói rằng khi có một số giả thuyết tốt như nhau cạnh tranh trong việc giải thích cái gì đó thì nên chọn giả thuyết “đơn giản” nhất. Ví dụ: nếu cơ học cổ điển đã đủ để giải thích chuyển động của các hành tinh trong hệ mặt trời thì ta không cần thòng thêm một câu “Thượng đế tạo ra hệ mặt trời” nữa. (Như Laplace nói: “tôi không cần giả thuyết đó“.) Nếu ta chọn “đơn giản” = “ngắn gọn” thì từ định lý Valiant có thể chứng minh được rằng nếu learner đưa ra một hypothesis “đủ ngắn” và nhất quán với data thì learner đó là PAC-learner. (”Đơn giản” = “ngắn gọn” là cái nhìn của lý thuyết thông tin!)

Từ định lý Valiant, có thể thiết kế một số efficient PAC-learner khá dễ dàng. Ví dụ: ta đã thiết kế một PAC learner để học Boolean conjunctions trong đề mục 3.3. Tổng số giả thuyết dạng Boolean conjuction nhiều nhất là . Dùng định lý Valiant, ta chỉ cần dùng thuật toán trong đề mục 2.1 và tìm một giả thuyết nhất quán với mẫu là xong. Đây hiển nhiên vẫn là thuật toán thời gian đa thức. Tổng số mẫu ta cần thậm chí còn ít hơn tổng số mẫu cần trong thuật toán đã đưa trong đề mục 3.3.

Nếu ta giữ tổng số mẫu cố định, có thể đảo định lý Valiant lại và viết

5. VC-dimension và mối liên hệ giữa mô hình nhất quán và mô hình PAC, trường hợp lớp khái niệm vô hạn

Định lý Valiant xem ra có vẻ hữu dụng. Thế nhưng ta chẳng dùng nó được khi lớn ơn một hàm đa thức, thậm chí vô hạn. Ví dụ 1: nếu ta muốn học lớp DNF dùng lớp DNF thì . Ví dụ 2: tổng số các axis-parallel rectangles là vô hạn, vậy mà vẫn tồn tại một efficient PAC-learner cho bài axis-parallel rectangles.

May mà ta vẫn có thể chứng minh được một định lý tương tự định lý Valiant cho trường hợp là vô hạn, nhưng ta sẽ phải giới thiệu một khái niệm mới cực kỳ thú vị, mang tính tổ hợp, gọi là VC-dimension của một lớp các hàm số. VC-dimension, viết tắt của Vapnik-Chervonenkis dimension, được Vapnik và Chervonenkis giới thiệu trong bài báo kinh điển của họ hồi năm 1971:

V. Vapnik and A. Chervonenkis. “On the uniform convergence of relative frequencies of events to their probabilities.” Theory of Probability and its Applications, 16(2):264–280, 1971.

Bài này của Hosking, Petnault và Sudan viết tổng quan về quan hệ giữa thống kê và data mining giới thiệu khá tốt trực quan của VC-dimension. Blumer et al. ở STOC 89 là bài báo đầu tiên giới thiệu VC-dimension vào ngành COLT; các kết quả của họ là nội dung chính của đề mục này của chúng ta.

5.1. Giới thiệu trực quan về VC-dimension

VC-dimension là một số đo “độ phức tạp” hoặc “dung tích” của một lớp các hàm số. Trong ngữ cảnh của chúng ta, lớp các hàm số chính là lớp giả thuyết. VC-dimension của một lớp giả thuyết là số lớn nhất sao cho tồn tại mẫu mà với bất kỳ cách gán nhãn nào cho các mẫu này ta cũng có thể tìm được một giả thuyết nhất quán với chúng. Dĩ nhiên, nếu không tồn tại số lớn nhất này thì VC-dimension của lớp giả thuyết là vô hạn. VD-dimension cũng được định nghĩa cho cả các lớp hàm biến thực chứ không chỉ các lớp hàm trị 0, 1 như trong bài toán classification ta đang xét.

Trong ngữ cảnh của statistical learning theory thì VC-dimension là số đo “dung tích” của một tập hợp bất kỳ các statistical models. Bài này có một đoạn nói rất tốt nên tôi dịch lại ra đây:

Do khái niệm này được định nghĩa dựa trên tổng số mẫu và tính nhất quán của các models trên các mẫu, nó có thể áp dụng cho hầu như tất cả mọi loại models: tuyến tính, phi tuyến, nonparametric và tổ hợp của chúng, bao gồm mạng neural, classification & regression trees, classification & regression rules, radial basis functions, Bayesian networks, và hầu hết tất cả các họ models có thể tưởng tượng ra được. Thêm nữa, VC-dimension cũng là con số đánh giá rất tốt khả năng “khớp” dữ liệu của một lớp models, tốt hơn số tham số của models. Có các ví dụ models với 1 tham số mà có VC-dimension vô hạn, do đó khớp bất kỳ tập mẫu nào. Cũng có các models với ti tỉ tham số nhưng chỉ có VC-dimension nhỏ … Với một số họ models nhất định thì VC-dimension bằng tổng số tham số, ví dụ như các linear regression/discriminant models.

Vapnik và Chervonenkis dùng VC-dimension trong các bất đẳng thức chặn lỗi cho một lớp models cho trước. Cũng như trong PAC-learning, các chặn của họ không phụ thuộc vào phân bố của dữ liệu, phân bố nào cũng được. Bài báo của Blumer et al. áp dụng ý tưởng và vài kỹ thuật của họ vào PAC-learning.

5.2. Toán học của VC-dimension và vài thuộc tính

Lớp khái niệm là một tập các hàm số . Mỗi hàm số có thể xem là một tập con của : tập các phần tử của được hàm số gán nhãn bằng . Với một tập mẫu bất kỳ, định nghĩa . Như vậy là tập tất cả các tập con sao cho tồn tại một giả thuyết “cắt” ra thành (nhãn = 1) và (nhãn = 0).

Tập mẫu bị băm nát như tương Tàu bởi nếu là tập tất cả các tập con của . Nói cách khác, bị băm nát như tương Tàu nếu, cho một tập con bất kỳ ta luôn tìm được một giả thuyết “cắt” ra thành (nhãn = 1) và (nhãn = 0).

VC-dimension của , ký hiệu là là kích thước lớn nhất của một tập mẫu bị băm nát. (Bỏ “như tương Tàu” đi cho đỡ mỏi tay.) Để hiểu rõ, bạn hãy tự giải thích một cách trực quan các khẳng định sau đây:

• là tập các nửa đường thẳng mở bên trái trên trục thực,
• là tập các đoạn đóng trên trục thực,
• là tập các tập nhiều nhất đoạn đóng trên trục thực,
• là tập các nửa mặt phẳng,
• là tập các nửa không gian (half-spaces) của ,
• là tập các hình cầu của ,
• là tập các axis-parallel rectangles,
• là tập các đa giác lồi d đỉnh trên mặt phẳng,
• là tập các tổ hợp logic của nhiều nhất khái niệm trong một lớp khái niệm cho trước, nếu hữu hạn thì hữu hạn.
• là tập các tập các đoạn đóng trên thục thực, hoặc tập các tập mở (theo nghĩa hình topo), hoặc tập các Borel sets, thì

Bổ đề Định nghĩa . Nếu thì

Như vậy, bổ đề này cho ta biết nếu VC-dimension của lớp hypothesis là hữu hạn thì sẽ bị chặn trên bởi một đa thức khi đủ lớn. Kết quả này khá phản trực quan. Chú ý rằng, nếu VC-dimension là vô hạn thì ta luôn có .
Chứng minh. Quy nạp theo . Khi thì dĩ nhiên bổ đề đúng. Khi thì lớp hàm số gán tất cả cùng một giá trị (0 hoặc 1), do đó .

Xét trường hợp tổng quát , một tập mẫu bất kỳ gồm mẫu, và một phần tử bất kỳ. Chú ý rằng chẳng qua là một bộ các tập con của . Số thành viên trong có thể tính bằng tổng của hai số hạng: một là tổng số các các tập con thỏa , hai là các tổng số các tập con sao cho .

Dùng ý tưởng trên, định nghĩa

5.3. Định lý Valiant cho các lớp khái niệm vô hạn (nhưng có VC-dimension hữu hạn)

Định lý. Tồn tại một hằng số sao cho: nếu learner có thể đưa ra một giả thuyết nhất quán với mẫu (i.d.d.) thì learner là một PAC-learner.

Chứng minh. Đây là một định lý tuyệt vời về mặt kỹ thuật. Nó khẳng định điều tôi đã biết: cùng một cây Ramirez trong tay John Williams thì khác xa trong tay NQH.

Giống như trong định lý Valiant trường hợp lớp giả thuyết hữu hạn, ta chỉ cần chặn trên xác suất sự kiện “tồi” sau đây xảy ra:

: sự kiện tồn tại một giả thuyết tồi nhất quán với (Nhớ rằng giả thuyết tồi là giả thuyết có lỗi .)

Thay vì chặn xác suất xảy ra, ta sẽ chặn nó bằng xác suất một sự kiện khác dễ “nắm bắt” hơn. Với một tập mẫu bất kỳ, gọi là tổng điểm trong mà . Bây giờ, gọi là training set. Giả sử ta lấy thêm mẫu nữa (đây chỉ là công cụ phân tích, không phải ta lấy thêm mẫu thật sự khi chạy thuật toán). Định nghĩa một sự kiện thứ hai:

: sự kiện tồn tại một giả thuyết sao cho (nghĩa là vẫn nhất quán với trên ) nhưng .

Dễ chứng minh rằng, nếu thì dùng bất đẳng thức Markov, và do đó .

Giả sử ta thảy đồng tiền xấp ngửa với xác suất 1/2 và tráo với nếu đồng tiền thứ là ngửa. Gọi hai tập mẫu kết quả là và . Định nghĩa một sự kiện thứ ba:

: sự kiện tồn tại một giả thuyết sao cho (nghĩa là vẫn nhất quán với trên ) nhưng .

Do tính i.i.d. của và , dễ thấy rằng và có xác suất bằng nhau. Cố định và và xét một giả thuyết bất kỳ. Để cho và thì phải có ít nhất chỉ số sao cho , và ít nhất đồng tiền ra xấp/ngửa sao cho phần đúng nhảy vào và phần sai nhảy vào . Do đó

Đây là một đề tài rất hấp dẫn, xứng đáng một vài luận án tiến sĩ. Có một cái vòng luẩn quẩn: ta muốn dùng máy và thuật toán AI để sản sinh ra các objects mà người dễ nhận ra còn máy thì không. Trong khi đó, mục tiêu cuối cùng của AI lại là tối thiểu hóa khoảng cách giữa máy và người. Do đó, AI càng phát triển thì bài toán này càng khó giải quyết dùng AI. Dân làm mật mã sẽ bảo: dùng một authentication scheme nào đó. Nhưng vấn đề privacy sẽ nảy sinh.

Một tin không liên quan: giáo sư Papert, người bị đụng xe ở Hà Nội hồi 2006 và bất tỉnh cả tháng trời đang … học để trở thành Papert trở lại.

Trích một đoạn:

I wonder, sometimes, at the conclusion of a course, when I fail nine out of 15 students, whether the college will send me a note either (1) informing me of a serious bottleneck in the march toward commencement and demanding that I pass more students, or (2) commending me on my fiscal ingenuity—my high failure rate forces students to pay for classes two or three times over.

What actually happens is that nothing happens. I feel no pressure from the colleges in either direction. My department chairpersons, on those rare occasions when I see them, are friendly, even warm. They don’t mention all those students who have failed my courses, and I don’t bring them up. There seems, as is often the case in colleges, to be a huge gulf between academia and reality. No one is thinking about the larger implications, let alone the morality, of admitting so many students to classes they cannot possibly pass. The colleges and the students and I are bobbing up and down in a great wave of societal forces—social optimism on a large scale, the sense of college as both a universal right and a need, financial necessity on the part of the colleges and the students alike, the desire to maintain high academic standards while admitting marginal students—that have coalesced into a mini-tsunami of difficulty. No one has drawn up the flowchart and seen that, although more-widespread college admission is a bonanza for the colleges and nice for the students and makes the entire United States of America feel rather pleased with itself, there is one point of irreconcilable conflict in the system, and that is the moment when the adjunct instructor, who by the nature of his job teaches the worst students, must ink the F on that first writing assignment.

Hạn chế lớn nhất của mô hình nhất quán, như đã nói, là nó không đếm xỉa gì đến khả năng dự đoán tương lai. Một hạn chế thứ hai là trên thực tế training data ta thường có được theo một phân bố xác suất (probability distribution) nào đó. Ví dụ như trong bộ lọc spam emails, tần suất xuất hiện của cùng một (loại) spam email khá là lớn (Viagara, lừa đảo Nigeria, v.v.), chứ không phải mỗi email chỉ xuất hiện một lần như ta mô tả mô hình nhất quán. Phân bố xác suất này không được nắm bắt trong mô hình nhất quán. Mô hình PAC sẽ vượt qua được hai hạn chế chính kể trên.

3.1. Về mặt trực quan, mô hình PAC nói như sau. Thuật toán ML của ta có thể lấy mẫu độc lập từ một phân bố xác suất nào đó trên miền . Mỗi mẫu đều có nhãn. Sau đó, thuật toán ML sẽ đưa ra một giả thuyết (lớp khái niêm cho trước) sao cho chúng ta rất tin rằng rất gần với khái niệm cần học .

Làm thế nào để đo xem có “gần” hay không? Định nghĩa hàm lỗi như sau:

Giá trị càng nhỏ thì và càng gần nhau. Đây chính là thước đo khả năng dự đoán tương lai của thuật toán ML trong mô hình PAC. Thước đo này được tính trên toàn bộ domain , nó bao gồm tất cả những examples không có trong training data set.

Làm thế nào để đo “độ tin cậy“? Chúng ta sẽ yêu cầu và rất gần với xác suất rất cao; xác suất này còn gọi là độ tin cậy vào thuật toán ML. (Độ tin cậy được đo dựa trên một phân bố có các thành tố của và cả các bits ngẫu nhiên mà thuật toán ML của chúng ta dùng. Điểm này sẽ rõ hơn khi ta xét các ví dụ trong các bài về sau.)

3.2. Toán học của mô hình PAC-learning (cho bài toán classification). Chúng ta vẫn đi theo cái khung có sẵn khi mô tả mô hình này.

1. Học cái gì?

Chúng ta muốn học một khái niệm thuộc về một lớp khái niệm “cho trước”.

2. Lấy data từ đâu ra? Lấy thế nào? Training data là một tập con của miền, mỗi phần tử đều có “nhãn”.

Mỗi điểm dữ liệu được lấy từ miền theo một phân bố xác suất .

3. Data được đưa cho learner thế nào? Đưa off-line, toàn bộ . Mặc dù ta có thể hiểu rằng thuật toán ML “lấy” các điểm dữ liệu theo phấn bố xác suất, nhưng nó chỉ đưa ra giả thuyết sau khi đã có dữ liệu. Do đó vẫn là off-line chứ không phải on-line learning. (Ta sẽ nói về on-line learning sau.)

4. Tối ưu hóa cái gì? Tối ưu dưới các ràng buộc nào?

Lớp khái niệm có thể học được dưới mô hình PAC (PAC-learnable) nếu tồn tại một thuật toán ML thỏa mãn các điều kiện sau đây:

• Với mọi ,
• Với bất kỳ phân bố xác suất nào trên miền
• Thuật toán lấy mẫu độc lập từ theo phân bố
• Thuật toán đưa ra một giả thuyết sao cho
  

Tham số là tham số lỗi, còn là tham số độ tin cậy. Nếu thêm vào đó thuật toán ML còn chạy trong thời gian poly thì lớp khái niệm là có thể học được một cách hiệu quả dưới mô hình PAC (efficiently PAC-learnable). Rõ ràng là mô hình PAC sặc mùi xác suất và thống kê, dù rằng các ý tưởng tổ hợp vẫn còn rất hữu dụng trong thiết kế thuật toán ML.

Nhận xét thêm: vẫn chưa có mô hình cụ thể cho nhiễu. Ta sẽ giải quyết vấn đề nhiễu trong một bài sau. Đòi hỏi độ tin cậy cao, lỗi nhỏ, với bất kỳ phân bố nào xem chừng có vẻ quá mạnh. Khá ngạc nhiên là có nhiều lớp khái niệm hoàn toàn không tầm thường lại vẫn học hiệu quả được. Hai “vũ khí” của chúng ta là (i) hàm lỗi được định trị trên cùng phân bố xác suất như training data, và (ii) các mẫu trong training set được lấy độc lập từ cùng một phân bố (i.i.d.). Ngoài ra, bài báo này cho thấy một số lớp khái niệm vẫn học được khi giảm nhẹ yêu cầu i.i.d. một chút.

Ngược lại, không ngạc nhiên khi có nhiều lớp khái niệm không thể học hiệu quả được, và ta sẽ chứng minh được điều đó. Một nguyên do là: phần lớn lý thuyết tính toán cho đến nay, bao gồm cả mô hình PAC, được xây dựng dựa trên phân tích trường hợp tệ nhất (worst case analysis — chúng ta không ràng buộc gì về phân bố ). Hoàn toàn có khả năng, với một lớp khái niệm và data cụ thể nào đó, thuật toán ML của ta vẫn chạy tốt trên thực tế mặc dù ta chứng minh được là trong trường hợp tệ nhất thì lớp khái niệm này không học được. Điểm này tương tự như việc thuật toán đơn hình chạy rất tốt trên thực tế mặc dù về mặt lý thuyết nó không phải là thuật toán thời gian đa thức. Quan điểm này khác biệt về chất với quan điểm Bayesian và phương pháp Bayesian khi mà nhà thiết kế “áp đặt” một phân bố nào đó (prior) lên tập các khái niệm cho trước.

Kế đến, ta xét một vài ví dụ tương tự như trong mô hình nhất quán.

3.3 Lớp khái niệm Boolean Conjunctions có thể học được một cách hiệu quả trong mô hình PAC

Ta dùng chính thuật toán ML đã thiết kế cho lớp khái niệm này trong mô hình nhất quán. Thuật toán này đưa ra giả thuyết là conjunction của một bộ literals, trong đó bao gồm tất cả các literals của khái niệm cần học . Do đó, (mỗi là một cách gán TRUE/FALSE cho các biến Bool). Vì thế, nếu và chỉ nếu và tồn tại một literal sao cho . Do đó,

Bài tập: chứng minh rằng lớp khái niệm k-CNF có thể học được một cách hiệu quả trong mô hình PAC

3.4 Lớp khái niệm k-Term DNF KHÔNG học được một cách hiệu quả trong mô hình PAC

Chứng minh này gần giống hệt như chứng minh rằng lớp khái niệm này không học được trong mô hình nhất quán. Chỉ có điều là ta dùng giả thiết RP != NP thay vì P != NP, vì thuật toán ML là một thuật toán ngẫu nhiên hóa.

Bài tập: Chứng minh rằng lớp khái niệm axis-parallel rectangles có thể học được một cách hiệu quả trong mô hình PAC.

3.6 Sơ kết

Ta lại thấy rằng cách biểu diễn khái niệm và giả thuyết ảnh hưởng sâu sắc đến tính khả thi của việc học một lớp khái niệm. Nếu với lớp khái niệm k-Term DNF mà ta buộc thuật toán ML phải đưa ra một giả thuyết cùng dạng k-Term DNF thì lớp khái niệm này không học hiệu quả được. Trong khi đó, nếu ta cho phép thuật toán ML dùng k-CNF làm lớp giả thuyết thì lại học hiệu quả được.

Vì lý do này, từ đây về sau ta sẽ cho phép mô tả lớp khái niệm cho trước bằng một dạng biểu diễn trong khi thuật toán trả về khái niệm dùng một dạng biểu diễn khác. Gọi là lớp giả thuyết (theo dạng biểu diễn “khác” đó), ta đã thấy là đôi khi là “học được” nếu đủ “biểu cảm”.

Để hiểu rõ hơn, các ví dụ trên có thể được kết luận như sau:

• Lớp khái niệm k-Term DNF không thể học hiệu quả được dùng k-Term DNF (làm lớp giả thuyết).
• Lớp khái niệm k-Term DNF có thể học hiệu quả được dùng k-CNF.
• Lớp khái niệm k-CNF có thể học hiệu quả được dùng k-CNF.
• Lớp khái niệm axis-parallel rectangles có thể học hiệu quả được dùng cách biểu diễn một rectangle bằng tọa độ hai đỉnh đối (hoặc bất kỳ cách biểu diễn bình thường nào.)

Thứ nhất, tổng số concepts trong lớp concepts đã biết thường là rất lớn, có thể là hàm mũ của , có thể vô hạn. Thứ hai, khi ta nói thuật toán ML cần “đưa ra” một giả thuyết thì ta đã ngầm định một cách biểu diễn nào đó. Nhớ rằng, mỗi concept là một hàm số từ vào . Kích thước của rất lớn (như tổng số emails trong bài spam classification), không thể nào biểu diễn một concept bằng một lookup table được. Tổng số các concepts có thể có là , do đó “chặn thông tin” (information theoretic bound) cho ta biết sẽ có rất nhiều concepts cần ít nhất bits để biểu diễn, không thể nhỏ hơn. (Đấy là trường hợp domain hữu hạn, nếu vô hạn thì còn tệ hơn nữa.)

Vì thế, yêu cầu “khái niệm đang học thuộc về một lớp các khái niệm cho trước” là cần thiết. Nói cách khác, lớp các khái niệm cho trước này phải “vừa vừa phải phải” thôi, phức tạp quá ai mà học cho được! Nhắc lại, ta ngầm định rằng khi nói “cho trước ” ta cũng “cho” luôn cả một cách biểu diễn một khái niệm bất kỳ trong . Khái niệm cần học có biểu diễn kích thước .

Thứ hai, ta giả sử mỗi phần tử của có thể biểu diễn bằng bits. Ví dụ, có thể là hoặc một vector gồm từ khóa trong một email.

Thứ ba, khi yêu cầu thuật toán ML chạy trong thời gian đa thức, ta muốn nói là đa thức của các tham số (tổng số examples trong training set), (kích thước một phần tử trong domain), và (kích thước của biểu diễn khái niệm đang học).

Đoạn trên có lẽ là khó hiểu khi đọc lần đầu. Tôi viết xong rồi cũng không hiểu thế nào là “cho trước”?. Ta hãy xét một vài ví dụ, sau đó bạn đọc quay lại đoạn ở trên chắc là sẽ thấy dễ hiểu hơn.

2.1 Lớp khái niệm Boolean Conjunctions có thể học được trong mô hình nhất quán

Giả sử Windows Vista của bạn cứ crash liên tục. Bạn có một log file ghi lại trạng thái của hệ thống mỗi lần bật máy. Trong log file này có các biến số như: “MS Word đang chạy”, “Firefox tắt”, “IE đang chạy”, vân vân. Trong log file chứa thông tin về lần chạy, có lần bị crash, lần không. Có tổng cộng biến số. Bạn muốn biết tổ hợp của các biến nào làm cho máy crash. Đó chính là bài toán sau đây trong mô hình nhất quán.

Lớp khái niệm (cho trước) là tập hợp tất cả các công thức Bool có dạng

các công thức dạng này gọi là các Boolean conjunctions. Mỗi công thức là “AND” của một mớ các literals (tức là các biến và phủ định của chúng). Công thức ta cần học (hy vọng) sẽ xác định tổ hợp các trạng thái nào của hệ thống làm crash máy. (”MS Word” đang chạy và “Excel” không chạy và “BitTorrent” đang chạy, v.v.)

Training data sẽ có dạng kiểu như sau:

Từ đó, thuật toán ML của ta sẽ phải đưa ra giả thuyết kiểu như . Đây rõ ràng là một bài toán thiết kế một thuật toán mang tính tổ hợp, không phải thiết kế một thuật toán mang tính xác suất thống kê. Thuật toán tìm (hoặc trả lời là không tồn tại) giả thuyết nhất quán với training data cho bài này rất đơn giản: (bước 1) tìm tất cả các literals có giá trị bằng 1 trong tất cả các hàng mà ; giả thuyết của chúng ta sẽ là AND (hay conjunction) của tất cả các literals náy; (bước 2) nhìn vào các hàng có xem có hàng nào mâu thuẫn với giả thuyết không; nếu không thì thuật toán đưa giả thuyết này làm câu trả lời, nếu có mâu thuẫn thì trả lời là không tồn tại giả thuyết nào nhất quán với data. Trong ví dụ trên thì thuật toán này sẽ trả về giả thuyết . Chú ý rằng đây không phải là giả thuyết duy nhất nhất quán với data, và cũng không phải là giả thuyết “ngắn gọn” nhất.

Bài tập: (i) chứng minh rằng thuật toán trên làm việc đúng ý ta muốn. (ii) giả thuyết nhất quán với data và chứa ít literals nhất trong ví dụ trên là giả thuyết nào? (iii) Nếu ta muốn tìm giả thuyết ngắn nhất và nhất quán với data thì bài toán này có lời giải hiệu quả trong thời gian đa thức không?

2.2 Lớp khái niệm k-Term DNF KHÔNG THỂ học được trong mô hình nhất quán, với mọi k ≥ 2

Lớp khái niệm này được định nghĩa như sau: nó bao gồm tất cả các Boolean formulae có dạng dưới đây, trong đó k là một số nguyên ≥ 2 cho trước:

Để chứng minh rằng lớp khái niệm này không học được, ta sẽ chứng mình rằng bài toán xác định xem có tồn tại một một công thức Bool dạng k-Term DNF nhất quán với data hay không là bài toán NP-Hard. Tôi sẽ chỉ phác thảo đại ý chứng minh này ở đây với k=3 thôi. Ta sẽ chuyển giản (reduce) bài toán 3-coloring về bài toán đang xét. Xét một instance G=(V,E) của bài toán 3-coloring. Ta xây dựng một training data set như sau. Mỗi đỉnh của đồ thị tương ứng với một biến Bool . Bảng training data (giống bảng trong đề mục 2.1) sẽ có các hàng mà tạm gọi là hàng-1, và các hàng mà gọi là hàng-0 cho tiện. Sẽ có tổng cộng hàng-1 và hàng-0. Với mỗi đỉnh của đồ thị, tạo một hàng-1 bằng cách gán . Với mỗi cạnh của đồ thị, tạo một hàng-0 bằng cách gán . Đồ thị G tô được bằng 3 màu nếu và chỉ nếu tồn tại một công thức k-Term DNF nhất quán với bảng training data vừa xây dựng.

Bài tập: giả sử ta mở rộng lớp khái niệm k-Term DNF ra thành lớp khái niệm DNF chứa tất cả các công thức dạng DNF (không cần biết bao nhiêu term). Chứng minh rằng lớp khái niệm DNF có thể học được.

2.3 Lớp khái niệm k-CNF có thể học được trong mô hình nhất quán

Lớp khái niệm k-CNF bao gồm các công thức có dạng sau:

Chú ý quan trọng: bất kỳ một công thức k-Term DNF nào cũng viết được dưới dạng một công thức k-CNF. Như vậy nếu thuật toán ML của ta được tự do output một hypothesis dạng k-CNF cho bài toán học lớp khái niệm k-Term DNF thì bài toán này lại có thể học được! Điểm này cho thấy cách biểu diễn khái niệm đóng vai trò cực kỳ quan trọng trong các thuật toán learning. Ta sẽ nói thêm về đề tài này sau.

2.5 Lớp khái niệm axis-parallel rectangles có thể học được trong mô hình nhất quán

Các hình chữ nhật song song với trục (axis-parallel rectangles) là các hình chữ nhật mà một cặp cạnh song song với trục x, cặp còn lại song song với trục y. Bây giờ, cho ta một mớ các điểm trong mặt phẳng làm training set như hình dưới đây thì việc tìm một hình chữ nhật nhất quán với data (hoặc chỉ ra là không tồn tại) rất là dễ dàng. Ví dụ này cho thấy cả domain lẫn lớp khái niệm đều có thể vô hạn.

Dĩ nhiên, ta có thể mở rộng bài toán lên không gian n-chiều và vẫn học được.

2.6 Lớp khái niệm separation hyperplanes có thể học được trong mô hình nhất quán

Cho hai nhóm điểm trên không gian , tìm một hyperplane sao cho mỗi nhóm nằm một bên hyperplane. Bài này có thể giải được bằng một LP-solver nào đó. Đây chẳng qua là một dạng của bổ đề Farkas.

2.7 Sơ kết

• Ngoài các hạn chế như đã chỉ ra, mô hình nhất quán còn cho phép một lớp khái niệm con (k-term DNF) KHÔNG học được trong khi đó lớp khái niệm to hơn (DNF) thì lại học được.
• Một mô hình đơn giản và nhiều hạn chế như vậy mà quyết định xem một lớp khái niệm có học được hay không đã không tầm thường. “Hùng mạnh” và “đơn giản” xem ra khó có thể cùng đạt tới được. Trong bài tới chúng ta sẽ xét một mô hình tốt hơn, gọi là mô hình có lẽ xấp xỉ đúng (Probably Approximately Correct — PAC). Đây là mô hình trung tâm của COLT, và có lẽ là một trong các ý tưởng sẽ mang lại cho Valiant giải Turing trong mộti vài năm tới.