Blog Khoa Học Máy Tính » Lý thuyết tính toán http://www.procul.org/blog Tầm nhìn ta thật ngắn mà đã thấy bao thứ để làm -- Alan Turing Wed, 08 Feb 2012 13:27:56 +0000 en hourly 1 Polytime và polydata http://www.procul.org/blog/2011/10/25/polytime-va-polydata/ http://www.procul.org/blog/2011/10/25/polytime-va-polydata/#comments Tue, 25 Oct 2011 16:51:54 +0000 Nguyễn Xuân Long http://www.procul.org/blog/?p=3929 Mấy hôm nay đọc một số bài viết về việc học mô hình hỗn hợp (mixture models). Đây là lĩnh vực kinh điển trong thống kê, nhưng vẫn tiếp tục là một lĩnh vực mở đang được quan tâm trong thống kê, học máy cũng như thuật toán. [Tôi cũng vừa upload bài mới trên arxiv về lĩnh vực này.]

Có một số khác biệt thú vị về tiêu chuẩn học/ước lượng bởi các cộng đồng khác nhau. Dân khmt đặc biệt là về thuật toán thì quan tâm đến làm sao tìm ra được thuật toán chạy có thời gian đa thức, và cần số lượng mẫu n cũng là đa thức. Đa thức đối với kích cỡ của đầu vào của bài toán (ở đây sẽ là chiều của mô hình = số lượng tham số), và đa thức đối với 1/\epsilon . Epsilon ở đây là lỗi ước lượng cho phép. Ví dụ như bài báo này , bài này .

Tôi không hiểu tại sao 1/\epsilon và số lượng tham số lại “nghiễm nhiên” để ngang hàng nhau trong việc phân tích asymptotic. Nếu giới hạn cho polynomial asymptotic một cách chung chung thì chắc không sao — có nhiều ví dụ cho ta thấy điều đó. Phân biệt giữa độ phức tạp exponential và phức tạp polynomial là vấn đề truyền thống trong KHMT. Điều này cũng có nghĩa là trong khmt sự phân biệt giữa các tốc độ đa thức còn chưa được chú ý nhiều ( (1/\epsilon)^2 vs. (1/\epsilon)^3 chẳng hạn.) Kỳ thực so với thống kê thì các kết quả về phức tạp mẫu bên computational learning theory còn khá đơn giản, vì họ chưa chú trọng đến độ đa thức.

Trong thống kê hay học máy thống kê thì quan tâm chính là độ hội tụ của ước lượng (convergence of estimation error) đối với số mẫu. \epsilon = O(n^{-1/2}) là một tốc độ kinh điển trong thống kê tham số hữu hạn chiều (khi đó, ta cũng có n = (1/\epsilon)^{2} ). Trong các vấn đề ước lượng khác thì tốc độ hội tụ có thể rất khác, n^{-\delta} hoặc rất chậm theo tốc độ logarithm, [log(1/n)]^{\delta} , chẳng hạn. Lý thuyết minimax, nếu có, cho ta biết giá trị tốt nhất có thể của delta đạt được bởi một thuật toán tốt nhất có thể được.

Tuy nhiên bên thống kê chưa quan tâm đến sự phức tạp về thời gian của thuật toán. Có thể nói các kết quả về sự phức tạp của thuật toán ở bên thống kê hầu như không tồn tại.

Có thể tiếp cận vấn đề này theo hai hướng.

Một là tạm thời tách rời hai sự phức tạp khác nhau này ra. Thực ra cái này đã được làm ở một chừng mực nào đó: Đây chính là sự tách rời giữa lỗi xấp xỉ (approximation error) và lỗi ước lượng thống kê (estimation error). Thông thường lỗi xấp xỉ cũng cho ta biết tốc độ tốt nhất của một giải thuật tính xấp xỉ một đại lượng nào đó (không ngẫu nhiên), tuy điều này không phải luôn rõ ràng. Dân thống kê mới chỉ chú tâm đến cái thứ hai (lỗi ước lượng thống kê). Còn phân tích về lỗi xấp xỉ thì là địa hạt của những người nghiên cứu về lý thuyết xấp xỉ. Chỉ việc bê kết quả bên lý thuyết xấp xỉ sang áp dụng là xong.

Hướng này hay ở chỗ nó tách ra hai khái niệm mà bản thân chúng đều không đơn giản. Nhưng nếu không có kết quả về xấp xỉ cho một lớp mô hình cần quan tâm thì chịu. Điều này không phải là hy hữu, vì sự chú ý và động cơ của các ngành có nhiều khác nhau. Ví dụ, đân làm xấp xỉ có vẻ không quan tâm nhiều đến các biến rời rạc hoặc các dạng hàm số định nghĩa cho tập hợp (như hàm phân bố xác suất).

Hướng thứ hai là không tách rời hai dạng lỗi kể trên. Qua đó ta có thể nghiên cứu về sự tương tác giữa phức tạp về mẫu và phức tạp về thuật toán. Đặc biệt, sự tương tác giữa các mức phức tạp đa thức của cả mẫu và thời gian thuật toán. Tôi nghĩ đây là một trong những vấn đề thú vị trong lý thuyết học máy hiện nay.

]]> http://www.procul.org/blog/2011/10/25/polytime-va-polydata/feed/ 7 Mật mã khóa công khai: hành trình 35 năm http://www.procul.org/blog/2011/04/12/m%e1%ba%adt-ma-khoa-cong-khai-s%e1%bb%b1-phat-tri%e1%bb%83n-t%c6%b0%c6%a1ng-h%e1%bb%97-v%e1%bb%9bi-cac-nganh-khoa-h%e1%bb%8dc-khac/ http://www.procul.org/blog/2011/04/12/m%e1%ba%adt-ma-khoa-cong-khai-s%e1%bb%b1-phat-tri%e1%bb%83n-t%c6%b0%c6%a1ng-h%e1%bb%97-v%e1%bb%9bi-cac-nganh-khoa-h%e1%bb%8dc-khac/#comments Tue, 12 Apr 2011 22:40:32 +0000 Phan Dương Hiệu http://www.procul.org/blog/?p=3250 (Một phiên bản ngắn hơn của bài  này sẽ đăng trong số kỷ niệm 20 năm báo Tia Sáng. Các bạn có thể xem tại đây)

Mã hóa khóa công khai ra đời cách đây 35 năm, đánh dấu bởi công trình khoa học của Whitfield Diffie và Martin Hellman. Đó thực sự là một bước ngoặt đưa mật mã từ một nghệ thuật thành một ngành khoa học. Trong quá trình 35 năm phát triển, những phát kiến trong mật mã hầu hết rất phản trực quan, và do đó càng bất ngờ thú vị, đã có ảnh hưởng lớn đến nhiều ngành khoa học khác: áp dụng những kết quả trừu tượng trong lý thuyết số vào thực tế; thúc đẩy sự phát triển của các thuật toán xác suất; đưa ra những khái niệm quan trọng trong lý thuyết tính toán mà điển hình là khái niệm chứng minh tương tác; tạo cầu nối giữa lý thuyết số và khoa học máy tính thông qua lý thuyết số tính toán… Trong bài này, chúng tôi sẽ điểm sơ qua sự phát triển của mật mã trong mối liên hệ với các ngành khoa học khác, và thảo luận về những hướng phát triển của mật mã trong những năm tới.

Thay đổi trong cách tiếp cận tính an toàn.

Từ ngàn xưa con người ta đã có nhu cầu trao đổi bí mật: từ những mệnh lệnh trong các cuộc chiến tranh cho đến những hẹn hò thường nhật. Ta tìm thấy vết tích của mật mã từ thời Ai cập cổ đại, cho tới hệ mã nổi tiếng mà Ceasar dùng trong thời La mã, cho tới bức thư tình mà George Sand gửi cho Alfred de Musset… Ở thời kỳ sơ khai, mật mã có thể coi như nghệ thuật che giấu thông tin mà độ an toàn đạt được là nhờ có sự thống nhất một qui ước bí mật chung. Như vậy, thuật toán lập mã và giải mã là bí mật. Nhưng khi tầm ứng dụng càng rộng thì yêu cầu bí mật cơ chế mã lại càng không hợp lý vì nhiều người sử dụng nên tất yếu sẽ rất dễ bị lộ. Cuối thế kỷ 19, Kerckhoffs đề nghị một nguyên tắc xem xét độ an toàn chỉ dựa trên khóa bí mật còn thuật toán lập mã/giải mã không cần phải giữ kín. Qui tắc này đến nay vẫn còn là rất cơ bản. Xuyên suốt thế kỷ vừa qua, người ta đã xây dựng được rất nhiều các cơ chế mã tốt, với độ an toàn dựa trên sự bảo mật của khóa chung giữa người gửi và người nhận. Tuy vậy, sự cần thiết chia sẻ khóa bí mật là một điểm bất thuận lợi, nó là rào cản lớn cho việc trao đổi thông tin trên diện rộng: ví dụ để thiết lập kênh bí mật đôi mội giữa một nghìn người thì cần tới cả nửa triệu khóa bí mật.

Mật mã khóa công khai đã vượt qua rào cản đó và đưa đến một bước ngoặt trong sự phát triển ngành mật mã. Ý tưởng chính của nó khá giản đơn: lập mã và giải mã là hai quá trình có bản chất khác nhau, nếu như giải mã nhất thiết phải dùng khóa bí mật (nếu không ai cũng giải được) thì lập mã lại không nhất thiết như vậy, và thậm chí sẽ càng tốt hơn khi ai cũng có thể lập mã. Do vậy, nếu ta có thể sinh ra một khóa bí mật cho giải mã và một khóa công khai tương ứng cho lập mã thì quá trình lập mã không còn cần bất kỳ bí mật nào. Tuy có vẻ tự nhiên nhưng việc mã hóa sử dụng khóa công khai làm thay đổi hoàn toàn yêu cầu về sự an toàn: khóa bí mật không cần chia sẻ nữa, mỗi người có khóa bí mật của riêng mình và chỉ cần giữ kín nó, không cần thiết phải chia sẻ nó với bất kỳ ai khác. Sự đảm bảo an toàn không còn cần dựa trên sự tin tưởng lẫn nhau giữa người gửi và người nhận.

Mật mã khóa công khai còn làm thay đổi hoàn toàn phạm vi ứng dụng, cho phép mật mã được sử dụng rộng rãi trong thực tế: việc thiết lập kênh bí mật giữa một nghìn hay một triệu người thì cũng chỉ yêu cầu mỗi người cần giữ một khóa bí mật và công bố một khóa công khai, không cần phải thống nhất khóa chung nào. Áp dụng vào thực tế, một cửa hàng trực tuyến có thể thu hút hàng triệu khách hàng mà chỉ cần công khai duy nhất một khóa để ai mua hàng cũng chỉ cần dùng khóa công khai đó để gửi thông tin bảo mật về thẻ thanh toán.

Mật mã với lý thuyết độ phức tạp tính toán

Bên cạnh những ưu điểm mang tính bước ngoặt, mã hóa khóa công khai ẩn chứa một điều đáng lo ngại về tính an toàn: khi công bố khóa công khai tương ứng với khóa bí mật sẽ có thể dẫn tới việc khóa bí mật không còn … hoàn toàn bí mật! Điều lo ngại đó hoàn toàn có cơ sở bởi một kẻ tấn công có thể thử hết các trường hợp có thể để tìm ra khóa bí mật tương ứng với khóa công khai. Do đó, về nguyên tắc, kẻ tấn công có thể phá được sơ đồ mã hóa, tìm ra khóa bí mật mà không cần quan sát bất kể bản mã nào! Chính vì thế mà độ an toàn của mật mã khóa công khai sẽ không thể chỉ dựa trên sự giữ bí mật khóa nữa. Muốn đảm bảo sự an toàn, ta phải chứng tỏ làm sao, dù về nguyên tắc, kẻ tấn công có thể tìm ra khóa bí mật, nhưng thời gian để đạt được mục đích đó phải là rất lớn, cỡ hàng triệu năm trên một máy tính nhanh nhất chẳng hạn. Hay nói cách khác, độ phức tạp mà kẻ tấn công có thể tìm lại khóa bí mật là lớn phi thực tế.

Một cách rất tự nhiên, nghiên cứu độ an toàn của mật mã khóa công khai đã nằm gọn trong lý thuyết độ phức tạp tính toán (Computational Complexity). Trong lý thuyết độ phức tạp, ta không chỉ quan tâm xem một bài toán có thể giải được hay không, mà điều quan trọng nhất là nghiên cứu xem để giải bài toán đó thì độ khó khăn lớn đến đâu. Độ phức tạp được phân cấp theo các lớp, trong đó hai lớp quan trọng nhất là lớp P và lớp NP. Lớp P bao gồm những bài toán giải được trong thời gian đa thức, và nó được coi là lớp các bài toán có thể giải được trong thực tế. Chẳng hạn các bài toán sắp xếp dữ liệu theo một thứ tự định sẵn, tìm đường đi ngắn nhất giữa hai thành phố, biến đổi Fourrier rời rạc (đều có thể thực hiện được với cỡ nlog(n) bước cho n đối tượng, tức là bị chặn bên bởi một đa thức p(n)=n^2) là những bài toán trong P. Lớp NP là lớp các bài toán có thể kiểm tra được lời giải đúng hay sai trong thời gian đa thức. Chẳng hạn trò chơi Sudoku thuộc lớp NP vì để giải nó có thể rất khó (thậm chí nó được chứng minh là một trong những bài toán thuộc lớp khó giải nhất trong NP) nhưng để kiểm tra một phương án có là lời giải không thì có lẽ chỉ cần đến một cậu bé biết phân biệt các con số với nhau và duyệt qua tất cả các ô. Rõ ràng chỉ khi lời giải có thể kiểm tra được trong thực tế thì bài toán mới được quan tâm, do vậy mà lớp NP có vai trò quan trọng. Câu hỏi trọng tâm của lý thuyết độ phức tạp là liệu các bài toán trong NP có thể có lời giải thực tế (tức trong thời gian đa thức) hay không, tức liệu P có bằng NP? Nếu P=NP thì điều đó đem lại một sự bất ngờ cho nhận thức của chúng ta: việc tìm ra lời giải cũng chỉ khó như việc kiểm tra lời giải. Điều khó tin đó làm người ta thường giả thuyết rằng P khác NP. Sự quan trọng của câu hỏi “P chọi NP?” là lý do để nó được viện Clay xếp vào một trong bảy bài toán thiên niên kỷ.

Quay trở lại với lý thuyết mật mã và xem xét nó dưới góc nhìn của lý thuyết độ phức tạp. Giờ đây ta có thể định nghĩa hệ mã bị phá nếu như có thuật toán phá mã (tìm lại khóa bí mật từ khóa công khai, hay đơn giản hơn, tìm lại bản rõ từ bản mã) trong thời gian đa thức. Vậy độ phức tạp của thuật toán phá mã liệu có thể đánh giá trong trường hợp chung? Câu trả lời là có và với mọi sơ đồ mã hóa khóa công khai đều có thuật toán phá mã thuộc lớp NP: do điều kiện cần của hệ mã là khi giải mã ta phải tìm lại đúng bản rõ, bài toán kiểm tra xem 1 khóa bí mật có tương ứng với 1 khóa công khai hay không là dễ dàng (chỉ cần chọn 1 bản rõ, mã nó dùng khóa công khai rồi giải mã nó với khóa bí mật xem có thu lại được đúng bản rõ hay không). Bài toán “P chọi NP” trở nên có tầm quan trọng sống còn tới lý thuyết mật mã: nếu hai lớp này tương đương thì toàn bộ lý thuyết nghiên cứu mật mã dưới góc nhìn độ phức tạp sẽ hoàn toàn sụp đổ vì việc phá mã, vốn thuộc NP, khi đó sẽ có thể thực hiện được trong thời gian đa thức. Và cũng do vậy, nghiên cứu độ phức tạp trong mật mã cần phải dựa trên giả thuyết “P khác NP”.

Hàm cửa lật một chiều và sự phát triển của lý thuyết số tính toán

Khi tính an toàn chia tay với nghệ thuật che giấu bí mật để chuyển sang dựa trên lý thuyết độ phức tạp thì cũng là lúc mật mã bất ngờ tìm đến và làm những nghiên cứu trừu tượng trong lý thuyết số bỗng có những áp dụng đầy ý nghĩa trong thực tế. Nó cũng đưa lý thuyết số tính toán (computational number theory) trở thành một nhánh nghiên cứu quan trọng, nằm giữa vùng giao thoa của toán học và tin học.

Tựu chung yêu cầu để xây dựng mật mã khóa công khai là: hàm lập mã thì dễ (với khóa công khai), nhưng hàm giải mã thì khó khi không có khóa bí mật. Đó là các hàm cửa lật một chiều (trapdoor oneway functions): tính xuôi thì dễ, tính ngược lại phải khó, nhưng với cửa lật là khóa bí mật thì tính ngược, tức giải mã, cũng phải dễ. Yêu cầu trông có vẻ đơn giản đó nhưng thực tế là sau rất nhiều năm tìm kiếm vẫn chỉ có rất ít hàm có thể thỏa mãn. Các bài toán trong lớp NP-đầy đủ (là lớp các bài khó nhất trong NP, trò chơi Sudoku là một trong số đó; ta chỉ cần giải được 1 bài trong lớp NP-đầy đủ trong thời gian đa thức là đủ để chứng tỏ P=NP) rõ ràng là những ứng cử viên tiềm năng để xây dựng hàm cửa lật một chiều. Nhưng thực tế không hề dễ như ban đầu người ta hình dung, vì hai lý do: thứ nhất là bởi các bài toán NP chỉ quan tâm đến độ khó trong trường hợp xấu nhất, trong khi mã hóa cần mã an toàn cho mọi bản rõ nên cần ít nhất độ khó trong trường hợp trung bình; thứ hai là bởi tính chất cửa lật, bài toán cần khó nhưng với một số thông tin thì nó lại phải trở nên dễ giải, và chính yêu cầu về tính chất cửa lật đó đã khiến nhiều hệ mã dựa trên bài toán NP-đầy đủ (như hệ mã Chor-Rivest dựa trên bài toán xếp ba lô) bị phá vỡ.

Những hàm cửa lật thông dụng trong mật mã đã đến từ những bài toán rất cổ điển của lý thuyết số! Đó là bài toán phân tích số (cho một số N = pq là tích của hai số nguyên tố, phân tích nó ra thừa số nguyên tố p,q) và bài toán logarit rời rạc trong trường hữu hạn (cho một phần tử sinh g của một nhóm con của một trường hữu hạn, và một phần tử nhóm u=ga, bài toán là phải tìm lại a). Cả hai bài toán này, tuy về mặt toán học là giải được, nhưng cho đến nay không thể giải được trong thời gian đa thức. Bài toán phân tích số là nền tảng cho độ an toàn của hệ mã nổi tiếng RSA, và bài toán logarit rời rạc là cơ sở cho hệ mã Elgamal. Chính vì tính phổ dụng của hai hệ mã này mà một cách tất nhiên, bài toán phân tích số và bài toán logarit rời rạc trở thành đối tượng nghiên cứu rất được quan tâm. Việc nghiên cứu tính phức tạp của việc tìm ra lời giải cho các bài toán lý thuyết số đã đưa tới sự phát triển sâu rộng của lý thuyết số tính toán.

Sau nhiều công trình nghiên cứu quan trọng thì các bài toán bài toán phân tích số và bài toán logarit rời rạc tuy chưa giải được trong thời gian đa thức nhưng cũng không cần đến thời gian hàm mũ để giải nó, mà đã có các thuật toán dưới mũ (sub-exponention) như thuật toán dùng tính chỉ số (index calculus) và thuật toán dùng đường cong elliptic của Lenstra, được giới thiệu năm 1985. Dù cho những công trình này không làm các hệ mã sụp đổ, nhưng nó buộc phép xây dựng các hệ mã phải giảm hiệu quả vì phải dùng các khóa dài hơn để đảm bảo an toàn. Công trình của Lenstra cũng đánh dấu lần đầu tiên lý thuyết các đường cong elliptic được sử dụng vào mật mã, ở đây có vai trò như phá mã. Điều thú vị là ngay sau đó thì lý thuyết các đường cong elliptic đã được sử dụng cho việc lập mã. Koblitz và Miller cùng độc lập đề nghị thay thế việc sử dụng nhóm trong trường hữu hạn bằng nhóm các điểm trên đường cong elliptic vì ở đó, các thuật toán dưới mũ đã biết để giải quyết bài toán logarit rời rạc có vẻ như không thể áp dụng được. Từ đó việc sử dụng đường cong elliptic dẫn tới dẫn đến những hệ mã hiệu quả hơn (do không cần phải chọn khóa quá dài để chống lại các thuật toán dưới mũ).

Các kết quả lý thuyết sâu sắc trong lý thuyết số tiếp tục được áp dụng vào mật mã. Việc sử dụng đường cong elliptic dẫn tới yêu cầu cần phải lựa chọn những đường cong phù hợp. Tấn công MOV (đưa ra bởi Menezes, Okamoto, và Vanstone) chỉ ra không phải loại đường cong elliptic nào cũng có thể được sử dụng, bằng cách đưa việc giải quyết bài toán logarit rời rạc trên đường cong elliptic trở lại bài toán logarit rời rạc trên một trường hữu hạn mở rộng với độ mở rộng tùy thuộc vào loại đường cong. Do đó, các đường cong siêu lạ (supersingular) rất được ưa dùng ở giai đoạn đầu lại trở nên rất yếu vì ở đó độ mở rộng chỉ cao nhất là 6. Nét đặc biệt trong tấn công MOV là việc sử dụng phép ghép cặp (pairings) trên các đường cong elliptic, với những kết quả khá mới mẻ trong lý thuyết số. Không chỉ phục vụ cho việc phá mã, việc sử dụng phép ghép cặp sau đó đã trở nên cực kỳ hữu hiệu trong việc xây dựng mã. Khởi đầu là Joux đã dùng phép ghép cặp để xây dựng sơ đồ  trao đổi khóa 3 bên, nhưng sự kiện nổi bật là việc dùng phép ghép cặp để giải quyết vấn đề mở về xây dựng mã hóa dựa trên danh tính-Identity based Encryption. Một cách giản đơn, mã hóa dựa trên danh tính cho phép ta sử dụng một khóa công khai duy nhất cho tất cả mọi người (từ đó giải quyết được vấn đề quản lý khóa của mã hóa khóa công khai, tuy vậy nhược điểm của nó là lại cần có thêm người quản trị đáng tin cậy để sinh ra khóa công khai chung và khóa bí mật cho từng người) và hàm lập mã dựa trên khóa công khai chung và danh tính của người nhận như địa chỉ email.  Sau khi Sakai-Ohgishi-Kasahara và Boneh-Franklin đưa ra lời giải cho bài toán mã hóa dựa trên danh tính vào những năm 2000, phép ghép cặp đã được sử dụng hầu khắp trong mọi lĩnh vực của mật mã (mã hóa, chứa ký điện tử, sơ đồ định danh…) để nâng cao tính an toàn và hiệu quả và đôi khi là giải quyết những bài toán mở đã bế tắc trong thời gian dài (chẳng hạn như trong việc xây dựng chữ ký nhóm). Đến cách đây vài năm người ta đã tổ chức hẳn một hội nghị (Pairing-based Cryptograhy) dành cho các nghiên cứu liên quan đến các thuật toán xây dựng và phân tích các phép ghép cặp trên các đường cong elliptic hay hyperelliptic và các phương pháp mã và tấn công mã dựa trên phép ghép cặp.

Nhìn lại các phát triển của lý thuyết số tính toán, ta nhận thấy các phương pháp mới thường được đề nghị đầu tiên cho phá mã, nhưng rồi sau đó lại được sử dụng rất hiệu quả cho việc lập mã. Điều đó cũng phần nào chứng tỏ vai trò tương hỗ giữa cộng đồng những người thám mã và lập mã: trong rất nhiều trường hợp, chính những người say mê tìm cách phá tính an toàn của các hệ thống mật mã, sẽ là những người đem tới những phát kiến mới mẻ để xây dựng những hệ mã an toàn hơn.

Đảm bảo tính an toàn và sự phát triển của lý thuyết các thuật toán xác suất

Để có thể cài đặt được hệ mã RSA, một phần tất yếu là sự cần thiết phải tìm được những số nguyên tố lớn để có thể đảm bảo yêu cầu an toàn tối thiểu (khóa công khai chứa tích của hai số nguyên tố, và nếu một trong hai số nguyên tố là nhỏ thì bài toán phân tích số sẽ là dễ). Từ đó mà yêu cầu tìm các số nguyên tố lớn trở nên rất cần thiết.

Cho tới nay, các phương pháp tìm số nguyên tố lớn đều theo nguyên tắc hai bước: bước 1 là chọn một số tự nhiên đủ lớn và bước 2 là kiểm tra xem số được chọn có là số nguyên tố hay không. Do các số nguyên tố có cấu trúc rất bí hiểm và ta chưa hiểu được quy luật tường minh của chúng nên bước 1 chưa có cách nào khác là chọn một số ngẫu nhiên. Bước thứ 2 là bước kiểm tra tính nguyên tố. Chính những thuật toán kiểm tra tính nguyên tố, mà điển hình là những thuật toán được sử dụng rộng rãi của của Rabin và Solovay, Strassen,  đã khởi đầu cho việc dùng xác suất để thiết kế các thuật toán (chú ý rằng trước đó khá lâu phương pháp xác suất đã được Erd ̋os sử dụng trong việc chỉ ra sự tồn tại của các đối tượng tổ hợp). Các thuật toán xác suất cho ta lời giải không hoàn toàn chính xác, nhưng độ không chính xác có thể làm nhỏ tới bao nhiêu cũng được, với điều kiện đầu vào của thuật toán có một nguồn ngẫu nhiên đủ lớn.

Việc phát triển các thuật toán xác suất dẫn tới sự cần thiết tìm nguồn ngẫu nhiên đủ lớn. Điều đó dẫn tới việc nghiên cứu những bài toán sau đó đã trở nên rất có ý nghĩa trong khoa học máy tính như bài toán trích nguồn ngẫu nhiên (randomness extractor, nhằm từ một nguồn không hoàn toàn ngẫu nhiên ta phải trích ra từ đó một lượng tin có độ ngẫu nhiên cao)  và bài toán sinh dãy giả ngẫu nhiên (pseudo-random generator – từ một nguồn ngẫu nhiên nhỏ làm sao sinh ra một nguồn gần như ngẫu nhiên lớn hơn rất nhiều, nó không hoàn toàn ngẫu nhiên nhưng không có thuật toán nào trong thời gian đa thức có thể chỉ ra tính không ngẫu nhiên của nó)

Sau nhiều phát triển quan trọng của lý thuyết thuật toán xác suất, người ta quay lại hoài nghi “liệu độ ngẫu nhiên có thực sự mang tới sự hiệu quả?”. Bài toán “BPP chọi P” (ở đó BPP là lớp các bài toán giải được theo nghĩa xác suất) là một bài toán mở trọng tâm của lý thuyết độ phức tạp. Cũng như bài toán “P vs. NP”, nếu câu trả lời là hai lớp tương đương thì nó sẽ dẫn tới một khẳng định bất ngờ: mọi thuật toán xác suât đều có thể có thuật toán tất định tương đương. Bên cạnh câu hỏi tổng quan này, các nhà nghiên cứu quay lại với bài toán tìm số nguyên tố nhằm đưa ra một lời giải tất định cho nó. Công trình lý thuyết đột phá của Agrawal–Kayal–Saxena đưa ra năm 2000, đã chỉ ra một thuật toán tất định để kiểm thử tính nguyên tố trong thời gian đa thức, giải quyết trọng vẹn bước thứ 2 một cách tất định. Sự hấp dẫn của một lời giải hoàn chỉnh cho bài toán tất định tìm số nguyên tố chính là nguồn cảm hứng chung rất lớn của các nhà toán-tin học và nó được chọn là bài toán khởi đầu cho một kế hoạch đầy tham vọng nhằm thay đổi tư duy trong hợp tác nghiên cứu khoa học: hợp tác mở thông qua đóng góp, trao đổi mở trên mạng. Với sự nhiệt tình của Timothy Gower, Terence Tao  (cả hai đều đạt giải thưởng Fields), đã có rất nhiều nhà khoa học tham gia vào dự án mở Polymath để cùng trao đổi nhằm tìm kiếm lời giải cho bài toán này. Tuy chưa thể đưa ra lời giải toàn phần, họ đã có một số kết quả dẫn tới một bài báo khoa học dưới tên tác giả Polymath. Rất có thể đây sẽ là một hình thức cộng tác khoa học xuyên biên giới có sức mạnh tổng hợp lớn trong tương lai.

Chứng minh tương tác không để lộ tri thức

Trong mật mã, mọi trao đổi thông tin đều giả thiết có sự hiện diện của kẻ xấu. Mục đích của ta là vừa có thể thuyết phục người đối thoại về tính đúng đắn của một mệnh đề nào đó, lại vừa không cần tin tưởng anh ta, và không muốn sau khi trao đổi anh ta cũng có khả năng chứng minh mệnh đề đó với người khác. Chẳng hạn, một thành viên của một câu lạc bộ bí mật muốn chứng minh danh tính của mình cho người gác cổng, nhưng lại không muốn nói mật khẩu của mình vì sợ chính người gác cổng sẽ bán nó cho kẻ khác. Trong ngữ cảnh đó, một trong những khái niệm thú vị nhất của khoa học máy tính đã được đề nghị: chứng minh tương tác (interactive proofs). Khái niệm này được đưa ra bởi Goldwasser, Micali và Rackof vào đầu những năm 80 và nhờ đó họ đã được trao giải Godel đầu tiên trong lịch sử (giải thưởng hàng năm cho công trình lý thuyết xuất sắc nhất trong khoa học máy tính).

Dưới góc độ toán học, ta thường quan niệm chứng minh là một dãy các lập luận lô gíc có thể trình bày tường minh trên giấy. Liệu chăng yếu tố đối thoại, tương tác giữa người chứng minh và người kiểm tra có mang đến điều mới mẻ? Để trả lời câu hỏi đó, trước hết khái niệm về một chứng minh sẽ phải thay đổi. Goldreich thường trích lời thầy giáo Simon của mình khi giảng về các chứng minh tương tác:

“chứng minh là bất kể cách gì có thể thuyết phục được tôi” (“ A proof is whatever convinces me”).

Theo nghĩa đó, một chứng minh tương tác là một chuỗi các chất vấn, cho tới khi người hỏi bị thuyết phục hoàn toàn bởi người chứng minh. Một câu chuyện vui kể rằng, rằng, một cậu bé cho rằng mình có câu thần chú để mở vách ngăn giữa hai nhánh của một hang động. Tất nhiên cậu ta không muốn lộ câu thần chú của mình, nhưng lại muốn chứng minh khả năng đó.  Trò chơi đuổi bắt có thể là một chứng minh tương tác hiệu quả: chú bé chạy vào 1 trong hai ngã, một người đuổi chon một hướng nhằm dồn chú vào ngách ngăn nhưng cuối cùng không lần nào bắt được chú. Nếu đuổi một lần ta có thể cho là chú đã chọn ngã khác, nhưng lặp đi lặp lại trò chơi tới 100 lần mà không lần nào đuổi được thì có lẽ ta bị thuyết phục là chú đúng là có câu thần chú (ví dụ lấy từ Wikipedia). Các chứng minh tương tác hầu hết dựa trên một tinh thần như thế.

Có những bài toán mà người ta chưa biết cách nào chứng minh trong thời gian đa thức, nhưng lại chứng minh được thông qua tương tác, chẳng hạn bài toán chứng minh hai đồ thị không đồng cấu với nhau.  Hơn thế nữa, trong nhiều bài toán, người chứng minh có thể không cần để lộ ra bất kể tri thức nào anh ta có về cái chứng minh đó (zero-knowledge proofs).

Kết quả rất đẹp của Goldreich, Micali và Wigderson cho ta kết quả bất ngờ: dựa trên giả thuyết tồn tại các hàm một chiều, tất cả những gì ta có thể chứng minh trong thực tế (theo nghĩa trong thời gian đa thức), đều có thể chứng minh mà không để lộ tri thức! Bài toán chứng minh danh tính phía trên là một trong số đó.

Các chứng minh không để lộ tri thức đặc biệt quan trọng trong mật mã, là thành phần cơ bản trong việc xây dựng các sơ đồ mã hóa, chữ ký điện tử. Chứng minh không để lộ tri thức cũng là thành phần không thể thiếu trong một sơ đồ bầu cử điện tử, cho phép mỗi cử tri kiểm tra được lá phiếu của mình đã được tính đến mà việc kiểm phiếu lại không cần phải công bố nội dung từng lá phiếu, đảm bảo quyền lựa chọn bí mật của cử tri.

Ở một khía cạnh khác, chứng minh tương tác cũng là phần hồn của nhánh khoa học «chứng minh tính bảo mật » (provable security), nơi ta cố gắng chứng minh tính an toàn của hệ thống trong một thế giới tương tác rất phức tạp (với sự hiện diện của kẻ tấn công luôn muốn lừa hệ thống thông qua quan sát, nghe trộm, đóng giả người tốt để tương tác với hệ thống) dựa trên những giả thuyết tĩnh, giản đơn của toán học.

Một số hướng đi tương lai của mật mã

Bảo mật trong điện toán đám mây (cloud computing)

Điện toán đám mây cho phép ta lưu trữ những khối lượng thông tin khổng lồ trên mạng và thực hiện các thao tác trên nó một cách dễ dàng. Nó có thể giúp ta giải quyết những bài toán lớn mà trước đây khó có thể giải quyết trên một mạng lưới các máy tính mang tính chất cục bộ. Tuy nhiên, điều đó mang tới một thách thức vô cùng lớn về tính bảo mật. Có hai điều có vẻ như mâu thuẫn nhau: lưu trữ dữ liệu lớn trên các hệ thống xa lạ rõ ràng rất dễ bị đánh cắp thông tin, nhưng nếu ta mã hóa toàn bộ dữ liệu thì sẽ khó có thể tận dụng sức mạnh của tính toán đám mây để thao tác dữ liệu đó.

Nhưng gần đây, vấn đề tưởng khó có thể giải quyết này đã có chút tia hy vọng, với công trình của Gentry năm 2009 về mật mã đẳng cấu theo cả phép nhân và phép cộng (fully homomorphic encryption). Hệ mã này cho phép, từ hai bản mã của hai bản rõ m và m’, ta có thể tính được bản mã nhân của mm’ và bản mã cộng của m+m’. Vấn đề với bề ngoài đơn giản nhưng chứa đựng không ít nghịch lý trong đó: hệ mã vừa phải đảm bảo an toàn cho dữ liệu (không thể biết thông tin về bản rõ m, m’), mà lại vẫn thao tác được trên dữ liệu đó. Và cũng với bề ngoài giản đơn như vậy, nó lại mang đến một ý nghĩa rất bao quát: do mọi tính toán đều có thể qui về các phép toán cơ bản là cộng và nhân, một hệ mã như thế sẽ cho ta khả năng làm mọi tính toán trên dự liệu được mã hóa! Điều đó có nghĩa ta có thể để tất cả dữ liệu bảo mật trên những máy mạng không an toàn mà vẫn có thể tận dụng được sức tính toán lớn của điện toán đám mây để thao tác trên dữ liệu được mã hóa. Tuy nhiên, hiện tại, hệ mã Gentry và một số hệ mã cải tiến còn có hiệu quả vô cùng thấp, hầu như chỉ mang tính lý thuyết. Một hệ mã hiệu quả sẽ là lời giải tuyệt vời cho bài toán an toàn thông tin trong điện toán đám mây.

Mở rộng mô hình mã hóa: cho đối tượng nhóm và cho việc giải mã bộ phận

Mã hóa thường cho ta thiết lập kênh trao đổi thông tin giữa một người với một người. Tuy nhiên, những ứng dụng thực tế đòi hỏi khả năng ta mã một lần sao cho nhiều người cùng có thể giải mã. Một ví dụ điển hình là việc phát chương trình truyền hình mã hóa sao cho hàng triệu thuê bao đều giải được mã. Nhưng một ứng dụng như vậy sẽ đặt ra hai vấn đề: mã một lần cho nhiều người (broadcast encryption) và ngăn chặn một người hay một nhóm người thuê bao cấu kết nhau để làm một bộ giải mã giả (tracing traitor). Hiện tại các thuật toán được sử dụng trong truyền hình thuê bao hầu hết đang còn ở thời nguyên thủy: độ an toàn buộc phải dựa trên tính bí mật của thuật toán. Nhưng cũng bởi vậy nên khi một nhóm phá mã có thể phá được nguyên lý bằng kỹ nghệ đảo ngược (reverse engineering) thì thị trường chợ đen có thể bán tràn lan các bộ giải mã giả mà không có cách gì truy lại được ai là thủ phạm.

Hai năm trở lại đây, một hướng nghiên cứu khá mới là về một kiểu mã tổng quát có thể bao quát hết các khái niệm về mã hóa công khai, mã hóa dựa trên danh tính, hay mã hóa một lần cho nhiều người. Đó là loại mã hàm (functional encryption) ở đó nó cho phép người lập mã định nghĩa một cơ chế giải mã để đối với mỗi người nhận, tùy vào thuộc tính được gán có mà có thể truy cập sâu vào bản rõ tới đâu. Cho tới nay, đối với những cơ chế mã với các cấu trúc tương đối phức tạp, các phương án lập mã còn rất hạn chế về hiệu quả. Những kết quả trong tương lai chắc chắn sẽ mang tới những ứng dụng rất hiệu quả, đặc biệt là cho việc truy cập các cơ sở dữ liệu mã hóa lớn.

An toàn trước các tấn công vật lý

Mật mã thường phân tích tính an toàn dựa trên giả thuyết là khóa bí mật được bảo vệ tốt. Tuy nhiên, những tấn công vật lý đôi khi lại có thể tìm ra những thông tin về khóa (chẳng hạn bằng cách đo năng lượng tiêu thụ của máy giải mã trên các bản mã khác nhau). Do vậy, một trong các mục đích của mật mã là tìm cách hình thức hóa các khái niệm tấn công vật lý và tiếp sau đó là thiết kế các sơ đồ mã hóa mà tính an toàn có thể đảm bảo chỉ duy nhất dựa trên các giả thiết toán học. Hướng nghiên cứu an toàn trong mô hình khóa bị lộ (key leakage resilient cryptography) đang khá được quan tâm trong cộng đồng mật mã.

An toàn trước sự tấn công của máy tính lượng tử

Cuối cùng, chúng ta không thể bỏ qua sự hiện diện tiềm tàng của máy tính lượng tử, dù rằng cho tới nay các máy tính lượng tử mới chỉ phân tích được số 21 ra thừa số nguyên tố. Nhưng về mặt lý thuyết, nó có tiềm năng to lớn không thể không kể tới. Công trình của Shor năm 94 đã chỉ ra rằng bài toán phân tích số có thể giải được trong thời gian đa thức bởi máy tính lượng tử.  Bài toán logarít rời rạc trong trường hữu hạn hay trên đường cong elliptic cũng có thể giải được trong thời gian đa thức bởi máy tính lượng tử. Điều đó có nghĩa là các hệ mã thông dụng hiện nay sẽ bị phá vỡ một khi máy tính lượng tử được thiết kế chạy được trên dữ liệu lớn. Để phòng ngừa trước điều đó (dù khả năng sớm xảy ra được đánh giá là rất nhỏ), nhiều nghiên cứu nhằm xây dựng các hệ mã có thể an toàn trước máy tính lượng tử được đề nghị. Hai hướng chính đang được quan tâm là các hệ mã dựa trên mã sửa sai (error correcting codes) và dựa trên lý thuyết lưới Euclid (lattice based cryptography), nơi sự hiện diện của máy tính lượng tử có vẻ như không đem lại hiệu quả đặc biệt.

wordpress statistics


]]> http://www.procul.org/blog/2011/04/12/m%e1%ba%adt-ma-khoa-cong-khai-s%e1%bb%b1-phat-tri%e1%bb%83n-t%c6%b0%c6%a1ng-h%e1%bb%97-v%e1%bb%9bi-cac-nganh-khoa-h%e1%bb%8dc-khac/feed/ 17 HM5 — Định lý Vapnik-Chervonenkis cho mô hình giả thuyết không nhất quán http://www.procul.org/blog/2010/08/30/hm5-d%e1%bb%8bnh-ly-vapnik-chervonenkis-cho-mo-hinh-gi%e1%ba%a3-thuy%e1%ba%bft-khong-nh%e1%ba%a5t/ http://www.procul.org/blog/2010/08/30/hm5-d%e1%bb%8bnh-ly-vapnik-chervonenkis-cho-mo-hinh-gi%e1%ba%a3-thuy%e1%ba%bft-khong-nh%e1%ba%a5t/#comments Mon, 30 Aug 2010 10:35:01 +0000 NQH http://www.procul.org/blog/?p=2263
  • HM4: Độ phức tạp mẫu và VC dimension.
  • HM6: Độ phức tạp Rademacher

    Hai mô hình (nhất quán và PAC) chúng ta thấy cho đến nay đều không thực tế lắm. Trên thực tế dữ liệu thường có nhiễu, việc tìm một giả thuyết nhất quán với nhiều mẫu trở nên khó khăn. Đôi khi không tồn tại giả thuyết nào nhất quán với dữ liệu, hoặc cho dù có tồn tại thì nhiễu cũng làm cho không tồn tại. Vả lại, nhất quán với dữ liệu bị nhiễu thì cũng không hay ho gì. Đó là chưa kể việc đi tìm một giả thuyết nhất quán với dữ liệu có thể là bài toán NP-khó, và thậm chí có thể trên thực tế không tồn tại cái khái niệm mà mình đang muốn học.

    (Từ giờ trở đi, tôi sẽ dịch “learner” là “học giả”. Học giả ở đây là một thuật toán máy tính chứ không phải là một gã hói đầu. “Học giả như hòa như đạo. Bất học giả như cảo như thảo.”)

    Như vậy chúng ta cần một mô hình cho phép học giả trả về một giả thuyết không nhất quán với mẫu, và phải tìm cách đo chất lượng học giả — kể cả khi không có cái khái niệm mà mình muốn học. Bài này kết thúc bằng chứng minh định lý Vapnik-Chervonenkis, một trong những định lý quan trọng nhất của lý thuyết học máy thống kê (statistical learning theory).

    7. Mô hình giả thuyết không nhất quán

    Trong mô hình này, ta giả sử cả training data lẫn test data đều gồm các điểm {({\bf x},y)} được lấy mẫu từ không gian {\Omega \times \{0,1\}} theo một phân bố {\mathcal D} chưa biết nào đó. Dễ thấy rằng giả định này tổng quát hơn giả định của mô hình PAC, vì với PAC thì các điểm {({\bf x},y)} được lấy mẫu dựa trên phân bố của {{\bf x}} và khái niệm cần học.

    Chất lượng của một giả thuyết {h} được đo bằng “lỗi thật” của nó, định nghĩa như sau:

    \displaystyle \text{err}(h) := \mathop{\textnormal{Prob}}_{({\bf x}, y) \leftarrow \mathcal D} [h({\bf x}) \neq y]

    Lỗi này cũng được gọi là lỗi tổng quát hóa (generalization error) của giả thuyết {h}. Trong trường hợp lý tưởng thì chúng ta muốn giải quyết vấn đề sau đây.

    Định nghĩa 1 (Bài toán lý tưởng) Tìm giả thuyết {h^* \in \mathcal H} sao cho lỗi thật {\text{err}(h^*)} là tối thiểu. Nói cách khác,

    \displaystyle h^* = \mathop{\text{argmin}}_{h\in \mathcal H} \text{ err}(h).

    Gọi là trường hợp lý tưởng vì chúng ta không biết {\mathcal D}, do đó không thể tính hàm {\text{err}(h)}. Nếu ta biết phân bố {\mathcal D} thì rõ ràng là giả thuyết sau đây là tối ưu:

    \displaystyle h_{\text{\sc opt}}({\bf x}) = \begin{cases} 1 & \textnormal{if} \ \text{Prob}[ y=1 \ | \ {\bf x}] \geq 1/2\\ 0 & \textnormal{if} \ \text{Prob}[ y=0 \ | \ {\bf x}] < 1/2 \end{cases}.

    Giả thuyết này được gọi là Bayes optimal classifier, còn giá trị {\text{err}(h_{\text{\sc opt}})} — gọi là lỗi Bayes — nhỏ hơn bất kỳ {\text{err}(h)} nào khác. Cũng lưu ý rằng {h_{\text{\sc opt}}} không nhất thiết là phải thuộc về lớp giả thuyết {\mathcal H} cho trước. (Chúng ta sẽ quay lại với chủ đề giả thuyết cuối cùng không thuộc {\mathcal H} trong bài tới khi ta thảo luận thuật toán AdaBoost.)

    Quay lại với cách “cài đặt” vấn đề trong mô hình giả thuyết không nhất quán ở trên. Do ta không biết {\mathcal D}, bài toán thật sự không thể là bài toán tìm giả thuyết với lỗi thật tối thiểu. Một lối ra khá phổ dụng trong các trường hợp tối ưu các hàm không tính được là ta dùng một hàm khác, tính/ước lượng được, để xấp xỉ cái lỗi thật {\text{err}(h)} mà ta không tính được. Cụ thể hơn, định nghĩa lỗi thực nghiệm (empirical error) như sau:

    \displaystyle \widehat{\text{err}}(h) = \frac{|\{i : h({\bf x}_i) \neq y_i\}|}{m}

    Lỗi thực nghiệm còn được gọi là lỗi huấn luyện (training error) hoặc rủi ro thực nghiệm (empirical risk cho 01 loss function). Đôi khi, để nhấn mạnh là lỗi thực nghiệm được đo trên bộ mẫu {S}, ta dùng ký hiệu {\widehat{\text{err}}_S(h)}.

    Chúng ta sẽ chứng minh cái gọi là định lý hội tụ đều (uniform convergence theorem). Định lý này nói rằng, với số mẫu đủ lớn thì lỗi thật và lỗi thực nghiệm của một giả thuyết bất kỳ không xa nhau là mấy. (Với một giả thuyết {h} cố định thì trị kỳ vọng của lỗi thực nghiệm là lỗi thật, do đó định lý này hữu lý.) Do đó, thay vì tìm giả thuyết với lỗi thật nhỏ nhất (đằng nào cũng không làm được) thì ta có thể cố tìm giả thuyết với lỗi thực nghiệm nhỏ nhất. Chiến lược này gọi là chiến lược tối thiểu rủi ro thực nghiệm (empirical risk minimization hay ERM)

    Định nghĩa 2 (ERM) Tìm giả thuyết {\hat h^* \in \mathcal H} sao cho lỗi thực nghiệm {\widehat{\text{err}}(\hat h^*)} là tối thiểu. Nói cách khác,

    \displaystyle \hat h^* = \mathop{\text{argmin}}_{h\in \mathcal H} \widehat{\text{err}}(h).

    Các học giả Occam như thảo luận trong các bài trước (tìm giả thuyết nhất quán với toàn bộ mẫu — lỗi thực nghiệm bằng không) là trường hợp đặc biệt của lời giải bài toán trên. Bài toán ERM trên cho phép cả trường hợp ta không tìm được giả thuyết nhất quán. Một trong những điểm yếu của ERM (với 01 loss function như định nghĩa ở trên) là nó thường là bài toán NP-khó (xem bài này chẳng hạn).

    Định lý 3 (Định lý hội tụ đều cho {\mathcal H} hữu hạn) Xét trường hợp lớp giả thuyết {\mathcal H} là hữu hạn. Nếu ta lấy

    \displaystyle m \geq \frac{\log\left( \frac{2|\mathcal H|}{\delta}\right)}{2\epsilon^2}

    mẫu từ phân bố {\mathcal D} thì

    \displaystyle \text{Prob}\left[|\text{err}(h) - \widehat{\text{err}}(h)| \leq \epsilon, \ \forall h \in \mathcal H \right] \geq 1-\delta.

    Chứng minh: Rất dễ. Áp dụng bất đẳng thức Hoeffing (một dạng con gà Chernoff, và là trường hợp đặc biệt của bất đẳng thức McDiarmid) ta có, với {h} bất kỳ:

    \displaystyle \text{Prob}\left[|\text{err}(h) - \widehat{\text{err}}(h)| > \epsilon\right] < 2e^{-2\epsilon^2m}.

    Sau đó, union bound cho ta

    \displaystyle \text{Prob}\left[\forall h \in \mathcal H, |\text{err}(h) - \widehat{\text{err}}(h)| > \epsilon\right] < 2|\mathcal H|e^{-2\epsilon^2m}.

    Từ đó dẫn đến kết luận của định lý. \Box

    Từ định lý hội tụ đều, ta thấy rằng lời giải cho bài toán ERM cũng khá tốt so với lời giải của bài toán lý tưởng:

    \displaystyle \text{err}(\hat h^*) \leq \widehat{\text{err}}(\hat h^*) + \epsilon \leq \widehat{\text{err}}(h^*) + \epsilon \leq \text{err}(h^*) + 2\epsilon.

    Ta có thể viết lại sự phụ thuộc của lỗi tổng quát hóa {\text{err}(h)} vào lỗi thực nghiệm {\widehat{\text{err}}(h)}, độ phức tạp của lớp giả thuyết {\log |\mathcal H|}, tổng số mẫu {m} và độ tin cậy như sau:

    \displaystyle \text{err}(h) \leq \widehat{\text{err}}(h) + \sqrt{\frac{\log(2|\mathcal H|) + \log(1/\delta)}{m}}

    Có vài điểm đáng chú ý:

    • Độ phức tạp mẫu phụ thuộc vào {\epsilon^2} chứ không còn là {\epsilon} như trong mô hình PAC.
    • Tăng {m} thì lỗi tổng quát hóa giảm. Cho học giả càng nhiều ví dụ càng tốt. Dĩ nhiên làm thế sẽ ảnh hưởng đến thời gian chạy của học giả.
    • Độ phức tạp của lớp giả thuyết càng nhỏ càng tốt.
    • Lỗi thực nghiệm càng bé càng tốt.
    • Tuy nhiên, có một trade-off giữa lỗi thực nghiệm và độ phức tạp của lớp giả thuyết. Nếu lớp giả thuyết quá đơn giản thì khả năng ta tìm được một giả thuyết có lỗi thực nghiệm bé sẽ giảm. Khi độ phức tạp của lớp giả thuyết tăng lên thì sẽ dễ tìm giả thuyết {h} có lỗi thực nghiệm {\widehat{\text{err}}(h)} nhỏ. Nhưng đến một lúc nào đó thì số hạng thứ hai (chứa {\log (2|\mathcal H|)}) sẽ áp đảo số hạng thứ nhất, và ta bị vấn đề overfitting, một vấn đề thật sự đau đầu trong thống kê.

    Trong hai bài tới, chúng ta sẽ thảo luận thuật toán AdaBoost và thuật toán Support Vector Machine; có vẻ như chúng chống chọi vấn đề overfitting khá tốt.

    Trong trường hợp {\mathcal H} vô hạn thì ta có định lý hội tụ đều dùng VC-dimension, là một trong những định lý quan trọng nhất trong statistical learning theory.

    Định lý 4 (Định lý hội tụ đều cho {\mathcal H} vô hạn — Còn gọi là định lý Vapnik-Chervonenkis) Xét trường hợp lớp giả thuyết {\mathcal H} là vô hạn với {d = \text{\sc vcd}(\mathcal H)}. Nếu ta lấy

    \displaystyle m = \Omega\left( \frac{d}{\epsilon^2}\log\frac{1}{\epsilon} + \frac{1}{\epsilon^2} \log \frac 1 \delta\right)

    mẫu từ phân bố {\mathcal D} thì

    \displaystyle \text{Prob}\left[|\text{err}(h) - \widehat{\text{err}}(h)| \leq \epsilon, \ \forall h \in \mathcal H \right] \geq 1-\delta.

    Chứng minh: Ta cần chứng minh bất đẳng thức sau đây:

    \displaystyle \mathop{\text{Prob}}_S \left[ \sup_{h \in \mathcal H} |\text{err}(h) - \widehat{\text{err}}_S(h)| > \epsilon \right] \leq \delta,

    trong đó {S=\{({\bf x}_1,y_1), \cdots, ({\bf x}_m,y_m)\}} là tập {m} mẫu độc lập. Giống như trong trường hợp định lý VC cho mô hình PAC, ta dùng cái mẹo lấy mẫu kép. Ta lấy thêm {m} mẫu độc lập {S'=\{({\bf x}'_1,y'_1), \cdots, ({\bf x}'_m,y'_m)\}} nữa (chỉ là công cụ chứng minh, không lấy thật). Chứng minh bao gồm bốn bước.

    • Bước 1. chuyển từ vô hạn xuống hữu hạn. Ta sẽ chứng minh rằng

      \displaystyle \mathop{\text{Prob}}_S \left[ \sup_{h \in \mathcal H} |\text{err}(h) - \widehat{\text{err}}_S(h)| > \epsilon \right] \leq 2 \cdot \mathop{\text{Prob}}_{S,S'} \left[ \sup_{h \in \mathcal H} |\widehat{\text{err}}_{S}(h) - \widehat{\text{err}}_{S'}(h)| > \epsilon/2 \right]

      Với một bộ mẫu {S} đã lấy, nếu {\sup_{h \in \mathcal H} |\text{err}(h) - \widehat{\text{err}}_S(h)| > \epsilon} thì định nghĩa {h_S} là một hàm (tùy hỉ) trong {\mathcal H} miễn sao {|\text{err}(h_S) - \widehat{\text{err}}_S(h_S)| > \epsilon}; còn nếu {\sup_{h \in \mathcal H} |\text{err}(h) - \widehat{\text{err}}_S(h)| \leq \epsilon} thì định nghĩa {h_S} là một hàm bất kỳ trong {\mathcal H}.

      Trước hết, dùng bất đẳng thức Chernoff, dễ chứng minh được rằng, với mọi {S} và {m \geq 100/\epsilon^2} ta có:

      \displaystyle \mathop{\text{Prob}}_{S'} \left[ |\text{err}(h_S) - \widehat{\text{err}}_{S'}(h_S)| < \epsilon/2 \right] \geq 1/2.

      (Không cần đến {100}, để cho vui thôi; cỡ {8} là đủ.)

      \displaystyle \begin{array}{rcl} && \mathop{\text{Prob}}_S \left[ \sup_{h \in \mathcal H} |\text{err}(h) - \widehat{\text{err}}_S(h)| > \epsilon \right]\\ &=& \mathop{\text{E}}_S \left[ {\bf 1}_{\{|\text{err}(h_S) - \widehat{\text{err}}_S(h_S)| > \epsilon\}} \right]\\ &\leq & 2 \cdot \mathop{\text{E}}_S \left[ {\bf 1}_{\{|\text{err}(h_S) - \widehat{\text{err}}_S(h_S)| > \epsilon\}} \cdot \mathop{\text{Prob}}_{S'} \left[ |\text{err}(h_S) - \widehat{\text{err}}_{S'}(h_S)| < \epsilon/2 \right] \right]\\ &\leq & 2 \cdot \mathop{\text{E}}_S \left[ {\bf 1}_{\{|\text{err}(h_S) - \widehat{\text{err}}_S(h_S)| > \epsilon\}} \cdot \mathop{\text{E}}_{S'} \left[ {\bf 1}_{\{|\text{err}(h_S) - \widehat{\text{err}}_{S'}(h_S)| < \epsilon/2\}} \right] \right]\\ &=& 2 \cdot \mathop{\text{E}}_{S,S'} \left[ {\bf 1}_{\{|\text{err}(h_S) - \widehat{\text{err}}_S(h_S)| > \epsilon\}} \cdot {\bf 1}_{\{|\text{err}(h_S) - \widehat{\text{err}}_{S'}(h_S)| < \epsilon/2\}} \right]\\ &=& 2 \cdot \mathop{\text{Prob}}_{S,S'} \left[ |\text{err}(h_S) - \widehat{\text{err}}_S(h_S)| > \epsilon \text{ and } |\text{err}(h_S) - \widehat{\text{err}}_{S'}(h_S)| < \epsilon/2 \right]\\ &\leq & 2 \cdot \mathop{\text{Prob}}_{S,S'} \left[ \sup_{h \in \mathcal H} |\widehat{\text{err}}_{S}(h) - \widehat{\text{err}}_{S'}(h)| > \epsilon/2 \right] \end{array}

    • Bước 2. đối xứng hóa dùng các biến Rademacher {\sigma_i \in \{-1,1\}, i \in [m]}, nghĩa là {\text{Prob}[\sigma_i=1]=\text{Prob}[\sigma_i=-1]=1/2}. Ta sẽ chứng minh rằng

      \displaystyle \mathop{\text{Prob}}_{S,S'} \left[ \sup_{h \in \mathcal H} |\widehat{\text{err}}_{S}(h) - \widehat{\text{err}}_{S'}(h)| > \epsilon/2 \right] \leq 2 \cdot \mathop{\text{Prob}}_{S,\sigma} \left[ \sup_{h \in \mathcal H} \frac 1 m \left| \sum_{i=1}^m \sigma_i {\bf 1}_{\{h({\bf x}_i) \neq y_i\}} \right| > \epsilon/4 \right]

      Lưu ý rằng {{\bf 1}_{\{h({\bf x}_i) \neq y_i\}}} và {{\bf 1}_{\{h({\bf x}'_i) \neq y'_i\}}} có cùng phân bố, do đó {({\bf 1}_{\{h({\bf x}_i) \neq y_i\}} - {\bf 1}_{\{h({\bf x}'_i) \neq y'_i\}})} và {-({\bf 1}_{\{h({\bf x}_i) \neq y_i\}} - {\bf 1}_{\{h({\bf x}'_i) \neq y'_i\}})} có cùng phân bố với trị kỳ vọng bằng {0}. Ta có:

      \displaystyle \begin{array}{rcl} && \mathop{\text{Prob}}_{S,S'} \left[ \sup_{h \in \mathcal H} |\widehat{\text{err}}_{S}(h) - \widehat{\text{err}}_{S'}(h)| > \epsilon/2 \right]\\ &=& \mathop{\text{Prob}}_{S,S'} \left[ \sup_{h \in \mathcal H} \frac 1 m \left| \sum_{i=1}^m ({\bf 1}_{\{h({\bf x}_i) \neq y_i\}} - {\bf 1}_{\{h({\bf x}'_i) \neq y'_i\}}) \right| > \epsilon/2 \right]\\ &=& \mathop{\text{Prob}}_{S,S',\sigma} \left[ \sup_{h \in \mathcal H} \frac 1 m \left| \sum_{i=1}^m \sigma_i \left({\bf 1}_{\{h({\bf x}_i) \neq y_i\}} - {\bf 1}_{\{h({\bf x}'_i) \neq y'_i\}}\right) \right| > \epsilon/2 \right]\\ &\leq& \mathop{\text{Prob}}_{S,S',\sigma} \left[ \left\{ \sup_{h \in \mathcal H} \frac 1 m \left| \sum_{i=1}^m \sigma_i {\bf 1}_{\{h({\bf x}_i) \neq y_i\}} \right| > \epsilon/4 \right\} \text{ or } \left\{ \sup_{h \in \mathcal H} \frac 1 m \left| \sum_{i=1}^m \sigma_i {\bf 1}_{\{h({\bf x}'_i) \neq y'_i\}} \right| > \epsilon/4 \right\} \right]\\ &\leq& 2 \cdot \mathop{\text{Prob}}_{S,\sigma} \left[ \sup_{h \in \mathcal H} \frac 1 m \left| \sum_{i=1}^m \sigma_i {\bf 1}_{\{h({\bf x}_i) \neq y_i\}} \right| > \epsilon/4 \right] \end{array}

    • Bước 3. thay vì xét cái {\sup_{h\in \mathcal H}} ở vế phải bất đẳng thức trên, ta chỉ cần xét các “dichotomies” của lớp giả thuyết {\mathcal H} trên tập {\{ {\bf x}_i \ | \ ({\bf x}_i, y_i) \in S\}}. Áp dụng bất đẳng thức Hoeffding và union bound là ta sẽ có:

      \displaystyle \mathop{\text{Prob}}_{S,\sigma} \left[ \sup_{h \in \mathcal H} \frac 1 m \left| \sum_{i=1}^m \sigma_i {\bf 1}_{\{h({\bf x}_i) \neq y_i\}} \right| > \epsilon/4 \right] \leq \Pi_{\mathcal H}(m) \cdot 2 \cdot e^{-m\epsilon^2/32}.

      Cụ thể hơn, với mọi {h}, {\sigma_i {\bf 1}_{\{h({\bf x}_i) \neq y_i\}}} là các biến độc lập với trị kỳ vọng bằng {0}, dao động giữa {1} và {-1}. Do đó, bất đẳng thức Hoeffding cho ta biết (conditioning on {S})

      \displaystyle \mathop{\text{Prob}}_\sigma \left[ \frac 1 m \left| \sum_{i=1}^m \sigma_i {\bf 1}_{\{h({\bf x}_i) \neq y_i\}} \right| > \epsilon/4 \left| \right. S \right] \leq 2 \cdot e^{-m\epsilon^2/32}.

      Với một bộ mẫu {S} đã chọn thì tổng số dãy {({\bf 1}_{\{h({\bf x}_1) \neq y_1\}}, \cdots, {\bf 1}_{\{h({\bf x}_m) \neq y_m\}})} khác nhau bị chặn trên bởi {\Pi_{\mathcal H}(m)}. Do đó, union bound hoàn tất bước 3, vì

      \displaystyle \mathop{\text{Prob}}_\sigma \left[ \sup_{h\in \mathcal H} \frac 1 m \left| \sum_{i=1}^m \sigma_i {\bf 1}_{\{h({\bf x}_i) \neq y_i\}} \right| > \epsilon/4 \left| \right. S \right] \leq \Pi_{\mathcal H}(m) \cdot 2 \cdot e^{-m\epsilon^2/32}.

    • Bước 4. Bổ đề Sauer và tính toán cơ bắp hoàn tất chứng minh định lý. Bổ đề Sauer cho biết {\Pi_{\mathcal H}(m) \leq (em/d)^d}. Do đó ta chỉ cần chọn {m} sao cho

      \displaystyle 8 (em/d)^d e^{-m\epsilon^2/32} \leq \delta

      là xong. Dễ thấy rằng {m = \Omega\left( \frac{d}{\epsilon^2}\log\frac{1}{\epsilon} + \frac{1}{\epsilon^2} \log \frac 1 \delta\right)} đủ thỏa.

    \Box ]]> http://www.procul.org/blog/2010/08/30/hm5-d%e1%bb%8bnh-ly-vapnik-chervonenkis-cho-mo-hinh-gi%e1%ba%a3-thuy%e1%ba%bft-khong-nh%e1%ba%a5t/feed/ 12 Trả lời nhanh vài câu hỏi về phân tích thuật toán http://www.procul.org/blog/2010/08/02/tr%e1%ba%a3-l%e1%bb%9di-nhanh-vai-cau-h%e1%bb%8fi-v%e1%bb%81-phan-tich-thu%e1%ba%adt-toan/ http://www.procul.org/blog/2010/08/02/tr%e1%ba%a3-l%e1%bb%9di-nhanh-vai-cau-h%e1%bb%8fi-v%e1%bb%81-phan-tich-thu%e1%ba%adt-toan/#comments Mon, 02 Aug 2010 21:43:07 +0000 NQH http://www.procul.org/blog/?p=2171 Bạn Thắng có vài câu hỏi về phân tích độ phức tạp thuật toán, tôi trả lời vắn tắt dưới đây.

    1) “intractable problems” là gì trong 2 đáp án sau:
    1.a) Là bài toán đã bị chứng minh là cận dưới của độ phức tạp thuật toán là super-polinominal.
    1.b) Là bài toán mà cho đến nay người ta chỉ tìm được thuật toán có độ phức tạp superpolinominal, ngoài ra chưa thể kết luận gì thêm được.
    (Trong trường hợp đáp án là 1.b) thì các bài toán 1.a) có thuật ngữ riêng để gọi không ? Đó là thuật ngữ gì ?)

    2) “intractable problems” không đồng nghĩa với “NP-complete” hoặc “NP-hard”, “intractable problems” là khái niệm không liên quan gì đến NP, NP-hard. Phát biểu này đúng hay sai ?

    3) Có thể xảy ra (dù khả năng là vô cùng nhỏ) NP-hard = NP ?

    4) Phát biểu “Non-Determined Turing Machine là máy có khả năng siêu nhiên: khi nó phải quyết định chuyển trạng thái với nhiều lựa chọn thì nó sẽ biết trạng thái tối ưu để chuyển. Tuy nhiên ngay cả khi có khả năng siêu nhiên nó cũng có thể thất bại.” là đúng hay sai ?

    5) Giả sử có một máy non-determined Turing machine được chạy 2 lần với cùng trạng thái ban đầu. Kết quả của 2 lần chạy có giống nhau không ?

    6) Bài toán: “Liệt kê (in ra màn hình) tất cả các giá trị có thể có của một xâu nhị phân n bit. Tức là liệt kê ra 2^n – 1 xâu: 00…00, 00…01, 00…10, … … … , 11…11.”

    6.1) Theo như định nghĩa “NP problems là các problems mà ta có thể verify lời giải của nó trong thời gian đa thức” thì bài toán trên có là NP không ?

    6.2) Thuật toán giải bài này hiển nhiên phải chứa thao tác in được 2^n – 1 xâu ra màn hình. Nếu mỗi thao tác in ra màn hình chỉ in được 1 xâu thì thuật toán là O(2^n). Liệu có thể nào mà mỗi thao tác in ra màn hình có thể in được f(n) xâu, và do đó thuật toán là O(2^n/f(n)) ? (nếu không thể nào 1 lần in mà in được f(n) xâu thì chứng tỏ độ phức tạp thuật toán của bài toán này có cận dưới là 2^n.)

    7. Người ta nghĩ về máy Turing nhưng lại ngồi gõ bàn phím máy Intel. Liệu trong lịch sử “Theory of computation” có bài báo nào chứng minh: “Máy Turing quả thật có thể mô phỏng hoạt động của máy Intel (giả sử với bộ vi xử lý sơ khai nhất của hãng) mà số bước mô phỏng chỉ bị chậm đi với hệ nhân O(n^k).” Chiều ngược lại thì đơn giản. Điều này được gọi là máy Turing và máy Intel tương đương đa thức với nhau về khả năng tính toán hiệu quả (độ phức tạp thuật toán).

    Trả lời (vắn tắt):

    1. & 2. Tại sao lại cho multiple-choice khi mà bạn chưa biết câu trả lời là gì? (Đây là tôi giả sử bạn hỏi thật lòng, không phải đánh đố.)

    Intractable problems cũng giống như phụ nữ đẹp. Không có một định nghĩa toán học cho “intractability”. Người ta thường (nhưng không phải luôn luôn) dùng “intractable problems” để nói về các bài toán mà lời giải tốt nhất mà ta biết nhiều khả năng là không hoạt động được trên thực tế. Giả sử có bài toán mà thuật toán tốt nhất mà ta biết giải được trong thời gian O(n), nhưng cái hằng số trong big-O bằng tổng số nguyên tử trong vũ trụ, thì bài toán đó là “intractable”.

    3. NP-hard khác NP. Bài toán dừng (halting problem) là NP-hard nhưng không thuộc NP.

    4. Tôi không hiểu câu hỏi. “Thất bại” là sao? “Siêu nhiên” là sao? Một trong những cách hiểu NTM là nó là cái máy “may mắn” tuyệt đối.

    5. NTM chỉ là một công cụ toán học để mô tả sức mạnh và giới hạn của một kiểu tính toán, không thể “chạy” nó được như DTM (cái dùng để mô hình hóa một quá trình tính toán cụ thể và vì thế có thể chạy được).

    6.1. Bài toán “in” của bạn không phải là decision-problem, chẳng thuộc P hay NP hay EXP.

    6.2. Tùy theo mô hình tính toán của bạn là gì. Nếu cụm từ “in ra màn hình” ý nói đến việc “Máy Turing ghi từng bit ra output tape” thì dĩ nhiên độ phức tạp thời gian của bài toán ít nhất là n2^n. Điều đó không có gì ngạc nhiên cả. (Đó là giả sử unary-input, nếu binary input thì thời gian còn tệ hơn nhiều.)

    7 Tính tương đương của máy tính hiện đại dùng bộ vi xử lý mới nhất thì chưa ai chứng minh. Nhưng cũng không cần phải chứng minh. Những thứ có cấu hình tương tự như một máy tính hiện đại (ví dụ như lớp các mô hình Register Machine, và trường hợp đặc biệt là Random Access Machine) thì người ta đã chứng minh lâu rồi. Nói chung, trừ phi bộ vi xử lý mới toanh của Intel có thể tính được một hàm số nào mà TM không tính được, sự tương đương là hiển nhiên. Các tập lệnh kiểu cộng trừ nhân chia, if .. then .. else, goto đều có thể mô phỏng được bằng TM hết.

    ]]>     http://www.procul.org/blog/2010/08/02/tr%e1%ba%a3-l%e1%bb%9di-nhanh-vai-cau-h%e1%bb%8fi-v%e1%bb%81-phan-tich-thu%e1%ba%adt-toan/feed/ 11     PCP 10 — Biến đổi Fourier, định lý Arrow và tính duy lý của sự độc tài http://www.procul.org/blog/2010/07/29/pcp10/ http://www.procul.org/blog/2010/07/29/pcp10/#comments Thu, 29 Jul 2010 12:30:51 +0000 NQH http://www.procul.org/blog/?p=2160 Trong bài này chúng ta giới thiệu biến đổi Fourier trên các nhóm Abel hữu hạn, giải tích Fourier của các hàm Bool, và giới thiệu lý thuyết bầu cử cùng với chứng minh định lý Arrow về tính duy lý của sự độc tài.

    Như vậy chúng ta đã có chuyến “de-tour” sang các phép xây dựng đồ thị expanders, tính chất của chúng, và tích zig-zag. Đáng lẽ bài kế tiếp này tôi định viết về kết quả {\mathsf{L = SL}} của Omer Reingold hồi 2005. Nhưng lại thôi vì thật ra nếu hiểu tích zig-zag rồi thì hiểu chứng minh của Reingold không khó khăn gì. Năm đó có chú Vladimir Trifonov rất ư là “xui”. Số là cả Trifonov và Reingold đều có kết quả rất tốt cho bài toán tìm sự liên thông trên đồ thị vô hướng (undirected st-connectivity). Dĩ nhiên ta có thể dùng BFS/DFS để giải bài này, nhưng tổng bộ nhớ cần thiết là {O(n)}. Định lý Savich (1970) nói rằng có thể giải bài này dùng {O(\log^2n)}-bộ nhớ. Mấy mươi năm sau đó thì có vài kết quả tốt dần lên, cho đến {O(\log^{4/3}n)} của Armoni–Ta-Shma–Wigderson–Zhou năm 1997. Trifonov cải tiến đến {O(\log n \log\log n)}, còn Reingold chứng minh được {O(\log n)} luôn. Trifonov xui là vì nếu không có kết quả của Reingold thì kết quả của Trifonov thật sự là một phát triển rất mạnh (từ log xuống log-log). Kết quả là Reingold được giải bài báo hay nhất, còn Trifonov được giải bài báo sinh viên hay nhất cho STOC 2005.

    Để chuẩn bị kiến thức nền cho mấy bài tới, chúng ta lại làm thêm một chuyến de-tour nữa, sang món giải tích Fourier của các hàm nhị phân. Để giải trí, ta chứng minh định lý Arrow về tính duy lý của sự độc tài bằng phân tích Fourier.

    9. Biểu diễn nhóm và biến đổi Fourier

    9.1. Các ký tự bất khả qui của nhóm Abel hữu hạn

    Trong chuỗi bài về nhân ma trận đang viết dở, tôi đã tóm tắt lại một số kiến thức cơ bản về lý thuyết biểu diễn nhóm. Xem thêm bài này của HT THT. Ta sẽ thu thập lại vài kết quả cần thiết để dùng trong bài này và trong một bài tương lai khi ta phân tích cái expander của Margulis.

    Các biểu diễn bất khả qui của một nhóm Abel bất kỳ đều là các biểu diễn với số chiều bằng một. Nếu nhóm có {n} phần tử thì có {n} ký tự trực giao. Nhóm tuần toàn là một nhóm Abel. Nhóm tuần hoàn {\mathbb Z_n} có đúng {n} ký tự (characters) {\chi_a, a\in \mathbb Z_n}. Mỗi ký tự {\chi_a} là một vector trong không gian vector phức {\mathbb C^n}, định nghĩa là {\chi_a(b) = \omega_n^{ab}}, trong đó {\omega_n = e^{2\pi i/n}}. Các ký tự này là một hệ trực chuẩn theo tích Hermit này:

    \displaystyle \langle \chi_a, \chi_b \rangle = \frac{1}{n} \sum_{c \in \mathbb Z_n} \overline{\chi_a(c)}\chi_b(c) = \delta_{ab}.

    Định lý cơ bản của các nhóm Abel hữu hạn cho ta biết một nhóm Abel {G} hữu hạn bất kỳ đều có thể viết dưới dạng tổng trực tiếp của các nhóm tuần hoàn: {G \cong \mathbb Z_{m_1} \oplus \cdots \oplus \mathbb Z_{m_k}}. Các biểu diễn bất khả qui của nhóm {G} là tăng sờ của các biểu diễn bất khả qui của các nhóm tuần hoàn {\mathbb Z_{m_i}}. Các ký tự bất khả qui của nhóm {G} là tích tăng sờ của các ký tự bất khả qui của các nhóm tuần hoàn {\mathbb Z_{m_i}}. Với mỗi {{\bf a} = (a_1, \cdots, a_k) \in Z_{m_1} \oplus \cdots \oplus \mathbb Z_{m_k}}, ta có một ký tự bất khả quy {\chi_{\bf a}} của nhóm {G} định nghĩa như sau: với một “tọa độ” {{\bf b} = (b_1, \cdots, b_k) \in Z_{m_1} \oplus \cdots \oplus \mathbb Z_{m_k}} thì

    \displaystyle \chi_{\bf a}({\bf b}) = \prod_{i=1}^k \omega_{m_i}^{a_ib_i}= \omega_{m_1}^{a_1b_1}\cdots \omega_{m_k}^{a_kb_k}.

    Một trường hợp đặc biệt của nhóm Abel hữu hạn rất quan trọng trong chuỗi bài này và trong KHMT nói chung là {G = \mathbb Z_2^n = \{0,1\}^n}. Có thể nghĩ về mỗi phần tử của {G} như một đỉnh của khối {n}-cube, hoặc là một phép gán sự thật (truth assignment) vào {n} biến, hoặc là một tập con {S \subseteq [n]} trong đó {S} là tập các tọa độ bằng {1} của phần tử. Ở đây, nhóm {G} có {N = 2^n} phần tử, và vì thế {N} ký tự bất khả qui. Do {\omega_2 = -1}, với mỗi cặp {{\bf a, b} \in \mathbb Z_2^n} ta có {\chi_{\bf a}({\bf b}) = (-1)^{{\bf a \cdot b}}}.

    Thay vì dùng {{\bf a, b}} để đánh chỉ số các ký tự và các tọa độ của chúng, ta có thể dùng các tập con {A, B} của {[n]} để đánh chỉ số, trong đó {A = \{i \ | \ a_i=1\}}, và {B = \{i \ | \ b_i = 1\}}. Theo cách này, bộ các ký tự có thể định nghĩa bằng {\chi_{A}(B) = (-1)^{|A \cap B|}}. Còn nếu chúng ta dùng {{\bf b} \in \mathbb Z_2^n} làm tọa độ thì {\chi_A({\bf b}) = (-1)^{\sum_{i\in A}b_i}}. Bạn nên làm quen với việc chuyển qua lại giữa các tập con của {[n]} và các vectors của {\mathbb Z_2^n}.

    Lý do chính chúng ta quan tâm đến các ký tự bất khả qui của nhóm {\mathbb Z_2^n} là như sau. Trong phân tích độ khó xấp xỉ, chúng ta thường quan tâm đến các hàm Bool (hàm nhị phân) gồm {n} biến nhị phân loại {f: \{0,1\}^n \rightarrow \{0, 1\}}. Mỗi hàm loại này có thể xem là một vector trong không gian {\{0,1\}^N}. Dĩ nhiên, chúng cũng là các vectors trong không gian {\mathbb R^N} và {\mathbb C^N}. Như đã nói ở trên, các ký tự bất khả qui là một cơ sở trực chuẩn của không gian {\mathbb C^N}. Vì thế, một hàm nhị phân {n} biến bất kỳ, nếu viết thành một vector trong không gian {\mathbb C^N}, đều là tổ hợp tuyến tính của các ký tự bất khả qui.

    Thay vì làm việc trên không gian vector {\mathbb C^N}, chúng ta cũng có thể làm việc trên không gian (tuyến tính) của hàm số {f: \{0,1\}^n \rightarrow \mathbb C}. Chúng tương đương với nhau. Hàm {f: \{0,1\}^n \rightarrow \mathbb C} bất kỳ đều có thể biểu diễn dưới dạng

    \displaystyle f({\bf y}) = \sum_{S \subseteq [n]} \hat f_S \chi_S({\bf y}) = \sum_{S\subseteq [n]} \hat f_S (-1)^{\sum_{i\in S}y_i}.

    Để cái đám {y_i} trên số mũ thì hơi khó chịu. Chúng ta đổi biến. Đặt {x_i = (-1)^{y_i}}. Nghĩa là nếu {y_i = 0} (FALSE) thì {x_i = 1}, còn {y_i = 1} (TRUE) thì {x_i = -1}. Thì mọi hàm {f: \{-1, 1\}^n \rightarrow \mathbb C} đều có thể viết dưới dạng

    \displaystyle f({\bf x}) = \sum_{S\subseteq [n]} f_S \chi_S({\bf x}),

    trong đó (lạm dụng ký hiệu một chút) {\chi_S: \{-1,1\}^n \rightarrow \{-1,1\}} là một hàm đơn thức

    \displaystyle \chi_S({\bf x}) = \chi_S(x_1,\cdots,x_n) = \prod_{i\in S} x_i.

    Đám {\chi_S} bây giờ gọi là hệ cơ sở đơn thức (monomial basis) của các hàm {f: \{-1,1\}^n \rightarrow \mathbb C}. Nhớ rằng cái hệ cơ sở đơn thức này là một hệ cơ sở trực chuẩn của không gian các hàm {f: \{-1,1\}^n \rightarrow \mathbb C}. Trong đó, “tích vô hướng” của hai hàm {f, g} bất kỳ được định nghĩa là

    \displaystyle \langle f, g \rangle = \frac{1}{2^n} \sum_{{\bf x} \in \{-1,1\}^n} f({\bf x}) \overline{g({\bf x})} = \mathop{\textnormal{E}}_{\bf x}[f({\bf x})\overline{g({\bf x})}],

    trong đó trị kỳ vọng ở vế phải tính trên phân bố đều của các vectors {{\bf x} \in \{-1,1\}^n}. Chúng ta sẽ thấy rằng hiểu tích vô hướng của hai hàm như trị kỳ vọng của tích rất hữu dụng về sau.

    9.2. Biến đổi Fourier

    Ý tưởng chính của biến đổi Fourier rời rạc chỉ là một phát biểu cơ bản của đại số tuyến tính: các vector trong một không gian vector đều là tổ hợp tuyến tính của một hệ cơ sở của không gian đó. (Xem thêm bài của Terry Tao giới thiệu về biến đổi Fourier. Một chương của quyển sách mới của bác Văn với Terry cũng giới thiệu cách dùng giải tích điều hòa — harmonic analysis — trong toán tổ hợp cộng tính — additive combinatorics.)

    Trong ngữ cảnh của chúng ta, mỗi hàm {f: \{-1,1\}^n \rightarrow \mathbb R} đều là tổ hợp tuyến tính của các hàm đơn thức:

    \displaystyle f({\bf x}) = \sum_{S\subseteq [n]} \hat f_S \chi_S({\bf x}),

    Tổ hợp này là duy nhất. Các hệ số {\hat f_S = \langle f, \chi_S \rangle} gọi là các hệ số Fourier của {f}. Chúng là các số thực vì {f} và {\chi_S} là các vectors thực. Từ giờ trở đi chúng ta có thể làm việc luôn trên không gian {\mathbb R^N} thay vì {\mathbb C^N} và không cần cái liên hợp (conjugate) khi tính tích vô hướng của hai vectors nữa. Hệ cơ sở đơn thức {\chi_S} cũng được gọi là hệ cơ sở Fourier.

    Hai đẳng thức cơ bản nhất của biến đổi Fourier là

    Bài tập. chứng minh hai đẳng thức trên từ định nghĩa và tính trực chuẩn của các {\chi_S}.

    10. Luật bầu cử và biến đổi Fourier cho các hàm nhị phân

    Trong trường hợp hàm nhị phân {f: \{-1,1\}^n \rightarrow \{-1,1\}} thì {f^2({\bf x}) = 1} với mọi {\bf x}, vì thế đẳng thức Parseval cho

    \displaystyle \sum_{S\subseteq [n]} \hat f^2_S = \mathop{\textnormal{E}}_{\bf x}[f^2({\bf x})] = 1.

    Có thể nghĩ về một hàm nhị phân như một “luật” bầu cử. Có {n} phiếu bầu {x_i} cho hai ứng cử viên {1} và {-1}. Hàm {f} trả về người thắng cử. Sau đây là một số hàm (luật) bầu cử hay thấy trên thực tế:

    • {\text{Maj}_n} là hàm bầu đa số, chỉ định nghĩa với {n} lẻ, trả về {1} nếu đa số các “phiếu” là {1} và ngược lại.
    • {\text{Dict}_i} là hàm độc tài (dictator) thứ {i}, trả về phiếu bầu của {x_i}, nghĩa là {\text{Dict}_i({\bf x}) = x_i}.
    • {\text{Const}_1} và {\text{Const}_{-1}} là các hàm hằng số (hay hàm “đảng cử, dân bầu”), luôn trả về giá trị đảng cử {1} hoặc {-1}.

    Ta cũng có thể định nghĩa một số hàm khác như hàm chẵn lẻ, hàm “electoral college” (như trong luật bầu cử của Mỹ), vân vân. Xem bài này của Ryan O’Donnell để thêm một số ví dụ.

    Với một luật bầu cử nhất định, chúng ta muốn biết nhiều thuộc tính của nó.

    • Nó có thiên vị không? Thiên vị ở đây được hiểu như sau, nếu ta lấy một bộ {n} phiếu bầu ngẫu nhiên thì xác suất mà kết quả là {1} hoặc {-1} khác nhau cỡ nào. Một luật bầu là “công bằng” nếu hai xác suất này bằng nhau. Do đó, ta định nghĩa sự thiên vị của hàm {f} bằng

      \displaystyle \mathop{\textnormal{Prob}}_{\bf x}[f({\bf x})=1] - \mathop{\textnormal{Prob}}_{\bf x}[f({\bf x})=-1] = \mathop{\textnormal{E}}_{\bf x}[f({\bf x})].

      Đến đây thì ta thấy phân tích Fourier có lợi thế nào. Do hàm {\chi_{\emptyset} = 1}, độ thiên vị của {f} là

      \displaystyle \mathop{\textnormal{E}}_{\bf x}[f({\bf x})] = \mathop{\textnormal{E}}_{\bf x}[f({\bf x})\chi_{\emptyset}({\bf x})] = \hat f_\emptyset.

      Độ thiên vị của {f} chính là hệ số Fourier thứ nhất! Dễ thấy rằng các hàm đảng cử/dân bầu có thiên vị là {\pm 1}. Các hàm độc tài và hàm đa số có độ thiên vị bằng {0}.

    • Ảnh hưởng của một phiếu nào đó ra sao? Nếu Tám Tàng đổi phiếu từ {-1} sang {1} thì kết quả bị đổi thế nào? Với bộ phiếu {{\bf x}}, gọi {{\bf x}^{\oplus i}} là bộ phiếu mà ta đổi phiếu {x_i} lại. Thì tầm ảnh hưởng của phiếu thứ {i} trên kết quả được định nghĩa là

      \displaystyle \text{Inf}_i(f) := \mathop{\textnormal{Prob}}_{\bf x}[f({\bf x}) \neq f({\bf x}^{\oplus i})].

      Trong lý thuyết chọn lựa xã hội (social choice theory) thì tầm ảnh hưởng này còn được gọi là Banzhaf power index hoặc Banzhaf-Penrose index. Chỉ số này đã được dùng trong một vài phiên tòa về bầu cử. Các hệ số Fourier lại giúp ta:

      \displaystyle \text{Inf}_i(f) = \sum_{i \in S} \hat f^2_S.

      (bài tập!)

      Dễ thấy rằng tầm ảnh hưởng của các hàm đảng cử là {0}, tầm ảnh hưởng của hàm độc tài là {0} cho tất cả trừ anh độc tài có ảnh hưởng bằng {1}. Tầm ảnh hưởng của hàm đa số thì mất công hơn một chút. Dùng xấp xỉ Stirling ta tính được nó bằng khoảng {\sqrt{\frac{2}{\pi n}}}.

    • Ảnh hưởng của nhiễu ra sao? Khi ghi lại cả triệu phiếu bầu thì xác suất mà một phiếu bị ghi sai không bỏ qua được. Gọi xác suất này là {\epsilon} chẳng hạn. Giả sử ta lấy một bộ phiếu bầu {\bf x} hoàn toàn ngẫu nhiên. Gọi {\bf y} là bộ phiếu đạt được bằng cách lật mỗi phiếu {x_i} với xác suất {\epsilon}. Dễ thấy, với mọi {i},

      \displaystyle \mathop{\textnormal{E}}[x_iy_i] = 1-2\epsilon.

      Do đó cặp {(\bf x, y)} được gọi là {(1-2\epsilon)}-correlated. Độ ổn định nhiễu của {f} tại {(1-2\epsilon)} được định nghĩa là

      \displaystyle \text{Stab}_{1-2\epsilon}(f) = \mathop{\textnormal{E}}_{\stackrel{{\bf x, y}}{(1-2\epsilon)-\text{cor}}} [f({\bf x})f({\bf y})] = \mathop{\textnormal{Prob}}_{\bf x}[f({\bf x}) = f({\bf y})] - \mathop{\textnormal{Prob}}_{\bf x}[f({\bf x}) \neq f({\bf y})].

      Ngược lại:

      \displaystyle \mathop{\textnormal{Prob}}_{\bf x}[f({\bf x}) = f({\bf y})] = \frac 1 2 + \frac 1 2 \text{Stab}_{1-2\epsilon}(f).

      Ta cũng tính được độ ổn định nhiễu dùng các hệ số Fourier:

      \displaystyle \text{Stab}_{1-2\epsilon}(f) = \sum_{S\subseteq [n]} (1-2\epsilon)^{|S|} \hat f_S^2.

      (bài tập!)

      Độ ổn định nhiễu của các hàm đảng cử là {1}, của hàm độc tài thứ {i} là {1-2\epsilon}. Độ ổn định nhiễu của hàm đa số là thú vị nhất. Có thể chứng minh được điều sau đây:

      \displaystyle \lim_{n \rightarrow \infty} \text{Stab}_{1-2\epsilon}(\text{Maj}_n) = 1 - \frac 2 \pi \arccos(1-2\epsilon).

      Nếu ta dùng xấp xỉ {\arccos(1-2\epsilon) \approx 2\sqrt{\epsilon}} (khá tốt khi {\epsilon} nhỏ) thì ta thấy rằng cái nhiễu {\epsilon} dẫn đến xác suất khoảng {\frac{2}{\pi} \sqrt{\epsilon}} là kết quả bầu cử bị thay đổi.

    11. Định lý Arrow và tính duy lý của sự độc tài

    Marquis de Condorcet là một triết gia, nhà toán học, và nhà khoa học chính trị người Pháp sống ở thế kỷ 18. Năm 1785, ông viết bài “Essay on the Application of Analysis to the Probability of Majority Decisions” có ảnh hưởng sâu rộng đến lý thuyết chọn lựa xã hội, kinh tế học, và hiện nay đến các thuật toán xếp hạng quảng cáo của các công ty như Google, Yahoo, Microsoft. Condorcet là một trong những người đầu tiên mang (tính chặt chẽ của) toán học vào nghiên cứu khoa học xã hội. Ông tham gia cách mạng Pháp, viết vài quyển sách bất hủ ủng hộ cho tinh thần Khai Sáng. Ông bị bắt giam gần một năm, và mất trong tù. Nhiều khả năng là do tự uống thuốc độc.

    Ông khám phá ra “nghịch lý Condorcet”. Đại để cái nghịch lý này như sau. Giả sử nhà nước cần đầu tư vào ngành đóng tàu (ĐT), cầu đường (CĐ), hoặc giáo dục (GD). Nhà nước làm trưng cầu dân ý. Mỗi người cho biết xếp hạng của riêng mình về tầm quan trọng của ba thứ này. Ví dụ, anh Tám Tàng bảo tôi nghĩ GD trước, rồi đến CĐ, rồi đến ĐT. Anh Bảy Xị cho một thứ tự khác, vân vân. Thì có khả năng là đa số mọi người xếp GD trên CĐ, đa số xếp CĐ trên ĐT, và đa số xếp ĐT trên GD. Đó là tính phi lý của chọn lựa xã hội. Khi biết cái nghịch lý Condorcet rồi, chúng ta đọc các thống kê xã hội cẩn thận hơn. Obama với McCain cãi nhau, đều lôi thống kê ra. Một ông bảo phải đầu tư cái này do đa số dân chúng ủng hộ cái này hơn cái kia, McCain bảo cái kia hơn cái nọ. Chúng ta nên nghĩ ngay đến khả năng vô lý của chọn lựa xã hội. Có khả năng cả Obama lẫn McCain đều đúng, nhưng đều vô lý.

    Đến năm 1950, Kenneth Arrow (giải Nobel kinh tế 1972) viết một bài báo rất nổi tiếng về các luật bầu cử, trong đó ông chứng minh định lý Arrow nói rằng hàm độc tài là luật bầu cử duy nhất có tính “duy lý” tuyệt đối. Chúng ta sẽ chứng minh định lý Arrow bằng giải tích Fourier.

    Để đơn giản (nhưng không mất tính tổng quát) ta giả sử xã hội có 3 đề mục A, B, C cần xếp hạng bằng bầu cử (GD-CĐ-ĐT, hoặc Obama-McCain-Nader, hoặc cơm-sữa-bia). Người thứ {i} bầu 3 phiếu: phiếu {x_i} chọn A hơn B ({x_i = 1}) hoặc B hơn A ({x_i=-1}), {y_i} chọn giữa B và C, và {z_i} chọn giữa C và A. Nếu anh nào xếp hạng vòng tròn (A hơn B, B hơn C, và C hơn A) thì anh ấy bị chập, không cho bầu. Do đó chúng ta giả sử là ba phiếu bầu {x_i, y_i, z_i} của người thứ {i} mang tính duy lý. Nói cách khác, bộ ba {(x_i, y_i, z_i)} là duy lý nếu và chỉ nếu chúng không cùng bằng {1} hoặc {-1}.

    Như vậy, nếu có {n} người thì ta có ba vectors {{\bf x, y, z} \in \{-1,1\}^n}. Từ ba vectors này, “luật” bầu cử sẽ phải tính xem xã hội xếp hạng A, B, C như thế nào, nghĩa là xã hội thích cái nào hơn giữa A và B, giữa B và C, và giữa C và A. Luật bầu cử sẽ phải thỏa mãn một số tiên đề nhất định:

    • Tính nhất trí (còn gọi là hiệu suất Pareto): nếu mỗi người đều thích A hơn B thì xã hội cũng phải chọn A hơn B.
    • Không độc tài: xếp hạng của xã hội không thể luôn giống hệt như xếp hạng của một anh Bảy Xị nào đó.
    • Sự độc lập của các chọn lựa không liên quan (independence of irrelevant alternatives — IIA): việc xã hội xếp hạng A hơn B hay B hơn A thì độc lập với thứ hạng của anh C trong các chọn lựa cá nhân.
    • Tính duy lý: xã hội không thể xếp hạng quẩn quanh theo vòng tròn (A hơn B, B hơn C, và C hơn A).

    Arrow chứng minh rằng không có hàm nào thỏa cả bốn điều kiện trên, cho dù các cá nhân đều duy lý. (Bài báo của Arrow khá là dài dòng văn tự. Với mỗi giả thuyết, tiên đề, ông lại đá sang triết lý và vài kết quả trước đó.) Định lý của Arrow thật sự là một định lý mang tính tổ hợp, và có các chứng minh tổ hợp ngắn gọn cho nó.

    Chúng ta sẽ chứng minh định lý Arrow bằng phân tích Fourier. Chứng minh này là phát kiến tuyệt vời của Gil Kalai.

    Từ giả thiết IIA, ta kết luận rằng chọn lựa xã hội có thể đúc kết bằng ba hàm số {f({\bf x}): \{-1,1\}^n \rightarrow \{-1,1\}}, {g({\bf y})}, và {h({\bf z})}. Hàm {f} cho ta biết xã hội thích A hơn hay B hơn, {g} xếp hạng B và C, và {h} xếp hạng C và A.

    Từ tính nhất trí và tính duy lý, ta sẽ chứng minh rằng {f=g=h}. Tính duy lý nói rằng không thể tồn tại các vectors {{\bf x, y, z}}, mỗi bộ {(x_i,y_i,z_i)} đều duy lý, mà lại cho ra kết quả phi lý {f({\bf x}) = g({\bf y}) = h({\bf z})}. Xét bộ ba {{\bf x}, {\bf y = -x}}, và {{\bf z} = (f({\bf x}), \cdots, f({\bf x})}. Do tính nhất trí ta có {h({\bf z}) = f({\bf x})}. Như vậy {g({\bf y})} phải khác với {f({\bf x})}. Nghĩa là {g(-{\bf x}) = -f({\bf x})} với mọi {{\bf x}}. Tương tự ta có {g(-{\bf x}) = -h({\bf x})} với mọi {{\bf x}}. Do đó {f=h}. Tương tự ta có {f=g=h}.

    Bây giờ giả sử tồn tại hàm {f} sao cho, với bất kỳ bộ ba duy lý {({\bf x, y, z})} nào, cái chọn lựa xã hội {(f({\bf x}), f({\bf y}), f({\bf z}))} cũng duy lý. Ta sẽ chứng minh rằng {f} phải là hàm độc tài. Với mỗi cá nhân {i}, chọn bộ ba {(x_i,y_i,z_i)} ngẫu nhiên từ một trong 6 bộ ba duy lý {(1,1,-1)}, {(1,-1,1)}, {(1,-1,-1)}, {(-1,1,1)}, {(-1,-1,1)}, và {(-1,1,-1)}. Ta sẽ có một bộ ba vectors {({\bf x, y, z})} duy lý. Xác suất mà {(f({\bf x}), f({\bf y}), f({\bf z}))} là duy lý phải bằng {1}, nếu luật bầu cử {f} là duy lý trong mọi trường hợp.

    Định nghĩa hàm {\textnormal{NAE}(a,b,c): \{-1,1\}^3 \rightarrow \{0,1\}} như sau. (NAE là “not all equal”.) {\textnormal{NAE}(a,b,c) = 0} nếu và chỉ nếu {a=b=c}. Khai triển Fourier của hàm này là

    \displaystyle \textnormal{NAE}(a,b,c) = \frac 3 4 - \frac 1 4 ab-\frac 1 4 bc-\frac 1 4 ca.

    Như vậy, xác suất mà {(f({\bf x}), f({\bf y}), f({\bf z}))} là duy lý sẽ bằng

    \displaystyle \mathop{\textnormal{E}}_{{\bf x,y,z}}[\text{NAE}(f({\bf x}), f({\bf y}), f({\bf z})] = \frac 3 4 - \frac 1 4 \text{E}[f({\bf x})f({\bf y})] - \frac 1 4 \text{E}[f({\bf y})f({\bf z})] - \frac 1 4 \text{E}[f({\bf z})f({\bf x})].

    Do {{\bf x, y, z}} có vai trò như nhau, ta kết luận

    \displaystyle \mathop{\textnormal{E}}_{{\bf x,y,z}}[\text{NAE}(f({\bf x}), f({\bf y}), f({\bf z})] = \frac 3 4 - \frac 3 4 \text{E}[f({\bf x})f({\bf y})].

    Nhớ rằng trị kỳ vọng được tính từ cách lấy các bộ ba duy lý {{\bf x, y, z}} như mô tả ở trên. Từ đó dễ thấy rằng {{\bf x,y}} là một cặp {(-1/3)}-correlated. Do đó

    \displaystyle \text{E}[f({\bf x})f({\bf y})] = \text{Stab}_{-1/3}(f) = \sum_{S\subseteq [n]} (-1/3)^{|S|} \hat f_S^2.

    Để cho gọn, ta định nghĩa {W_k(f) = \sum_{|S|=k|}\hat f^2_S}. Nhớ rằng {\sum_S \hat f_S^2 = 1}, do đó {\sum_k W_k(f)=1}. Do đó, xác suất mà {(f({\bf x}), f({\bf y}), f({\bf z}))} là duy lý bằng

    \displaystyle \frac 3 4 - \frac 3 4 \sum_{k=0}^n (-1/3)^k W_k(f) = \frac 3 4 - \frac 3 4 W_0(f) + \frac{1}{4}W_1(f) - \frac{1}{12} W_2(f) + \frac{1}{36} W_3(f) \cdots

    Xác suất này chỉ có thể bằng {1} nếu {W_1(f)=1} và {W_k(f)=0} với mọi {k\neq 1}. Nhưng {W_1(f)=1} nếu và chỉ nếu {f = \text{Dict}_i} hoặc {f = -\text{Dict}_i} với {i} nào đó. Nhưng {f} phải thỏa tính nhất trí, do đó {f = \text{Dict}_i}. Và đó là tính duy lý của sự độc tài.

    Chứng minh định lý Arrow bằng phương pháp này không chỉ để cho vui. Chứng minh cũ của Arrow không cho chúng ta biết xác suất sự phí lý của chọn lựa xã hội là bao nhiêu. Phân tích Fourier cho chúng ta biết, nếu ta dùng hàm đa số, khi {n} tiến đến vô cùng thì xác suất có chọn lựa xã hội duy lý là

    \displaystyle \frac 3 4 - \frac 3 4\left(1-\frac 2 \pi \arccos(-1/3)\right) \approx .912.

    Con số {.912} này gọi là số Guilbaud. Chúng ta không những biết nghịch lý Condorcet có thể xảy ra mà còn biết cả xác suất của nó. Còn nhiều điều hay ho nữa từ chứng minh này, nhưng để dịp khác. Bài tới ta bàn về cái PCP của Hastad.

    ]]>     http://www.procul.org/blog/2010/07/29/pcp10/feed/ 13     Mật mã dưới góc nhìn độ phức tạp tính toán http://www.procul.org/blog/2009/09/20/m%e1%ba%adt-ma-d%c6%b0%e1%bb%9bi-goc-nhin-d%e1%bb%99-ph%e1%bb%a9c-t%e1%ba%a1p-tinh-toan/ http://www.procul.org/blog/2009/09/20/m%e1%ba%adt-ma-d%c6%b0%e1%bb%9bi-goc-nhin-d%e1%bb%99-ph%e1%bb%a9c-t%e1%ba%a1p-tinh-toan/#comments Sun, 20 Sep 2009 11:35:04 +0000 Phan Dương Hiệu http://www.procul.org/blog/?p=1713 Bài này thảo luận mối liên hệ mất thiết giữa lý thuyết mật mã và lý thuyết độ phức tạp tính toán.

    I. Khởi động: Bài toán quyết định và bài toán tìm kiếm (Decision versus Search)

    Trong thực tế, khi có một bài toán, ta thường quan tâm tới việc tìm ra lời giải cho bài toán đó hơn là xem xét liệu bài toán đó có tồn tại lời giải hay không. Tuy nhiên, trong lý thuyết độ phức tạp tính toán, ta lại toàn bắt gặp các bài toán quyết định (chẳng hạn như với \mathsf{SAT} là xem 1 công thức có thỏa được hay không) mà ít chú ý đến việc tìm kiếm lời giải (tìm một phép gán giá trị cho các biến để công thức là thỏa được). Các lớp phổ biến \mathbf{P, NP, EXP},… đều là các lớp các bài toán quyết định. Điều đó hẳn làm chúng ta băn khoăn tự hỏi, lý do nào mà ta thường ít nói tới các bài toán tìm kiếm? Một số lý do cơ bản (tất nhiên có thể có nhiều lý do khác) là như sau :
    - Nếu lý thuyết thuật toán là đưa ra cận trên (upper bound) của sự phức tạp để giải quyết một bài toán (thực vậy, khi ta có thiết kế một thuật toán để giải một bài toán, thì đồng thời độ phức tạp của thuật toán đó cho ta một cận trên để giải bài toán) thì lý thuyết độ phức tạp nghiên cứu chủ yếu cận dưới (lower bound) hay độ khó tối thiểu để giải một bài toán. Bài toán quyết định hiển nhiên không thể khó hơn bài toán tìm kiếm nên nếu ta chứng minh được bài toán quyết định là khó thì nghiễm nhiên bài toán tìm kiếm cũng khó theo. Do vậy, dù gì cũng nên nghiên cứu độ khó của bài toán quyết định trước.
    - Trong nhiều bài toán ta có sự “tương đương” giữa bài toán quyết định và bài toán tìm kiếm nên chỉ cần nghiên cứu bài toán quyết định. Thực tế, tất cả các bài toán trong lớp NP-đầy đủ đều có tính chất này. Kỹ thuật qui dẫn một bài toán tìm kiếm về bài toán quyết định thường là dùng cách phương pháp tìm kiếm nhị phân. Chẳng hạn đối với \mathsf{SAT}, giả sử ta giải được bài toán quyết định xác định một công thức thỏa được hay không, khi đó ta cũng có thể tìm một phép gán giá trị các biến để công thức thỏa được như sau: cho biến đầu tiên giá trị đúng ; nếu công thức giản lược là thỏa được thì ta tiếp tục tìm phép gán cho biến thứ hai, nếu không ta cho biến đầu giá trị sai và tiếp tục với công thức giản lược cho trường hợp này; chỉ sau n bước như vậy (n = số biến) là ta có được phép gán giá trị cho tất cả các biến.
    - Ta tạm gọi (sẽ định nghĩa chính xác dưới đây) lớp bài toán tìm kiếm tương ứng với các lớp bài toán quyết định \mathbf{P, NP} là \mathbf{FP, FNP} (Function \mathbf{P}, Function \mathbf{NP}). Khi đó ta có thể chứng minh được \mathbf{P}=\mathbf{NP} khi và chỉ khi \mathbf{FP}=\mathbf{FNP}. Như vậy tình trạng đối với các bài toán tìm kiếm cũng tương tự như các bài toán quyết định: tìm kiếm lời giải cho một bài toán \mathbf{NP} thực hiện được trong thời gia đa thức khi và chỉ khi bài toán quyết định cũng thực hiện được trong thời gian đa thức. Do vậy nghiên cứu vấn đề nổi cộm “\mathbf{P} vs. \mathbf{NP}” là bao quát được vấn đề chung.

    Tuy vậy, những lý do trên chưa đủ thuyết phục để ta hoàn toàn quên đi các bài toán tìm kiếm. Vẫn có nhiều bài toán tìm kiếm có vẻ thực sự khó hơn là quyết định (chẳng hạn Bellare và Goldwasser chứng minh rằng, dưới giả thiết khá hợp lý (\mathbf{EE} \neq \mathbf{NEE}), có những ngôn ngữ \mathbf{NP} mà ở đó bài toán tìm kiếm không thể qui dẫn về bài toán quyết định). Một số ví dụ khác liên quan đến mật mã nơi chủ yếu dựa trên các bài toán không phải NP-đầy đủ (phân tích thành thừa số nguyên tố chẳng hạn) và do vậy, bài toán tìm kiếm có thể rất khác bài toán quyết định.

    Trong bài này, chúng ta sẽ xem xét lớp các bài toán tìm kiếm \mathbf{FP, FNP} và sự liên quan tới mật mã. Sự liên hệ giữa các lớp bài toán \mathbf{FP, FNP} và \mathbf{P, NP} cuối cùng giúp chúng ta có một liên hệ giữa sự tồn tại của mật mã với câu hỏi trọng tâm của lý thuyết độ phức tạp – “\mathbf{P} vs. \mathbf{NP}“.

    I.1 Lớp bài toán \mathbf{FNP, FP}

    Một cách nôm na, cho một ngôn ngữ L (\mathsf{SAT} chẳng hạn) và một đầu vào x (một công thức lô gíc chẳng hạn), bài toán quyết định là xác định xem liệu x có thuộc L (công thức lô gíc đầu vào liệu có thỏa được) còn bài toán tìm kiếm là bài toán chỉ ra, khi x thuộc L (công thức đã cho là thỏa được), một lời giải chứng tỏ x thuộc L (một phép gán giá trị cho các biến để công thức đã cho là thỏa được).

    Mọi việc tưởng chừng đơn giản trừ việc ta chưa nói cho chính xác thế nào là một lời giải để chứng tỏ x thuộc L . Một bài toán có thể có nhiều cách chứng minh chứ không phải chỉ có một. Và như vậy, để định nghĩa chính xác bài toán tìm kiếm, ta cần đưa ra quan hệ giữa đầu vào và lời giải cho nó một cách thích hợp.

    Ta hãy xem xét một cách viết lại định nghĩa của ngôn ngữ \mathbf{NP} dựa trên các quan hệ hai ngôi.

    Quan hệ NP-relation
    Một quan hệ hai ngôi R \in \Sigma^* \times \Sigma^* (với \Sigma^* là bảng ký hiệu dùng trong một ngôn ngữ) được gọi là NP-relation nếu nó thỏa mãn các điều kiện sau:
    - R có thể xác định được trong thời gian đa thức. Tức là, với các đầu vào x, y \in \Sigma^* , ta có thể xác định liệu x có quan hệ R với y (ký hiệu R(x,y)) hay không trong thời gian đa thức tính trên |x|,|y| (độ dài của x,y).
    - R có tính chất cân bằng đa thức (polynomially balanced), tức là tồn tại một đa thức p(.) để, nếu R(x,y) thì |y| \leq p(|x|). Đó là một yêu cầu tự nhiên : lời giải không thể quá dài so với đầu vào (nếu không thì riêng việc viết ra lời giải đã không thể thực hiện trong thời gian đa thức).

    (Ta hãy cứ hình dung, cho x là một bài toán, R là định nghĩa của “lời giải”, thì y là lời giải của x nếu R(x,y)).

    Nhìn lại (và chép lại) định nghĩa về lớp \mathbf{NP} trong bài PCP số 1 của anh Hưng: một ngôn ngữ L thuộc \mathbf{NP} nếu tồn tại một poly-time algorithm verifier V:

    • Verifier nhận inputs x, \pi, và trả lời YES/NO. Nhiệm vụ là xác định xem x là YES-instance hay NO-instance của L.
    • Nếu x là YES-instance thì tồn tại “chứng minh” \pi sao cho V(x, \pi) = YES.
    • Nếu x là NO-instance thì với bất kỳ “chứng minh”\pi nào ta cũng có V(x,\pi) = NO.

    Một verifier V như vậy thực chất chính là một NP-relation và ngôn ngữ L = \{x \in \Sigma^*: \exists y \in \Sigma^* V(x,y)\}.
    Ngược lại, với mỗi NP-relation R, ta cũng có thể định nghĩa một ngôn ngữ L_R = \{x \in \Sigma^*: \exists y \in \Sigma^* R(x,y)\} và ngôn ngữ L_R hiển nhiên là thuộc \mathbf{NP} (bằng cách đặt V chính là R).

    Như vậy thực chất \mathbf{NP} là tập hợp tất cả các ngôn ngữ L_R = \{x \in \Sigma^*: \exists y \in \Sigma^* R(x,y)\} với R là NP-relation.

    Điểm hay là quan hệ R giúp ta có thể định nghĩa được bài toán tìm kiếm một cách tường minh.

    Định nghĩa bài toán tìm kiếm

    Với quan hệ R , ta có thể định nghĩa một bài toán tìm kiếm \Pi_R như sau:
    - Đầu vào: Cho một x \in \Sigma^*
    - Trả lời: Tìm một y \in \Sigma^* sao cho R(x,y) nếu tồn tại một y như vậy, hoặc trả lời “KHONG” nếu không tồn tại y .

    Như vậy, ta đã định nghĩa được bài toán tìm kiếm \Pi_R tương ứng cho bài toán quyết định L_R: nếu x \notin L_R thì câu trả lời là KHONG, còn nếu x \in L_R thì phải chỉ ra lời giải y chứng tỏ điều đó (y thỏa mãn R(x,y)).

    Định nghĩa các lớp \mathbf{FNP, FP}
    - \mathbf{FNP} là tập hợp tất cả các bài toán \Pi_R với R là NP-relation.
    - \mathbf{FP} là tập con của \mathbf{FNP} bao gồm các bài toán \Pi_R ở đó câu “Trả lời” (trong định nghĩa bài toán tìm kiếm trên) được thực hiện trong thời gian đa thức.

    Để ý rằng, cho trước một ngôn ngữ L \in \mathbf{NP}, ta chưa có ngay bài toán tìm kiếm tương ứng với nó. Ta phải định nghĩa thế nào là một lời giải chứng tỏ x \in L, đó chính là việc định nghĩa quan hệ R thỏa mãn L_R = L. Chỉ khi đã định nghĩa được R thì tương ứng với nó ta mới định nghĩa được bài toán tìm kiếm \Pi_R . \Pi_R chính là một bài toán tìm kiếm tương ứng với bài toán quyết định L_R=L.

    Do vậy, với một bài toán quyết định, có thể cho tương ứng nhiều bài toán tìm kiếm. Chẳng hạn, nếu ta tìm được hai quan hệ R_1 và R_2 sao cho L_{R_1} = L_{R_2} = L thì tương ứng với L có hai bài toán tìm kiếm \Pi_{R_1} = \Pi_{R_2}. Điều này phù hợp với thực tế, một phát biểu có thể đúng hoặc sai, nhưng chứng minh nó là đúng hay sai thì có thể có nhiều cách khác nhau.

    Có những bài toán mà tương ứng với nó có hai bài toán tìm kiếm mà một thì có thể dễ, mà một thì lại có vẻ khó. Ta sẽ xem xét một ví dụ thú vị liên quan đến bài toán phân tích thành thừa số nguyên tố. Nhưng trước hết ta hãy chứng minh định lý quan trọng sau đây:

    Định lý về sự liên quan giữa lớp các bài toán quyết định và lớp các bài toán tìm kiếm

    \mathbf{P}=\mathbf{NP} khi và chỉ khi \mathbf{FP}=\mathbf{FNP}

    Chứng minh rất đơn giản:
    - Đầu tiên, nếu \mathbf{FP}=\mathbf{FNP} thì \mathbf{P}=\mathbf{NP}. Điều này hiển nhiên, tìm được lời giải nhanh nếu có (trong thời gian đa thức) thì cũng sẽ quyết định được nhanh là có lời giải hay không.
    - Ngược lại, nếu \mathbf{P}=\mathbf{NP} thì \mathbf{FP}=\mathbf{FNP}. Ý tưởng là sử dụng tìm kiếm nhị phân.
    Cho một quan hệ NP-relation bất kỳ R, ta cần chứng minh \Pi_R \in \mathbf{FP}. Điều đó có nghĩa là với mọi x, cần tìm trong thời gian đa thức y để R(x,y) (nếu có y như vậy), hoặc trả lời KHONG nếu không có y nào thỏa mãn R(x,y).
    Do L_R \in \mathbf{NP}=\mathbf{P}, nên việc quyết định có tồn tại y hay không được thực hiện trong thời gian đa thức. Nếu không có y thì trả lời KHONG là xong.
    Trường hợp tồn tại y, ta làm sao tìm được y đây?
    Với mỗi z\in \Sigma^*, định nghĩa một quan hệ R_z(x,y) := (R(x,y) \land (y\leq z)). (quan hệ thứ tự tính theo quan hệ thứ tự từ trên bảng chữ cái \Sigma)
    Do R là NP-relation, R_z cũng là NP-relation. Do vậy L_{R_z} \in \mathbf{NP} và do đó việc bài toán quyết định L_{R_z} thực hiện được trong thời gian đa thức.

    Nếu lấy z là điểm giữa \emptyset và U – xâu lớn nhất có độ dài p(|x|) (với p() là đa thức chặn trên độ dài của y theo độ dài của x. Hiển nhiên ta có y \leq U). Nếu x \in L_{R_z} thì tồn tại lời giải y giữa \emptyset và z, ngược lại, nếu x \notin L_{R_z} thì tồn tại lời giải y giữa z và U.
    Như vậy ta giới hạn miền tìm kiếm y xuống còn một nửa. Tiếp tục một cách tương tự ta sẽ tìm được chính xác y trong thời gian đa thức.

    I.2 Có những bài toán quyết định dễ, còn tìm kiếm lại khó
    Phía trên ta nhắc đến kêt quả của Bellare và Goldwasser chứng minh rằng, dưới một giả thiết khá hợp lý (\mathbf{EE} \neq \mathbf{NEE}), có những ngôn ngữ \mathbf{NP} mà ở đó bài toán tìm kiếm không thể qui dẫn bài toán quyết định. Ở đây ta xét một ví dụ đơn giản hơn và kết quả tuy không mạnh bằng nhưng khá lý thú.
    Ta xét một số n và một dãy cặp (p_1,\alpha_1), (p_2,\alpha_2), \cdots, (p_k,\alpha_k) với p_i là các số nguyên tố và \alpha_i là các số tự nhiên.
    Ta định nghĩa một quan hệ R(n, ((p_1,\alpha_1), (p_2,\alpha_2), \cdots, (p_k,\alpha_k))) := (n = p_1^{\alpha_1}p_2^{\alpha_2}\cdots p_k^{\alpha_k}).
    Điều đó có nghĩa là n và (p_1,\alpha_1), (p_2,\alpha_2), \cdots, (p_k,\alpha_k) có quan hệ R nếu phân tích thành thừa số nguyên tố của n chính là p_1^{\alpha_1}p_2^{\alpha_2}\cdots p_k^{\alpha_k}.

    Với quan hệ R định nghĩa như vậy, ngôn ngữ L_R chính là toàn bộ các số tự nhiên vì mọi số tự nhiên đều có tương ứng một cách phân tích thành thừa số nguyên tố. Bài toán quyết định L_R do đó là tầm thường.
    Trong khi đó, bài toán tìm kiếm \Pi_R chính là việc cho số n, phân tích n ra thừa số nguyên tố. Bài toán này được tin là khó.

    I.3 Sự khéo léo trong việc định nghĩa bài toán tìm kiếm cho các bài toán quyết định

    Bây giờ ta hãy xem một ví dụ cho thấy, cùng một bài toán quyết định, có thể có hai bài toán tìm kiếm khá xa nhau. Hơn nhau là việc định nghĩa bài toán tìm kiếm sao cho hợp lý để có thể giải nó một cách hiệu quả nhất.

    Xét ngôn ngữ COMPOSITE gồm các số tự nhiên n là hợp số.

    Bài toán tìm kiếm 1 tương ứng với COMPOSITE:
    Ta định nghĩa một quan hệ giữa một số tự nhiên n và một chứng minh a (một số tự nhiên) như sau: R(n,a) := ( (1<a<n) \land (a|n)).
    Đây là cách định nghĩa tự nhiên nhất để chứng minh một số n là hợp số: đưa ra một ước số không tầm thường của nó.
    Bài toán tìm kiếm \Pi_R tương ứng là cho n, nếu n là hợp số thì tìm một ước số không tầm thường của nó.
    Rõ ràng bài toán tìm kiếm này tương đương bài toán phân tích một số thành thừa số nguyên tố, do vậy nó được tin là khó.

    Bài toán tìm kiếm 2 tương ứng với COMPOSITE:
    Ta định nghĩa một quan hệ giữa một số tự nhiên n và một chứng minh a (một số tự nhiên) như sau: R(n,a):= ((\frac{a}{n}) \neq a^ {\frac{n-1}{2}})

    với (\frac{a}{n}) là ký hiệu Jacobi (một mở rộng tự nhiên của ký hiệu Legendre cho trường hợp các số tự nhiên thay vì chỉ cho các số nguyên tố).

    Ta đã biết:

    • Nếu n là số nguyên tố thì, với mọi a ta đều có (\frac{a}{n}) = a^ {\frac{n-1}{2}}, tức là \lnot R(n,a).
    • Ngược lại, nếu n là hợp số thì, ít nhất một nửa các số a nguyên tố cùng nhau với n thỏa mãn R(n,a). (Chứng minh điều này không khó, bởi tập các a để \lnot R(n,a) tạo thành 1 nhóm, và ta có thể chứng minh khi n là hợp số thì tồn tại ít nhất một phần tử a để R(n,a). Điều đó dẫn đến tập các a để \lnot R(n,a) tạo thành một nhóm con thực sự của (\mathbb{Z}/n\mathbb{Z})^*, và do đó số phần tử của nó nhiều nhất bằng nửa số phần tử của (\mathbb{Z}/n\mathbb{Z})^*).

    Từ đó ta thấy ngôn ngữ L_R = \{n : \exists a, R(n,a) \} chính là COMPOSITE.
    Tuy vậy, bài toán tìm kiếm \Pi_R ở đây khá là dễ dàng.
    Thực vậy, nếu n là hợp số, ta chỉ cần lấy ngẫu nhiên một a nguyên tố cùng nhau với n là đã có khả năng chí ít là 50% để có R(n,a).

    Vấn đề còn lại là tính R(n,a) có dễ không? Tính a^ {\frac{n-1}{2}} là dễ nhưng còn ký hiệu Jacobi (\frac{a}{n})? Định nghĩa của (\frac{a}{n}) dựa trên việc phân tích thành thừa số nguyên tố của n. Nhưng nếu mà ta biết phân tích thành thừa số nguyên tố của n thì đã xác định được n là hợp số hay không rồi! Rất may, ta có thể tính (\frac{a}{n}) dựa trên luật tương hỗ toàn phương một cách rất nhanh chóng mà không cần thông qua phân tích thành thừa số nguyên tố của n.

    Các bạn có thể đọc thêm về luật tương hỗ toàn phương (bài 1, bài 2) trên blog của hòa thượng Thích Học Toán. Luật “tương hỗ toàn phương” như hòa thượng giải thích dành cho số nguyên tố, ở đây ta phải dùng một luật tương tự cho các số tự nhiên tổng quat. Bình loạn một chút về hai luật tương hỗ:

    • Luật “tương hỗ toàn phương” nguyên thủy dành cho số nguyên tố thật đẹp, nó có ý nghĩa thế nào hòa thượng đã giải thích. Chỉ muốn nói thêm là trong suốt một thời gian dài, người ta đã tưởng thể loại số nguyên tố là rất kỳ bí và có tính độc lập nhau, tức là 2 kẻ khác nhau trong bọn chúng là chả có quan hệ dây mơ rễ má chi cả. Nhưng luật tương hỗ cho thấy không hẳn là thế, nó cho ta quan hệ họ hàng giữa hai số nguyên tố bất kỳ: nếu anh là thặng dư bậc hai của tôi thì tôi cũng xác định được ngay mình có phải là thặng dư bậc hai trong thế giới của anh hay không!
    • Luật “tương hỗ toàn phương” áp dụng cho số không nguyên tố dĩ nhiên làm mất cái vẻ đẹp nguyên tố trên. Ấy vậy mà nó lại đem đến một ứng dụng bất ngờ trong việc tìm ra các … số nguyên tố lớn phục vụ các ứng dụng mật mã trong thực tế nhốn nháo ngày nay. Nó giúp ta có một thuật toán kiểm tra xem một số n bất kỳ có là nguyên tố hay không. Thuật toán này thực chất ý tưởng đã được mô tả phía trên : lấy a bất kỳ nguyên tố cùng nhau với n, nếu R(n,a) thì n chắc chắn là hợp số, nếu không thì ít nhất 50% khả năng n là số nguyên tố. Thực hiện thao tác này 100 lần mà đều không có a nào thỏa mãn R(n,a) thì có nghĩa n là số nguyên tố với sai số chỉ là \frac{1}{2^{100}}! Gần đây đã có một kết quả lý thuyết đẹp đưa ra thuật toán đơn định để kiểm tra tính nguyên tố trong thời gian đa thức (thú vị là chứng minh khá sơ cấp) nhưng trong thực tế thì người ta vẫn dùng các thuật toán xác suất vì nó hiệu quả hơn rất nhiều.

    II. Điều kiện cần cho sự tồn tại của mã hóa, dưới cách nhìn của lý thuyết độ phức tạp tính toán

    Ta sẽ nhìn mật mã bằng con mắt của lý thuyết độ phức tạp tính toán và giới hạn việc bàn luận cho mã hóa (Encryption) – mục tiêu trọng tâm của mật mã.

    Mục đích của mã hóa là gì nhỉ? Thật đơn giản, tôi có thể mã hóa một bản rõ dễ dàng để: nếu anh có khóa thích hợp thì anh có thể mở được nó và kẻ địch (không có khoá) thì không thể giải được mã.

    Tạm gác chuyện chiếc chìa khoá thần kỳ trong mã hóa (ừ, thế đấy, mã hóa phải có khóa, nhưng ta cứ tạm bỏ qua nó đã) và bỏ qua luôn việc anh có giải được mã hay không, ta có thể rút gọn câu trên: tôi có thể mã hóa một bản rõ dễ dàng để kẻ địch (tay không – không có ngoại lực trợ giúp) không thể giải được mã.

    Ta giản lược yêu cầu như trên nhằm đưa ra một điều kiện cần để mã hoá tồn tại. Đó là phải có các “hàm xuôi dễ ngược khó”, tức là các hàm f để, với một đầu vào m (có thể coi là bản mã – message), thì tính c=f(m) (có thể coi là bản mã – ciphertext) là dễ, nhưng cho c thì việc tính ngược một m (có thể có nhiều m) để f(m) = c thì là khó.

    Vậy câu hỏi đặt ra là: Các hàm xuôi dễ ngược khó có liên quan gì tới bài toán trọng tâm “P vs. NP” của lý thuyết độ phức tạp?

    Ta hãy giả thiết rằng là tồn tại các hàm f xuôi dễ ngược khó.
    Theo định nghĩa “dễ, khó” trong độ phức tạp thì f tính được trong thời gian đa thức và việc tính f^{-1} là không thực hiện được trong thời gian đa thức.

    Khi đó ta định nghĩa một quan hệ R(c,m) như sau: R(c,m) := (c=f(m)).
    Dễ thấy R(c,m) là một NP-relation.
    Như vậy, bài toán tìm kiếm \Pi_R thuộc lớp \mathbf{FNP}. Mà bài toán \Pi_R chính là việc tính ngược hàm f.

    Theo giả thiết, việc tính f^{-1} là không thực hiện được trong thời gian đa thức. Từ đó ta có \Pi_R không thể thuộc \mathbf{FP}, và suy ra \mathbf{FP} \neq \mathbf{FNP}. Theo định lý phía trên, nó tương đương \mathbf{P} \neq \mathbf{NP}.

    Như vậy ta có kết luận đầu tiên:

    Yêu cầu tối thiểu không thể ít hơn để ngành lý thuyết mã hóa tồn tại, đó là “\mathbf{P} \neq \mathbf{NP}“. Nói cách khác, nếu ta chứng minh được “\mathbf{P} = \mathbf{NP}” thì ngành lý thuyết mã hóa sụp đổ!

    Kết luận này có nghĩa ta không thể hy vọng vào việc xây dựng mã hóa dựa trên các lớp có độ phức tạp cao hơn như \mathbf{EXP, NEXP} để phòng trường hợp \mathbf{P} = \mathbf{NP}. Bản chất sự tồn tại của mã hóa bắt buộc phải dựa trên giả thiết \mathbf{P} \neq \mathbf{NP}. Tất nhiên sự sụp đổ chỉ là trong lý thuyết độ phức tạp, còn trong thực tế thì dù phá mã có thể trong thời gian đã thức nhưng bậc đa thức là 100 hay 1000 thì các hệ mã vẫn còn vững lắm ;)

    III. Một cái nhìn thoáng qua về điều kiện đủ cho sự tồn tại của mã hóa

    Ta đã thấy lý thuyết mã hóa (đặt trong lý thuyết độ phức tạp) chỉ có nghĩa khi \mathbf{P} \neq \mathbf{NP}. Câu hỏi ngược lại là liệu nếu \mathbf{P} \neq \mathbf{NP} thì ta có xây dựng được các sơ đồ mật mã hay không? Câu trả lời là … không biết (hay nói cách khác, đó là một câu hỏi mở). Điều đó tuy vậy không làm ta nhụt chí đi tìm kiểm các điều kiện đủ để xây dựng mã hóa.

    Trước tiên ta thấy hàm “xuôi dễ ngược khó” chủ yếu nói về trường hợp tệ nhất (worst-case), nó chỉ yêu cầu tồn tại những c để ta không tính ngược được f^{-1}(c). Điều đó có thể hiểu như, có những bản mã mà ta không giải được. Tuy nhiên điều này không phản ánh được yêu cầu của mã hoá, nơi ta cần kẻ địch không thể giải mã được một bản mã bất kỳ. Với yêu cầu tối thiểu này của mã hoá, ta có điều kiện cần là sự tồn tại của các hàm một chiều (one-way function), đó là các hàm thoả mãn: cho c = f(m) với một m được lấy ngẫu nhiên, khó có thể tính ngược được f^{-1}(c) (tức là xác suất kẻ địch tính ngược được c là rất nhỏ).

    Câu hỏi trọng tâm của mã hoá là sự tồn tại của các hàm một chiều có là đủ để xây dựng các sơ đồ mã hoá?

    Một cách tóm tắt, từ các hàm một chiều ta có thể xây dựng được các phép sinh dãy giả ngẫu nhiên rồi từ đó xây dựng được các sơ đồ mã hóa khóa bí mật. Đối với các sơ đồ mã hóa khóa công khai, ta sẽ phải dựa trên các hàm mạnh hơn các hàm một chiều. Đó là hoán vị cửa lật một chiều (trapdoor one-way permutation: bản chất như hàm một chiều nhưng có thêm một cửa lật, bình thường tính ngược khó nhưng có cửa lật sẽ giúp ta tính hàm ngược dễ).

    Kết luận là :

    • các hàm một chiều là cần và đủ để xây dựng mã hóa khóa bí mật.
    • các hàm một chiều là cần và các hoán vị cửa lật một chiều là đủ để xây dựng mã hóa khóa công khai. Quan hệ thân thiết giữa các hàm một chiều và các hoán vị cửa lật một chiều hiện vẫn còn đang trong quá trình tìm hiểu nhau

    Quan hệ giữa các hàm một chiều và lý thuyết độ phức tạp ra sao?
    Sự tồn tại hàm một chiều hiển nhiên dẫn đến sự tồn tại các bài toán NP khó tính theo độ phức tạp trung bình (average-case complexity), từ đó dẫn tới sự tồn tại các bài toán NP khó (tức là tính theo độ phức tạp của trường hợp tệ nhất), có nghĩa là \mathbf{P} \neq \mathbf{NP}. Chiều ngược lại vẫn còn là câu hỏi mở. Do đó dù \mathbf{P} \neq \mathbf{NP} vẫn chưa chắc đã tồn tại các bài toán bài toán NP khó tính theo độ phức tạp trung bình và dù tồn tại các bài toán bài toán NP khó tính theo độ phức tạp trung bình vẫn chưa chắc đã tồn tại các hàm một chiều!

    Hy vọng khi có thời gian sẽ tiềp tục được trao đổi chi tiết hơn các kết quả trên cùng các bạn.
    Chúc mọi người một năm học, năm dạy mới đầy lý thú!

    wordpress statistics


    ]]>     http://www.procul.org/blog/2009/09/20/m%e1%ba%adt-ma-d%c6%b0%e1%bb%9bi-goc-nhin-d%e1%bb%99-ph%e1%bb%a9c-t%e1%ba%a1p-tinh-toan/feed/ 12     PCP 9 — Expanders: tích zig-zag http://www.procul.org/blog/2009/06/25/pcp-9-expanders-tich-zig-zag/ http://www.procul.org/blog/2009/06/25/pcp-9-expanders-tich-zig-zag/#comments Thu, 25 Jun 2009 15:01:56 +0000 NQH http://www.procul.org/blog/?p=1549

    8.j. Tích zig-zag

    Chúng ta đã thấy rằng đã số các ứng dụng của expanders không những cần sự tồn tại của expanders mà còn cần thuật toán xây dựng expanders hiệu quả (hoặc tương đối cụ thể, hoặc rất cụ thể). Bài này viết về một phương pháp/thuật toán hiệu quả để xây dựng expanders một cách rất cụ thể gọi là tích zig-zag. Quan trọng hơn, phương pháp này tiềm ẩn những ý tưởng áp dụng được vào các bài toán khác, như trong chứng minh {\mathsf{L=SL}} sẽ trình bày trong bài tới, hoặc trong bản thân chứng minh định lý PCP của Dinur sẽ trình bày sau.

    8.j.1. Trực quan

    Tạo một expander tốt không khó khăn gì, ví dụ như {K_n} là expander tốt nhất có thể có. Nhưng tạo expander thưa, với constant degree, thì khó. Một ý tưởng tự nhiên là thử tìm cách xây dựng một expander lớn từ một số các expanders nhỏ hơn sao cho không làm tăng degree quá đáng thì ta có hy vọng. Ví dụ, một cách xây dựng expander lớn từ expander nhỏ là “bình phương” cái expander nhỏ: {\hat\lambda(G^2) = \hat\lambda^2(G)}. Cái dở là ta không thể “nhân” với {G} mãi được vì degree cũng bị bình phương luôn.

    Tích zig-zag là một cách xây dựng một expander lớn từ hai expanders nhỏ hơn. Cụ thể là, cho trước {G} và {H} là {(n,m,\alpha)}-spectral expander và {(m,d,\beta)}-spectral expander, theo thứ tự. Chúng ta sẽ xây dựng một đồ thị mới, ký hiệu là {G \textcircled{z} H}, gọi là “tích zig-zag” của {G} và {H}. Tích này sẽ là một {(mn, d^2, f(\alpha,\beta))}-spectral expander, trong đó cái spectral expansion rate mới {f(\alpha, \beta)<1} nếu {\alpha<1} và {\beta<1}. Nôm na là, nếu {G} và {H} là expanders thì {G \textcircled{z} H} cũng là expander.

    Ta sẽ chứng minh được rằng {f(\alpha,\beta)\leq \alpha +\beta+\beta^2} (đây là chặn trên cụ thể, còn {\alpha,\beta<1} vẫn suy ra {f(\alpha,\beta)<1} nhưng đó không phải là chặn trên cụ thể). Từ đó, nếu ta bắt đầu bằng một đồ thị {H} là {(d^4,d, 1/5)}-spectral expander (Bài tập: chứng minh tồn tại bằng phương pháp xác suất), thì ta có thể xây dựng một họ các expanders như sau:

    • {G_1 = H^2}
    • {G_2 = G_i^2 \textcircled{z} H}

    Dễ thấy rằng đây là một chuỗi vô hạn các expanders. Đồ thị {G_i} là một {(d^{4i}, d^2, 2/5)}-spectral expander. Có thể cải tiến cái chặn trên {\alpha+\beta+\beta^2} được, nhưng điều đó không quan trọng. Xem thêm bài báo tích zig-zag nguyên thủy của Reingold, Vahdan, và Wigderson.

    Bây giờ ta mô tả {G \textcircled{z} H}. Chú ý rằng degree của {G} bằng tổng số đỉnh của {H}. Trước hết, với mỗi đỉnh {v} của {G}, đặt tên các cạnh xung quanh {v} bằng các đỉnh của {H} một cách tùy hỉ. Xem hình dưới đây, tôi đã đặt tên các cạnh xung quanh v, u, w.

    zigzag

    Mỗi đỉnh của {G \textcircled{z} H} là một cặp đỉnh {(u,v) \in V(G) \times V(H)}. Có thể hình dung tập đỉnh của {G \textcircled{z} H} được chia thành {n} “đám mây”, mỗi đám mây là một nhân bản của {H} (cạnh màu xanh lá cây). Sau đó, ta nối một đỉnh của đám mây này đến một đỉnh của đám mây khác nếu đỉnh này là tên của đầu này của cạnh và đỉnh kia là tên ở đầu kia của cạnh. Ví dụ, trong hình thì ở {G} có cạnh {wv} với tên ở đầu {w} là {2} và tên ở đầu {v} là {1}, ta nối đỉnh {2} trong đám mây của {w} với đỉnh {1} trong đám mây của {v} bằng một cạnh màu đen.

    Nếu ta chỉ giữ các cạnh màu xanh lá cây và cạnh màu đen, thì ta có cái gọi là “tích thay thế” (replacement product). Degree của tích thay thế là {d+1}. Ta có thể chứng minh được tích thay thế cũng là expander. Tuy nhiên, về mặt kỹ thuật sẽ tiện hơn nếu ta thêm {d} cạnh song song cho mỗi cạnh của {G}; ví dụ như sẽ có {d} cạnh song song giữa đỉnh {2} trong đám mây của {w} và đỉnh {1} trong đám mây của {v}. Kết quả là một đồ thị với degree {2d}, cũng thường được gọi là tích thay thế hoặc tích thay thế cân bằng (balanced replacement product). Bài này (SODA 2007) của Alon, Schartz, và Shapira dùng tích thay thế này để xây dựng expanders (constant degree). Phép xây dựng này của Alon et al. cũng là một combinatorial construction, nhưng nó xuất hiện 6, 7 năm sau zig-zag; ngoài ra phép zig-zag cũng đóng vai trò quan trọng trong việc phát triển trực quan cho các kết quả khác, do đó chúng ta nói về tích zig-zag.

    Quay lại với xây dựng tích zig-zag: các cạnh màu xanh và cạnh màu đen không phải là các cạnh của {G \textcircled{z} H}. Nếu ta có thể đi từ một đỉnh {x} của {G \textcircled{z} H} đến một đỉnh {y} của {G \textcircled{z} H} bằng cách thăm {3} cạnh: xanh-đen-xanh, thì ta nối {x} với {y} thành một cạnh của {G \textcircled{z} H}. (Vì thế mới gọi là tích zig-zag.) Trong hình, các cạnh màu đỏ mới là các cạnh của tích {G \textcircled{z} H}. Tôi chỉ vẽ ví dụ vài cạnh màu đỏ, vẽ hết sẽ cực rối.

    Như vậy, một bước ngẫu nhiên trên {G \textcircled{z} H} bao gồm một bước ngẫu nhiên màu xanh trong một “đám mây” {H}, một bước xác định (deterministic) qua một cạnh đen của {G}, và một bước ngẫu nhiên (màu xanh) khác trong đám mây bên kia của {H}. Về mặt trực quan, chúng ta phải chứng minh rằng ba bước này làm cho phân bố các đỉnh trở nên gần cân bằng (uniform) hơn. (Nhớ góc nhìn xác suất của expanders.) Mỗi một đỉnh của {G \textcircled{z} H} là một cặp đỉnh {(g, h)}, với {g} là một đỉnh của {G} và {h} là một đỉnh của {H}. Đỉnh {(g,h)} sẽ gần uniform nếu mỗi tọa độ là gần uniform và độc lập với nhau. Giả sử ta bắt đầu từ một phân bố mà phân bố của {h} (bên trong đám mây) là xa uniform (entropy thấp), thì bước ngẫu nhiên màu xanh đầu tiên sẽ làm cho phân bố của {h} gần uniform hơn vì {H} là expander. Hai bước còn lại thì một bước là xác định, và một bước ngẫu nhiên trên {H} sẽ không làm giảm độ uniform của phân bố của {h}. Còn nếu phân bố của {h} đã là uniform thì bước một bước vẫn giữ nó uniform, trong khi đó phân bố của {g} sẽ trở nên uniform hơn vì bước màu đen (cùng với bước màu xanh đầu) sẽ tương tự như một bước ngẫu nhiên trên {G}. Tuy nhiên, vì các cạnh đen thực sự là một matching của các đỉnh của {G \textcircled{z} H}, do đó nếu ta tăng entropy của (phân bố của) {g} thì sẽ làm giảm entropy của {h}. Do đó, ta cần bước màu xanh thứ {3} để tăng lại entropy của {h}. (Vì thế, bài zig-zag nguyên thủy có chữ “entropy wave” trong đó.) Chứng minh dưới đây theo trực quan này.

    8.j.2. Định nghĩa cụ thể và phân tích

    Với mỗi đỉnh {u \in V(G)}, đặt tên các cạnh kề với {u} theo thứ tự tùy ý là {e_u^1, \dots, e_u^m}. Đồ thị {G \textcircled{z} H} được xây dựng như sau:

    • {V(G \textcircled{z} H) = \{(u,i) \ | \ u\in V(G), i \in [m]=V(H)\}}.
    • Có một cạnh nối {(u,i)} với {(v,j)} nếu và chỉ nếu tồn tại {k, l \in [m]} sao cho {ik \in E(H)}, {e_u^k = e_v^l}, và {lj \in E{H}}.

    Dễ thấy rằng {G \textcircled{z} H} có {mn} đỉnh và (regular) degree {d^2}. Gọi {\mathbf{\hat A}, \mathbf{\hat B}} là các normalized adjacency matrices của {G, H}, theo thứ tự. Định nghĩa một ma trận {mn \times mn} đặt tên là {\mathbf P} như sau: {p_{(u,k),(v,l)} = 1} nếu và chỉ nếu {e_u^k = e_v^l}. Lưu ý rằng {\mathbf P} là một ma trận hoán vị đối xứng (symmetric permutation matrix). Định nghĩa ma trận {\mathbf{\tilde B} = \mathbf I_n \otimes \mathbf{\hat B}} (trong đó {\otimes} là ký hiệu của tensor product của hai ma trận).

    Bài tập: chứng minh rằng {\mathbf M = \mathbf{\tilde B P \tilde B}} chính là normalized adjacency matrix của tích zig-zag {G \textcircled{z} H}.

    Từ đó, ta có

    \displaystyle f(\alpha,\beta) = \max_{\mathbf{x \perp u}} \frac{|\langle \mathbf{\tilde B P \tilde B x, x} \rangle|}{\langle \mathbf{x, x} \rangle}.

    Xét một vector {\mathbf{x \perp u}, \mathbf x \in \mathbb R^{mn}} tùy ý. Định nghĩa một “vector thu thập” {C(\mathbf x) \in \mathbb R^n} như sau: {C(\mathbf x)_u = \frac 1 m \sum_{i\in [m]} x_{(u,i)}}. Nói cách khác, tọa độ thứ {u} của {C(\mathbf x)} là giá trị trung bình của các tọa độ {x_{(u,i)}} trong “đám mây” thứ {u} của vector {\mathbf x}. Đến đây, định nghĩa các thành phần song song và vuông góc:

    \displaystyle \mathbf x^{\|} := C(\mathbf x) \otimes \mathbf 1_m

    trong đó {\mathbf 1_m \in \mathbb R^m} là vector mà tất cả các tọa độ đều bằng {1}; và,

    \displaystyle \mathbf x^\perp = \mathbf x - \mathbf x^\|

    Xét vector {\mathbf x \perp \mathbf u}, chúng ta muốn chứng minh rằng {|\langle \mathbf{\tilde B P \tilde B x, x} \rangle| \leq f(\alpha, \beta) \langle \mathbf{x,x} \rangle}. Hãy bắt đầu với vế trái trước. Lưu ý rằng, do {\mathbf x^\|} “phân bố đều” trên mỗi “đám mây”, ta có {\mathbf{\tilde Bx^\| = x^\|}}. (Bài tập: chứng minh điều này.)

    \displaystyle |\langle \mathbf{\tilde B P \tilde B (x^\|+x^\perp), (x^\|+x^\perp)} \rangle| \leq |\langle \mathbf{Px^\|, x^\|} \rangle| + 2|\langle \mathbf{P\tilde B x^\perp, \tilde B x^\|} \rangle| + \|\mathbf{\tilde Bx^\perp} \|^2

    Xét số hạng cuối cùng. Do vector {\mathbf x^\perp} “phản phân bố đều” trên mỗi “đám mây” (nghĩa là tổng của các tọa độ của {\mathbf x^\perp} trên từng đám mây là bằng {0}), ta suy ra rằng {\|\mathbf{\tilde Bx^\perp}\| \leq \beta \|\mathbf x^\perp\|}.

    Kế tiếp, ta chặn số hạng thứ hai. Do {\mathbf P} là một ma trận hoán vị, nó không thay đổi norm của một vector. Ta có:

    \displaystyle 2|\langle \mathbf{P\tilde B x^\perp, \tilde B x^\|} \rangle| \leq 2\| \mathbf{P\tilde Bx^\perp}\| \|\mathbf{\tilde B x^\|}\| \leq 2\beta \| {\bf x}^\perp\| \|{\bf x}^\|\|

    Cuối cùng, ta chặn số hạng thứ nhất.

    Bài tập: chứng minh rằng

    \displaystyle \langle \mathbf{Px^\|, x^\|} \rangle = m \langle \mathbf{\hat A} C(\mathbf x), C(\mathbf x)\rangle \leq m\alpha \|C(\mathbf x)\|^2 = \alpha \|\mathbf x^\|\|^2

    Vì thế,

    \displaystyle |\langle \mathbf{\tilde B P \tilde B x, x} \rangle| \leq \alpha \|\mathbf x^\|\|^2 + 2\beta \| {\bf x}^\perp\| \|{\bf x}^\|\| + \beta^2 \|\mathbf x^\perp\|^2

    Lưu ý rằng {\|\mathbf x\|^2 = \|\mathbf x^\|\|^2 + \|\mathbf x^\perp\|^2}. Ta suy ra

    \displaystyle |\langle \mathbf{\tilde B P \tilde B x, x} \rangle| \leq \max(\alpha+\beta, \beta+\beta^2)\|\mathbf x\|^2 \leq (\alpha+\beta+\beta^2)\|\mathbf x\|^2

    Như vậy, ta vừa chứng minh được định lý sau đây:

    Định lý 1 (Định lý zig-zag)

    Nếu {G} là một {(n,m,\alpha)}-spectral expander và {H} là một {(m,d,\beta)}-spectral expander thì tích zig-zag {G \textcircled{z} H} là một {(mn, d^2, \alpha+\beta+\beta^2)}-spectral expander.

    8.j.3. Xây dựng rất cụ thể (chạy trong thời gian poly-log)

    Theo như cách mô tả xây dựng họ expanders ở trên, thời gian cần để xây dựng đồ thị {G_i} là {\text{poly}(|V(G_i)|)}. Muốn một họ expanders được xây dựng một cách rất cụ thể (định nghĩa trong bài PCP 8), thì ta cần phép xây dựng này chạy trong thời gian poly-log. Ý tưởng chính là dùng phương pháp tương tự như “repeated squaring”.

    Trước hết, cần định nghĩa tích tensor của hai đồ thị. Gọi {G_1=(V_1,E_1)} là một {d_1}-regular graph với {n_1} đỉnh, {G_2=(V_2,E_2)} là {d_2}-regular graph với {n_2} đỉnh. Tích tensor {G_1 \otimes G_2} được định nghĩa như sau: {V(G_1 \otimes G_2) = V_1 \times V_2}, và hai đỉnh {(u_1,u_2)} và {(v_1,v_2)} là kề nhau nếu và chỉ nếu {u_1v_1\in E_1} và {u_2v_2\in E_2}.

    Bài tập: chứng minh rằng nếu {G_1} và {G_2} là {(n_1,d_1,\alpha_1)}-spectral expander và {(n_2,d_2,\alpha_2)}-spectral expander, theo thứ tự, thì {G_1 \otimes G_2} là {(n_1n_2,d_1d_2, \max(\alpha_1,\alpha_2))}-spectral expander. (Gợi ý: normalized adjacency matrix của đồ thị tích là tích tensor của hai normalized adjacency matrices.)

    Từ đó, có thể xây dựng họ expanders như sau. Gọi {H} là một {(d^8,d,\alpha)}-spectral expander với các hằng số {d,\alpha<1} nào đó. Sau đó, định nghĩa

    • {G_1 = H^2}
    • {G_2 = H \otimes H}
    • {G_n = \left(G_{\left\lceil\frac{n-1}{2}\right\rceil} \otimes G_{\left\lfloor\frac{n+1}{2}\right\rfloor} \right)^2 \textcircled{z} H}, {n \geq 3}

    Bài tập: chứng minh rằng, với mọi {n \geq 1}, {G_n} là một {(d^{8n}, d^2, \alpha_n)}-spectral expander trong đó {\alpha_n = \alpha + O(\alpha^2)}; và nếu cho trước một đỉnh của {G_n} thì ta có thể tính được các đỉnh kề với nó trong thời gian {\text{poly}(n) = \text{poly}(\log(|V(G_n)|))}.

    ]]> http://www.procul.org/blog/2009/06/25/pcp-9-expanders-tich-zig-zag/feed/ 2 PCP 8 — Expanders: tiết kiệm random bits và khuếch đại gap http://www.procul.org/blog/2009/05/31/pcp8/ http://www.procul.org/blog/2009/05/31/pcp8/#comments Sun, 31 May 2009 11:05:29 +0000 NQH http://www.procul.org/blog/?p=1500 Trong bài này ta thảo luận các phép xây dựng đồ thị expander, và một vài ứng dụng của chúng: tiết kiệm bit ngẫu nhiên và khuếch đại gap.

    8.f. Sơ lược về các kết quả xây dựng một họ expanders

    Định nghĩa. (Họ expanders)

    Cho trước các hằng số d,\alpha>0, một chuỗi các đồ thị \{G_i\}_{i=1}^\infty là một họ (d,\alpha) của các spectral expanders nếu G_i là (n_i,d,c)-spectral expander. Trong đó, n_1<n_2<\dots, và tồn tại một đa thức g(n) sao cho n_{i+1} = O(g(n_i)) với mọi i. Điều kiện cuối cùng này chỉ để giới hạn kích thước của các expanders trong họ. Cái sau không thể có kích thước bằng số mũ của cái trước.

    Trong đa số các ứng dụng (xem dưới đây), cho trước một hằng số \alpha<1, chúng ta muốn là có một hằng số d sao cho một họ (d,\alpha) của các spectral expanders tồn tại, và mỗi thành viên trong họ có thể xây dựng được trong polynomial time.

    Định nghĩa. (Họ expanders xây dựng tương đối cụ thể)

    Một họ \{G_i\} của các expanders có thể xây dựng được một cách tương đối cụ thể (mildly explicit) nếu tồn tại một thuật toán mà cho input là i nó output đồ thị G_i trong thời gian \text{poly}(i).

    Ví dụ: có thể xây dựng một họ các expanders như sau. Gọi n_i là số nguyên tố thứ i. Đặt V(G_i) = \mathbb Z_{n_i} (nhóm Abel). Với một đỉnh bất kỳ x \in \mathbb Z_{n_i} thì nối x với các hàng xóm x+1,x-1,x^{-1}. Trong đó, các phép tính cộng, trừ, nghịch đảo là tính trên nhóm. Và, ta định nghĩa nghịch đảo của 0 là 0. Đáng lẽ, ta có thể xây dựng đồ thị thứ i rất nhanh, nhưng vì không biết cách nào để sinh số nguyên tố thứ i ngoài cách cơ bắp (thử từng số từ 1 trở đi và dùng thuật toán AKS), cho nên tổng thời gian chạy để sinh ra đồ thị thứ i là \text{poly}(i).

    Định nghĩa. (Họ expanders xây dựng rất cụ thể)

    Một họ \{G_i\} của các expanders có thể xây dựng được một cách rất cụ thể (strongly explicit) nếu tồn tại một thuật toán mà cho input là i, đỉnh v \in [n_i], và số k \in [d], thuật toán in ra hàng xóm thứ k của đỉnh v trong đồ thị G_i trong thời gian \text{poly}(\log i, \log n_i, \log d) (đại khái là thời gian đa thức trong tổng số bits để biểu diễn bộ ba (i,n_i,d).

    Ví dụ: Grigory Margulis (giải Fields năm 1978) chứng minh từ hồi 1973 rằng họ đồ thị xây dựng như sau là một họ expanders. Đặt V(G_n) = \mathbb Z_n \times \mathbb Z_n. Định nghĩa

    \displaystyle T_1 = \begin{bmatrix} 1&2\\0&1\end{bmatrix},T_1 = \begin{bmatrix} 1&0\\2&1\end{bmatrix},e_1 = \begin{bmatrix} 1\\0\end{bmatrix}, e_2 = \begin{bmatrix}0\\1\end{bmatrix}

    Trong đồ thị thứ n G_n, đỉnh v sẽ được nối với 4 đỉnh T_1v, T_2v, T_1v+e_1,T_2v+e2 (và sẽ có 4 đỉnh khác nối với nó dùng định nghĩa này). Vì thế, đây là đồ thị 8-regular. Gabber và Galil hồi năm 1981 chứng minh rằng đây là họ (8, 5\sqrt 2/8) các spectral expanders, có thể xây dựng được một cách rất cụ thể như trên. Nếu có thời gian và hứng thú tôi sẽ duyệt qua chứng minh này dùng phương pháp của Jimbo và Marouka hồi năm 1987 (dùng giải tích Fourier).

    Ví dụ: Alon và Boppana khoảng năm 1990 chứng minh được rằng, nếu G là một đồ thị d-regular thì \hat\lambda(G) \geq \frac{2\sqrt{d-1}}{d} - o_n(1). Do đó, với một họ (d,\alpha) spectral expanders ta chỉ có thể hy vọng là \alpha = \frac{2\sqrt{d-1}}{d} là tối ưu rồi. (Đây là tối ưu về mặt eigenvalue, nhưng không nhất thiết là tối ưu về edge/vertex expansion rate.) Lubotzky-Phillips-Sarnak hồi 1988 xây dựng một họ các đồ thị đạt đến ngưỡng này. Các đồ thị này gọi là các đồ thị Ramanujan. Phép xây dựng của họ có tính rất cụ thể. Họ đồ thị mà họ xây dựng là các Cayley graphs của một họ các nhóm tuyến tính tổng quát. Quyển sách nho nhỏ dễ thương này là giới thiệu tốt về Ramanujan graphs: Elementary Number Theory, Group Theory and Ramanujan Graphs (London Mathematical Society Student Texts).

    Ví dụ: Gần đây, tích zig-zag là một cách khác nữa để xây dựng một cách rất cụ thể một họ expanders. Chúng ta sẽ định nghĩa và chứng minh kết quả vừa đạt giải thưởng Godel năm 2008 này trong bài tới.

    Định lý. (Xây dựng expander mạnh từ expander yếu.)

    Nếu có thể xây dựng được một họ (d,\alpha) các spectral expanders trong đó d, \alpha<1 là các hằng số, thì cho trước 0<\beta<1 nhỏ tùy ý, tồn tại hằng số d' sao cho ta cũng xây dựng được một họ (d',\beta) các spectral expanders.

    Chứng minh. Gọi latex G^k là lũy thừa bậc k của đồ thị G, nghĩa là uv \in E(G^k) nếu và chỉ nếu khoảng cách giữa u và v trong G nhiều nhất là k. Dễ thấy rằng adjacency matrix của G^k là {\bf A}^k, trong đó {\bf A} là adjacency matrix của G. Do đó, \hat \lambda(G^k) = (\hat\lambda(G))^k. Chỉ cần chọn k sao cho (\hat\lambda(G))^k \leq \beta là xong!

    QED

    8.g. Tiết kiệm random bits dùng expanders

    \mathsf{coRP} là lớp các bài toán (hay ngôn ngữ) L sao cho, tồn tại một thuật toán ngẫu nhiên hóa A chạy trong poly-time thỏa mãn điều kiện sau đây:

    • nếu x\in L thì \text{Prob}[A \text{ accepts } x] = 1

    • nếu x \notin L thì \text{Prob}[A \text{ accepts } x] \leq 1/2

    Để giảm xác suất lỗi của thuật toán A xuống, phương pháp đơn giản nhất là chạy A t lần độc lập, và chấp nhận x nếu và chỉ nếu cả t lần A đều chấp nhận x. Khi đó, nếu x \notin L thì \text{Prob}[A \text{ accepts } x] \leq 1/2^t, nghĩa là xác suất lỗi đã được giảm theo hàm mũ. Điểm bất lợi của phương pháp “lặp tuần tự” (sequential repetition) này là, nếu tổng số random bits mà A cần trong một lần chạy là r bits, thì tổng số random bits cần dùng là tr.

    Dùng expanders, chúng ta có thể giảm tổng số random bits cần dùng xuống mà vẫn giảm được xác suất lỗi của A theo hàm mũ. Giả sử ta xây dựng được (một cách rất cụ thể) một (2^r, d, \alpha)-spectral expander với d, \alpha<1 là các hằng số. Mỗi một đỉnh của expander này được "dán nhãn" là một chuỗi r bits. Vì thế, có thể xem mỗi đỉnh của expander như một chuỗi random bits để tặng cho thuật toán A. Nếu chúng ta chọn t đỉnh ngẫu nhiên, độc lập nhau, và đưa chúng cho A thì kết quả như trước. Ý tưởng “lặp dùng expander” là: thay vì chọn t đỉnh ngẫu nhiên độc lập nhau, thì ta chọn t đỉnh ngẫu nhiên bằng cách chọn một khởi điểm ngẫu nhiên và bước t-1 bước ngẫu nhiên. Dùng các đỉnh gặp dọc đường làm chuỗi ngẫu nhiên cho A chạy. Cuối cùng, vẫn chấp nhận x nếu và chỉ nếu A luôn chấp nhận x trong cả t lần này. Tổng số bits ngẫu nhiên ta dùng là r + t\log_2d. Do d là hằng số, tổng số bits ngẫu nhiên trở nên tuyến tính trên hai tham số t,r, thay vì tr như trong cách lặp tuần tự.

    Trực quan là: do random walk trên expanders mau chóng hội tụ đến trạng thái cân bằng là phân bố đều, lấy mẫu bằng random walk cũng gần tốt bằng lấy mẫu hoàn toàn ngẫu nhiên, độc lập.

    Khi x \in L thì A luôn chấp nhận x bất kể random walk của ta là gì. Khi x \notin L, gọi B là tập các chuỗi ngẫu nhiên làm cho A chấp nhận x. Do \text{Prob}[A \text{ accepts } x] \leq 1/2, ta có |B| \leq \frac 1 2 2^r. Xác suất mà A chấp nhận x chính là xác suất mà cái random walk của ta bị “giam cầm” trong B trong toàn bộ t-1 bước. Từ bài trước, xác suất này \leq \sqrt{1/2} ( \alpha + (1-\alpha)/2 )^{t-1} cũng giảm theo hàm mũ!

    8.h. Khuếch đại gap dùng expanders

    Ý tưởng trong mục 8.g. cũng dùng được để chứng minh một kết quả khó xấp xỉ mạnh hơn cho bài toán Max-Clique. Nhớ rằng, trong bài PCP 3 chúng ta đã chứng minh rằng, nếu \mathsf{NP} \subseteq \mathsf{PCP}_{c,s}[r,q] và nếu 2^{r+q} = \text{poly}(n), thì chúng ta không thể xấp xỉ Max-Clique đến tỉ lệ s/c+\epsilon với bất kỳ \epsilon>0 nào.

    Từ định lý PCP, ta biết rằng tồn tại một (O(\log n), O(1))-restricted verifier cho \mathsf{NP} với completeness 1 và soundness 1/2. Dùng expander như trong mục 8.g và lập lại verifier này t lần, chúng ta có thể giảm soundness xuống còn s = \sigma^t với \sigma<1 là một hằng số . Completeness vẫn bằng 1. Tổng số query bits ta dùng là q = tO(1). Tổng số random bits ta dùng là r = O(\log n) + t \log d. Do đó, để giữ cho 2^{r+q} = \text{poly}(n), ta có thể lập lại verifier đến t = \log_2 n (hoặc bất kỳ một hằng số nào nhân với \log_2n lần).

    Như vậy, ta kết luận rằng không thể xấp xỉ Max-Clique đến tỉ lệ s/1 + \epsilon = \sigma^{\log_2n}+\epsilon với mọi \epsilon. Có một điểm hơi tinh tế cần chú ý là, khi viết tỉ lệ khó xấp xỉ, ta phải viết nó thành hàm số của kích thước instance của bài toán Max-Clique. Tổng số đỉnh của đồ thị trong FGLSS reduction là N = 2^{r+q}. Dễ thấy rằng \sigma^{\log_2n} = 1/N^\delta với \delta >0 là một hằng số. Do đó, ta kết luận rằng

    Định lý.

    Trừ phi \mathsf{P=NP}, tồn tại một hằng số \delta>0 sao cho không thể xấp xỉ Max-Clique đến tỉ lệ 1/N^\delta + \epsilon với mọi \epsilon>0.

    Kết quả trên rất mạnh, là vì thuật toán ngu xuẩn xuất ra một đỉnh đã có tỉ lệ xấp xỉ là 1/N. Sau này, chúng ta sẽ chứng minh rằng xấp xỉ Max-Clique đến tỉ lệ 1/N^{1-\epsilon} là không thể được (trừ phi \mathsf{P=NP}) với mọi \epsilon>0 cho trước.

    8.i. Tiết kiệm random bits cho các thuật toán “lỗi hai bên”

    Có một điểm khá tinh tế là ý tưởng “lặp tuần tự” hoặc “lặp dùng expanders” để giảm xác suất lỗi sẽ không áp dụng trực tiếp được cho các thuật toán bị lỗi hai bên; hoặc cho các PCP verifiers không có completeness bằng 1.

    \mathsf{BPP} là lớp các ngôn ngữ L sao cho, tồn tại một thuật toán ngẫu nhiên hóa A chạy trong poly-time thỏa mãn điều kiện sau đây:

    • nếu x\in L thì \text{Prob}[A \text{ accepts } x] \geq 2/3

    • nếu x \notin L thì \text{Prob}[A \text{ accepts } x] \leq 1/3

    Để giảm lỗi (ở cả hai phía — cả false positives lẫn false negatives), chúng ta cần một thuật toán khác, không thể đơn giản chỉ “lặp lại t lần và chấp nhận x nếu A chấp nhận x toàn bộ t lần”. (Bài tập: ta gặp khó khăn gì khi dùng chiến lược đơn giản này?)

    Trước hết, chiến lược “lặp tuần tự” cho trường hợp lỗi hai bên này là chạy A t lần độc lập, với t lẻ, và chấp nhận x nếu và chỉ nếu A chấp nhân trong đa số các lần chạy; không chấp nhận x trong trường hợp ngược lại. Để phân tích thuật toán “bầu cử dân chủ” này, chúng ta cần biết chặn Chernoff — một trong những bất đẳng thức hữu dụng nhất trong lý thuyết xác suất.

    Chặn Chernoff.

    Cho các biến ngẫu nhiên X_1, \dots, X_t trong đó \text{Prob}[X_i = 1] = p và \mbox{Prob}[X_i = 0] = 1-p, với p là một xác suất cho trước. Dễ thấy rằng \mathbb{E}\left[ \sum_{i=1}^t X_i \right] = tp. Các chặn Chernoff cho ta ước lượng xác suất mà \sum_{i=1}^tX_i nằm xa giá trị kỳ vọng tp. Phân bố của tổng này có hai cái “đuôi” mỏng ở hai đầu, còn lại tập trung vào gần trị kỳ vọng (giống như hình ngọn núi), gọi là hiện tượng concentration.

    Với mọi \delta \in (0,1), chặn Chernoff cho đuôi trên (upper tail) có thể viết như sau:

    \displaystyle \mbox{Prob}\left[\sum_{i=1}^tX_i \geq (1+\delta)tp\right] \leq e^{-tp\delta^2/3}

    và cho đuôi dưới (lower tail) ta có
    \displaystyle \mbox{Prob}\left[\sum_{i=1}^tX_i \leq (1-\delta)tp\right] \leq e^{-tp\delta^2/2}

    Nói theo ngôn ngữ phổ thông thì: khi t tiến ra vô cùng, khả năng mà \sum_{i=1}^tX_i nằm xa trung tâm tiến đến 0 theo hàm mũ (exponentially reduced).

    Để dùng chặn Chernoff, xét trường hợp x \in L trước. Đặt X_i=1 nếu thuật toán A không chấp nhận x trong lần chạy thứ i, 1 \leq i \leq t; ngược lại thì gán X_i=0. Gọi p là xác suất mà A không chấp nhận x. Ta có p = \text{Prob}[X_i = 1] \leq 1/3. Thuật toán “bầu cử dân chủ” không chấp nhận x nếu và chỉ nếu \sum_i X_i \geq t/2. Do đó, xác suất mà x \in L không được chấp nhận cũng giảm theo hàm mũ:

    \displaystyle \text{Prob}\left[ \sum_{i=1}^t X_i \geq t/2 \right] \leq \text{Prob}\left[ \sum_{i=1}^t X_i \geq (1+1/2)tp \right] \leq e^{-tp(1/2)^2/3}

    Phân tích tương tự cho thấy khi x \notin L, xác suất nó được chấp nhận (false positive) cũng giảm theo hàm mũ. Như vậy, nếu chiến lược là lặp tuần tự thì chúng ta có thể giảm xác suất lỗi theo hàm mũ như trong trường hợp “lỗi một bên” kiểu \mathsf{coRP}. Và cũng như trong trường hợp lỗi một bên, tổng số random bits dùng sẽ là tr, hơi quá lớn cho một số ứng dụng.

    Có thể nào áp dụng phương pháp “lặp dùng expanders” cho trường hợp lỗi hai bên được không? Như trong phân tích trên, chúng ta cần chặn xác suất mà một random walk gồm t bước bị giam cầm trong B trong ít nhất một nửa số bước. Cái random walk này có thể đi vào B và đi ra khỏi B nhiều lần, miễn là tổng số bước nằm trong B ít nhất là t/2. Định lý trong mục 8.e (bài PCP 7) quá yếu cho mục tiêu này. Tuy nhiên, chúng ta có thể sửa lại chứng minh định lý 8.e một chút để có định lý sau đây:

    Định lý (Khó “giam cầm” random walk trên expander ở một tập các bước cố định).

    Cho trước một tập B các đỉnh, |B| \leq \beta n của một (n,d,\alpha)-spectral expander G, một số nguyên dương t, và một tập con K\subseteq \{0,1,\dots,t\}. Gọi (B,K,t) là sự kiện mà cái random walk gồm t bước trên G bị giam giữ trong tập B trong toàn bộ các bước trong tập K. (Nghĩa là, nếu K=\{0, 3, 4, 6\} thì đỉnh khởi điểm, đỉnh ở bước ngẫu nhiên thứ 3, 4, 6 nằm trong B, còn các đỉnh khác trong t-1 bước ta không quan tâm.) Ta có,

    \displaystyle \text{Prob}\left[(B,K,t)\right] \leq (\alpha + (1-\alpha)\beta)^{|K|-1}.

    Bài tập: chứng minh định lý trên. (Gợi ý: gần giống hệt chứng minh định lý “giam cầm” kia.)

    Bài tập: dùng định lý trên để phân tích chiến lược “lặp dùng expanders” cho một thuật toán lỗi hai phía.

    Tóm lại, với expanders ta có thể khuếch đại gap cho cả trường hợp không có completeness bằng 1. Bài tới viết về một phương pháp xây dựng rất cụ thể các họ expanders: phương pháp dùng zig-zag product mới được giải Godel.

    ]]>     http://www.procul.org/blog/2009/05/31/pcp8/feed/ 0     PCP 7 — Expanders: góc nhìn xác suất http://www.procul.org/blog/2009/05/29/pcp7/ http://www.procul.org/blog/2009/05/29/pcp7/#comments Fri, 29 May 2009 15:07:39 +0000 NQH http://www.procul.org/blog/?p=1453 8.d. Spectral expanders và tốc độ hội tụ của random walks trên expanders

    Trong bài này chúng ta sẽ chứng minh rằng một đồ thị có spectral gap lớn thì “tương đương” với tốc độ hội tụ của một random walk trên đồ thị càng cao. (Sở dĩ ta để tương đương trong ngoặc kép là vì một chiều chứng minh cần thay đổi đồ thị một chút.)

    8.d.1. Random walk trên đồ thị d-regular, điều kiện hội tụ

    Hầu hết những kết quả ta sẽ chứng minh trong đề mục này đúng cho cả các đồ thị không regular, nhưng chúng ta chỉ phát triển các kết quả trên các đồ thị d-regular cho tiện. Xét một đồ thị d-regular G với adjacency matrix \bf A. Định nghĩa \hat {\bf A} = \frac 1 d {\bf A}. Ma trận \hat {\bf A} còn được gọi là normalized adjacency matrix, và nó cũng chính là transition probability matrix của chuỗi Markov trên đồ thị G. Ở đây, chúng ta không cần biết lý thuyết về chuỗi Markov để hiểu bài này. Nếu bạn muốn biết thêm về chuỗi Markov thì tôi giới thiệu quyển Markov Chains của Norris. Về random walks trên các đồ thị thì bài này của Laci Lovasz là một bài tổng hợp tốt, và quyển sách của Doyle và Snell (miễn phí) là kinh điển, tuy hơi cũ.

    Để bắt đầu một random walk trên một đồ thị thì trước hết ta chọn một đỉnh của đồ thị làm khởi điểm theo một phân bố xác suất \pi = \pi^{(0)} nào đó: \pi^{(0)}_v là xác suất mà đỉnh v là đỉnh khởi đầu. Đương nhiên 0 \leq \pi^{(0)}_v \leq 1, \forall v và \sum_v \pi^{(0)}_v = 1. Khi đang ở một đỉnh v ở bước này thì đến bước kế tiếp ta chọn ngẫu nhiên một một đỉnh kề với v (với xác suất 1/d) và “bước qua” bên đó. Gọi \pi^{(t)} là phân bố xác suất của random walk ở thời điểm t, nghĩa là \pi^{(t)}_v là xác suất mà chúng ta ở đỉnh v sau t bước. Dễ thấy rằng phân bố xác suất ở thời điểm t+1 là

    \displaystyle \pi^{(t+1)} = \hat {\bf A} \pi^{(t)}.

    Trong lý thuyết chuỗi Markov, phương trình trên gọi là phương trình Chapman-Kolmogorov, đơn giản là ứng dụng công thức tính conditional probability.

    Bài tập: chứng minh công thức Chapman-Kolmogorov trên.

    Bài tập: công thức có còn đúng không nếu đồ thị G là đồ thị có hướng? Nếu không đúng thì phải sửa làm sao cho đúng?

    Từ đó ta có:

    \displaystyle \pi^{(t)} = \hat {\bf A}^t \pi, \ \forall t \geq 0

    Như đã viết trong bài Trị đặc trưng và vector đặc trưng, hễ nhìn thấy lũy thừa của các ma trận, đặc biệt là các ma trận thực và đối xứng, thì ta phải nghĩ ngay đến các vector và trị đặc trưng. Gọi \hat \lambda_1 \geq \dots \geq \hat \lambda_n là bộ eigenvalues của \hat {\bf A} và \lambda_1 \geq \dots \geq \lambda_n là bộ eigenvalues của \bf A. Dễ thấy rằng \hat \lambda_i = \frac 1 d \lambda_i, và hơn nữa \hat \lambda_i và \lambda_i có cùng các eigenvectors. Gọi các eigenvectors trực chuẩn tương ứng là {\bf u}_1, \dots, {\bf u}_n. Trong bài PCP 6 chúng ta đã chứng minh rằng {\bf u}_1 = {\bf 1}/\sqrt n.

    Đến đây, biểu diễn \pi thành tổ hợp tuyến tính của các vectors {\bf u}_i, ta có \pi = \sum_{i}\alpha_i {\bf u}_i, trong đó \alpha_i = \langle \pi, {\bf u}_i \rangle. Từ đó, suy ra \alpha_1 = 1/\sqrt n (Bài tập: tại sao?) và vì thế

    \displaystyle \pi^{(t)} = \hat {\bf A}^t\pi = \sum_i \alpha_i \hat {\bf A}^t {\bf u}_i = \sum_i \alpha_i \hat \lambda_i^t = \frac{\bf 1}{n} + \sum_{i=2}^n \alpha_i \hat \lambda_i^t.

    Do đó, nếu |\lambda_i|<1, \forall i \geq 2 thì \lim_{t \to \infty} \pi^{(t)} = \frac{\bf 1}{n} bất kể khởi điểm có phân bố gì. Chú ý rằng \frac{\bf 1}{n} chính là cái phân bố đều (uniform distribution). Chúng ta vừa chứng minh được chiều thuận của định lý sau đây. Điều kỳ kiệu là chiều nghịch cũng đúng.

    Điều kiện hội tụ của random walk trên đồ thị

    Cho G là một đồ thị d-regular. Định nghĩa \hat \lambda(G) = \max\{ |\hat \lambda_2|, |\hat \lambda_n| \}. Ta có \hat \lambda(G) <1 nếu và chỉ nếu

    \displaystyle \lim_{t \to \infty} \pi^{(t)} = \frac{\bf 1}{n}, bất kể phân bố khởi điểm là gì.

    Chứng minh. Bây giờ chúng ta chứng minh chiều nghịch, nghĩa là nếu \lim_{t \to \infty} \pi^{(t)} = \frac{\bf 1}{n} bất kể phân bố khởi điểm, thì \hat\lambda(G)<1. Chỉ cần chứng minh \hat \lambda_2<1 và \hat \lambda_n>-1 là đủ. Từ bài PCP 6, và quan hệ \hat \lambda_i = \frac 1 d \lambda_i, ta biết \hat\lambda_2<1 nếu và chỉ nếu G là đồ thị liên thông, và \hat \lambda_n>-1 nếu và chỉ nếu G không phải là đồ thị bipartite.

    Trước hết, giả sử G không liên thông, ta sẽ chứng minh rằng tồn tại hai phân bố khởi điểm khác nhau làm cho random walk hội tụ về hai trạng thái cân bằng khác nhau. Các bài tập sau đây “mạnh” hơn cần thiết, nhưng có giá trị mô phạm; các bạn không quen với chuỗi Markov nên làm thử:

    Bài tập: Giả sử tồn tại vector \pi = \lim_{t \to \infty} \pi^{(t)}. Chứng minh rằng \pi là một distribution, nghĩa là \sum_i \pi_i=1 và 0 \leq \pi_i \leq 1. Ngoài ra, chứng minh rằng \hat {\bf A}\pi = \pi, nghĩa là \pi là một 1-eigenvector. Một phân bố \pi thỏa mãn \hat {\bf A}\pi = \pi thì được gọi là một phân bố cân bằng.

    Bài tập: dùng định lý Perron-Frobenius, chứng minh rằng luôn tồn tại một phân bố cân bằng \sigma, cho dù G không phải là đồ thị regular.

    Bài tập: gọi \sigma là một phân bố cân bằng. Chứng minh rằng nếu \pi^{(0)} = \sigma, nghĩa là nếu trạng thái khởi đầu là một phân bố cân bằng, thì \lim_{t \to \infty} \pi^{(t)} = \sigma.

    Như vậy, đến đây ta chỉ cần chứng minh rằng nếu G không liên thông thì có ít nhất hai phân bố cân bằng khác nhau là được. Nếu G không liên thông thì 1-eigenspace của \hat {\bf A} có dimension \geq 2. Đặt \sigma = \frac{\bf 1}{n} thì đây là một phân bố cân bằng do G là d-regular. Gọi {\bf y} là một 1-eigenvector bất kỳ độc lập tuyến tính với \sigma. Với bất kỳ hệ số c nào, ta có \hat{\bf A}(c \sigma + {\bf y}) = c\sigma + {\bf y} bởi vì \sigma cũng là một 1-eigenvector. Với c đủ lớn thì c\sigma+{\bf y} \geq 0. Sau khi normalize, ta kết luận rẳng tồn tại một phân bố cân bằng \tau = \alpha(c \sigma + {\bf y}). Phân bố này khác \sigma bởi vì \sigma và \bf y là độc lập tuyến tính.

    Kế tiếp, ta chứng minh rằng nếu G là bipartite thì giới hạn \displaystyle \lim_{t \to \infty} \pi^{(t)} không luôn tồn tại. Giả sử G=(U,V;E). Do G là d-regular, dễ thấy rằng |U|=|V|. Gọi \pi^U là phân bố mà các đỉnh trong U được gán xác suất 1/|U|, và \pi^V là phân bố mà các đỉnh trong V được gán xác suất 1/|V|. Nếu ta bắt đầu random walk bằng \pi^U thì random walk sẽ giao động giữa \pi^U và \pi^V, không hội tụ.

    QED

    8.d.2. Random walk trên đồ thị d-regular, tốc độ hội tụ

    Chúng ta quan tâm hơn đến tốc độ hội tụ của random walk. Làm thế nào để đo tốc độ hội tụ về phân bố đều {\bf 1}/n? Về mặt xác suất, hàm khoảng cách (distance function) tự nhiên nhất có lẽ là total variation distance. Cho hai phân bố P và Q trên một không gian xác suất hữu hạn \Omega, total variation distance giữa P và Q là \max_{S \subset \Omega} |P(S) - Q(S)|. Khi \Omega là hữu hạn, không khó chứng minh được rằng \max_{S \subset \Omega} |P(S) - Q(S)| = \frac 1 2 \|P-Q\|_1. (Bài tập: chứng minh điều này, nghĩa là total variation distance bằng một nửa l_1-norm, khi \Omega hữu hạn.) Như vậy, để đo tốc độ hội tụ, chúng ta có thể đo khoảng cách \|\pi^{(t)} - {\bf 1}/n\|_1 xem nó tiến đến 0 nhanh như thế nào.

    Định lý. (Hội tụ theo l_1) Định nghĩa {\bf u} = {\bf 1}/n cho tiện. Ta có \|\pi^{(t)}-\mathbf u\|_1 \leq \sqrt n \hat\lambda^t

    Nhờ bất đẳng thức Cauchy-Schwarz, chúng ta chỉ cần chứng minh định lý sau đây là đủ

    Định lý (Hội tụ theo l_2) \|\pi^{(t)}-\mathbf u\|_2 \leq \hat\lambda^t

    Chứng minh. Chú ý rằng \|\pi^{(t)}-\mathbf u\|_2 = \|\hat{\mathbf A}^t\pi^{(0)} - \mathbf u\|_2 = \|\hat{\mathbf A}^t(\pi^{(0)} - \mathbf u)\|_2 = \|\hat{\mathbf A}^t\mathbf v\|_2. Trong đó, \mathbf v = \pi^{(0)} - \mathbf u vuông góc với \mathbf u and \|\mathbf v\|_2 \leq 1. (Bài tập: tại sao {\bf v} vuông góc với {\bf u} và có chiều dài \leq 1?). Kế hoạch của chúng ta sẽ là chứng minh rằng

    \displaystyle \| \hat {\bf A}^t {\bf v}\|_2 \leq \hat \lambda \| \hat {\bf A}^{t-1} {\bf v}\|_2 \leq \dots \leq \hat\lambda^{t-1} \| \hat {\bf A} {\bf v}\|_2 \leq \hat\lambda^t \|{\bf v}\|_2 \leq \hat\lambda^t

    Để chứng minh điều này, trước hết ta chứng minh rằng mỗi lần ta nhân \hat{\mathbf A} với một vector \mathbf y vuông góc với \mathbf u, chúng ta “co rút” chiều dài của \mathbf y lại một tỉ lệ ít nhất là \hat\lambda. Cụ thể hơn, xét vector \bf 0 \neq y \perp u thì

    \displaystyle \|\hat{\bf A}{\bf y}\|_2 = \sqrt{\langle \hat{\bf A}{\bf y}, \hat{\bf A}{\bf y} \rangle} = \sqrt{\langle {\bf y}, \hat{\bf A}^2{\bf y} \rangle} = \|{\bf y}\|_2 \sqrt{R_{\hat{\bf A}^2}({\bf y})} \leq \hat \lambda \|{\bf y}\|_2

    Cần giải thích bất đẳng thức cuối cùng rõ hơn một chút. Lưu ý rằng R_{\hat{\bf A}^2}({\bf y}) là cái Rayleigh quotient của ma trận \hat{\bf A}^2. Các eigenvalues của ma trận này là bình phương các eigenvalues của \hat{\bf A}. Dễ thấy rằng \hat\lambda^2 là eigenvalue lớn nhì của \hat{\bf A}^2. Từ đó ta có bất đẳng thức cuối, vì \bf y vuông góc với eigenvector thứ nhất. (Nhớ lại định lý tính eigenvalues bằng Rayleigh quotients trong bài trước.)

    Bài tập: chứng minh rằng với mọi số nguyên j \geq 0 thì vector {\bf y} = \hat{\bf A}^j{\bf v} vuông góc với \bf u.

    Từ kết quả bài tập, áp dụng bất đẳng thức \|\hat{\bf A}{\bf y}\|_2 \leq \hat \lambda \|{\bf y}\|_2 đệ qui t lần là xong.

    QED

    8.d.3. Tốc độ hội tụ và spectral expanders

    Chúng ta đã thấy rằng \hat\lambda(G) càng xa 1 thì tốc độ hội tụ của random walk càng lớn.

    Định nghĩa. (Spectral expander) Một (n,d,\alpha)-spectral expander là một đồ thị d-regular G có n đỉnh thỏa \hat \lambda(G) \leq \alpha. Ta cần (n,d,\alpha)-spectral expanders với \alpha càng nhỏ càng tốt.

    Nếu G là một (n,d,\alpha)-spectral expander với \alpha < 1 là một hằng số thì d-\lambda_2 \geq d\alpha; do đó spectral gap của G cũng lớn.

    Ngược lại, nếu G có spectral gap bị chặn dưới bởi một hằng số, ví dụ d-\lambda_2 \geq \beta>0, thì … chưa chắc G đã là một spectral expander; nguyên nhân chính là d-\lambda_2>0 không nhất thiết dẫn tới \hat\lambda_n>-1. Nói cách khác, một đồ thị liên thông thì không liên quan đến tính bipartite của nó. May mà có một cách rất đơn giản để “sửa” G lại để cho nó chắc chắn không là bipartite. Chúng ta thêm các self-loops vào tất cả các đỉnh của G. Nói các khác, cộng 1 vào mỗi entry trên đường chéo của {\bf A}. Gọi \lambda'_i là các trị đặc trưng mới (sau khi thêm self-loops), có thể thấy rằng \lambda'_i = \lambda_i+1, \forall i và \hat \lambda'_i = \frac{\lambda_i+1}{d+1}. Từ đó, \hat \lambda'_2 \leq \frac{d+1-\beta}{d+1}. Và, \hat \lambda'_n \geq \frac{-d+1}{d+1}. Do đó, \hat\lambda' cách “xa” 1 và G (sau “sửa chữa”) là một spectral expander.

    8.e. “Giam cầm” random walk trên expanders rất là khó.

    Bây giờ chúng ta thảo luận một ứng dụng rất quan trọng của expanders từ góc nhìn xác suất. Ứng dụng này đại khái nói rằng, xác suất mà một random walk ở mãi trong một tập đỉnh nhỏ sẽ giảm theo hàm mũ.

    Gọi G là một (n,d,\alpha)-spectral expander, và B là một tập đỉnh của G sao cho |B| \leq \beta n. Giả sử ta thực hiện một random walk trên đồ thị G, bước t bước, với phân bố khởi điểm là phân bố đều (uniform distribution). Xác suất mà chúng ta không thăm đỉnh nào ngoài B là bao nhiêu?

    Định lý (Khó “giam cầm” random walk trên expander). Gọi (B,t) là sự kiện mà cái random walk bị giam giữ trong tập B trong toàn bộ t bước. Ta có, \text{Prob}\left[(B,t)\right] \leq \sqrt\beta (\alpha + (1-\alpha)\beta)^t. Do đó, nếu \alpha, \beta < 1 thì xác suất “giam cầm” này giảm theo hàm mũ.

    Chứng minh. Gọi \mathbf P = (p_{ij}) là ma trận “chiếu vào B“, nghĩa là p_{ii} = 1, \forall i \in B và p_{ij}=0 với mọi i,j khác. Ta có:

    \displaystyle \text{Prob}\left[(B,t)\right] = \|(\mathbf{P\hat A})^t\mathbf{Pu}\|_1 = \|(\mathbf{P\hat AP})^t\mathbf{Pu}\|_1 \leq \sqrt n \|(\mathbf{P\hat AP})^t\mathbf{Pu}\|_2

    Bài tập: chứng minh đẳng thức thứ nhất.

    Đẳng thức thứ hai là do ma trận \mathbf P là idempotent. Bất đẳng thức cuối cùng là theo Cauchy-Schwarz. Để chặn \text{Prob}\left[(B,t)\right] chúng ta cần biết ma trận \mathbf{M = P\hat AP} co rút chiều dài một vector cỡ bao nhiêu sau mỗi lần nhân ma trận này vào vector. (Cái “mẹo” này chúng ta đã dùng trong phần trước.) Với mỗi vector \mathbf y \neq {\bf 0}, ta có

    \displaystyle \frac{\|\mathbf{My}\|}{\|\mathbf y\|} = \sqrt{R_{\bf M^2}({\bf y})} \leq \sqrt{\lambda_1({\bf M}^2)} = \lambda_1({\bf M}) = \max_{\mathbf z\neq \mathbf 0} \frac{\mathbf z^T\mathbf{Mz}}{\mathbf z^T\mathbf z}

    Đến đây, xét một vector \mathbf z \neq {\bf 0} bất kỳ. Đặt \mathbf{x = Pz}. Thì, \mathbf z^T\mathbf{Mz} = \mathbf z^T\mathbf{P\hat APz} = \langle \mathbf{\hat Ax, x} \rangle. Trước hết, biểu diễn \mathbf x thành tổ hợp tuyến tính của các eigenvectors trực chuẩn của \mathbf{\hat A}: \mathbf x = c_1\mathbf u_1 + c_2 \mathbf u_2 + \cdots c_n \mathbf u_n. Định nghĩa thành phần song song \mathbf x^{\|} = c_1\mathbf u_1 với eigenvector thứ nhất, và thành phân vuông góc \mathbf x^{\perp} = \mathbf{x-x^{\|}}. Ta có,

    \displaystyle \langle \mathbf{\hat Ax, x} \rangle = \langle \mathbf{\hat A x^{\|}} + \mathbf{\hat A x^{\perp}}, \mathbf x^{\|} + \mathbf x^{\perp} \rangle = \|\mathbf x^{\|}\|^2 + \langle \mathbf{\hat A x^\perp, x^\perp} \rangle

    Cái mẹo lần trước cho ta:

    \displaystyle \langle \mathbf{\hat A x^\perp, x^\perp} \rangle = \|\mathbf x^\perp\|^2 \frac{\langle \mathbf{\hat A x^\perp, x^\perp} \rangle}{\|\mathbf x^\perp\|^2} \leq \hat\lambda \|\mathbf x^\perp\|^2 \leq \alpha \left( \|{\bf x}\|^2 - \|\mathbf x^{\|}\|^2\right)

    Áp dụng bất đẳng thức Cauchy-Schwarz, ta có \|\mathbf x^{\|}\|^2 = c_1^2 = \langle \mathbf x, \mathbf u_1\rangle^2 \leq \beta \|\mathbf x\|^2, và do đó

    \displaystyle \langle \mathbf{\hat Ax, x} \rangle \leq \alpha\|\mathbf x\|^2 + (1-\alpha)\|\mathbf x^\|\|^2 \leq (\alpha + (1-\alpha)\beta)\|\mathbf x\|^2 \leq (\alpha + (1-\alpha)\beta)\|\mathbf z\|^2

    Vì thế, mỗi lần chúng ta nhân \mathbf M vào vector \mathbf y (có nghĩa là áp dụng phép biến đổi tuyến tính tương ứng vào \bf y) chúng ta giảm chiều dài của \bf y một tỉ lệ ít nhất là (\alpha + (1-\alpha)\beta). Chúng ta sẽ áp dụng t lần, và vector đầu tiên \mathbf{Pu} có chiều dài \sqrt{\beta/n}. Định lý đã được chứng minh xong.

    QED

    Lần tới, chúng ta sẽ xét một vài ví dụ về ứng dụng của định lý trên và của expanders trong việc tiết kiệm random bits và khuếch đại gap trong các PCP reductions.

    ]]>     http://www.procul.org/blog/2009/05/29/pcp7/feed/ 1     PCP 6 — Expanders: góc nhìn đại số http://www.procul.org/blog/2009/05/22/pcp6/ http://www.procul.org/blog/2009/05/22/pcp6/#comments Fri, 22 May 2009 22:32:59 +0000 NQH http://www.procul.org/blog/?p=1298 8.c. Algebraic graph theory và spectral expansion

    Để định nghĩa expanders từ góc nhìn đại số, ta cần biết một chút về algebraic graph theory và đại số tuyến tính. Về AGT thì tôi giới thiệu 2 quyển sau đây: Algebraic Graph Theory của Biggs, Spectral Graph Theory của Fan Chung. Về đại số tuyến tính thì quyển tôi thích nhất vẫn là Matrix Analysis của Horn và Johnson, kế đến là Introduction to Linear Algebra, Fourth Edition của Strang. Nếu bạn nóng lòng thì có thể đọc lecture note này của tôi cũng đủ.

    Trong bài này, chúng ta sẽ chứng minh cái gọi là bất đẳng thức Cheeger-Alon-Milman. Bất đẳng thức này cho thấy sự “tương đương” của hai số đo: edge-expansion rate và spectral gap, theo nghĩa là: h(G) càng lớn thì spectral gap của G càng lớn và ngược lại.

    Spectral gap là gì? Gọi \bf A là adjacency matrix của G. Do ma trận này là ma trận thực và đối xứng, nó có đủ bộ eigenvectors vuông góc nhau và các eigenvalues đều là số thực. (Xem thêm bài Trị đặc trưng và vector đặc trưng.) Gọi các eigenvalues của \bf A là \lambda_1 \geq \lambda_2 \dots \geq \lambda_n. Chúng ta cũng sẽ gọi chúng là eigenvalues của đồ thị G. Khi G là d-regular graph thì \lambda_1 = d. Spectral gap là khoảng cách giữa d và \lambda_2, nghĩa là d-\lambda_2.

    Định lý Cheeger-Alon-Milman. Với mọi đồ thị d-regular G, ta có

    \frac{d-\lambda_2}{2} \leq h(G) \leq \sqrt{2d(d-\lambda_2)}

    8.c.1. Hai định lý quan trọng của đại số tuyến tính

    Định lý. (Tính eigenvalues dùng Rayleigh quotient)

    Xét một ma trận thực và đối xứng {\bf A} với eigenvalues \lambda_1 \geq \dots \geq \lambda_n. Gọi các orthonormal eigenvectors tương ứng là {\bf u}_1, \dots, {\bf u}_n. Định nghĩa thương số Rayleigh như sau:

    \displaystyle R_{{\bf A}}({\bf x}) = \frac{{\bf x}^T{\bf A}{\bf x}}{{\bf x}^T{\bf x}}, \ \ {\bf x} \in \mathbb R^n

    Ta có

    \displaystyle \lambda_1 = \max_{{\bf x} \neq {\bf 0}} R_{{\bf A}}({\bf x}) và \displaystyle \lambda_n = \min_{{\bf x} \neq {\bf 0}} R_{{\bf A}}({\bf x})

    Tổng quát hơn, với mọi 1 \leq k \leq n ta có

    \displaystyle \lambda_k = \max_{\substack{{\bf x} \neq {\bf 0} \\ {\bf x} \perp {\bf u}_1,\dots, {\bf u}_{k-1}}} R_{{\bf A}}({\bf x}) = \min_{\substack{{\bf x} \neq {\bf 0} \\ {\bf x} \perp {\bf u}_{k+1},\dots, {\bf u}_{n}}} R_{{\bf A}}({\bf x})

    Định lý thứ hai gọi là định lý Perron-Frobenius có hai phiên bản, phiên bản cho các ma trận dương, và phiên bản cho các ma trận không âm. Chúng tương tự nhau. Trong bài này chúng ta chỉ cần phiên bản cho các ma trận không âm. Cho một ma trận không âm \bf A tùy ý, định nghĩa spectral radius của {\bf A} \rho({\bf A}) := \max \{ |\lambda| \} là modulus lớn nhất của các eigenvalues của {\bf A}. (Các eigenvalues có thể phức.)

    Định lý Perron-Frobenius cho các ma trận không âm. Cho một ma trận không âm \bf A với spectral radius \rho. Ta có

    • \rho là một eigenvalue của {\bf A}
    • Tồn tại một \rho-eigenvector không âm

    8.c.2. Giới thiệu Algebraic Graph Theory

    Để chứng minh định lý Cheeger-Alon-Milman, trước hết hãy duyệt qua algebraic graph theory một chút. Bộ eigenvalues \lambda_1 \geq \lambda_2 \geq \dots \geq \lambda_n được gọi là spectrum của đồ thị G. Ta dùng {\bf u}_i để ký hiệu eigenvector tương ứng với \lambda_i. Không mất tính tổng quát, giả sử bộ vector {\bf u}_1, \dots, {\bf u}_n là một hệ cơ sở trực chuẩn (orthonormal). Cái spectrum của một đồ thị chứa khá nhiều thông tin về cái đồ thị đó.

    Định lý. Gọi \Delta(G) là max-degree của G. Nhớ là ta vẫn giả sử \lambda_1 \geq \lambda_2 \geq \dots \geq \lambda_n. Ta có:

    • (i) |\lambda_i| \leq \lambda_1, với mọi i
    • (ii) \displaystyle \frac{2|E(G)|}{n} \leq \lambda_1 \leq \Delta(G).
    • (iii) Spectrum của G đối xứng xung quanh 0 nếu và chỉ nếu G là bipartite. (Đối xứng quanh 0 nghĩa là \lambda_1 = -\lambda_n, \lambda_2 = - \lambda_{n-1}, vân vân.) Do đó, nếu |\lambda_n| < \lambda_1 thì đồ thị G không phải là bipartite.

    Chứng minh. Theo định lý Perron-Frobenius thì \lambda_1 chính là spectral radius của \bf A — phần (i) đã được chứng minh.

    Để chứng minh phần (ii), lưu ý rằng việc \bf x là một \lambda-eigenvector của \bf A (nghĩa là {\bf Ax} = \lambda \bf x và \bf x \neq 0) tương đương với đẳng thức sau đây:

    \displaystyle \lambda x_u = \sum_{v \in \Gamma(u)} a_{uv} x_v, \forall u \in V(G).

    Sở dĩ ta phải để a_{uv} ở đó là vì đồ thị G có thể có nhiều cạnh giữa u,v, và a_{uv} là số cạnh giữa u và v. Nếu G là đồ thị đơn thì không cần a_{uv} trong biểu thức trên, vì ta đã tính tổng qua các v \in \Gamma(u) rồi. (Cũng nhớ là \Gamma(u) là tập các đỉnh kề với u.) Từ đây chứng minh (ii) rất dễ. Gọi u là đỉnh mà |x_u| lớn nhất trong các đỉnh. Dĩ nhiên x_u\neq 0 vì \bf x là eigenvector. Ta có

    \displaystyle |\lambda| |x_u| \leq \sum_{v \in \Gamma(u)} a_{uv} |x_v| \leq \text{deg}(u) |x_u| \leq \Delta(G) |x_u|.

    Do bất đẳng thức đúng với mọi eigenvalue \lambda của G, ta kết luận |\lambda_1| \leq \Delta(G). Bây giờ ta chặn dưới \lambda_1. Ta dùng định lý tính eigenvalues bằng thương số Rayleigh như đã phát biểu ở trên. Gọi \bf 1 là vector mà tất cả các tọa độ đều bằng 1. Ta có

    \displaystyle \lambda_1 \geq \frac{{\bf 1}^T{\bf A 1}}{{\bf 1}^T{\bf 1}} = \frac{2|E(G)|}{n}

    Chú ý rằng chặn dưới này là degree trung bình của đồ thị, và nó chặt vì chặn dưới bằng chặn trên khi đồ thị là regular. Thật ra chúng ta vừa chứng minh một bất đẳng thức cơ bản của bất kỳ ma trận thực đối xứng nào: \displaystyle \lambda_{\max}({\bf A}) \geq \frac 1 n \sum_i \sum_j a_{ij}.

    Bây giờ đến phần (iii). Giả sử G là bipartite trước. Có thể thêm vào một số đỉnh đơn lẻ để hai bên của G có số đỉnh bằng nhau. (“Hậu quả” của việc thêm vào một số đỉnh lẻ là thêm một số eigenvalues bằng 0, không ảnh hưởng đến kết luận.) Khi đó, có thể viết \bf A dưới dạng {\bf A} = \begin{bmatrix} 0 & {\bf B}\\ {\bf B}^T & 0 \end{bmatrix}. Dễ thấy rằng \begin{bmatrix} {\bf x} \\ {\bf y} \end{bmatrix} là một \lambda-eigenvector của \bf A nếu và chỉ nếu \begin{bmatrix} {\bf x} \\ {\bf -y} \end{bmatrix} là một (-\lambda)-eigenvector của \bf A. Từ đó kết luận rằng \lambda và -\lambda có cùng multiplicity trong spectrum. (Bài tập: tại sao?)

    Ngược lại, giả sử cái spectrum của G đối xứng qua 0. Chú ý rằng, với mọi số nguyên dương k, bộ eigenvalues của {\bf A}^k là \lambda_1^k, \dots, \lambda_n^k — vẫn đối xứng qua 0 nếu k lẻ. Do đó, trace({\bf A}^k) = 0 với mọi k lẻ. Nếu G không phải là bipartite thì G phải có một cycle chiều dài lẻ, do đó trace({\bf A}^k) \neq 0 với k lẻ nào đó. (Bài tập: tại sao?)

    QED

    Bài tập. Chứng minh rằng spectrum của K_n là n-1,-1,\dots,-1

    Bài tập. Hai đồ thị là co-spectral nếu chúng có cùng spectrum. Xây dựng một ví dụ hai đồ thị co-spectral nhưng không isomorphic.

    Định lý. Xét một đồ thị d-regular G.

    • (i) \lambda_1=d, và \bf u_1 = \frac{\bf 1}{\sqrt n}. Trong đó \bf 1 ký hiệu vector mà tất cả các tọa độ đều bằng 1.
    • (ii) d > \lambda_2 nếu và chỉ nếu G là đồ thị liên thông.

    Chứng minh. Phần (i) là bài tập. Ta chứng minh phần (ii). Xét một d-eigenvector \bf x. Gọi x_u là tọa độ có giá trị tuyệt đối lớn nhất. Bằng cách thay \bf x bởi - \bf x nếu cần, ta có thể giả sử rằng x_u>0. Từ đó, dùng cùng cái mẹo như trong chứng minh trước, ta có

    \displaystyle d x_u \leq \sum_{v \in \Gamma(u)} a_{uv} |x_v| \leq \text{deg}(u) |x_u| \leq d x_u.

    Ta kết luận rằng x_v = x_u với mọi v \in \Gamma(u). Do đó, các giá trị x_u phải bằng nhau trong mỗi thành phần liên thông của G. Dimension của d-eigenspace bằng chính tổng số thành phần liên thông (connected component) của G. Vì thế, G liên thông nếu và chỉ nếu eigenvalue d có multiplicity bằng 1.

    QED

    8.c.3 Chứng minh định lý Cheeger-Alon-Milman

    Spectral gap lớn thì expansion rate lớn

    Định lý này có hai phần. Phần dễ là bất đẳng thức đầu tiên \frac{d-\lambda_2}{2} \leq h(G) và ta chứng minh nó trước. Có thể hiểu bất đẳng thức này một cách nôm na là giá trị tối thiểu của một biểu thức trên các vector nguyên thì lớn hơn giá trị tối thiểu của cùng một biểu thức trên các vectors thực. (Kỹ thuật này gọi là relaxation, rất phổ biến trong optimization.)

    Trước hết, chúng ta “symmetrize” định nghĩa của h(G). Thay vì \partial S ta viết là E(S,\bar S) để biểu thị định nghĩa của \partial S là tập các cạnh giữa S và phần bù \bar S. Ký hiệu E(S,\bar S) trông sẽ “symmetric” hơn.

    \displaystyle{h(G) = \min_{|S|\leq n/2} \frac{|E(S,\bar S)|}{|S|} \geq \min_{|S|\leq n/2} \frac{|E(S,\bar S)|}{|S|\frac{2|\bar S|}{n}}} = \frac 1 2 \min_{\emptyset \neq S \subset V} \frac{|E(S,\bar S)|}{\frac 1 n |S||\bar S|}

    Định nghĩa sparsity của G như sau

    \displaystyle{\phi(G) = \min_{\emptyset \neq S \subset V} \frac{|E(S,\bar S)|}{\frac 1 n |S||\bar S|}}

    Như thế, chúng ta mới vừa chứng minh rằng h(G) \geq \frac 1 2 \phi(G). Còn phải chứng minh \phi(G) \geq d - \lambda_2 nữa là xong. Để làm điều này, đầu tiên ta viết lại biểu thức của \phi(G) cho có vẻ đại số hơn. (Biểu thức hiện nay có tính tổ hợp.) Tưởng tượng gán giá trị 1 cho mỗi đỉnh trong S và 0 cho mỗi đỉnh trong \bar S, chúng ta có một vector \mathbf x \in \{0,1\}^n. Dễ thấy rằng

    \displaystyle \phi(G) = \min_{\substack{\bf x \in \{0,1\}^n\\ {\bf x} \neq {\bf 0}, \ {\bf x} \not\parallel {\bf 1}}}\ \frac{\sum_{uv\in E}(x_u-x_v)^2}{\frac{1}{2n} \sum_u\sum_v (x_u-x_v)^2}

    Trong đó, {\bf x} \not\parallel {\bf 1} nghĩa là vector \bf x không song song với vector \bf 1. Do đó, \phi(G) chính là giá trị tối ưu của một bài toán tối thiểu hóa trên tập các vectors \{0,1\}^n \subseteq \mathbb R^n. Giá trị tối thiểu dĩ nhiên là lớn hơn hoặc bằng giá trị tối thiểu của cùng biểu thức trên tập các vectors thực. Cụ thể hơn, ta có

    \displaystyle{\phi(G) \geq \min_{\substack{\bf x \in \mathbb R^n\\ {\bf x} \neq {\bf 0}, \ {\bf x} \not\parallel {\bf 1}}} \frac{\sum_{uv\in E}(x_u-x_v)^2}{\frac{1}{2n} \sum_u\sum_v (x_u-x_v)^2}}

    Lưu ý rằng, nếu ta cộng (hay trừ) cùng một đại lượng vào (ra khỏi) mỗi tọa độ x_u thì giá trị biểu thức không đổi. Do đó, có thể thay mỗi vector \mathbf x \in \mathbb R^n bằng \mathbf z \in \mathbb R^n trong đó z_u = x_u - \frac 1 n \sum_v x_v. Chú ý rằng, \sum_u z_u = 0, hay nói cách khác \mathbf z \perp \mathbf 1. Vì thế,

    \displaystyle \phi(G) \geq \min_{\substack{{\bf 0} \neq \mathbf z \in \mathbb R^n\\ \mathbf z \perp \mathbf 1}} \frac{\sum_{uv\in E}(z_u-z_v)^2}{\frac{1}{2n} \sum_u\sum_v (z_u-z_v)^2}

    Đến đây, viết lại tử số

    \displaystyle \sum_{uv\in E}(z_u-z_v)^2 = d\mathbf z^T\mathbf z - \mathbf z^T\mathbf A\mathbf z

    Hơn nữa, do \mathbf z \perp \mathbf 1 có thể viết lại mẫu số thành \frac{1}{2n} \sum_u\sum_v (z_u-z_v)^2 = \mathbf z^T\mathbf z. Vì vậy,

    \displaystyle \phi(G) \geq \min_{\substack{{\bf 0} \neq \mathbf z \in \mathbb R^n\\ \mathbf z \perp \mathbf 1}} \left( d - \frac{\mathbf z^T\mathbf A\mathbf z}{\mathbf z^T\mathbf z} \right) = d - \max_{\substack{{\bf 0} \neq \mathbf z \in \mathbb R^n\\ \mathbf z \perp \mathbf 1}} \frac{\mathbf z^T\mathbf A\mathbf z}{\mathbf z^T\mathbf z} = d-\lambda_2

    QED

    Expansion rate lớn thì spectral gap lớn

    Đây là phần khó của định lý. Tôi theo chứng minh của Luca Trevisan, tự nhiên hơn chứng minh của Alon-Milman một chút. Muốn hiểu chứng minh của Alon-Milman thì phải hiểu chứng minh bất đẳng thức Cheeger trong hình học Riemann. Chúng ta phải chứng minh rằng h(G) \leq \sqrt{2d(d-\lambda_2)}. Chứng minh này gồm hai bước. Bước một là viết lại định nghĩa tổ hợp của h(G) thành giá trị tối thiểu của một hàm liên tục, chuyển từ rời rạc sang liên tục. Bước hai về cơ bản là tí toáy với bất đẳng thức Cauchy-Schwarz là xong.

    Bước 1. Với một vector {\bf x} \in \mathbb R^n bất kỳ, định nghĩa med({\bf x}) là median của tập \{x_1,\dots,x_n\}. Ta sẽ chứng minh rằng

    \displaystyle \min_{\substack{\emptyset \neq S \subseteq V\\ |S| \leq n/2}} \frac{|E(S,\bar S)|}{|S|} = \min_{\substack{{\bf 0 \neq x} \in \mathbb R^n \\ \text{med}({\bf x}) = 0}} \frac{\sum_{ij \in E}|x_i-x_j|}{\sum_i |x_i|}.

    Thứ nhất, giả sử S là tập tối thiểu hóa biểu thức bên vế trái, nghĩa là h(G) = \frac{|E(S,\bar S)|}{|S|}. Đặt {\bf x} là characteristic vector của tập S. Do |S| \leq n/2, med(x)=0. Dễ thấy |E(S,\bar S)| = \sum_{ij \in E}|x_i-x_j| và |S| = \sum_i |x_i|. Do đó, vế trái \geq vế phải.

    Thứ hai, gọi P là giá trị của vế phải cho tiện. Ta sẽ chứng minh rằng tồn tại S để cho \frac{|E(S,\bar S)|}{\min(|S|, |\bar S|)} \leq P là hoàn tất bước 1. Xét vector {\bf x} tối thiểu hóa biểu thức bên trong vế phải. Không mất tính tổng quát, ta giả sử \max_i x_i - \min_i x_i = 1. Chọn một số t \in [\min_i x_i, \max_i x_i] ngẫu nhiên (uniformly). Định nghĩa S = \{i \ | \ x_i \geq t\}. Như vậy tập S này là một tập đỉnh ngẫu nhiên. (Cái mẹo tạo tập ngẫu nhiên kiểu này rất phổ biến trong các thiết kế thuật toán ngẫu nhiên cho các loại cut problems.) Ta muốn chứng minh rằng

    \displaystyle \mathbb E\left[ |E(S,\bar S)| - P \cdot \min(|S|, |\bar S|) \right] \leq 0

    Từ đó suy ra rằng tồn tại S thỏa điều kiện cần thỏa. (Đây là ý tưởng của phương pháp dùng “argument from expectation” của phương pháp xác suất.) Trước hết,

    \displaystyle \mathbb E\left[ |E(S,\bar S)| \right] = \sum_{ij \in E} \text{Prob}[ (i\in S, j\in \bar S) \vee (i \in \bar S, j\in S)] = \sum_{ij \in E} |x_i-x_j|

    Kế tiếp, không mất tính tổng quát, giả sử rằng x_1 \leq x_2 \leq \dots \leq x_n. Lưu ý rằng med({\bf x})=0, ta có

    \displaystyle \mathbb E\left[ \min(|S|, |\bar S|) \right] = \sum_{k=1}^{n/2} \text{Prob}[ \min(|S|, |\bar S|) \geq k] = \sum_{k=1}^{n/2} |x_{n-k}-x_k| = \sum_{i=1}^n |x_i|

    Nhờ linearity of expectation, ta có kết luận (mạnh hơn cần thiết) rằng

    \displaystyle \mathbb E\left[ |E(S,\bar S)| - P \cdot \min(|S|, |\bar S|) \right] = \sum_{ij \in E} |x_i-x_j| - P \cdot \sum_{i=1}^n |x_i| = 0

    Bước 2. Chúng ta cần chứng minh rằng

    \displaystyle \min_{\substack{{\bf 0 \neq x} \in \mathbb R^n \\ \text{med}({\bf x}) = 0}} \frac{\sum_{ij \in E}|x_i-x_j|}{\sum_i |x_i|} \leq \sqrt{2d \min_{\substack{\mathbf 0 \neq \mathbf z \in \mathbb R^n\\ \mathbf z \perp \mathbf 1}} \frac{\sum_{ij\in E}(z_i-z_j)^2}{\frac{1}{2n} \sum_i\sum_j (z_u-z_v)^2}}

    Chiến lược khá rõ ràng: gọi {\bf z} là vector tối thiểu hóa biểu thức bên trong vế phải. Xây dựng một vector {\bf x} từ \bf z sao cho {\bf x} \neq 0, med({\bf x})=0, và

    \displaystyle \frac{\sum_{ij \in E}|x_i-x_j|}{\sum_i |x_i|} \leq \sqrt{2d \frac{\sum_{ij\in E}(z_i-z_j)^2}{\frac{1}{2n} \sum_i\sum_j (z_i-z_j)^2}}.

    (Để cho tiện dùng về sau, định nghĩa \displaystyle Z = \frac{\sum_{ij\in E}(z_i-z_j)^2}{\frac{1}{2n} \sum_i\sum_j (z_i-z_j)^2}.)

    Làm thế nào để “xây dựng” một vector {\bf x} như thế? Phản ứng đầu tiên là thử {\bf x=z} rồi dùng Cauchy-Schwarz, nhưng thử vài lần không được. Phản ứng thứ hai là chọn {\bf x} sao cho |x_i-x_j| “xấp xỉ” (z_i-z_j)^2 và |x_i| “xấp xỉ” z_i^2 rồi xem ép được đến đâu. Có vẻ như x_i = |z_i|z_i có lý. (Đây chính là phát kiến thứ hai của Luca Trevisan. Phát kiến thứ nhất là bước 1.) Khi gán x_i = |z_i|z_i, ta có

    \displaystyle |x_i-x_j| \leq |z_i-z_j|(|z_i|+|z_j|)

    Do đó, Cauchy-Schwarz cho ta

    \displaystyle \sum_{ij \in E} |x_i-x_j| \leq \sqrt{ \sum_{ij \in E} (z_i-z_j)^2 } \sqrt{ \sum_{ij \in E} (|z_i|+|z_j|)^2}

    Đến đây, nhớ lại định nghĩa của Z như trên, ta có

    \displaystyle \sum_{ij \in E} (z_i-z_j)^2 = \frac{Z}{2n} \sum_{i,j} (z_i-z_j)^2 = \frac{Z}{2n} \left( \sum_{i,j} (z_i^2+z_j^2) - 2\left[ \sum_i z_i \right]^2 \right) \leq Z \sum_i |x_i|

    và Cauchy-Schwarz lần nữa cho ta

    \displaystyle \sum_{ij \in E} (|z_i|+|z_j|)^2 \leq \sum_{ij \in E} 2(z_i^2 + z_j^2) = 2d \sum_i z_i^2 = 2d\sum_i |x_i|
    .

    Gom tất cả lại, ta hoàn tất chứng minh:

    \displaystyle \displaystyle \sum_{ij \in E} |x_i-x_j| \leq \sqrt{Z \sum_i |x_i|} \sqrt{2d\sum_i |x_i|} = \sqrt{2dZ} \sum_i |x_i|

    QED
    ]]>     http://www.procul.org/blog/2009/05/22/pcp6/feed/ 2