Comments on: Trị đặc trưng và vector đặc trưng http://www.procul.org/blog/2007/10/23/eigen/ Tầm nhìn ta thật ngắn mà đã thấy bao thứ để làm -- Alan Turing Sun, 05 Sep 2010 07:22:42 +0000 hourly 1 By: Thanh http://www.procul.org/blog/2007/10/23/eigen/comment-page-1/#comment-193158 Thanh Wed, 14 Jul 2010 14:39:05 +0000 http://www.procul.org/blog/2007/10/23/eigen/#comment-193158 Tôi mới nghiên cứu về PCA nên có 1 số thắc mắc rất mong được giải đáp: 1/ Theo lý thuyết toán, ứng với mỗi eigenvalues sẽ có vô số eigenvector – tạo thành 1 không gian riêng ứng với eigenvalue đó. Vậy ta nên chọn eigenvector nào? 2/ Ở bước cuối cùng của PCA, ta nên giữ lại bao nhiêu eigenvector của ma trận hiệp phương sai (covariance matrix)là thích hợp? 3/ Trong giai đoạn nhận dạng (regconition), ta đi tìm phần tử trong tập mẫu có khoảng cách gần nhất với phần tử cần nhận dạng, và khoảng cách này phải "đủ bé". Vậy ta nên chọn ngưỡng của khoảng cách này (face class distance) bao nhiêu là phù hợp? Tương tự như vậy cho việc chọn ngưỡng (face space distance) trong giai đoạn dò tìm (detection)? CÁM ƠN RẤT NHIỀU. Tôi mới nghiên cứu về PCA nên có 1 số thắc mắc rất mong được giải đáp:

1/ Theo lý thuyết toán, ứng với mỗi eigenvalues sẽ có vô số eigenvector – tạo thành 1 không gian riêng ứng với eigenvalue đó. Vậy ta nên chọn eigenvector nào?

2/ Ở bước cuối cùng của PCA, ta nên giữ lại bao nhiêu eigenvector của ma trận hiệp phương sai (covariance matrix)là thích hợp?

3/ Trong giai đoạn nhận dạng (regconition), ta đi tìm phần tử trong tập mẫu có khoảng cách gần nhất với phần tử cần nhận dạng, và khoảng cách này phải “đủ bé”.

Vậy ta nên chọn ngưỡng của khoảng cách này (face class distance) bao nhiêu là phù hợp?
Tương tự như vậy cho việc chọn ngưỡng (face space distance) trong giai đoạn dò tìm (detection)?

CÁM ƠN RẤT NHIỀU.

]]> By: Chanh http://www.procul.org/blog/2007/10/23/eigen/comment-page-1/#comment-192053 Chanh Wed, 21 Apr 2010 13:34:31 +0000 http://www.procul.org/blog/2007/10/23/eigen/#comment-192053 Dạ, cám ơn. Em thấy thuật toán QR có độ phức tạp [latex] O(n^3)[\latex]. Khi đem vào bài toán trị riêng thì độ phức tạp [latex] O(n^4)[\latex]. Còn có thuật toán nào tốt hơn không ? Còn việc tính định thức của ma trận với độ phức tạp O(n^{2,..}) là thấp nhất chưa ? Dạ, cám ơn.
Em thấy thuật toán QR có độ phức tạp O(n^3)[\latex].
Khi đem vào bài toán trị riêng thì độ phức tạp O(n^4)[\latex].
Còn có thuật toán nào tốt hơn không ?

Còn việc tính định thức của ma trận với độ phức tạp O(n^{2,..}) là thấp nhất chưa ?

]]> By: Minh http://www.procul.org/blog/2007/10/23/eigen/comment-page-1/#comment-191780 Minh Fri, 02 Apr 2010 00:21:28 +0000 http://www.procul.org/blog/2007/10/23/eigen/#comment-191780 Chả hiểu sao tôi lại dịch "sparse" là "rời rạc", đúng ra phải dịch là "thưa". Sparse matrix = ma trận thưa. Chả hiểu sao tôi lại dịch “sparse” là “rời rạc”, đúng ra phải dịch là “thưa”. Sparse matrix = ma trận thưa.

]]> By: Minh http://www.procul.org/blog/2007/10/23/eigen/comment-page-1/#comment-191776 Minh Thu, 01 Apr 2010 20:46:11 +0000 http://www.procul.org/blog/2007/10/23/eigen/#comment-191776 To Chanh, Với các ma trận lớn và rời rạc, người ta không dùng đa thức đặc trưng để tính giá trị và vector riêng, đơn giản là vì không hiệu quả và sai số tính toán sẽ lớn. Thông thường người ta sẽ dùng phương pháp lặp để tính toán, ở UofM có ông Saad (bạn của sư phụ Hưng) là một trong những người đi đầu về phương pháp này. Hầu như tất cả các phương pháp lặp này đều dựa trên conjugate gradient method (như dongta đã nói ở trên). Có rất nhiều open source library làm vấn đề này: taucs, OpenNL,... Cứ google là ra ngay. Ma trận cỡ lớn là bao nhiêu? Tôi đã từng có ma trận rời rạc cỡ khoảng 10^10 x 10^10, vẫn chạy ngon. Kinh nghiệm cho thấy khi dùng phương pháp lặp cộng với một preconditioner (Vietnamese?) thích hơp thì sẽ có lời giải nhanh hơn, cái này thì tùy thuộc vào cấu trúc của ma trận và bài toán bạn cần giải. To Chanh,

Với các ma trận lớn và rời rạc, người ta không dùng đa thức đặc trưng để tính giá trị và vector riêng, đơn giản là vì không hiệu quả và sai số tính toán sẽ lớn. Thông thường người ta sẽ dùng phương pháp lặp để tính toán, ở UofM có ông Saad (bạn của sư phụ Hưng) là một trong những người đi đầu về phương pháp này. Hầu như tất cả các phương pháp lặp này đều dựa trên conjugate gradient method (như dongta đã nói ở trên). Có rất nhiều open source library làm vấn đề này: taucs, OpenNL,… Cứ google là ra ngay. Ma trận cỡ lớn là bao nhiêu? Tôi đã từng có ma trận rời rạc cỡ khoảng 10^10 x 10^10, vẫn chạy ngon. Kinh nghiệm cho thấy khi dùng phương pháp lặp cộng với một preconditioner (Vietnamese?) thích hơp thì sẽ có lời giải nhanh hơn, cái này thì tùy thuộc vào cấu trúc của ma trận và bài toán bạn cần giải.

]]> By: Chanh http://www.procul.org/blog/2007/10/23/eigen/comment-page-1/#comment-191744 Chanh Wed, 31 Mar 2010 02:01:14 +0000 http://www.procul.org/blog/2007/10/23/eigen/#comment-191744 Cho em hỏi : Có phương pháp nào giải quyết vấn đề tìm trị riêng, vector riêng cho ma trận đối xứng xác định riêng , mà không phải tính thông qua đa thức đặc trưng không ? Em cám ơn Em đang có nhu cầu , giải quyết vấn đề này để đối phó với ma trận cấp lớn Cho em hỏi : Có phương pháp nào giải quyết vấn đề tìm trị riêng, vector riêng cho ma trận đối xứng xác định riêng , mà không phải tính thông qua đa thức đặc trưng không ? Em cám ơn
Em đang có nhu cầu , giải quyết vấn đề này để đối phó với ma trận cấp lớn

]]> By: Minh http://www.procul.org/blog/2007/10/23/eigen/comment-page-1/#comment-187275 Minh Sun, 13 Sep 2009 02:57:07 +0000 http://www.procul.org/blog/2007/10/23/eigen/#comment-187275 Phần PCA theo ý nghĩa thống kê thì giúp làm giảm lượng tính toán sau khi xử lý các thông số có độ liên quan nhau cao (reduce number of variables according to highly correlated information) Thông qua PCA người ta có thể đi đến tìm pattern/structure của một tập dữ liệu (data set) với FA (Factor Analysis) với một số điều kiện (assumptions). Anh/chị có thể giải thích giúp em về các điều kiện đó không ạ? ^^ Phần PCA theo ý nghĩa thống kê thì giúp làm giảm lượng tính toán sau khi xử lý các thông số có độ liên quan nhau cao (reduce number of variables according to highly correlated information) Thông qua PCA người ta có thể đi đến tìm pattern/structure của một tập dữ liệu (data set) với FA (Factor Analysis) với một số điều kiện (assumptions). Anh/chị có thể giải thích giúp em về các điều kiện đó không ạ? ^^

]]> By: abc_math http://www.procul.org/blog/2007/10/23/eigen/comment-page-1/#comment-130050 abc_math Tue, 06 May 2008 11:12:18 +0000 http://www.procul.org/blog/2007/10/23/eigen/#comment-130050 PS ': à mà thêm nữa nếu câu 1 - đúng thì lớp operator nào chỉ chéo hóa được mà không chéo hóa trực giao được nhỉ hay là đã chéo hóa được thì luôn chéo hóa trực giao được. PS ‘: à mà thêm nữa nếu câu 1 – đúng thì lớp operator nào chỉ chéo hóa được mà không chéo hóa trực giao được nhỉ hay là đã chéo hóa được thì luôn chéo hóa trực giao được.

]]> By: abc_math http://www.procul.org/blog/2007/10/23/eigen/comment-page-1/#comment-130043 abc_math Tue, 06 May 2008 11:06:50 +0000 http://www.procul.org/blog/2007/10/23/eigen/#comment-130043 PS: à mà câu hỏi 1- của em nó tương đương với việc: các không gian riêng của normal operators có luôn trực giao với nhau không nhỉ ? PS: à mà câu hỏi 1- của em nó tương đương với việc: các không gian riêng của normal operators có luôn trực giao với nhau không nhỉ ?

]]> By: abc_math http://www.procul.org/blog/2007/10/23/eigen/comment-page-1/#comment-130035 abc_math Tue, 06 May 2008 11:00:06 +0000 http://www.procul.org/blog/2007/10/23/eigen/#comment-130035 Chào anh Hưng, em hơi lười tra lại sách nên có thắc mắc sau: 1 - Mọi normal operator đều chéo hóa trực giao (*) được hay chỉ mỗi symetric/ Hermititan operator là chéo hóa trực giao được, còn những normal operator khác như unitary operator, project operator chỉ chéo hóa được chứ không chéo hóa trực giao được. (* chéo hóa trực giao được tức là ma trận làm chéo là unitary matrix) 2 - Phân loại các normal operator như thế nào ? Liệu {normal operators} = {symmetric/hermittian operators} + {orthogonal/unitary operators} + {project operators} (em thấy trong sách họ thường chỉ nói về 3 loại operators này, chúng đủ quét sạch hết các normal operators chứ ?) Chào anh Hưng, em hơi lười tra lại sách nên có thắc mắc sau:

1 – Mọi normal operator đều chéo hóa trực giao (*) được hay chỉ mỗi symetric/ Hermititan operator là chéo hóa trực giao được, còn những normal operator khác như unitary operator, project operator chỉ chéo hóa được chứ không chéo hóa trực giao được.
(* chéo hóa trực giao được tức là ma trận làm chéo là unitary matrix)

2 – Phân loại các normal operator như thế nào ? Liệu
{normal operators} = {symmetric/hermittian operators} + {orthogonal/unitary operators} + {project operators}
(em thấy trong sách họ thường chỉ nói về 3 loại operators này, chúng đủ quét sạch hết các normal operators chứ ?)

]]> By: dongta http://www.procul.org/blog/2007/10/23/eigen/comment-page-1/#comment-45175 dongta Fri, 26 Oct 2007 23:54:07 +0000 http://www.procul.org/blog/2007/10/23/eigen/#comment-45175 Thuật toán QR để tìm eigenvalues của 1 matrix được xem là 1 trong Top 10 algorithms of the 20th century (http://amath.colorado.edu/resources/archive/topten.pdf). Điều này giải thích một phần nào rằng mấy cái eigenthingies (mượn từ của Jonathan Shewchuck) này "are more important than they look". Side note 1: nhớ lại lúc mình học Functional Analysis, ông thầy luôn bảo Hahn-Banach theorem is much more important than it looks. Mặc dù mấy các theorems bên Functional Analysis đều ultimately rely on Hahn-Banach theorem nhưng quả thật, đến giờ mình vẫn chưa bắt được cái thần của định lý này và cũng chưa đọc được bài nào diễn tả được cái thần đấy (ngoài việc claim rằng nó rất quan trọng). Side note 2: hôm nào bác Hưng mở một topic bàn về top algorithms of "the" century cho vui. Em (thực ra là adviser) nghĩ rằng danh sách này còn thiếu 4 ideas cũng revolutionary không kém khác: - Finite Element Method - Conjugate Gradient Method - Multigrid Method - Dynamic Programming Thuật toán QR để tìm eigenvalues của 1 matrix được xem là 1 trong Top 10 algorithms of the 20th century (http://amath.colorado.edu/resources/archive/topten.pdf). Điều này giải thích một phần nào rằng mấy cái eigenthingies (mượn từ của Jonathan Shewchuck) này “are more important than they look”.

Side note 1: nhớ lại lúc mình học Functional Analysis, ông thầy luôn bảo Hahn-Banach theorem is much more important than it looks. Mặc dù mấy các theorems bên Functional Analysis đều ultimately rely on Hahn-Banach theorem nhưng quả thật, đến giờ mình vẫn chưa bắt được cái thần của định lý này và cũng chưa đọc được bài nào diễn tả được cái thần đấy (ngoài việc claim rằng nó rất quan trọng).

Side note 2: hôm nào bác Hưng mở một topic bàn về top algorithms of “the” century cho vui. Em (thực ra là adviser) nghĩ rằng danh sách này còn thiếu 4 ideas cũng revolutionary không kém khác:
- Finite Element Method
- Conjugate Gradient Method
- Multigrid Method
- Dynamic Programming

]]>