Giới thiệu với bạn đọc blog KHMT video bài giảng của GS Michael Jordan ở ML summer school (ở Cambridge tháng 9 năm ngoái) về đề tài thú vị này:
http://videolectures.net/mlss09uk_jordan_bfway/
Có cả một số bình luận về machine learning trong không gian chung của các nghiên cứu về thống kê.
Còn đây là concluding slide:
- Are you a Bayesian or a frequentist?
- My own answer is “both”, but there days where I’m much more clearly one than other
(and it’s an ongoing intellectual challenge to try to understand the ramifications of this distinction) - I view them as complementary perspectives, but there is a wave/particle (of) uncomfortableness at times
- A main conclusion: machine learning is a part of statistics; don’t just read the machine learning literature — read, ponder and contribute to the broad statistical literature
6 Comments
Anh Long có thể cho hỏi vấn đề sau.
Hiện tại tôi đang phải tìm một mô hình GM thích hợp để mô hình traffic scenes.
1. Trong bài toán này cần phải mô hình chuỗi các sự kiện biến đổi theo thời gian. Tại mỗi thời điểm số lượng các biến ngẫu nhiên có thể thay đổi (cấu trúc của GM có thể biến đổi).
2. Ngoài ra các biến ngẫu nhiên có thể nhận giá trị trong tập rời rạc (từ object detection) hoạc tập liên tục (từ parameter estimation).
Việc chọn mô hình thích hợp là bước rất quan trọng. Tôi cân nhắc 3 khả năng là HMM, CRF hoặc dynamic BN. nhưng hiện tại vẫn chưa quyết định được. Tiêu chí vẫn là mô hình đơn giản nhất có thể và có thuật toán cho learning and inference
Anh Long có thể gợi ý theo kinh nghiệm và cảm nhận thì nên chọn cách tiếp cận nào có vẻ hợp lý hơn cả.
Cảm ơn anh nhiều.
Hello lena. Vấn đề bạn đang tìm hiểu rất hay và khó. Hiện tại chưa có nhiếu mô hình có tính chất 1 và 2 như bạn nói một cách thỏa đáng. HMM vá CRF có lẽ không thích hợp. Dynamic BN có thể giải quyết đươc một số khía cạnh, nhưng không được elegant cho lắm, vì v/d inference rất khó khăn. Quả thật đây cũng là một hướng nghiên cứu chính tôi đang theo đuổi; xin giới thiệu một bản manuscript tôi mới hoàn thành gần đây, cho phép ta mô hình sư thay đổi của clustering distributions over time (or space):
http://arxiv.org/abs/1001.0597
Mô hình này nói về sự thay đổi của số lượng clusters. Còn để mô tả sự thay đổi của cả một graph structure như bạn hỏi thì vẫn là một open problem rất, rất thú vị và hóc búa. Công cụ giải quyết triển vọng nhất theo tôi là nonparametric Bayes. Có lẽ kết hợp với Markov chains nữa.
Thanks anh Long đã trả lời.
Hiện tại với bài toán này nhiều người tiếp cận theo hướng Random Finite Sets có kết quả cũng khá tốt trong những situations không quá phức tạp.
Tôi muốn hỏi thêm là nếu thu hẹp lại trong trường hợp BN có cấu trúc “gần” chain-structured, chỉ gồm có các biến ngẫu nhiên binary và Gaussian/Mixture of Gaussian thì có thể inference hiệu quả không? Hay là vẫn sử dung MCMC.
Tôi chưa nghe nói về hướng này. Bạn Lena thừ cho vài reference để tham khảo?
Ngay cả khi cố định BN về dạng chain-structure, vấn đề vẫn không đơn giản tí nào cả, nếu bạn muốn mô hỉnh có temporal dynamic thú vị. (Trong bài báo của tôi, tại mỗi thời điểm chỉ có một biến Gaussian mixture, nhưng cũng đã nảy sinh nhiều vấn đề).
Vấn đề inference cũng là vẫn đề mở, tùy thuộc vào mô hình cụ thể, không nói chung chung được.
@lena: tôi có làm chút ít về abnormality detection, và có tested qua các mô hình bạn kể trên. Phải nói rằng rất khó để tìm một mô hình đáp ứng được 2 yêu cầu trên của bạn. Tôi thấy nhóm Dr. Tao Xiang (http://www.eecs.qmul.ac.uk/~txiang/index.html), làm khá nhiều về những vấn đề “gần” (vẫn còn vài km nữa:D) với cái bạn cần, đặc biệt hai articles sau:
a) Chen Change Loy, Tao Xiang and Shaogang Gong. Modelling Multi-object Activity by Gaussian Processes, in BMVC 2009.
b) Tao Xiang and Shaogang Gong. Incremental and Adaptive Abnormal Behaviour Detection, in CVIU 2008.
Bài thứ nhất, tác giả xây dựng một mô hình non-parametric khá hay, trong khi bài thứ 2 thì có chăng (?) chỉ thu được chút ý tưởng về việc xây dựng một GM thích ứng với thay đổi của context. Khong biet co giup gi duoc ban kg? Neu can, ban co the email trao doi voi nhom cua Dr. Tao Xiang, toi nghi ho se co nhung y kien chinh xac va thiet thuc.
@Random Finite Sets: ve van de nay, truoc day toi co doc qua, nhung kg de y lam. Co phai ban muon noi den cac pubs. cua nhom Dr. Andrea Cavallaro? Neu qua vay, toi khong chac rang, ho da giai quyet duoc HAI van de ban neu o tren.
@Bac Xuan Long: tuy chua co thoi gian doc tai lieu cua bac, nhung cung cam on bac ve tai lieu nay. Toi chac chan se doc.
P.
P/S: xin loi anh em, go tieng viet co dau cham qua, danh go khong dau:P
Mấy hôm vừa rồi bận quá không vào đọc blog được.
Cái manuscript có vẻ giống như cái mô hình cần tìm, Tất nhiên là cách đặt và giải quyết vấn đề ở mức trừu tượng hơn là một bài toán kỹ thuật cụ thể. Đọc giống như đọc toán ứng dụng vậy. Tôi sẽ từ từ tìm hiểu.
Về Random finite sets (hoạc finite set statistics) có kết quả tốt đối với một số bài toán multiple object tracking hiểu theo nghiã engineering. Cụ thể là ứng dụng vào bài toán trackíng vehicles, people từ camera và rada. Còn về mặt lý thuyết nó giải quyết được lớp bài tổng quát hay rộng hơn không quả thực là không dám khẳng định. Tôi không làm về phần này, những điều biết được là do nói truyện vói các bạn ở lab thôi.
Về vấn đề này có một người việt nam ở Úc làm, anh Long có thể xem ở đây.
http://people.eng.unimelb.edu.au/bnvo/publications.html
@taphuong: rất vui được làm quen, cảm ơn về thông tin và 2 bài báo. Chắc chắn tôi sẽ đọc. Đúng là các bài của nhóm Cavallaro theo hướng này, không phải tất cả nhưng cũng được nhiều phần có ích cho tôi.
Chúc mọi người cuối tuần vui vẻ