Comments on: Các bài báo kinh điển KHMT (8): Graphical models

By: lena

lena — Tue, 26 Jan 2010 16:41:51 +0000

Tôi muốn hỏi về EM-Algorithm. Như tôi hiểu thì EM-Algorithms cũng là để estimate parameters như maximum likelihood (ML) và thường dùng cho mixture models.

Đối với các Models đơn giản (gaussian, binomial etc.) thì các estimated parameters hoặc là tính được (analytical solution) hoạc trong trường hợp phức tạp hơn thì có thể dùng numerical optimization. Lời giải luôn tồn tại vì hàm likelihood là convex function.

Tôi muốn hỏi là đối với mixture models thì có thể dùng phương pháp ML truyền thống được không? Hàm likelihood khi đó có convex không? Nếu vẫn dùng ML bình thường được thì tại sao EM lại tốt hơn?
Cũng câu hỏi như thế cho parameter learning của HMM?
Cảm ơn nhiều.

By: XuanLong Nguyen

XuanLong Nguyen — Wed, 13 Jan 2010 23:50:52 +0000

CRF cũng chỉ nên coi là trường hợp đặc biệt của Markov random fields, nên so sánh chung chung thì cũng không có ý nghĩa. Với sequential data (thứ mà CRF được tailor-made cho thì tôi cũng có nhận định như bạn (có vẻ có sự trade-off giữa parameter estimation và inference phases). Để trả lời cụ thể thì phải hỏi ai đã sử dụng nó nhiều (bạn Nguyên ở CMU?).

By: lena

lena — Tue, 12 Jan 2010 10:24:49 +0000

Anh Long cho hỏi về sự khác nhau giữa CRF và Markov networrks thông thường về mặt representation, inference và learning. CRF có lợi thề hơn chút nào không và phải trả giá về mặt nào. Tôi tìm hiều nhưng thỉ mới thấy khác nhau về mặt hình thức còn phần tiếp theo thì vẫn không thấy sự khác nhau. Cảm ơn anh.

By: lena

lena — Fri, 18 Dec 2009 16:19:06 +0000

Thanks anh Long

By: XuanLong Nguyen

XuanLong Nguyen — Thu, 17 Dec 2009 18:54:27 +0000

Nếu domain của MC không phải là finite discrete nữa (ví dụ, continuous domain chẳng hạn) thì transition matrix P của bạn phải trở thành một transition kernel (function). Nê’u dùng Gibbs sampling mà các conditional distributions có liên hệ conjugate thì vẫn tính được các acceptance probability một cách dê~ dàng. Nê’u khong co quan he conjugate thì phải dùng Metropolis-Hasting; nói chung vẫn tính được các probability ratio cần thiết.

Bước đầu bạn có thể tham khảo thêm bài báo giới thiệu này:
http://www.cs.berkeley.edu/~jordan/papers/mlintro.ps

By: lena

lena — Thu, 17 Dec 2009 13:13:45 +0000

Tôi cũng đang tìm hiểu để ứng dụng GM. Tôi muốn hỏi về MCMC mà cụ thể là Metropolis – Hastings algorithm.
Như tôi hiểu thì thuật toán này xây dựng một markov process. Process này là stationary tức là sau một số bước đủ lớn thì sẽ hội tụ tới một một hàm phân bố xác suất nào đó. Mục tiêu là xây dựng markov process sao cho hàm hội tụ này chính là hàm phân bố mà ta cần sampled.

Đối với stationary markov process mà có hữu hạn trang thái thì hoàn toàn được mô tả bởi một ma trận vuông P có kích thước bằng số trạng thái có thể. Khi do hàm phân bố xác suất tại trạng thái stationary là một vector hữu hạn chiều chính là eingenvector tương ứng với eingenvalue 1 của P.

Vấn đề này sinh là nếu markov process có vô hạn (nhưng đếm được ) trạng thái. Ma trận P như vậy không tồn tại. Tôi không biết là việc xác định hàm phân bố xác suất tại trạng thái stationary làm thế nào và ngược lại việc xác định markov process (tức là các probability transitions) như thế nào nếu biết trước stationary distribution.

By: Anonymous

Anonymous — Fri, 30 Sep 2005 21:09:00 +0000

CRF là một ví dụ của graphical models (với undirected graph). Giống HMM ở chỗ là đều dùng chained graph, nhưng khác ở chỗ hidden variables khác nhau, và HMM dùng directed graph. Do đó có tradeoff về statistical inference vs. parameter estimation. Nguyên xem thể tham khảo của Andrew McCallum (UMass) và John Lafferty (CMU) ứng dụng cho text processing. Một số ứng dụng gần đây, xem Max Welling (UCI), và Eric Xing (CMU).

Log-linear model, hoặc tổng quát hơn một chút, generalized linear models, là những mô hình thống kê cổ điển, có thể dùng làm building blocks cho graphical models. (Các conditional probability distribution cho các clique trong graphical models). Mấy mô hình này mô tả quan hệ tuyến tính và phát triển lên quan hệ phi tuyến tính ở dạng đơn giản. Nhiều sách thống kê kinh điển có nói về mấy mô hình này. Một tham khảo kinh điển về GLIM:

McCullagh, P. and J.A. Nelder. 1989. Generalized Linear Models. Chapman and Hall:

Người viết: XLN

By: Anonymous

Anonymous — Thu, 29 Sep 2005 21:00:00 +0000

Anh Long co the giai thich them ve moi tuong quan giua
Conditional Random Field, Log-Linear Model, va Graphical Models duoc ko?

Vai nam gan day Graphical Models dang duoc ua chuong nhac den nhieu. Su phu bac Long lai la to su mon GM nay. Tam thoi vi su phu bac nhu kieu Vuong Trung Duong cua Toan Chan Giao, con anh Long sau nay thanh tai xuong nui roi chac thanh Khuu Xu Co day nhi.

Người viết: Bach Hung Nguyen

By: Anonymous

Anonymous — Sun, 25 Sep 2005 10:02:00 +0000

Một đồng nghiệp của tôi, Matt Beal , cũng có ứng dụng graphical models vào các vấn đề sinh học, và có bài báo với sư phụ bác Long.

Người viết: Ngô Quang Hưng