Tuy nhiên phải thú thực là để tự học (không phải/được theo lớp) thì khá mệt. Tôi đọc gần 3 tháng nay chưa hết được 2 chương đầu và nhiều lúc cũng thấy nản. Ngoài ra để giữ được nồi cơm cần thời gian làm các thứ khác nữa.

Cho các bạn nào cần nhanh chóng hiểu ý tưởng của statistics (models, point estimation, confidence and hypothesis testing) và ứng dụng thì quyển sách \All of statistics\ của Larry Wasserman (CMU) tôi thấy khá tốt.
http://www.amazon.de/All-Statistics-Statistical-Inference-Springer/dp/0387402721

Sau khi nắm được ý tưởng thì có thể tìm hiểu chặt chẽ khi có thời gian.
Chúc mọi người cuối tuần vui vẻ
lena

Khi da co GM structure roi, thi ta co the liet ke tat ca cac conditional independence trong do. Nhu da noi, mot GM mo ta mot tap hop cac ham phan bo. Tat nhien, rat co the ham phan bo ma ta muon tim con co cac conditional independence khac trong do. Ddieu nay khong co gi la mau thuan ca.

Van de ban neu ra, tim cac conditional independence relation giua cac bien, chi dua vao du lieu, la mot van dde kho. Lam the nao dde mo ta quan he independence, khi ta khong biet ham phan bo thuc su cua data la gi? Day la van de kho, nhung co the giai quyet dduoc. Co nhieu bien phap uoc luong entropy, mutual information chang han; nhung thu nay co the dung de mot ta quan he independence.

Trong ngu canh GM, structure learning tu du lieu la mot van de kho, thu vi. Ve mat thuc dung, nhu noi o tren, nguoi ta it khi doi dau voi no, ma thuong dua ra structure bang truc quan cua nguoi su dung. Nhung ve ly thuyet, thi co nhieu cach dde giai quyet. Mot cach goi la structure EM. Mot cach khac, dung lasso penalty. Noi chung, van de structure learning
khong bao gio co loi gian tot, chi tru mot so truong hop rat dac biet.

Hom qua toi vua co bai giang ve model selection xong. Co noi cac van de nay. Ban co the tham khao mot so bai bao vi du ve sparse graphical model structure learning qua homepage cua lop toi day (vao link projects)

http://www.stat.lsa.umich.edu/~xuanlong/courses/stat700-f09/

Như vậy nghĩa là cấu trúc (topology) của GM hoàn toàn do các conditional independence relations quyết định. Mà các constrains này xác định từ trực quan hoạc kinh nghiệm?
Ngoài ra các constraints này thường mang các thông tin địa phưưong (local conditional independencies). Sau khi có topology của GM thì lại có những conditional independencies mới. Điều này có thể giải thích như thế nào?

Tôi biết cũng có một hướng ngược lại, nếu không biết thông tin về các contraints, chỉ từ dữ liệu người ta cũng cố gắng xây dựng cấu trúc của GM (Structure Learning). Bài toán này có vẻ chưa có lời giải tốt?

Cảm ơn anh đã dành thời gian trả lời.

Như tôi hiểu thì với một joint probability distribution bất kỳ đều có thề biểu diễn một cách “đơn sơ” bằng một BN với node i là con của của tất cả các nodes có chỉ số nhỏ hơn i. Tất nhiên cách biểu diễn này không có lợi gì về mặt tính toán so với việc tính toán trực tiếp trên joint probability distribution.

Nếu như thế nếu cho trước joint probability distributions làm thế nào để xây dựng được BN “đủ tốt”, tức là thể hiện được các thông tin independencies ẩn trọng joint probability distribution.

Tuy va^.y discrete space kho^ng co’ nghi~a la` kho^ng ca^`n LTDD. Ba.n se~ ca^`n no’ khi kho^ng gian la` vo^ ha.n. (vi’ du., the^’ na`o la` ha`m pha^n bo^’ cho ca’c so^’ tu+. nhie^n, hoa(.c ha`m pha^n bo^’ cho ta^.p ha`m so^’). Hai vi’ du. na`y tu+o+?ng nhu+ kho^ng lie^n quan dde^’n nhau, mo^.t ca’i la` kho^ng gian discrete, mo^.t ca’i la` kho^ng gian co’ le~ la` lie^n tu.c, nhu+ng dde^? hie^?u tha^’u dda’o thi` dde^`u ca^`n LTDD, va` ddie^`u kha’ kinh nga.c vo+’i to^i, la` ddo^. ddo cu?a ca’i thu+’ hai co’ the^? du`ng dde^? ddi.nh nghi~a ddo^. ddo cu?a ca’i dda^`u tie^n, va` ngu+o+.c la.i. Khi to^i ho.c LTDD, dda(.c bie^.t la` probability measure, thi` tha^’y mo^.t y’ tu+o+?ng chi’nh cu?a LTDD la` kha’i nie^.m countable additivity dde^? gia?i quye^’t va^’n dde^` vo^ ha.n. Mo.i thu+’ kha’c chi? la` chi tie^’t ky~ thua^.t ve^` ma(.t toa’n ho.c. Ne^’u kho^ng bi. vu+o+’ng ba^.n ve^` tho+`i gian, ba.n cu~ng co’ the^? ne^n ho.c song song (vu+`a measure-theoretic probability, vu+`a ho.c tho^’ng ke^).

Ca’ch tu+o+?ng tu+o+.ng ve^` prob. space nhu+ ba.n Tua^’n go+.i y’ cu~ng hay, dda(.c biet cho point processes. To^i thu+o+`ng nghi~ prob space la` mo^.t vu~ tru. bao la ma` mo.i chuye^.n dde^`u co’ the^? xa?y ra. Chu’ng ta quan sa’t vu~ tru. qua ca’c la(ng ki’nh va` ga’n cho nhu+~ng gi` tha^’y ddu+o+.c ba(`ng ca’c bie^’n. Ca’c la(ng ki’nh kha’c nhau thi` se~ pha?i du`ng ca’c bie^’n kha’c nhau, nhu+ng ky` thu+.c chu’ng ta quan sa’t cu`ng mo^.t vu~ tru.. Kha’i nie^/m sigma dda/i so^’ chi? la` mo^.t co^ng cu. toa’n ho.c dde^? ba?o dda?m ca’c la(ng ki’nh na`y quan sa’t cu`ng mo^.t vu~ tru., dde^? tra’nh o^ng no’i ga`, ba` no’i vi.t., dde^? ba?o dda?m ca’i gi` ba/n ddong ddo ddu+o+.c la` hu+~u ha.n, ma(.c du` kho^ng gian ca’c kha? na(ng la` vo^ ha.n. Ngoa`i ra, no’ cho phe’p nhie^`u ti’nh cha^’t quan tro.ng. Vi’ du.: Ca’c la(ng ki’nh ca`ng tinh tu’y thi` ca’i nhi`n vu. tru. cu?a ba.n ca`ng tinh te^’, ro~ ne’t ho+n, nhu+ng kho^ng the^? nhi`n he^’t ddu+o+.c. Ca’c la(ng ki’nh dda(.t ga^`n nhau thi` ca’i nhi`n se~ gio^’ng nhau (continuity/consistency). Ca’c la(ng ki’nh ca`ng xa nhau thi` co’ le~ ca’i nhi`n ca`ng kha’c nhau (independent). etc.

Ddo’ la` mo^.t ca’ch nhi`n ve^` LTXS va` stochastic processes. Co`n ba`i toa’n tho^’ng ke^ la` gi`? Ba`i toa’n tho^’ng ke^ la` du+.a va`o nhu+~ng gi` chu’ng ta thu lu+o+.m tu+` ca’c la(ng ki’nh ddo’, dde^? no’i ve^` vu~ tru., dde^? no’i ve^` bigbang, dde^? no’i ve^` tu+o+ng lai, nhu+ng pha^`n nhie^`u la` dde^? no’i ve^` nhu+~ng gi` chu’ng ta co’ the^? tha^’y tu+` ca’c la(ng ki’nh kha’c ma` ngu+o+`i ta se~ du`ng. Vi’ du., qua ca’c la(ng ki’nh Hubble, ta co’ the^? hie^?u bie^’t ho+n ve^` vu~ tru., va` du`ng kie^’n thu+’c ddo’ die^~n gia?i ca’c hie^/n tu+o+.ng co’ the^? quan sa’t, ca?m nha^.t ba(`ng ma(‘t ba(`ng tai cha(?ng ha.n. Ta^’t nhie^n dda^y chi? la` mo^.t ca’ch tu+o+?ng tu+o+.ng cho vui, co`n nhie^`u ca’ch kha’c.

Vậy lời khuyên là nên học cẩn thận xác suất và thống kê toán học. Nhưng vẫn là câu hỏi câu hỏi là trình tự học như thế nào là hợp lý nhất.

1. Bỏ thời gian học cẩn thận Probability theory (with measure theory) trước. Tôi nghĩ sẽ mất thời gian không ít hơn 1 năm để “ngộ” ra. Sau đó mới học sang thống kê

2. Với kiến thức Probability của non math student (EE/CS) cứ học statistics, sau đó sẽ học lại probability measure sau.

Với kiến thức hiện tại và yêu cầu công việc (hàng kỳ vẫn phải làm project with oriented applications) tôi có xu hướng theo lựa chọn thứ 2 hơn, nếu cách này khả thi.

Rất vui được tiếp tục nghe kinh nghiệm của mọi người.

Sẽ rất bổ ích nếu anh Long hoạc bạn nào khác có thời gian giới thiệu về measure theory/ Probability space cho non mathematical students.