Teorema Bayes
Teorema Bayes
Dalam teori probabilitas dan statistika, Pengertian Teorema Bayes adalah
teorema yang digunakan untuk menghitung peluang dalam suatu hipotesis, Teorema
bayes dikenalkan oleh ilmuan yang bernama Bayes yang ingin memastikan
keberadaan Tuhan dengan mencari fakta di dunia yang menunjukan keberadaan
Tuhan. Bayes mencari fakta keberadaan tuhan didunia kemudian mengubahnya dengan
nilai Probabilitas yang akan dibandingkan dengan nilai Probabilitas. teorema
ini juga merupakan dasar dari statistika Bayes yang memiliki penerapan dalam
ilmu ekonomi mikro, sains, teori permain, hukum dan kedokteran.
Teorema Bayes akhirnya dikembangkan dengan berbagai ilmu termasuk untuk penyelesaian masalah sistem pakar dengan menetukan nilai probabilitas dari hipotesa pakar dan nilai evidence yang didapatkan fakta yang didapat dari objek yang diagnosa. Teorama Bayes ini membutuhkan biaya komputasi yang mahal karena kebutuhan untuk menghitung nilai probabilitas untuk tiap nilai dari perkalian kartesius. penerapan Teorema Bayes untuk mencari penerapan dinamakan inferens Bayes.
Teorema Bayes akhirnya dikembangkan dengan berbagai ilmu termasuk untuk penyelesaian masalah sistem pakar dengan menetukan nilai probabilitas dari hipotesa pakar dan nilai evidence yang didapatkan fakta yang didapat dari objek yang diagnosa. Teorama Bayes ini membutuhkan biaya komputasi yang mahal karena kebutuhan untuk menghitung nilai probabilitas untuk tiap nilai dari perkalian kartesius. penerapan Teorema Bayes untuk mencari penerapan dinamakan inferens Bayes.
Tujuan dari inferensi statistik adalah untuk menarik
kesimpulan dari data sampel yang diketahui tentang populasi yang tidak ada
datanya. Sebagai contoh, kita tahu dari sampel bahwa 55 persen pemilih
cenderung untuk memilih pilihan A, tapi sebenarnya berapa banyak pemilih secara
keseluruhan yang cenderung memilih A?
Saat ini, terdapat dua pendekatan filosofis utama
dalam statistik inferens, yang pertama disebut sebagai pendekatan frequentist atau
kadang-kadang disebut sebagai pendekatan klasik (karena berkembang lebih dulu).
Dalam pendekatan ini, prosedur dikembangkan hanya dengan melihat performa
seluruh kemungkinan sampel acak (all possible random sample) saat
ini. Informasi sampel acak yang diperoleh sebelumnya (pada
percobaan/observasi lain di masa lalu) diabaikan. Kemudian pendekatan kedua,
dikenal sebagai Bayesian, yang akan kita bahas dalam artikel ini.
Frequentist versus Bayesian
Pendekatan frequentist berlandaskan pada ide-ide
dibawah ini:
- Parameter, yaitu karakteristik dari populasi,
adalah konstan namun tidak diketahui.
- Probabilita selalu diinterpretasikan sebagai
frekuensi relatif jangka panjang, tak peduli datanya.
- Prosedur statistik dinilai dengan seberapa baik
prosedur itu dalam jangka panjang dengan mengulang-ulang percobaan sampai
tak hingga.
Karena dalam pendekatan ini parameter adalah tetap,
maka kita tidak bisa membuat pernyataan tentang peluang dari nilai parameter
tersebut (bagaimana kita menyatakannya dalam peluang jika nilai parameter
adalah tetap dengan kata lain pasti). Interval kepercayaan tidak memiliki arti
peluang akan nilai parameter, namun hanya digunakan untuk uji hipotesis apakah
nilai penduga parameter bisa kita terima atau tidak.
Misal diperoleh P(a < θ ≤ b)=0.95, kita tidak bisa
mengatakan peluang θ diantara [a,b] adalah 95 persen karena jika kita
mengatakan demikian berarti θ adalah suatu nilai acak. Karena itu dalam
frequentist interval itu selalu diartikan begini: dari 100 percobaan dengan
random sampel iid maka 95 percobaan akan mendapatkan nilai penduga parameter θ̂
berada pada interval [a,b].
Sedangkan Bayesian berlandaskan pada ide-ide berikut:
- Sejak kita tak pernah yakin akan nilai sebenarnya
dari parameter, maka parameter dianggap sebagai suatu random variabel.
- Aturan probabilita digunakan secara langsung untuk
melakukan inferens tentang parameter.
- Pernyataan probabilita tentang parameter
diinterpretasikan sebagai “derajat kepercayaan”. Distribusi prior adalah
subyektif. Setiap orang bisa memilih priornya sendiri, yang mengandung
bobot relatif yang diberikannya pada parameter tersebut, yang mengukur
bagaimana sejauh mana bisa diterima/dipercaya setiap parameter tersebut
sebelum percobaan.
- Setelah itu kita menyesuaikan
kepercayaan/penerimaan kita pada parameter tersebut setelah memperoleh
data dengan menggunakan teorema Bayes, sehingga akan menghasilkan
distribusi posterior, yang memberikan bobot relatif tiap parameter setelah
data dianalisis. Distribusi posterior diperoleh dari dua sumber,
yaitu: distribusi prior
dan data pengamatan.
Dengan pendekatan Bayesian ini kita bisa membuat
pernyataan probabilita dari parameter karena memang parameter adalah random
variabel. P(a < θ ≤ b) = 0.95 memang berarti peluang nilai parameter θ
berada pada interval [a,b] dengan syarat data seperti pada data observasi
adalah 95 persen. Hanya dengan teorema Bayes kita bisa secara konsisten
memperbaiki kepercayaan kita pada parameter berdasarkan data yang benar-benar
terjadi! Selain itu pendekatan Bayesian sangat bermanfaat dalam menangani
parameter pengganggu (nuisance parameter). Parameter pengganggu adalah
suatu parameter yang kita tidak tertarik untuk melakukan inferens atasnya, tapi
kita tidak ingin parameter tersebut mempengaruhi inferens tentang parameter
utama (tidak kita bahas dalam artikel ini.
Teorema Bayes
Sebelum lebih jauh mengenal Bayesian kita harus kenal
lebih dalam dulu dengan teorema Bayes, yang menjadi landasan utama dalam
pendekatan Bayesian. Pertama kita harus berkenalan dulu dengan Thomas Bayes,
seorang pendeta dan matematikawan berkebangsaan Inggris, yang pertama kali
mengemukakan teorema Bayes. Dalam tulisannya yang diterbitkan tahun 1763, 3
tahun setelah kematiannya, Bayes memperkenalkan sebuah versi dari persamaan
beberapa probabilita yang sekarang dikenal sebagai teorema Bayes. Saat paper
ini pertama kali terbit, hanya ada sedikit ekspektasi bahwa persamaan sederhana
ini bisa memecahkan banyak permasalahan dalam teori peluang. Namun siapa sangka
jika dua ratus tahun kemudian, teorema Bayes telah menjadi sesuatu yang penting
dan saat ini menjadi dasar bagi inferensi statistik Bayesian.
Untuk memahami teorema Bayes, kita harus pahami dulu
peluang bersyarat. Sekarang pikirkan permasalahan ini: jika kita tahu
suatu event (peristiwa) telah terjadi, apakah
akan mempengaruhi peluang terjadinya event yang lain? Misal terdapat dua event
A dan B yang saling berpotongan seperti digambarkan dalam diagram Venn di bawah
ini.
Gbr.1 Diagram Venn dua event A dan B dalam U (semesta)
Daerah perpotongan kita sebut irisan, atau A ⋂ B, dimana
seluruh elemennya adalah anggota A sekaligus anggota B. Misal kita tahu bahwa A
telah terjadi lebih dulu, maka seluruh kemungkinan di luar peristiwa A menjadi
tidak mungkin. Kini kita hanya memperhatikan seluruh hasil yang hanya ada
didalam event A, digambarkan sebagai berikut:
Gbr 2. U setelah A terjadi
Kita lihat bahwa bagian peristiwa B yang masih relevan
(masih mungkin terjadi) setelah peristiwa terjadi hanyalah B yang ada di dalam
A, atau B ⋂ A.
Dengan demikian peluang terjadinya dua peristiwa
berturut-turut, dimana A terjadi lebih dulu lalu B menyusul terjadi (dengan
kata lain: peluang terjadinya B jika A telah terjadi lebih dulu), dinotasikan
dengan P(B ∣ A)
adalah:
maka:
P( A ⋂ B )
= P( B ∣ A ) P(A)
Dan sekarang misal peristiwa itu dibalik menjadi event
B terjadi lebih dulu baru kemudian event B menyusul terjadi. Maka peluang
terjadinya B dengan syarat A terjadi lebih dulu adalah:
dimana kita tahu bahwa dalam teori himpunan P(A ⋂ B) = P(B ⋂ A) (sifat
komutatif), sehingga:
Dari teori himpunan juga kita tahu bahwa B=(A ⋂ B) ⋃ (A ⋂ Bc)
dimana (A ⋂ B)
dan (A ⋂ Bc)
adalah disjoint (saling bebas, tidak saling berpotongan), maka:
P(B) = P(A ⋂ B) + P(A ⋂ Bc)
= P(A ∣ B) P(B)
+ P( A ∣ Bc ) P(Bc)
sehingga disubtitusikan ke persamaan diatas menjadi:
Hasil diatas adalah bentuk dasar dari teorema Bayes.
Yang menjadi catatan diatas bahwa A dan Ac adalah
partisi dari semesta sedemikian hingga A ⋃ Ac = S dan
A dan Ac adalah disjoint. Sehingga seandainya pun semesta
himpunan dipartisi sejumlah n partisi sedemikian hingga:
maka persamaan teorema Bayes diatas disesuaikan
menjadi:
Lebih jelasnya lihat ilustrasi dibawah ini:
Misal S=A1 + A2 + A3 +
A4, yang berarti semesta S dipartisi menjadi empat partisi, kemudian
didalam S juga terdapat event B. Digambarkan sebagai berikut:
Gbr 3. Empat event Ai yang mempartisi
S dan satu event B
Misal event B terjadi lebih dulu, sehingga seluruh
kemungkinan event di luar B menjadi tidak mungkin terjadi. Sehingga
diilustrasikan sebagai berikut:
Gbr 5. Semesta terpotong setelah event B terjadi
