概率学基础复习-2017年8月14日11:29:26机上|朴素贝叶斯算法(三)-深入明朴素贝叶斯原理。

 

机器上|朴素贝叶斯算法(一)-贝叶斯简介及用
机械上|朴素贝叶斯算法(二)-用sklearn实践贝叶斯

[机器学习|朴素贝叶斯算法(三)-深入理解朴素贝叶斯原理](https://yq.aliyun.com/articles/411329?spm=a2c4e.11153940.blogcont408869.15.26b9b6ce7AUPEi)

10.

在机器上|朴素贝叶斯算法(一)-贝叶斯简介和下备受通过测算过长裤中女生的几率解释了贝叶斯算法。这里以提供另外一种植思路:它于我们提供的凡如出一辙种根据数据集DD的始末变更更新假设概率HH的艺术。

节约贝叶斯:

这种理解在《贝叶斯思维:统计建模的python学习法》中定义也“历时诠释”,“历时”意味着某些事情就时间一旦生,即凡是如的几率就看到底初数据而转变。

http://www.cnblogs.com/leoo2sk/archive/2010/09/17/naive-bayesian-classifier.html

基于贝叶斯定理:

 

P(H|D)=P(H)P(D|H)P(D)P(H|D)=P(H)P(D|H)P(D)

9.

列一样桩的意思如下(结合第一篇女生过长裤问题浅析):

在构造初期将训练多少一分为二,用有组织分类器,然后用另外一样组成部分检测分类器的准确率。

HH—女生,DD—穿长裤

 

$P\left(H\right)$称为先验概率,即在得到新数据前某一假设的概率
$P\left(H|D\right)$称为后验概率,即在看到新数据后,我们要计算的该假设的概率
$P\left(D|H\right)$是该假设下得到这一数据的概率,称为似然
$P\left(D\right)$是在任何假设下得到这一数据的概率,称为标准化常量

8.

粗情况下,我们可因现有背景展开得知先验概率。比如在女生过长裤问题被,我们便会明了女孩以全校所占用总人口之百分比(概率)是微,即使不清楚具体的比例,我们啊得以因学校的特性(工科学校或者其它)来大概假而起女孩的几率。
**
于另情形下,先验概率是偏主观性的。这为是效率学派提出的指向贝叶斯学派的批评之一。因为对某平等先验概率,由于下不同背景音作出判断,或者为对同的前提条件作出了不同解读**。

对分类问题,其实谁还无见面生,说咱俩每个人每天都以执行分类操作一点且不夸张,只是我们尚无发觉及罢了。例如,当你看来一个路人,你的血汗下意识判断TA是阳是女;你也许时时会面移动以半路对身旁的情侣说“这个人口同一看就大有钱、那边发只不主流”之类的讲话,其实这虽是千篇一律栽分类操作。

似然是贝叶斯计算着最容易了解的部分,比如女孩受到穿越长裤的几率

      从数学角度来说,分类问题只是举行如下概念:

法常量被定义为在有着的假要条件下这无异于数目出现的概率,因为考虑的是极其相似的状态,所以未易于确定这个常量在具体以场合的现实意义。因此我们得经全概率公式来求得。啰嗦一下:

     
已领略集合:图片 1图片 2,确定映射规则图片 3),使得任意图片 4发还只有发生一个图片 5使得图片 6)成立。(不考虑模糊数学里的歪曲集情况)

定理
设试验E的样本空间为S,A为E的风波,B1,B2,…,BnB1,B2,…,Bn为S的一个区划,且Pleft(Biright)>0(i=1,2,3,….n)Pleft(Biright)>0(i=1,2,3,….n),则

     
其中C叫做类别集合,其中各一个因素是一个路,而I叫做项集合,其中各一个元素是一个用分类项,f叫做分类器。分类算法的任务便是结构分类器f。

Pleft(Aright)=Pleft(A|B1right)Pleft(B1right)+Pleft(A|B2right)Pleft(B2right)+Pleft(Aright)=Pleft(A|B1right)Pleft(B1right)+Pleft(A|B2right)Pleft(B2right)+

     
这里要着重强调,分类问题反复利用经验性方法组织映射规则,即一般情形下之归类问题不够足够的音信来组织100%正确的照规则,而是经过对涉数据的习用实现自然几率意义及对的归类,因此所训有之分类器并无是迟早能将每个待分类项标准射到那分类,分类器的身分与分类器构造方法、待分类数据的表征和训练样本数量相当于多素有关。

…+Pleft(A|Bnright)Pleft(Bnright)….+Pleft(A|Bnright)Pleft(Bnright).

     
例如,医生针对患儿开展确诊就是一个典型的分类过程,任何一个医生都没法儿直接观看患者的病情,只能观患者表现有之病症及各种化验检测数据来测算病情,这时医就好比一个分类器,而之医生诊断的准确率,与他当时倍受的育措施(构造方法)、病人的症状是否突出(待分类数据的特点)以及医生的经历多少(训练样本数量)都发生密切关系。

称为全概率公式.

 

仍,穿长裤概率: P(Boy)×P(Pants|Boy)+U×P(Girl)×P(Pants|Girl)P(Boy)×P(Pants|Boy)+U×P(Girl)×P(Pants|Girl)。

7.

既然如此涉及了全概率公式,为了进一步了解贝叶斯公式,这里给出任何一样栽贝叶斯公式的写法:

线性回归?:输出值是连接的?

P(Bi|A)=P(A|Bi)P(Bi)P(A)P(Bi|A)=P(A|Bi)P(Bi)P(A)

线性分类?:输出值是匪总是的,比如输出只能是0或1

=P(A|Bi)P(Bi)∑nj=1P(A|Bj)P(Bj),i=1,2,…,n.=P(A|Bi)P(Bi)∑j=1nP(A|Bj)P(Bj),i=1,2,…,n.

6.

上式中,样本空间OmegaOmega中的一个完备事件群leftB1,B2,…,BnrightleftB1,B2,…,Bnright,设AA为OmegaOmega中的一个风波,且Pleft(Biright)>0,i=1,2,3,….,n,Pleft(Aright)>0Pleft(Biright)>0,i=1,2,3,….,n,Pleft(Aright)>0。推敲一下此公式的意思:从花样达到看之公式不过大凡基准概率定义跟全概率公式的简便推论。但是就此著名的缘由在她的哲学意义。先看Pleft(B1right),Pleft(B2right),…,Pleft(Bnright)Pleft(B1right),Pleft(B2right),…,Pleft(Bnright),这是当并未更消息(不知道AA发生)时,人们对事件B1,B2,…,BnB1,B2,…,Bn发生可能大小的认(先验信息),在发出了新信息(知道A发生)后,人们对事件B1,B2,…,BnB1,B2,…,Bn发生可能大小新的认体现在Pleft(B1|Aright),Pleft(B2|Aright),…,Pleft(Bn|Aright).Pleft(B1|Aright),Pleft(B2|Aright),…,Pleft(Bn|Aright).

贝叶斯定理能够告诉我们如何下新证修改都有些看法。作为一个广的原理,贝叶斯定理对于拥有概率的分解是立竿见影的;通常,事件A在波B(发生)的条件下的概率,与事件B在事件A的尺度下之几率是免等同的;然而,这两边是来确定的干,贝叶斯定理就是这种关系之陈。

一经我们把事件A看成“结果”,把各国事件B1,B2,…,BnB1,B2,…,Bn看成导致这无异结出的也许“原因”,则可以像地把全概率公式看成由“原因”推“结果”。还是举十分例子,事件AA——穿长裤,事件B1B1——女生,事件B2B2——男生,则Pleft(Aright)=Pleft(A|B1right)Pleft(B1right)+Pleft(A|B2right)Pleft(B2right)Pleft(Aright)=Pleft(A|B1right)Pleft(B1right)+Pleft(A|B2right)Pleft(B2right),这里男生女生就是通过裤子是“结果”的“原因”。而贝叶斯公式正好相反,其用意在于由“结果”推“原因”。现在出矣结果A,在促成A发生的浩大由中,到底
是孰原因促成了AA发生(或者说:到底是哪个原因造成AA发生的可能性最可怜)?如果此掌握有点障碍,可以扣押一下本身当 机器学习|朴素贝叶斯算法(二)-用sklearn实践贝叶斯倍受详尽讨论了之概率,似然,后验概率的干。

        设P(A|B)表示事件B已经产生的前提下,事件A发生的票房价值,叫做事件B发生下事件A的准概率。下面就是贝叶斯公式:                

哼了,关于节俭贝叶斯算法目前才读了这样多,之后展开实施操作的时段还见面再度添,希望能有得╰( ̄ω ̄o)

图片 7

翻阅原文http://click.aliyun.com/m/41276/

中间的记号定义为:

  • P(A)是事件A的先验概率或边缘概率,它不考虑其他B方面的素。
  • P(A|B)是曾经知B发生后A的标准概率,也由得自B的取值而受称A的**继验概率**。
  • P(B|A)是曾知A发生后B的准概率,也鉴于得自A的取值而为称呼B的**后验概率**。
  • P(B)大凡事件B的先验概率或边缘概率,也犯基准常量(normalizing
    constant)。

  按这些术语,贝叶斯定理可发挥为:继验概率 =
(相似度*先验概率)/标准化常量
。简单的讲,贝叶斯定理是依据假设的先验概率,给定假设标准下,观察到不同数额的概率,提供相同种计算后验概率的法门。

  贝叶斯决策就是当无了的信息下面,对有的未知的状态用主观概率来进展估算,然后据此贝叶斯公式对出概率进行更正,最后又采取期望值同修正概率做出极端出彩决策。贝叶斯决策理论方法是统计模型决策中之一个主导措施,其主导思想是:

1、已知类条件概率密度参数表达式和先验概率。

2、利用贝叶斯公式转换成为后验概率。

3、根据后验概率大小进行决策分类。

  贝叶斯的这种基本思维可以当大方之骨子里案例中取得运用,因为不少切实可行社会被,积累了重重历史先验数据,想拓展有裁决推理,也足以说凡是展望,就好以上面的手续进行,当然贝叶斯理论的开拓进取中,出现了森初的推理算法,更加复杂,和面向不同之天地。一般的话,使用贝叶斯推理就是,预测有事件下同样涂鸦面世的概率,或者属于某些项目的几率,使用贝叶斯来进展归类的行使该是最为普遍的,很多实际上的演绎问题呢足以转移为分类问题

5.

这边贝叶斯分析的框架为在使得我们哪处理特例和一般常识的法则。如果你尽厚特例(即完全无扣先验概率)
很有或会见无意把噪声看做信号, 而奋不顾身的越下来。 而而死守先验概率,
就成无视变化而迂的口。其实只有出贝叶斯流的口生存率会重复强,
因为她们见面重特例,
但也无忘记书本的经验,根据贝叶斯公式小心调整信心,甚至会见积极设计实验依据信号判断假设,这就是咱下一样步要说话的。

 

4.

概率P(AB)怎么算
P(A)=0.4,P(B)=0.6,P(AB)=?怎么告之啊?

A:

P(AB)表示A和B同时起的概率,如果A,B相互独立,则P(AB)=P(A)*P(B);
如果A,B不是互独立,则P(AB)=P(B|A)*P(A);

P(B|A)是发生了A事件后,再发生B事件的概率。所以是A、B同时发生的事件数量÷A事件发生的数量,
当P(A)>0,P(B|A)=P(AB)/P(A)

3.

P(AB)是AB同时发生的概率,是以全体事件为100%来计算其中AB同时发生的概率。
P(B|A)是在已经发生了A事件的前提下,再发生B事件的概率。是以所有发生A事件为100%来计算AB同时发生的概率。

1.

贝叶斯公式:

咱们来算一终于:假设学校里面人的总额是 U 个。60%
的男生还过长裤,于是我们获得了 U * P(Boy) * P(Pants|Boy)
个穿长裤的(男生)(其中 P(Boy) 是男生的概率 =
60%,这里可以略的喻为男生的百分比;P(Pants|Boy) 是标准化概率,即在 Boy
这个原则下通过长裤的几率是大半特别,这里是 100% ,因为有男生都通过长裤)。40%
的女生里又发一半(50%)是穿越长裤的,于是我们同时取了 U * P(Girl) *
P(Pants|Girl) 个过长裤的(女生)。加起来一共是 U * P(Boy) *
P(Pants|Boy) + U * P(Girl) * P(Pants|Girl) 个穿长裤的,其中有 U *
P(Girl) * P(Pants|Girl) 个女生。两者如出一辙比就是您要求的答案。

下面我们把这答案形式化一下:我们渴求的是 P(Girl|Pants)
(穿长裤的食指里有多少女生),我们算的结果是 U * P(Girl) *
P(Pants|Girl) / [U * P(Boy) * P(Pants|Boy) + U * P(Girl) *
P(Pants|Girl)] 。容易察觉这里校园内人的总额是井水不犯河水的,可以消去。于是得到

P(Girl|Pants) = P(Girl) * P(Pants|Girl) / [P(Boy) * P(Pants|Boy) +
P(Girl) * P(Pants|Girl)]

在意,如果管上式收缩起来,分母其实就算是 P(Pants) ,分子其实就是是 P(Pants,
Girl) 。而以此比例不行当然地就读作:在过长裤的人( P(Pants)
)里面有些许(穿长裤)的女孩( P(Pants, Girl) )。

上式中之 Pants 和 Boy/Girl 可以代替一切事物,所以那个相似式就是:

P(B|A) = P(A|B) * P(B) / [P(A|B) * P(B) + P(A|~B) * P(~B) ]  
 ~B就是非B

收缩起来就是:

P(B|A) = P(AB) / P(A)

实在是就顶:

P(B|A) * P(A) = P(AB)

难怪拉普拉斯说概率论只是把常识用数学公式表达了出来

然而,后面我们会日益发现,看似这么平庸的贝叶斯公式,背后却蕴涵着好深刻的规律。

 

2.

概率的加法法则

编辑

定理:设A、B是互不相容事件(AB=φ),则:

P(A∪B)=P(A)+P(B)

由此可知1:设A1、 A2、…、 An互不相容,则:P(A1+A2+…+ An)= P(A1) +P(A2) +…+
P(An)

想见2:设A1、 A2、…、 An构成完备事件组,则:P(A1+A2+…+An)=1

推论3: 

图片 8 

为事件A的相对事件。

推论4:若B包含A,则P(B-A)= P(B)-P(A)

测算5(广义加法公式):

对轻易两个事件A与B,有P(A∪B)=P(A)+P(B)-P(AB)[1] 

标准概率

准概率:已解事件B出现的规格下A出现的概率,称为条件概率,记作:P(A|B)

规则概率计算公式:

当P(A)>0,P(B|A)=P(AB)/P(A)

当P(B)>0,P(A|B)=P(AB)/P(B)[1] 

乘法公式

P(AB)=P(A)×P(B|A)=P(B)×P(A|B)

推广:P(ABC)=P(A)P(B|A)P(C|AB)[1] 

  

全概率公式

假如:若事件A1,A2,…,An互不相容,且A1+A2+…+An=Ω,则称A1,A2,…,An构成一个全事件组。

全概率公式的形式如下:

 图片 9

以上公式就为叫作全概率公式。[2] 

 

相关文章

发表评论

电子邮件地址不会被公开。 必填项已用*标注

网站地图xml地图