互資訊的含義

互資訊是資訊理論裡一種有用的資訊度量，它是指兩個事件集合之間的相關性。通道中總是存在著噪聲和干擾，信源發出訊息x，通過通道後信宿只可能收到由於干擾作用引起的某種變形的y。信宿收到y後推測信源發出x的概率，這一過程可由後驗概率來描述。相應地，信源發出x的概率稱為先驗概率。我們定義x的後驗概率與先驗概率比值的對數為y對x的互資訊量，也稱互動資訊量，簡稱互資訊。