Entropy Form

The last quantity on the right, conditional entropy H_Y|X, as H_X,Y-H_X. Substituting that difference in place of H_Y|X in :
(1)
In this form, mutual information is the sum of the two self-entropies minus the joint entropy.

We used the mutually associated case to derive Equation 1. However, Equation 1 also applies to the mutually unassociated case. For that case, mutual information turns out to be zero. To see that, we use the equation for the unassociated case. Using that definition, we substitute H_X+H_Y in place of H_X,Y in Equation 1. That gives I_Y;X=H_Y+H_X- (H_X+H_Y), or I_Y;X=0. So, the mutual information of two independent systems is zero. In other words, one system tells us nothing about the other. Incidentally, rearranging Equation 1 provides an alternate expression for joint entropy, H_X,Y:
H_X,Y = H_Y + H_X-I_Y;X....... (2)
Joint entropy for two systems or dimensions, whether mutually related or not, therefore is the sum of the two self-entropies minus the mutual information. (For two unrelated systems, mutual information I_Y;X is zero. Eq. 2 then reduces, H_X,Y=H_Y+H_X.)

اخر الاخبار

اخبار العتبة العباسية المقدسة

قسم الشؤون الدينية يوزع أكثر من ألفي وجبة طعام للمعزين في ذكرى عاشوراء بنينوى

قسم الشؤون الطبية يواصل تقديم خدماته الصحية لزائري عاشوراء

جموع المعزين تحيي مراسم يوم العاشر من شهر المحرم عند المرقدين الطاهرين

قسم العلاقات يطلق محطات فتية الكفيل الثقافية في محافظة نينوى

المزيد

الآخبار الصحية

لهذا السبب.. إغلاق 25 مركزًا لعلاج الإدمان في مصر ؟

خلافا للاعتقاد الشائع.. علماء يكشفون أسرار بذور البطيخ ؟!

هذا ما يحدث لجسمك عند تناولك الطماطم بانتظام !

تعرف على أطعمة تسرّع "تعافي الجسم" من حروق الشمس

المزيد

الآخبار التكنلوجية

الثلوج تغطي الصحراء الأكثر جفافا في العالم!

بتلسكوب "ألما".. التقاط صورا غير مسبوقة لبدايات الكون !

هل هاتفك مراقب؟.. 5 علامات خطيرة تكشف التجسس عليك

دبي تطلق أول رحلة تجريبية للتاكسي الجوي

المزيد

مواضيع ذات صلة

جسيمات التماثل الفائق الفوتينوات ، سكواركات ..المادة الظل.. الأكسيونات ..إلخ .

ريادةالانسان للفضاء -قدرة الله في خلق الطيور(كيف الهمت الطيور الانسان )

التجريبية المنطقية وميكانيكا الكم: رؤية كاسيرر بين العلم والفلسفة

المفاهيم الفيزيائية بين الدقة العلمية والتأويل الفلسفي

"توحيد العلوم عبر استبعاد الميتافيزيقا

إرنست ماخ: توحيد الفيزياء عبر الإدراكات الحسية واستبعاد الميتافيزيقا

"الفيزياء بين الكلاسيكية والكم: من حتمية الأشياء إلى نسبية القوانين"

قوانين البقاء في الفيزياء The Conservation Laws of Physics

من كاسيرر إلى ميكانيكا الكم: تطور مفهوم السببية في الفيزياء والفلسفة

نظرة فلسفية لميكانيكا الكم: هل يمكن فهم الحياة بمفاهيم الفيزياء؟

الطول والزمن في النسبية: التحدي الفيزيائي للفلسفة التقليدية

نسبية الطول بين الفيزياء والفلسفة: أينشتاين في مواجهة فالين