About Information Entropy
تحذير حكومي: التدوينة التالية تحتوي على معلومات قد ترفع ضغط الدم و مستوى الجلوكوز
والكآبة لدى القارئ الغير مهتم بهذه الأمور. اقرأ على مسؤوليتك.
Entropy أحد الإخوة المدونين استنتج من اسمي
أنه لا بد وأن يكون تخصصي له علاقة بالهندسة الميكانيكية والثيرموداينامكس لأن متغير الإنتروبي أساسي في هذا المجال. وعندما أوضحت له أن تخصصي هو الحاسبات وأن
Information Theory الأنتروبي التي أعنيها هي متغير في علم آخر هو
طلب منّي أن أكتب عنها قليلا للمعلومية – على قول الخطوط السعودية- وحتى تعم الفائدة أكتب هنا نبذة عنها
الأنتروبي المعلوماتية أو كما تدعى أحيانا ” إنتروبي شانون” نسبة إلى مخترعها Claude Shannon عالم الرياضيات و علم الهندسة الكهربائية والحائز على جائزة نوبل، وأب الكمبيوتر كما يسمى أحيانا لأنه اخترع الدوائر الكهربية المعتمدة على الديجتال لوجيك Digital Logic circuitry . كلود شانون كان يعمل في شركة Bell Labs في الأربعينيات حينما كان يفكر في مشكلة الاتصالات Communications Problem كعادة علماء الرياضيات دائما ما يحاولون تبسيط المسائل والمعادلات المعقدة إلى معادلات أبسط ومن ثم يحاولون ايجاد الحلول للمشكلة. توصل شانون إلى أن المشكة الرئيسية في أي نظام اتصالات هي أن يستقبل الطرف المرسل إليه الرسالة the receiver بشكل أو بآخر نفس الرسالة message التي ارسلها الطرف المرسل Sender حتى مع وجود ضوضاء في الناقل noise in the communication channel. اكتشف شانون أنه كي يجد حل لهذه المشكلة ,التي هي في الأساس مشكلة اتصالات لابد وأن يكون هناك تعريف رياضي للمعلومة أو الرسالة –تعريف رياضي يعني يمكن وصفه كميّاً A quantative measure لا يرتبط بالضرورة باللغة المرسل بها الرسالة ( اكمل قراءة التدوينة )


