About Information Entropy

 

تحذير حكومي: التدوينة التالية تحتوي على معلومات قد ترفع ضغط الدم و مستوى الجلوكوز

والكآبة لدى القارئ الغير مهتم بهذه الأمور. اقرأ على مسؤوليتك.

 

Entropy أحد الإخوة المدونين استنتج من اسمي

أنه لا بد وأن يكون تخصصي له علاقة بالهندسة الميكانيكية والثيرموداينامكس لأن متغير الإنتروبي أساسي في هذا المجال. وعندما أوضحت له أن تخصصي هو الحاسبات وأن

Information Theory الأنتروبي التي أعنيها هي متغير في علم آخر هو

طلب منّي أن أكتب عنها قليلا للمعلومية – على قول الخطوط السعودية- وحتى تعم الفائدة أكتب هنا نبذة عنها

الأنتروبي المعلوماتية أو كما تدعى أحيانا ” إنتروبي شانون” نسبة إلى مخترعها Claude Shannon عالم الرياضيات و علم الهندسة الكهربائية, وأب الكمبيوتر كما يسمى أحيانا لأنه اخترع الدوائر الكهربية المعتمدة على الديجتال لوجيكDigital Logic circuitry . كلودشانون كان يعمل في شركة Bell Labsفي الأربعينيات حينما كان يفكر في مشكلة الاتصالات Communications Problem كعادة علماء الرياضيات دائما ما يحاولون تبسيط المسائل والمعادلات المعقدةإلىمعادلات أبسط ومن ثم يحاولون ايجاد الحلول للمشكلة.توصل شانون إلىأن المشكة الرئيسية في أي نظام اتصالات هي أن يستقبل الطرف المرسل إليه الرسالة the receiverبشكل أو بآخر نفس الرسالة message التي ارسلها الطرف المرسل Sender حتى مع وجود ضوضاء في الناقل noise in the communication channel. اكتشف شانون أنه كي يجد حل لهذه المشكلة ,التي هي في الأساس مشكلة اتصالات لابد وأن يكون هناك تعريف رياضي للمعلومة أو الرسالة –تعريف رياضي يعني يمكن وصفه كميّاً A quantative measure لا يرتبط بالضرورة باللغة المرسل بها الرسالة .

لن أدخل في التفاصيل من الناحية الرياضية حتى لا يهرب القلة من القراء الذين صمدوا إلى هذا الحد من الموضوع، لكن المهم فيأن شانون استطاع أن يتوصّل لوضع معادلة رياضية لتقدير كمية المعلومة المرسلة أو المراد إرسالها، و من ثم استخدمها لقياس سعة الناقل capacity of the communication channel , ومن ثم تقدير كمية الضوضاء التي يتحملها الناقل و يستطيع معها ايصال الرسالة صحيحة أو بأقل عدد ممكن من الأخطاء. فكرة شانون كانت بسيطة للغاية لكنها قمة في الذكاء كما هي عادة الاختراعات العظيمة… و هي كالتالي: الهدف من أي رسالة هو ايصال معلومة ما…. خبر أو معادلة أو أي كان نوع المعلومة المهم أنها ستوصل اليك معلومة، في المقابل عندما تصلك هذه المعلومة سوف يقل لديك الالتباس أو الغموض : uncertainty … إذاً كلما زادت لديك المعلومات قل لديك الغموض والعكس صحيح. بالتالي فإن المعلومة هي فقط نقص في مقدار الغموض أو الالتباس .

Information is Loss of Uncertainty

تذكروا هذه المعلومة جيدا ستحتاجونها في الفقرة التالية.

الآن عرفنا ما هو تعريف المعلومة لكن كيف نستطيع قياسها؟لا نستطيع في الحقيقة قياس المعلومة بشكل كمي لكننا نستطيع تقديرها عن طريق قياس الالتباس… و كيف يقاس الالتباس؟!؟ إذا نظرنا إلى أي رسالة وكأنها مجموعة من الأحداث المتتالية – الرسالة مثلا هي صفحة من كتاب بأي لغة كانت و كل حرف هو حدثevent -بالتالي لو حسبنا معدل ظهور الحرف الواحد في مجموع الحروف المرسلة سنجد أن الحروف لا تظهر بنفس المعدلفي الرسالة – مثلا حرف الz في اللغة الانجليزية يظهر بمعدل أقل بكثير من حرف ال e -من هنا استنتج أنه إذا تعاملنا مع كل واحد من هذه الأحداث –الحروف- على أساس أنه حدث في توزيع عشوائي:

Random Distribution فإنه سيكون لكل حرف معامل مفاجأة Surprise Factor خاص به و هذا العامل معروف في الرياضيات و طريقة حسابه معروفة، وهو قائم على فكرة أن عامل المفاجأة يصل إلى أعلى lمستوى له حينما يكون احتمال حصول هذا الحدث صغيرا للغاية والعكس صحيح. أي أن هناك علاقة تناسب عكسية بين احتمال حصول الحدث و بين عامل المفاجأة الخاص به. لتقريب هذه الفكرة تخيل أن هناك قطعة نرد خمس من أوجهها عليها الرقم واحد بينما واحد من الأوجه فقط عليه رقم اثنان….عندما ترمى قطعة النرد هذه سيكون ظهور الوجه الذي يظهر الرقم اثنان مفاجئأ أكثر لأن احتمال حصوله هو واحد على 6 فقط بينما احتمال ظهور الرقم اثنان هو خمسة على 6. إذا كل ما كان احتمال ظهور الحرف أقل كل ما كان معامل المفاجأة له كبير والعكس صحيح و هكذا لو حسبنامعدّل المفاجأة لجميع الأحرف اللتي تحتوي عليها الرسالة سنستطيع حساب كميه المفاجأة وبالتالي قياس درجة الالتباس –كمعدّل- وبالتالي معرفة كمية المعلومات المرسلة في الرسالة بطريقة رياضية دقيقة جدا، وهذه الكمية هي ما اصطلح على تسميته بالإنتروبي!!

شانون نشر نتائج بحثه هذا في العام 1948 و بذلك أسس علم نظرية المعلوماتية Information Theory والذي ساهم في ارساء القواعد النظرية لكثير من التطبيقات التي لا غنى عنها لمستخدمي الحاسب الآلي الآن. فعلى سبيل المثال في هذا البحث تم اختراع مسمى البت Bit واستخدمت بعدها كوحدة لقياس المعلومات الرقمية. نظرية المعلوماتية أيضا ينسب لها الفضل في تحويل فن التشفير encryption من فن إلى علم له قواعد رياضية واضحة. أحد أهم التطبيقات المباشرة والرئيسية لنظرية المعلوماتية هو ال Coding Theory والتي من تطبيقاتها أكواد ال Data Compression المعتمدة على قياس الانتروبي.

إلى يومنا هذا لازالت هذه النظرية و الأنتروبي المعلوماتية تستخدم في مجالات عدة وكل يوم تظهر استخدامات جديدة لها في مجالات مختلفة – ملفات ال MP3 , Zip فورمات هي احدى تطبيقات هذه النظرية- و أترككم في النهاية على هذا الفقرة من ويكيبيديا عن ال Information Theory

The field is at the crossroads of mathematics, statistics, computer science, physics, neurobiology, and electrical engineering. Its impact has been crucial to success of the Voyager missions to deep space, the invention of the CD, the feasibility of mobile phones, the development of the Internet, the study of linguistics and of human perception, the understanding of black holes, and numerous other fields.

هذا المنشور نشر في Minimum Entropy. حفظ الرابط الثابت.

29 ردا على About Information Entropy

  1. يقول hus:

    مساء النور
    شانون هنا بعد؟

    انا سمعت طراطيش كلام يعني ان ذا الآدمي مصاب بشيزوفرينا مزمنه وماقالق عيشتنا الا هو ونظريته هذي
    🙂

    موضوع حلو جداً ومعلومات حلوه ونظريته ودتنا في داهيه على العموم لأن سعة نقل المعلومات تقاس بنظريته الي عمرها ما عطت نتيجه دقيقه
    🙂

    على الله تضبط نظريته في احد فروع أمن الشبكات الجديده الآن والمعتمده على
    Data Mining

    تحياتي وانشالله انك بألف خير

  2. يقول ماشي صح:

    كيف الحال ؟

  3. يقول Entropy:

    Hus

    يا مطول الغيبات؟ انا قلت يمكن تكون نقلت كوكب جابون
    🙂

    والله ان كان حقيقي مصاب بمرض نفسي مزمن فيحق له… رسالة الماجستير لحالها حقته صنفت كأهم رسالة ماجستير في التاريخ!!
    اذا كان هذا مرض نفسي فاللهم اسألك زي دا المرض يارب
    🙂
    عن النتائج و دقّتها ه كثير من اللي كتبوا عن الانتروبي مو فاهمينها صح…هو بنفسه يقول في البحث الأصلي المنشور عام 48
    “On Average”
    وفي الابحاث التالية هو بنفسه صحح كثير من اللبس اللي صار عندما طبق النظرية على اللغة هو و.
    Ziph

    بالنسبة لامن الشبكات عن طريق ال
    Data Mining, still there is a very long way for it to be reliable. Network Security applications fall under Stream Data Mining, which is a new branch of DM that still facing some pretty major obstacles.

    You reminded me I might write about it one time.

    Welcome back 🙂

  4. يقول Entropy:

    ماشي صح

    يا هلا والله منور
    الحمد لله الحال طيب

    😉

  5. يقول HUS:

    مهنا غنائم، خابون في اواخر شهر ابريل ان مشت الأمور
    الأسبوع القادم ستحط بي الطائره في ارض الوطن وعوده جديده الي الكبسه بعد غياب طويل

    بالنسبه لأمن الشبكات والأنذار المبكر المعتمد على الداتا مايننق صاير موضوع ساخن لرسائل الدكتوراه بجانب الوايرليس سنسور نتوركس، في انتظار تدوينتك عن ذا الموضوع على احر من الجمر

    بالتوفيق والي ان اعود الي التدوين امنياتي لك بالتوفيق

  6. يقول بحرينية:

    اللحين فهمت يعني شنو انتروبي
    و اللحين بس اقدر اقول
    ان اختيار النك كان موفق 🙂
    شكرا على البوست

  7. يقول Entropy:

    Hus
    انشالله تمشي الأمور كما تشتهيها
    وبالتوفيق بإذن الله أينما حللت

    بحرينية

    آه وأخيرا عرفتي ايش معنى انتروبي
    نسيت أقول أنه الانتروبي تصل لأعلى مستوى لها عندما تكون الرسالة عشوائية بالكامل أي لا نحتوي على معلومات
    Random Message. So Now you know Exactly why Entropy.MAX

    🙂

  8. يقول Smartee:

    ?!!?! 🙂

    I hope my msg is clear! lool

    ma ta3abte wente taktebeen hal post..god AM SO OVER those terms!! u reminded of the black days of studying alla ysam7ech! loool

  9. يقول Entropy:

    heyy smartee is back!

    well I am lucky enough to be one of the ones who actually enjoy what they’r doing in life….so no, I didnt get tired writing this…To me “working out” my brain a little is NOT considered “black” smartee 🙂

    Sorry if that wasn’t your kind of post, but you can’t say I didn’t warn you 🙂 come back again and I promise you will find something that suits you 🙂

  10. يقول Smartee:

    u shouldn’t :)..it’s not worth it..u should write the things that only suit u! not others…retha annas ghaya la tudrak! 😉

  11. يقول Entropy:

    Hitman

    Real engineers realize that Information Theory is Science and not IT ….Only those who never went beyond their college text books would be confused by the two.

    Regards

  12. يقول Prometheus:

    التحية والتقدير على هذه المعلومات الممتازة
    يمكنك ان تقول ان عندي تكنوفوبيا مزمنة، وجاءت تدوينتك لتسهل علي فهم بعض المصطلحات الفنية التي طالما استغلق علي فهمها، والفضل طبعا يعود للاسلوب المبسط الذي اتبعته في شرح هذا الموضوع الحيوي الهام
    مودتي وسلامي لك

  13. يقول Louls:

    surprisingly !! i understood everything ..
    mashallah u explained it very well

  14. يقول magickingdom:

    العزيزة انتروبي

    منذ زمن لم استمتع بمقالة غنية بالمعلومات كهذه، كما أنها كتبت بطريقة واضحة وسهلة، والأجمل أنها أخبرتنا أخيار ماذا تعني الإنتروبي

    وهي تتناسب مع تجارب الآخرين في اختيار ألقابهم للمدونات، وممكن تجديها في هذا الرابط

    http://mistansah.jeeran.com/archive/2006/7/74396.html

    وأعتقد أن العزيز “هس” كان يقصد البروفسور “جون ناش”، ذلك العبقري الذي حاز على جائزة نوبل في الاقتصاد، رغم أنه عالم رياضيات وفيزياء، والذي أثبت أن الفيزياء الرياضية هي فعلا المحرك الخفي لكل ما يمكن تصوره في الكون، وكان يعاني من حالة شديدة من الانفصام في الشخصية “شيزوفرينيا” لكن عقله الجبار استطاع التغلب عليها

    لقد أثارتني هذه المقالة كثيرا، وهي تستحق الثناء بالفعل

  15. يقول Entropy:

    louls

    First welcome to Entropy.MAX
    Why were you surprised in the first place? I bet you you’r smarter than you think you are 😎
    happy to see you here.

  16. يقول Entropy:

    Prometheus

    Thanks for the compliments, I don’t deserve that much. Let me know if you have any other techno-phobias that I can help you with 😉

    I enjoy scientific reading …I was surprised that the Arabic wikipedia is lagging behind all other languags big time.
    Always a pleasure having you here.

  17. يقول Entropy:

    MagicKingdom

    Your highness… I am honoured 😎

    Yes Maybe Hus meant John Nash. I myself didn’t know any thing about this Nobel laureate’s state of mind until I saw the movie “Beutiful Mind”!!

    ألم يقال أن الفرق بين الجنون و والعبقرية شعرة؟

    I’m really glad that you enjoyed this post.

  18. يقول Sharm:

    شوف هو والله مدونتك حلوة اوي بس الموضوع ده مفهمتش منه حاجة !!

    بس عموما بدام الحكاية عن نظريات كمبيوتر و كده .. تعرف حاجة اسمها
    error 6025

    دي مدوخاني !! مش عارف ادخل موقع طرب و طرب توب و لا اي حاجة فيها طرب بسببها

    !!

  19. يقول Entropy:

    Sharm

    أهلاو سهلا و يا سيدي معليش ان مفهمتش المرة دي المرة الجية اكيد حتفهم 🙂

    اما بالنسبة لل
    error
    جرب تعمل
    disable
    للفاير وال لو عندك
    لو ما نفعش جرب تغير في الأعدادات بتاعته
    لو رحت في داهية اكثر من اللي كنت فيها
    انا غير مسؤولة!!!
    🙂
    وشكرا على مرورك

  20. يقول Sharm:

    انا شلت الفايروول كله و مفيش فايدة

    يالا خير

  21. يقول Hayzaboonah:

    OHH..so ur that ENTROPY…and all this time i thought u named urself after ENTROPY the ROCK BAND in Denver, Colorado, which my brother always listen to. 🙂

    http://www.entropyrock.com

  22. يقول Entropy:

    hayzabooonah!

    I’m glad you’r back..where have you been girl?
    Yeah am not THAT Entropy, hope that didn’t dissapoint you 🙂

  23. يقول Hayzaboonah:

    Entropy..

    of course u didn’t dissapoint me , i am glad u have nothing to do with that stupid band. 🙂

    And about me, well, i’ve been around..i was just too busy.

  24. يقول حسن محمود:

    About Information THEORY
    ياعم انا قعدت أدرس فيك سنتين
    مش انت برضه من فصيلة ال
    Digital Communications
    طلعت عنيه
    وفى الاخر جبت تقدير منيل فى الماده دى
    شكرااااااااااااااااااااا
    منا عرفت يعنى ايه انتروبى بعد لما اتخرجت
    بس الف شكر على المعلومه

  25. يقول Entropy:

    الأخ حسن محمود

    طيب مش كنت تيجي هنا أبل الامتحان
    عشان تزاكر
    وتفهم ؟؟

    🙂
    أسعدني مرورك

  26. شكرا كتير عا المعلومه

  27. يقول احمد المنصوري:

    اخي العزيز انا طالب ماستير وبحثي في WAVELET NETWORKS FOR IMAGE COMPRESSION واعتقد ان بحثي يعتمد بالاساس على هذه النظرية وعلى الـ CODING
    طلبي هو اذا امكن اسماء مصادر او مواقع الكتروني تسهل عليه فهم هذه الاشايء مع جزيل الشكر

  28. يقول محمد:

    بارك الله فيك ويرحم ولديك ان شاء الله من الفرحة دمعت عيناي.. في ميزان حسناتك

أضف تعليقاً

إملأ الحقول أدناه بالمعلومات المناسبة أو إضغط على إحدى الأيقونات لتسجيل الدخول:

WordPress.com Logo

أنت تعلق بإستخدام حساب WordPress.com. تسجيل خروج   / تغيير )

صورة تويتر

أنت تعلق بإستخدام حساب Twitter. تسجيل خروج   / تغيير )

Facebook photo

أنت تعلق بإستخدام حساب Facebook. تسجيل خروج   / تغيير )

Google+ photo

أنت تعلق بإستخدام حساب Google+. تسجيل خروج   / تغيير )

Connecting to %s