About Information Entropy
تحذير حكومي: التدوينة التالية تحتوي على معلومات قد ترفع ضغط الدم و مستوى الجلوكوز
والكآبة لدى القارئ الغير مهتم بهذه الأمور. اقرأ على مسؤوليتك.
Entropy أحد الإخوة المدونين استنتج من اسمي
أنه لا بد وأن يكون تخصصي له علاقة بالهندسة الميكانيكية والثيرموداينامكس لأن متغير الإنتروبي أساسي في هذا المجال. وعندما أوضحت له أن تخصصي هو الحاسبات وأن
Information Theory الأنتروبي التي أعنيها هي متغير في علم آخر هو
طلب منّي أن أكتب عنها قليلا للمعلومية – على قول الخطوط السعودية- وحتى تعم الفائدة أكتب هنا نبذة عنها
الأنتروبي المعلوماتية أو كما تدعى أحيانا ” إنتروبي شانون” نسبة إلى مخترعها Claude Shannon عالم الرياضيات و علم الهندسة الكهربائية والحائز على جائزة نوبل، وأب الكمبيوتر كما يسمى أحيانا لأنه اخترع الدوائر الكهربية المعتمدة على الديجتال لوجيك Digital Logic circuitry . كلود شانون كان يعمل في شركة Bell Labs في الأربعينيات حينما كان يفكر في مشكلة الاتصالات Communications Problem كعادة علماء الرياضيات دائما ما يحاولون تبسيط المسائل والمعادلات المعقدة إلى معادلات أبسط ومن ثم يحاولون ايجاد الحلول للمشكلة. توصل شانون إلى أن المشكة الرئيسية في أي نظام اتصالات هي أن يستقبل الطرف المرسل إليه الرسالة the receiver بشكل أو بآخر نفس الرسالة message التي ارسلها الطرف المرسل Sender حتى مع وجود ضوضاء في الناقل noise in the communication channel. اكتشف شانون أنه كي يجد حل لهذه المشكلة ,التي هي في الأساس مشكلة اتصالات لابد وأن يكون هناك تعريف رياضي للمعلومة أو الرسالة –تعريف رياضي يعني يمكن وصفه كميّاً A quantative measure لا يرتبط بالضرورة باللغة المرسل بها الرسالة .
لن أدخل في التفاصيل من الناحية الرياضية حتى لا يهرب القلة من القراء الذين صمدوا إلى هذا الحد من الموضوع، لكن المهم في أن شانون استطاع أن يتوصّل لوضع معادلة رياضية لتقدير كمية المعلومة المرسلة أو المراد إرسالها، و من ثم استخدمها لقياس سعة الناقل capacity of the communication channel , ومن ثم تقدير كمية الضوضاء التي يتحملها الناقل و يستطيع معها ايصال الرسالة صحيحة أو بأقل عدد ممكن من الأخطاء. فكرة شانون كانت بسيطة للغاية لكنها قمة في الذكاء كما هي عادة الاختراعات العظيمة… و هي كالتالي: الهدف من أي رسالة هو ايصال معلومة ما…. خبر أو معادلة أو أي كان نوع المعلومة المهم أنها ستوصل اليك معلومة، في المقابل عندما تصلك هذه المعلومة سوف يقل لديك الالتباس أو الغموض : uncertainty … إذاً كلما زادت لديك المعلومات قل لديك الغموض والعكس صحيح. بالتالي فإن المعلومة هي فقط نقص في مقدار الغموض أو الالتباس .
Information is Loss of Uncertainty
تذكروا هذه المعلومة جيدا ستحتاجونها في الفقرة التالية.
الآن عرفنا ما هو تعريف المعلومة لكن كيف نستطيع قياسها؟ لا نستطيع في الحقيقة قياس المعلومة بشكل كمي لكننا نستطيع تقديرها عن طريق قياس الالتباس… و كيف يقاس الالتباس؟!؟ إذا نظرنا إلى أي رسالة وكأنها مجموعة من الأحداث المتتالية – الرسالة مثلا هي صفحة من كتاب بأي لغة كانت و كل حرف هو حدثevent - بالتالي لو حسبنا معدل ظهور الحرف الواحد في مجموع الحروف المرسلة سنجد أن الحروف لا تظهر بنفس المعدل في الرسالة – مثلا حرف الz في اللغة الانجليزية يظهر بمعدل أقل بكثير من حرف ال e - من هنا استنتج أنه إذا تعاملنا مع كل واحد من هذه الأحداث –الحروف- على أساس أنه حدث في توزيع عشوائي:
Random Distribution فإنه سيكون لكل حرف معامل مفاجأة Surprise Factor خاص به و هذا العامل معروف في الرياضيات و طريقة حسابه معروفة، وهو قائم على فكرة أن عامل المفاجأة يصل إلى أعلى lمستوى له حينما يكون احتمال حصول هذا الحدث صغيرا للغاية والعكس صحيح. أي أن هناك علاقة تناسب عكسية بين احتمال حصول الحدث و بين عامل المفاجأة الخاص به. لتقريب هذه الفكرة تخيل أن هناك قطعة نرد خمس من أوجهها عليها الرقم واحد بينما واحد من الأوجه فقط عليه رقم اثنان….عندما ترمى قطعة النرد هذه سيكون ظهور الوجه الذي يظهر الرقم اثنان مفاجئأ أكثر لأن احتمال حصوله هو واحد على 6 فقط بينما احتمال ظهور الرقم اثنان هو خمسة على 6. إذا كل ما كان احتمال ظهور الحرف أقل كل ما كان معامل المفاجأة له كبير والعكس صحيح و هكذا لو حسبنا معدّل المفاجأة لجميع الأحرف اللتي تحتوي عليها الرسالة سنستطيع حساب كميه المفاجأة وبالتالي قياس درجة الالتباس –كمعدّل- وبالتالي معرفة كمية المعلومات المرسلة في الرسالة بطريقة رياضية دقيقة جدا، وهذه الكمية هي ما اصطلح على تسميته بالإنتروبي!!
شانون نشر نتائج بحثه هذا في العام 1948 و بذلك أسس علم نظرية المعلوماتية Information Theory والذي ساهم في ارساء القواعد النظرية لكثير من التطبيقات التي لا غنى عنها لمستخدمي الحاسب الآلي الآن. فعلى سبيل المثال في هذا البحث تم اختراع مسمى البت Bit واستخدمت بعدها كوحدة لقياس المعلومات الرقمية. نظرية المعلوماتية أيضا ينسب لها الفضل في تحويل فن التشفير encryption من فن إلى علم له قواعد رياضية واضحة. أحد أهم التطبيقات المباشرة والرئيسية لنظرية المعلوماتية هو ال Coding Theory والتي من تطبيقاتها أكواد ال Data Compression المعتمدة على قياس الانتروبي.
إلى يومنا هذا لازالت هذه النظرية و الأنتروبي المعلوماتية تستخدم في مجالات عدة وكل يوم تظهر استخدامات جديدة لها في مجالات مختلفة – ملفات ال MP3 , Zip فورمات هي احدى تطبيقات هذه النظرية- و أترككم في النهاية على هذا الفقرة من ويكيبيديا عن ال Information Theory
“The field is at the crossroads of mathematics, statistics, computer science, physics, neurobiology, and electrical engineering. Its impact has been crucial to success of the Voyager missions to deep space, the invention of the CD, the feasibility of mobile phones, the development of the Internet, the study of linguistics and of human perception, the understanding of black holes, and numerous other fields. “
مساء النور
شانون هنا بعد؟
انا سمعت طراطيش كلام يعني ان ذا الآدمي مصاب بشيزوفرينا مزمنه وماقالق عيشتنا الا هو ونظريته هذي
موضوع حلو جداً ومعلومات حلوه ونظريته ودتنا في داهيه على العموم لأن سعة نقل المعلومات تقاس بنظريته الي عمرها ما عطت نتيجه دقيقه
على الله تضبط نظريته في احد فروع أمن الشبكات الجديده الآن والمعتمده على
Data Mining
تحياتي وانشالله انك بألف خير
hus
فبراير 2, 2007 في 8:08 ص
كيف الحال ؟
ماشي صح
فبراير 2, 2007 في 12:22 م
Hus
يا مطول الغيبات؟ انا قلت يمكن تكون نقلت كوكب جابون
والله ان كان حقيقي مصاب بمرض نفسي مزمن فيحق له… رسالة الماجستير لحالها حقته صنفت كأهم رسالة ماجستير في التاريخ!!
اذا كان هذا مرض نفسي فاللهم اسألك زي دا المرض يارب
عن النتائج و دقّتها ه كثير من اللي كتبوا عن الانتروبي مو فاهمينها صح…هو بنفسه يقول في البحث الأصلي المنشور عام 48
“On Average”
وفي الابحاث التالية هو بنفسه صحح كثير من اللبس اللي صار عندما طبق النظرية على اللغة هو و.
Ziph
بالنسبة لامن الشبكات عن طريق ال
Data Mining, still there is a very long way for it to be reliable. Network Security applications fall under Stream Data Mining, which is a new branch of DM that still facing some pretty major obstacles.
You reminded me I might write about it one time.
Welcome back
Entropy
فبراير 2, 2007 في 1:12 م
ماشي صح
يا هلا والله منور
الحمد لله الحال طيب
Entropy
فبراير 2, 2007 في 1:14 م
مهنا غنائم، خابون في اواخر شهر ابريل ان مشت الأمور
الأسبوع القادم ستحط بي الطائره في ارض الوطن وعوده جديده الي الكبسه بعد غياب طويل
بالنسبه لأمن الشبكات والأنذار المبكر المعتمد على الداتا مايننق صاير موضوع ساخن لرسائل الدكتوراه بجانب الوايرليس سنسور نتوركس، في انتظار تدوينتك عن ذا الموضوع على احر من الجمر
بالتوفيق والي ان اعود الي التدوين امنياتي لك بالتوفيق
HUS
فبراير 2, 2007 في 2:58 م
اللحين فهمت يعني شنو انتروبي
و اللحين بس اقدر اقول
ان اختيار النك كان موفق
شكرا على البوست
بحرينية
فبراير 3, 2007 في 3:02 م
Hus
انشالله تمشي الأمور كما تشتهيها
وبالتوفيق بإذن الله أينما حللت
بحرينية
آه وأخيرا عرفتي ايش معنى انتروبي
نسيت أقول أنه الانتروبي تصل لأعلى مستوى لها عندما تكون الرسالة عشوائية بالكامل أي لا نحتوي على معلومات
Random Message. So Now you know Exactly why Entropy.MAX
Entropy
فبراير 3, 2007 في 6:22 م
?!!?!
I hope my msg is clear! lool
ma ta3abte wente taktebeen hal post..god AM SO OVER those terms!! u reminded of the black days of studying alla ysam7ech! loool
Smartee
فبراير 3, 2007 في 9:23 م
heyy smartee is back!
well I am lucky enough to be one of the ones who actually enjoy what they’r doing in life….so no, I didnt get tired writing this…To me “working out” my brain a little is NOT considered “black” smartee
Sorry if that wasn’t your kind of post, but you can’t say I didn’t warn you
come back again and I promise you will find something that suits you 
Entropy
فبراير 4, 2007 في 1:32 م
u shouldn’t
..it’s not worth it..u should write the things that only suit u! not others…retha annas ghaya la tudrak! 
Smartee
فبراير 4, 2007 في 6:45 م
Hitman
Real engineers realize that Information Theory is Science and not IT ….Only those who never went beyond their college text books would be confused by the two.
Regards
Entropy
فبراير 6, 2007 في 3:11 ص
التحية والتقدير على هذه المعلومات الممتازة
يمكنك ان تقول ان عندي تكنوفوبيا مزمنة، وجاءت تدوينتك لتسهل علي فهم بعض المصطلحات الفنية التي طالما استغلق علي فهمها، والفضل طبعا يعود للاسلوب المبسط الذي اتبعته في شرح هذا الموضوع الحيوي الهام
مودتي وسلامي لك
Prometheus
فبراير 8, 2007 في 8:16 م
surprisingly !! i understood everything ..
mashallah u explained it very well
Louls
فبراير 8, 2007 في 8:16 م
العزيزة انتروبي
منذ زمن لم استمتع بمقالة غنية بالمعلومات كهذه، كما أنها كتبت بطريقة واضحة وسهلة، والأجمل أنها أخبرتنا أخيار ماذا تعني الإنتروبي
وهي تتناسب مع تجارب الآخرين في اختيار ألقابهم للمدونات، وممكن تجديها في هذا الرابط
http://mistansah.jeeran.com/archive/2006/7/74396.html
وأعتقد أن العزيز “هس” كان يقصد البروفسور “جون ناش”، ذلك العبقري الذي حاز على جائزة نوبل في الاقتصاد، رغم أنه عالم رياضيات وفيزياء، والذي أثبت أن الفيزياء الرياضية هي فعلا المحرك الخفي لكل ما يمكن تصوره في الكون، وكان يعاني من حالة شديدة من الانفصام في الشخصية “شيزوفرينيا” لكن عقله الجبار استطاع التغلب عليها
لقد أثارتني هذه المقالة كثيرا، وهي تستحق الثناء بالفعل
magickingdom
فبراير 8, 2007 في 10:00 م
louls
First welcome to Entropy.MAX
Why were you surprised in the first place? I bet you you’r smarter than you think you are
happy to see you here.
Entropy
فبراير 9, 2007 في 11:28 ص
Prometheus
Thanks for the compliments, I don’t deserve that much. Let me know if you have any other techno-phobias that I can help you with
I enjoy scientific reading …I was surprised that the Arabic wikipedia is lagging behind all other languags big time.
Always a pleasure having you here.
Entropy
فبراير 9, 2007 في 3:17 م
MagicKingdom
Your highness… I am honoured
Yes Maybe Hus meant John Nash. I myself didn’t know any thing about this Nobel laureate’s state of mind until I saw the movie “Beutiful Mind”!!
ألم يقال أن الفرق بين الجنون و والعبقرية شعرة؟
I’m really glad that you enjoyed this post.
Entropy
فبراير 9, 2007 في 3:25 م
شوف هو والله مدونتك حلوة اوي بس الموضوع ده مفهمتش منه حاجة !!
بس عموما بدام الحكاية عن نظريات كمبيوتر و كده .. تعرف حاجة اسمها
error 6025
دي مدوخاني !! مش عارف ادخل موقع طرب و طرب توب و لا اي حاجة فيها طرب بسببها
!!
Sharm
فبراير 10, 2007 في 1:53 ص
Sharm
أهلاو سهلا و يا سيدي معليش ان مفهمتش المرة دي المرة الجية اكيد حتفهم
اما بالنسبة لل
error
جرب تعمل
disable
للفاير وال لو عندك
لو ما نفعش جرب تغير في الأعدادات بتاعته
لو رحت في داهية اكثر من اللي كنت فيها
انا غير مسؤولة!!!
وشكرا على مرورك
Entropy
فبراير 10, 2007 في 3:36 ص
انا شلت الفايروول كله و مفيش فايدة
يالا خير
Sharm
فبراير 10, 2007 في 2:11 م
OHH..so ur that ENTROPY…and all this time i thought u named urself after ENTROPY the ROCK BAND in Denver, Colorado, which my brother always listen to.
http://www.entropyrock.com
Hayzaboonah
فبراير 11, 2007 في 4:21 ص
hayzabooonah!
I’m glad you’r back..where have you been girl?
Yeah am not THAT Entropy, hope that didn’t dissapoint you
Entropy
فبراير 12, 2007 في 5:19 م
Entropy..
of course u didn’t dissapoint me , i am glad u have nothing to do with that stupid band.
And about me, well, i’ve been around..i was just too busy.
Hayzaboonah
فبراير 12, 2007 في 5:57 م
About Information THEORY
ياعم انا قعدت أدرس فيك سنتين
مش انت برضه من فصيلة ال
Digital Communications
طلعت عنيه
وفى الاخر جبت تقدير منيل فى الماده دى
شكرااااااااااااااااااااا
منا عرفت يعنى ايه انتروبى بعد لما اتخرجت
بس الف شكر على المعلومه
حسن محمود
فبراير 20, 2007 في 3:11 م
الأخ حسن محمود
طيب مش كنت تيجي هنا أبل الامتحان
عشان تزاكر
وتفهم ؟؟
أسعدني مرورك
Entropy
فبراير 20, 2007 في 5:15 م