Энтропия. Теория информации

Энтропия. Теория информации

Содержание.

 

1.    Введение.

2.    Что измерил Клод Шеннон?

3.    Пределы эволюционной изменчивости информационных систем.

4.    Ограниченность адаптации биологических видов.

5.    Этапы развития теории энтропии.

6.    Методы исчисления количества структурной информации и информационной энтропии текстов.

7.    Информационно-энтропийные соотношения процессов адаптации и развития.

8.    Информация и энергия.

9.    Заключение.

10.       Список литературы.



ВВЕДЕНИЕ

Во второй половине XX века произошли два события, которые, на наш взгляд, в значительной мере определяют дальнейшие пути научного постижения мира. Речь идет о создании теории ин­формации и о начале исследований механизмов антиэнтропийных процессов, для изучения которых синергетика привлекает все новейшие достижения неравновесной термодинамики, теории ин­формации и общей теории систем.

Принципиальное отличие данного этапа развития науки от предшествующих этапов заключается в том, что до создания перечисленных направлений исследований наука способна была объяснить лишь механизмы процессов, приводящих к увеличению хаоса и возрастанию энтропии. Что касается разрабатываемых со времен Ламарка и Дарвина биологических и эволюционных концепций, то они и по сей день не имеют строгих научных обоснований и противоречат Второму началу термодинамики, согласно которому сопровождающее все протекающие в мире процессы возрас­тание энтропии есть непременный физический закон.

Заслуга неравновесной термодинамики заключается в том, что она сумела выявить механизмы антиэнтропийных процессов, не противоречащих Второму началу термодинамики, поскольку локаль­ное уменьшение энтропии внутри самоорганизующейся системы всегда оплачивается большим по абсолютной величине возрас­танием энтропии внешней среды.

Важнейшим шагом на пути постижения природы и механизмов антиэнтропийных процессов следует введение количественной меры информации. Первоначально эта мера предназначалась лишь для решения сугубо прикладных задач техники связи. Однако последующие исследования в области физики и биологии позво­лили выявить универсальные меры, предложенные К.Шен­ноном, позволяющие установить взаимосвязь между количеством информации и физической энтропией и в конечном счете определить сущность новой научной интерпретации понятия «ин­формация» как меры структурной упорядоченности самых разнообразных по своей природе систем .

Используя метафору, можно сказать, что до введения в науку единой информационной количественной меры представленный в естественно-научных понятиях мир как бы «опирался на двух китов»: энергию и вещество. «Третьим китом» оказалась теперь информация, участвующая во всех протекающих в мире процессах, начиная от микрочастиц, атомов и молекул и кончая функциониро­ванием сложнейших биологических и социальных систем.

Естественно, возникает вопрос: подтверждают или опровергают эволюционную парадигму происхождения жизни и биологических видов новейшие данные современной науки?

Для ответа на этот вопрос необходимо прежде всего уяснить, какие именно свойства и стороны многогранного понятия «ин­формация» отражает та количественная мера, которую ввел в науку К.Шеннон.

Использование меры количества информации позволяет анализировать общие механизмы информационно-энтропийных взаимодействий, лежащих в основе всех самопроизвольно протекающих в окружающем мире процессов накопления информации, которые приводят к самоорганизации структуры систем.

Вместе с тем информационно-энтропийный анализ позволяет выявить и пробелы эволюционных концепций, представляющих собой не более чем несостоятельные попытки сведения к простым механизмам самоорганизации проблему происхождения жизни и биологических видов без учета того обстоятельства, что системы такого уровня сложности могут быть созданы лишь на основе той информации, которая изначально заложена в предшествующий их сотворению план.

Проводимые современной наукой ис­следования свойств информационных систем дают все основания утверждать, что все системы могут формироваться только сог­ласно спускаемым с верхних иерархических уровней правилами, причем сами эти правила существовали раньше самих систем в форме изначального плана (идеи творения).

ЧТО ИЗМЕРИЛ КЛОД ШЕННОН?

В основу теории информации положен предложенный К.Шенноном метод исчислений количества новой (непредска­зуемой) и избыточной (предсказуемой) информации, содержащейся в сообщениях, передаваемых по каналам техничес­кой связи.

Предложенный Шенноном метод измерения количества ин­формации оказался настолько универсальным, что его применение не ограничивается теперь узкими рамками чисто технических приложений.

Вопреки мнению самого К.Шеннона, предостерегавшего ученых против поспешного распространения предложенного им метода за пределы прикладных задач техники связи, этот метод стал находить все более широкое примение в исследованиях и фи­зических, и биологических, и социальных систем .

Ключом к новому пониманию сущности феномена информации и механизма информационных процессов послужила установленная Л.Бриллюэном взаимосвязь информации и физической энтропии. Эта взаимосвязь была первоначально заложена в самый фунда­мент теории информации, поскольку для исчисления количества информации Шеннон предложил использовать заимствованную из статистической термодинамики вероятную функцию энтропии.

Многие ученые (начиная с самого К.Шеннона) склонны были рассматривать такое заимствование как чисто формальный прием. Л.Бриллюэн показал, что между вычисленным согласно Шеннону количеством информации и физической энтропии существует не формальная, а содержательная связь.


В статистической физике с помощью вероятностной функции энтропии исследуются процессы, приводящие к термодинамическому равновесию, при котором все состояния молекул (их энергии, скорости) приближаются к равновероятным, а энтропия при этом стремится к макси­мальной величине.


Благодаря теории информации стало очевидно, что с помощью той же самой функции можно исследовать и такие далекие от сос­тояния максимальной энтропии системы, как, например, пись­менный текст.

Еще один важный вывод заключается в том, что

с помощью вероятностной функции энтропии можно анализировать все стадии перехода системы от состояния полного хаоса, которому соответствуют равные значения вероятностей и максимальное значение энтропии, к состоянию предельной упорядоченности (жесткой детерминации), которому соответствует единственно возможное состояние ее элементов.


Данный вывод оказывается в равной мере справедливым для таких несходных по своей природе систем, как газы, кристаллы, письменные тексты, биологические организмы или сообщества и др.

При этом, если для газа или кристалла при вычислении энтропии сравнивается только микросостояние (т.е. состояние атомов и мо­лекул) и макросостояние этих систем (т.е. газа или кристалла как целого), то для систем иной природы (биологических, интеллекту­альных, социальных) вычисление энтропии может производится на том или ином произвольно выбранном уровне. При этом вычис­ляемое значение энтропии рассматриваемой системы и количество информации, характеризующей степень упорядоченности данной системы и равное разности между максимальным и реальным зна­чением энтропии, будет зависеть от распределения вероятности состояний элементов нижележащего уровня, т.е. тех элементов, ко­торые в своей совокупности образуют эти системы.

Другими словами,

количество сохраняемой в структуре системы ин­формации пропорционально степени отклонения системы от состояния равновесия, обусловленного сохраняемым в структуре системы порядком.


Сам того не подозревая, Шеннон вооружил науку универсальной мерой, пригодной в принципе (при условии выявления значенй всех вероятностей) для оценки степени упорядоченности всех существующих в мире систем.

Опредеделив введенную Шеноном информационную меру как меру упорядоченности движения, можно установить взаимосвязь информации и энергии, считая энергию мерой интенсивности движения. При этом ко­личество сохраняемой в структуре систем информации пропорционально суммарной энергии внутренних связей этих систем.

Одновременно с выявлением общих свойств информации как феномена обнаруживаются и принципиальные различия отно­сящихся к различным уровням сложности информационных систем.

Так, например, все физические объекты, в отличие от биологических, не обладают специальными органами памяти, пере­кодировки поступающих из внешнего мира сигналов, информаци­онными каналами связи. Хранимая в них информация как бы «размазана» по всей их структуре. Вместе с тем, если бы кристаллы не способны были сохранять информацию в определяющих их упо­рядоченность внутренних связях, не было бы возможности создавать искусственную память и предназначенные для обработки информации технические устройства на основе кристаллических структур.

Вместе с тем необходимо учитывать, что создание подобных устройств стало возможным лишь благодаря разуму человека, су­мевшего использовать элементарные информационные свойства кристаллов для построения сложных информационных систем.

Простейшая биологическая система превосходит по своей сложности самую совершенную из созданных человеком ин­формационных систем. Уже на уровне простейших одноклеточных организмов задействован необходимый для их размножения сложнейший информационный генетический механизм. В многокле­точных организмах помимо информационной системы наследствен­ности действуют специализированные органы хранения ин­формации и ее обработки (например, системы, осуществляющие перекодирование поступающих из внешнего мира зрительных и слу­ховых сигналов перед отправкой их в головной мозг, системы обработки этих сигналов в головном мозге). Сложнейшая сеть информационных коммуникаций (нервная система) пронизывает и превращает в целое весь многоклеточный организм.

Уже на уровне биологических систем возникают проблемы учета ценности и смысла используемой этими системами информации. Еще в большей мере такой учет необходим для ананлиза функци­онирования интеллектуальных информационных систем.

Глубокое осознание специфики биологических и интеллекту­альных систем позволяет выявить те границы, за пределами ко­торых утрачивает свою компетентность разработанный современной наукой информационно-энтропийный подход.

Страницы: 1, 2, 3, 4, 5, 6, 7, 8



Реклама
В соцсетях
рефераты скачать рефераты скачать рефераты скачать рефераты скачать рефераты скачать рефераты скачать рефераты скачать