На практике часто приходится определять энтропию для сложной системы, полученной объединением двух или более простых систем.
Под объединением двух систем и с возможными состояниями понимается сложная система , состояния которой представляют собой все возможные комбинации состояний систем и .
Очевидно, число возможных состояний системы равно . Обозначим вероятность того, что система будет в состоянии :
. (18.3.1)
Вероятности удобно расположить в виде таблицы (матрицы)
Найдем энтропию сложной системы. По определению она равна сумме произведений вероятностей всех возможных ее состояний на их логарифмы с обратным знаком:
(18.3.2)
или, в других обозначениях:
. (18.3.2')
Энтропию сложной системы, как и энтропию простой, тоже можно записать в форме математического ожидания:
, (18.3.3)
где - логарифм вероятности состояния системы, рассматриваемый как случайная величина (функция состояния).
Аксиома 1. Количество информации в любой подсистеме иерархической системы определяется произведением количества сигналов, исходящих от подсистемы нулевого уровня (исходной вершины) и достигающих данную подсистему (или входящих в данную подсистему), и энтропии этих сигналов.
Аксиома 2. Энтропия любого элемента управляющей подсистемы при переходе в новое целевое состояние (при смене цели) определяется исходным (от нулевого уровня) информационным потоком и энтропией этого элемента.
Аксиома 3. Энтропия всей управляющей подсистемы при переходе в новое целевое состояние определяется суммой (точнее интегральной оценкой) энтропии всех её элементов.
Аксиома 4. Полный информационный поток, направленный на объект управления за период его перехода в новое целевое состояние, равен разности энтропии всей управляющей подсистемы при переходе в новое целевое состояние и энергии объекта управления, затрачиваемой объектом управления на переход в новое состояние.
Аксиома 5. Информационная работа управляющей подсистемы по преобразованию ресурсов состоит из двух частей: работы управляющей подсистемы, затраченной на компенсацию исходной энтропии, и работы, направленной на управляемый объект, т.е. на удерживание системы в устойчивом состоянии.
Аксиома 6. Полезная работа управляющей подсистемы в течении некоторого промежутка времени должна соответствовать полному информационному потоку, воздействующему на управляемую систему (в соответствии с аксиомой 4) за рассматриваемый период времени.