Марковска верига се нарича последователност от случайни събития с краен или изброим брой резултати,
характеризиращи се със свойството - при фиксирано настоящо състояние следващото не зависи от предишните състояния.
Формалната дефиниция е:
Редица от дискретни случайни величини се нарича верига на Марков ако:
Областта от значенията на Xn се нарича пространство на състоянията а n –номер на такта.
Преходната матрица се дефинира с условните вероятности
Това са вероятностите случайната величина Xn+1 да получи стойност j, при условие че Xn е била в състояние i.
Сумата на елементите от всеки ред на преходната матрица е равен на 1.
Такива матрици се наричат стохастични.
Векторът
, където
е вероятността случайната величина X0 да е в състояние i.
Веригата се нарича еднородна ( хомогенна ), ако матрицата P не зависи от номера на такта n.
Вероятностите при n-тия такт величината Xn да заеме определено състояние се дават с равенството:
Ако всички случайни величини Xn имат едно и също множество на състоянията то веригата на
Марков може да се представи като ориентиран, тегловиграф, с тегла по ребрата представляващи
вероятностите pij.
Върховете на този граф са елементите на множеството на състоянията на Xn .
Пример 1
Нека от състояние i се преминава в състояние j с вероятнаст pij .
Стойностите на pij са зададени с таблицата
като i е номерът отляво, вертикално а j е номерът отгоре, хоризонтално.
Тази Марковска верига се задава със следния граф:
Пример 2
Нека е зададен квадрат k x k
По него се движи точка, която във даден момент е в една от клетките на квадрата.
С предварително зададени вероятности тя може да премине в съседна клетка.
Това е верига на Марков, защото вероятността на следващото положение на движещата се точка
зависи само от сегашното и положение но не и от траекторията.
В приложения пример можете да зададете вероятностите за предвижване на три точки в съседна клетка
или да остане на мястото си.
Понеже тези вероятности не зависят от номера на такта веригата е хомогенна.
В първия вариант можете да наблюдавате движението на трите точки -бяла, зелена и червена.
В втория вариант бялата тока се движи неутрално, зелената “бяга” от червената а червената се стреми към
зелената и се отдалечава мястото, където зелената и бялата се намират близко една до друга.
Опитайте!
Андрей Андреевич Марков (1856 - 1922)
Руски математик и академик, имащ голям принос в теорията на вероятностите, математическия анализ и теорията на
числата.
Ученик на Пафнутий Лвович Чебишов. Отлъчен е от Църквата по негово желание.
Създавайки своята теория за веригите Марков е нямал предвид конкретни физически приложения.
Той илюстрирал своите изследвания с редуването на гласни и съгласни в произведението на Пушкин „Егений Онегин”.
Но след няколко години Марковските вериги са намерили приложения в работите на Планк и Айнщайн.
Оттогава видни учени започнали да развиват нов раздел в теорията на вероятностити-теория на случайните процеси.
Източник: “http://nplit.ru/books/item/f00/s00/z0000044/st016.shtml” - Андрей Андреевич Марков
, където
е вероятността случайната величина X0 да е в състояние i.
