%%
%% TP4 Exercice 5
%% Convergence d'une chaine de Markov a espace d'etats fini
%% E={1,2,3,4}. On utilise la fonction probadis
%%


clf;
clear;

%% On donne la matrice de transition P

P=[0 1 0 0;1/2 0 1/4 1/4;1/2 1/2 0 0;0 0 1 0];

%% La probabilite invariante est donnee par

v=[3/10 4/10 2/10 1/10];
a=sum(v.*[1:4])
b=sum(v.*([1:4].^2))

% Simulation de la chaine de Markov

X1=[1];X2=[2];X3=[3];X4=[4];

n=input('Entrez le nombre d''iterations n: ');

for i=1:n
    X1=[X1 probadis(4,[1 2 3 4],P(X1(i),:))];
    X2=[X2 probadis(4,[1 2 3 4],P(X2(i),:))];
    X3=[X3 probadis(4,[1 2 3 4],P(X3(i),:))];
    X4=[X4 probadis(4,[1 2 3 4],P(X4(i),:))];
end

figure(1); 
plot(cumsum(X1)./[1:n+1],'b'); 
hold on
plot(cumsum(X2)./[1:n+1],'r'); 
plot(cumsum(X3)./[1:n+1],'g'); 
plot(cumsum(X4)./[1:n+1],'y'); 
plot(a*ones(1,n+1),'--');
hold off

figure(2); 
plot(cumsum(X1.^2)./[1:n+1],'b'); 
hold on
plot(cumsum(X2.^2)./[1:n+1],'r'); 
plot(cumsum(X3.^2)./[1:n+1],'g'); 
plot(cumsum(X4.^2)./[1:n+1],'y'); 
plot(b*ones(1,n+1),'--');
hold off
