<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom"><channel><title>Markov-Chain on TouchingFish.top</title><link>https://touchingfish.top/tags/markov-chain/</link><description>Recent content in Markov-Chain on TouchingFish.top</description><generator>Hugo</generator><language>zh-cn</language><lastBuildDate>Fri, 10 Feb 2023 00:00:00 +0000</lastBuildDate><atom:link href="https://touchingfish.top/tags/markov-chain/index.xml" rel="self" type="application/rss+xml"/><item><title>固定点、稳定分布、纳什均衡——一个困惑的消解</title><link>https://touchingfish.top/2023/fixed-point-stable-distribution-nash/</link><pubDate>Fri, 10 Feb 2023 00:00:00 +0000</pubDate><guid>https://touchingfish.top/2023/fixed-point-stable-distribution-nash/</guid><description>&lt;p&gt;复制子动力学里的固定点、马尔可夫链的稳定分布、博弈论里的纳什均衡。&lt;/p&gt;
&lt;p&gt;这三个东西，我第一次看到的时候，是当同义词处理的。&lt;/p&gt;
&lt;p&gt;后来发现，不是。&lt;/p&gt;
&lt;h2 id="曾经的误解"&gt;曾经的误解&lt;/h2&gt;
&lt;p&gt;Fixed Point、Stationary Distribution、Nash Equilibrium。&lt;/p&gt;
&lt;p&gt;三个术语，三个领域，三种直觉。听起来像是同一个数学对象的三个侧面。&lt;/p&gt;
&lt;p&gt;囚徒困境里，它们确实是同一个东西。&lt;/p&gt;
&lt;p&gt;但这不代表它们在任何情况下都等价。我花了点时间才把这个混淆搞清楚。&lt;/p&gt;
&lt;h2 id="三个数学对象的定义"&gt;三个数学对象的定义&lt;/h2&gt;
&lt;h3 id="固定点fixed-point"&gt;固定点（Fixed Point）&lt;/h3&gt;
&lt;p&gt;复制子动力学是一个常微分方程：&lt;/p&gt;
$$\frac{dx}{dt} = F(x)$$&lt;p&gt;固定点的定义很简单：&lt;/p&gt;
$$F(x^*) = 0$$&lt;p&gt;如果系统刚好到达 $x^*$，它就不再移动。&lt;/p&gt;
&lt;p&gt;&amp;ldquo;速度为零&amp;quot;的点。确定性的。&lt;/p&gt;
&lt;h3 id="马尔可夫链稳定分布stationary-distribution"&gt;马尔可夫链稳定分布（Stationary Distribution）&lt;/h3&gt;
&lt;p&gt;随机过程里，系统永远在随机跳动。静止？不存在的。&lt;/p&gt;
&lt;p&gt;于是换了个问题：长期后系统有多大概率出现在各状态？&lt;/p&gt;
&lt;p&gt;这就是稳定分布。记作：&lt;/p&gt;
$$\pi P = \pi$$&lt;p&gt;这里 $P$ 是转移矩阵，$\pi$ 是概率分布。&lt;/p&gt;
&lt;p&gt;含义是：经过一步随机演化后，概率分布保持不变。&lt;/p&gt;
&lt;p&gt;本质上是特征值 $\lambda = 1$ 对应的特征向量。&lt;/p&gt;
&lt;h3 id="纳什均衡nash-equilibrium"&gt;纳什均衡（Nash Equilibrium）&lt;/h3&gt;
&lt;p&gt;这是策略概念。&lt;/p&gt;
&lt;p&gt;没有人愿意单独改变策略。&lt;/p&gt;
&lt;p&gt;它甚至不一定涉及时间。&lt;/p&gt;
&lt;h2 id="用矩阵方程求稳定分布"&gt;用矩阵方程求稳定分布&lt;/h2&gt;
&lt;p&gt;以最简单的两状态马尔可夫链为例。&lt;/p&gt;
&lt;p&gt;设群体只有两种状态：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;状态 0：全体背叛&lt;/li&gt;
&lt;li&gt;状态 1：全体合作&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;状态向量：&lt;/p&gt;
$$p_t = \begin{pmatrix} P(\text{时刻 } t \text{ 在状态 0}) \\ P(\text{时刻 } t \text{ 在状态 1}) \end{pmatrix}$$&lt;p&gt;转移矩阵：&lt;/p&gt;</description></item><item><title>随机演化过程</title><link>https://touchingfish.top/2023/markov-chain-replicator-dynamics/</link><pubDate>Sat, 28 Jan 2023 00:00:00 +0000</pubDate><guid>https://touchingfish.top/2023/markov-chain-replicator-dynamics/</guid><description>&lt;p&gt;上篇文章甩出了复制子动力学方程 $\frac{dx}{dt} = x(1-x)(\pi_C - \pi_D)$。没解释从哪来的。&lt;/p&gt;
&lt;p&gt;憋着难受。今天补上。&lt;/p&gt;
&lt;p&gt;这个方程不是拍脑袋写出来的。它的背后，是&amp;quot;大量个体随机互动&amp;quot;的宏观涌现。说人话：一群人瞎折腾，最后折腾出了规律。&lt;/p&gt;
&lt;p&gt;微观随机，宏观确定。这是演化博弈论最迷人之处。&lt;/p&gt;
&lt;h2 id="从离散随机过程开始"&gt;从离散随机过程开始&lt;/h2&gt;
&lt;p&gt;还是囚徒困境。&lt;/p&gt;
&lt;p&gt;群体 $N$ 人，策略只有两种：C 或 D。&lt;/p&gt;
&lt;p&gt;记时刻 $t$ 的合作者数量为 $k$。那么合作比例 $x = \frac{k}{N}$。&lt;/p&gt;
&lt;p&gt;系统状态？只需要跟踪 $k = 0, 1, 2, \ldots, N$。&lt;/p&gt;
&lt;p&gt;这活脱脱一个马尔可夫链（Markov Chain）——下一步长什么样，只看现在，不问过去。&lt;/p&gt;
&lt;h2 id="演化规则"&gt;演化规则&lt;/h2&gt;
&lt;p&gt;规则简单到有点粗暴：&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;随机抽一个人当&amp;quot;复制源&amp;quot;&lt;/li&gt;
&lt;li&gt;被抽中概率和收益挂钩&lt;/li&gt;
&lt;li&gt;再随机抽一个人，被替换掉&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;高收益策略扩散，低收益策略收缩。 Darwin 的影子若隐若现。&lt;/p&gt;
&lt;p&gt;于是状态 $k$ 每次只跳一个单位：$k \to k+1$ 或 $k \to k-1$。&lt;/p&gt;
&lt;p&gt;这叫&lt;strong&gt;出生-死亡链（birth-death chain）&lt;/strong&gt;。名字很直观，生死之间，一进一退。&lt;/p&gt;
&lt;h2 id="转移概率"&gt;转移概率&lt;/h2&gt;
&lt;p&gt;先算合作者的平均收益。&lt;/p&gt;
&lt;p&gt;当前合作者 $k$ 人，背叛者 $N-k$ 人。&lt;/p&gt;
&lt;p&gt;合作比例 $x = \frac{k}{N}$，所以：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;合作者收益：$\pi_C = 3x = \frac{3k}{N}$&lt;/li&gt;
&lt;li&gt;背叛者收益：$\pi_D = 4x + 1 = \frac{4k}{N} + 1$&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;群体总&amp;quot;适应度&amp;quot;：&lt;/p&gt;</description></item></channel></rss>