Primal-Dual on Eating Your Own Cat Food

Adwords に対する Primal-Dual の競合比解析

Fri, 12 Sep 2025 00:00:00 +0900

Adwords

Adwords に対する Primal-Dual を使った貪欲法の競合比解析の続きです．
以下では，adwords に対する primal dual algorithm が $1 - \frac{1}{e}$-competitive となることを示します．

Small Bids Assumption

予算に対する入札額の比率のうち最大を $R_{\mathrm{max}}$ とし，$R_{\mathrm{max}}$ は十分小さいと仮定します．
$R_{\mathrm{max}} \coloneqq \max_{u, v} \frac{\mathrm{bid}_{uv}}{B_u}$

Adwords の定式化

Adwords の主問題と双対問題は以下のようになります．ここでは adwords を双対問題とします．
$x_{uv}$ は $v$ が $u$ に割り当てられたときに $1$ になる決定変数です．実際には広告リクエストは分割できないので $x_{uv} \in \lbrace 0, 1 \rbrace$ ですが線形緩和しています．

主問題(Primal Problem)

$$ \begin{aligned} &\text{minimize} && \sum_{u} B_u \alpha_{u} + \sum_{v} \beta_v \\ &\text{subject to} && \mathrm{bid}_{uv}(1 - \alpha_u) \leq \beta_v && \forall u, v \\ & && \alpha_u \geq 0 \\ & && \beta_{v} \geq 0 \end{aligned} $$

双対問題(Dual Problem)

$$ \begin{aligned} &\text{maximize} && \sum_{u, v} \mathrm{bid}_{uv} x_{uv} \\ &\text{subject to} && \sum_{v} \mathrm{bid}_{uv} x_{uv} \le B_u && \forall u \\ & && \sum_u x_{uv} \leq 1 && \forall v \\ & && x_{uv} \geq 0 \end{aligned} $$

アルゴリズム

初期化
- 各 $u$ について，$\alpha_u \leftarrow 0$ とする
$v$ が到着したとき，$\alpha_u \lt 1$ の中で $\mathrm{bid}_{uv}(1 - \alpha_u)$ を最大化する $u$ に $v$ を割り当てる
$\alpha_u \ge 1$ ならなにもしない．そうでなければ
- $u$ の残り予算から $\min(\mathrm{bid}_{uv}, 残り予算)$ 減算し，$x_{uv} \leftarrow 1$ とする
- $\beta_v \leftarrow \mathrm{bid}_{uv}(1 - \alpha_u)$
- $\alpha_u \leftarrow \alpha_u (1 + \frac{\mathrm{bid}_{uv}}{B_u}) + \frac{\mathrm{bid}_{uv}}{(c - 1) \cdot B_u}$

競合比解析

以下の 3 つを示します．主問題の目的関数値と双対問題の目的関数値を $P$ と $D$ とし，$1$ イテレーションでの変化量をそれぞれ $\Delta P$ と $\Delta D$ で表します．
また，$R_{\mathrm{max}} = \max_{u, v}{\frac{\mathrm{bid}_{uv}}{B_u}}$，$c = (1 + R_{\mathrm{max}})^{\frac{1}{R_{\mathrm{max}}}}$ とします．

主問題の実行可能解を生成する
双対問題の（ほぼ）実行可能解を生成する
- 双対問題の予算制約を破ることがあるが，各 $u$ の超過は高々 $\max_{v} \mathrm{bid}_{uv}$
- 得られる利益は $(1 - R_{\mathrm{max}})\sum_{uv} \mathrm{bid}_{uv} x_{uv}$ 以上となる
各イテレーションで $\Delta P \le (1 + \frac{1}{c - 1}) \Delta D$
- $\frac{\Delta D}{\Delta P} \ge 1 - \frac{1}{c}$

1.，2.，3.と弱双対性により上記のアルゴリズムの競合比は以下のようになります．

$$(1 - \frac{1}{c})(1 - R_{\mathrm{max}}) = (1 - \frac{1}{(1 + R_{\mathrm{max}})^{\frac{1}{R_{\mathrm{max}}}}})(1 - R_{\mathrm{max}})$$

これは，$R_{\mathrm{max}} \rightarrow 0^+$ のとき $1 - \frac{1}{e}$ に近づきます．

1. 主問題の実行可能解を生成する

主問題の制約条件は $(1)$ $\mathrm{bid}_{uv}(1 - \alpha_u) \leq \beta_v$，$(2)$ $\alpha_u \geq 0$，$(3)$ $\beta_{v} \geq 0$ の 3 つです．
$(2)$ と $(3)$ は明らかに満たしているので，$(1)$ を満たすことを確認します．

$v$ が $u$ に割り当てられたときを考えます．

$\alpha_u \ge 1$ の場合
- $\mathrm{bid}_{uv} \ge 0$ かつ $\beta_v \ge 0$のため制約 $(1)$ を満たします．
$\alpha_u \lt 1$ の場合
- アルゴリズムで $\beta_v = \mathrm{bid}_{uv}(1 - \alpha_u)$となります．
  このとき $u$ として $\mathrm{bid}_{u^{\prime} v}(1 - \alpha_{u^{\prime}})$ を最大化する $u^{\prime}$ を選んでいるため，任意の $u$, $v$ について制約 $(1)$ を満たします．
  また，アルゴリズムでは $\alpha_i$ を単調増加させるため，この操作によって制約が満たされなくなることはありません．

2. 双対問題の(ほぼ)実行可能解を生成する

双対問題の制約条件は，$(1)$ $\sum_{v} \mathrm{bid}_{uv} x_{uv} \le B_u$，$(2)$ $\sum_u x_{uv} \leq 1$，$(3)$ $x_{uv} \geq 0$ の 3 つです．
$(2)$ と $(3)$ は明らかに満たしているので，$(1)$ を満たしていることを確認します．

まず，アルゴリズムは $\alpha \ge 1$ のとき双対変数を更新しないので，$u$ に対する課金額 $\sum_{v} \mathrm{bid}_{uv} x_{uv}$ が予算を超えたら場合 $\alpha_u \ge 1$ となることを示します．
これは $\alpha_u \ge \frac{1}{c - 1}(c^{\frac{\sum \mathrm{bid}_{uv} x_{uv}}{B_u}} - 1)$ によって示されます．

$\alpha_u \ge \frac{1}{c - 1}(c^{\frac{\sum_{v} \mathrm{bid}_{uv} x_{uv}}{B_u}} - 1)$ を帰納法を使って証明します．
$\alpha_u \ge \frac{1}{c - 1}(c^{\frac{\sum_{v} \mathrm{bid}_{uv} x_{uv}}{B_u}} - 1)$ を仮定します．はじめこの条件は明らかに満たされています．
$k$ が $u$ に割り当てられたときの $\alpha_{u}$ の変化量を考えます．

$$ \begin{aligned} \alpha_{u_{end}} &= \alpha_{u_{start}}(1 + \frac{\mathrm{bid}_{uk}}{B_u}) + \frac{\mathrm{bid}_{uk}}{(c - 1)B_u} \\ &\ge \frac{1}{c - 1} [c^{\frac{\sum_{v \in V \backslash \{k\}} \mathrm{bid}_{uv} x_{uv}}{B_u}} - 1](1 + \frac{\mathrm{bid}_{uk}}{B_u}) + \frac{\mathrm{bid}_{uk}}{(c - 1)B_u} \\ &= \frac{1}{c - 1}[c^{\frac{\sum_{v \in V \backslash \{k\}} \mathrm{bid}_{uv} x_{uv}}{B_u}}(1 + \frac{\mathrm{bid}_{uk}}{B_u}) - 1] \\ &\ge \frac{1}{c - 1}[c^{\frac{\sum_{v \in V \backslash \{k\}} \mathrm{bid}_{uv} x_{uv}}{B_u}} c^{\frac{\mathrm{bid}_{uk}}{B_u}} - 1] \\ &= \frac{1}{c - 1}[c^{\frac{\sum_{v} \mathrm{bid}_{uv} x_{uv}}{B_u}} - 1] \end{aligned} $$

補足

$2$ つめの不等式は帰納法の仮定から導かれます．
$4$ つめの不等式が成り立つことを示すために，$1 + \frac{\mathrm{bid}_{uk}}{B_u} \ge c^{\frac{\mathrm{bid}_{uk}}{B_u}}$ を示します．
$0 \le x \le y \le 1$ のとき，$\frac{\ln(1 + x)}{x} \ge \frac{\ln(1 + y)}{y}$ となることを利用します．
ここで，$x = \frac{\mathrm{bid}(uk)}{B_u} \le R_{\mathrm{max}} = y$ とおくと，

$$\frac{\ln(1 + x)}{x} \ge \frac{\ln(1 + R_{\mathrm{max}})}{R_{\mathrm{max}}} = \ln((1 + R_{\mathrm{max}})^{\frac{1}{R_{\mathrm{max}}}}) = \ln c$$

両辺を $x$ 倍して指数をとると $1 + x \ge c^{x}$ となることから $1 + \frac{\mathrm{bid}_{uk}}{B_u} \ge c^{\frac{\mathrm{bid}_{uk}}{B_u}}$ が示せました．
また，$\frac{\mathrm{bid}_{uk}}{B_u} = R_{\mathrm{max}}$ のとき，この不等式は等式で成り立ちます．そのため，$c = (1 + R_{\mathrm{max}})^{\frac{1}{R_{\mathrm{max}}}}$ としているのでした．

次に，予算をどれくらい超えるかを考えます．
アルゴリズムでは各 $u$ について予算制約を破る回数は高々 $1$ 回です．
よって $\sum_{v} \mathrm{bid}_{uv} x_{uv} \leq B_{u} + \max_{v} \mathrm{bid}_{uv}$ を満たします．

$[\sum \mathrm{bid}_{uv} x_{uv}] \frac{B_u}{B_u + \max \mathrm{bid}_{uv}} \ge [\sum \mathrm{bid}_{uv} x_{uv}] (1 - R_{\mathrm{max}})$
よって $(1 - R_{\mathrm{max}})$ をかけることにより確保できる利益の下界がわかります．

3. 各イテレーションで $\Delta P \le (1 + \frac{1}{c - 1}) \Delta D$

$\alpha_u \ge 1$ のときはどちらの目的関数値も変化しないので，$\alpha_u \lt 1$ のときを考えます

$\Delta P$
$\alpha_u \leftarrow \alpha_u (1 + \frac{\mathrm{bid}_{uv}}{B_u}) + \frac{\mathrm{bid}_{uv}}{(c - 1) \cdot B_u}$，$\beta_v \leftarrow \mathrm{bid}_{uv}(1 - \alpha_u)$ とするので

$$ \begin{aligned} \Delta P &= B_{u} \Delta \alpha_u + \Delta \beta_v \\ &= B_u(\frac{\mathrm{bid}_{uv} \alpha_u} {B_u} + \frac{\mathrm{bid}_{uv}}{(c - 1)B_{u}}) + \beta_v \\ &= \mathrm{bid}_{uv} \alpha_u + \frac{\mathrm{bid}_{uv}}{c - 1} + \mathrm{bid}_{uv}(1 - \alpha_u) \\ &= \mathrm{bid}_{uv} \alpha_u + \frac{\mathrm{bid}_{uv}}{c - 1} + \mathrm{bid}_{uv} - \mathrm{bid}_{uv} \alpha_u \\ &= \mathrm{bid}_{uv}(1 + \frac{1}{c - 1}) \end{aligned} $$

$\Delta D$
$x_{uv} \leftarrow 1$ とするので

$$ \begin{aligned} \Delta D &= \mathrm{bid}_{uv} \Delta x_{uv} \\ &= \mathrm{bid}_{uv} \end{aligned} $$

よって，$\Delta P \le (1 + \frac{1}{c - 1}) \Delta D$ が示せました．

参考

Adwords に対する Primal-Dual を使った貪欲法の競合比解析

Fri, 12 Sep 2025 00:00:00 +0900

Adwords

Adwords に対する貪欲法の競合比解析の続きです．
以下では，adwords に対する貪欲法が $\frac{1}{2}$-competitive となることを primal-dual を使って示します．

Small Bids Assumption

Adwords の定式化

主問題(Primal Problem)

双対問題(Dual Problem)

アルゴリズム

初期化
- $x_{uv} \leftarrow 0$，$\alpha_u \leftarrow 0$，$\beta_v \leftarrow 0$ とする
  $\alpha_u$ は $u$ が予算を使い切ったときに $1$ になる変数である．
$v$ が到着したとき
- $\alpha_u = 0$ であるような $u$ （つまり予算を使い切っていない $u$）のうち，$\mathrm{bid}_{uv}$ が最も高い $u^{\prime}$ に $v$ を割り当て，$\beta_v = \mathrm{bid}_{u^{\prime}v}$，$x_{u^{\prime}v} = 1$ とする
- この割り当てで $u^{\prime}$ の予算が $0$ になった場合は，$\alpha_{u^{\prime}} = 1$ とする

競合比解析

以下の不等式が成り立つことを示します．

$$\mathrm{ALG} = \mathrm{Dual} \ge \frac{1}{2} \mathrm{Primal} \ge \frac{1}{2} \mathrm{Primal}^{\star} \ge \frac{1}{2} \mathrm{OPT}$$

ここで，$\mathrm{Primal}$ と $\mathrm{Dual}$ はアルゴリズムで構築される主問題と双対問題の目的関数値，$\mathrm{Primal}^{\star}$ は主問題の最適解の目的関数値，$\mathrm{OPT}$ は整数問題の最適解の目的関数値です．
以下の 3 つを示します．

主問題の実行可能解を生成する
双対問題の実行可能解を生成する
$\mathrm{Dual} \ge \frac{1}{2} \mathrm{Primal}$

1. 主問題の実行可能解を生成する

主問題の制約条件は $(1)$ $\mathrm{bid}_{uv}(1 - \alpha_u) \leq \beta_v$，$(2)$ $\alpha_u \geq 0$，$(3)$ $\beta_{v} \geq 0$ の 3 つです．
$(2)$ と $(3)$ は明らかに満たしているので，$(1)$ を満たしていることを確認します．

$\alpha_u = 1$ のとき，$\mathrm{bid}_{uv} (1 - \alpha_u) \le \beta_v$ を満たします．
$\alpha_u = 0$ のとき，$\beta_{v} \ge \mathrm{bid}_{uv}$ となることを確認します．
アルゴリズムは $v$ を $\mathrm{bid}_{uv}$ が最も高くなるような $u^{\prime}$ に割り当て，$\beta_v = \mathrm{bid}_{u^{\prime}v}$ とするので，$\beta_{v} \ge \mathrm{bid}_{uv}$ を満たします．

2. 双対問題の実行可能解を生成する

双対問題の制約条件は，$(1)$ $\sum_{v} bid_{uv} x_{uv} \le B_u$，$(2)$ $\sum_u x_{uv} \leq 1$，$(3)$ $x_{uv} \geq 0$ の 3 つです．
$(2)$ と $(3)$ は明らかに満たしているので，$(1)$ を満たしていることを確認します．

アルゴリズムでは，予算の残っている $u$ にのみ $v$ を割り当てているので，基本的には制約条件を満たします．
厳密には，$v$ を $u$ に割り当てるとき，$u$ の残り予算が $\mathrm{bid}_{uv}$ に満たない場合でも割り当てることができ予算制約を破る可能性がありますが，small-bids assumption によって競合比には影響しません．

3. $\mathrm{Dual} \ge \frac{1}{2} \mathrm{Primal}$

$v$ を $u$ に割り当てるたび，$\mathrm{Primal}$ も $\mathrm{Dual}$ も $\mathrm{bid}_{uv}(=\beta_v)$ だけ目的関数値が増加します．
また，$\mathrm{Primal}$ は予算を使い切ったとき $\alpha_u = 1$ となり $B_u$ 増加します．この $B_u$ は $u$ に割り当てられた $bid_{uv}$ の合計なので，$\alpha_u = 1$となるような $B_u$ の合計は高々 $\mathrm{Dual}$ となります．
よって，全体として $\mathrm{Primal} \le \mathrm{Dual} + \mathrm{Dual} = 2 \mathrm{Dual}$ なので，$\mathrm{Dual} \ge \frac{1}{2} \mathrm{Primal}$ となります．

今回の解析では $v$ を $u$ に割り当てるとき，$u$ の残り予算が $\mathrm{bid}_{uv}$ に満たない場合でも $\mathrm{bid}_{uv}$ を計上しています．
よって厳密には高々 $\sum_{u} \max_{v} \mathrm{bid}_{uv}$ を過大に計上していますが，small bids assumption によって，競合比には影響しません．

参考

Online Matching and Ad Allocation

Primal Dual Algorithm(厳密解)

Fri, 14 Mar 2025 00:00:00 +0900

はじめに

厳密解を求める primal dual algorithm の話です．
primal dual algorithm の一般的な説明をしたあと，具体例としてハンガリアン法を導出します．

準備

以下の等式標準形の線形計画問題を考えます．簡単のため $\bold b \ge 0$ を仮定します．

主問題
$$ \begin{aligned} &\text{minimize} && \bold c^{T} \bold x \\ &\text{subject to} && \bold A \bold x = \bold b \\ & && \bold x \geq 0 \end{aligned} $$
双対問題
$$ \begin{aligned} &\text{maxiimize} && \bold b^{T} \bold y \\ &\text{subject to} && \bold A^{T} \bold y \leq \bold c \end{aligned} $$

$\bold x$ と $\bold y$ が主問題と双対問題の最適解であるための必要十分条件は，以下の 2 つの条件をともに満たすことです．
$A_i$ は行列 $\bold A$ の $i$行目を，$A^{j}$ は行列 $\bold A$ の $j$ 列目の転置をとったものを表します．今回は主問題の制約条件に $\bold A \bold x = \bold b$ があるため，双対相補性条件を常に満たします．

主相補性条件
$$ \begin{aligned} && x_{j} \gt 0 \Rightarrow \bold A^{j} \bold y = c_{j} &&& \forall j \\ \end{aligned} $$
双対相補性条件
$$ \begin{aligned} && y_{i} \gt 0 \Rightarrow \bold A_{i} \bold x = b_{i} &&& \forall i \\ \end{aligned} $$

${\bold x}^{\star}$ と ${\bold y}^{\star}$ が主問題と双対問題の最適解であるとき以下が成立します．

$$ \begin{aligned} && \bold c^{T} \bold x^{\star} = \bold b^{T} \bold y^{\star} \\ \end{aligned} $$

Primal Dual Algorithm

primal dual algorithm は線形計画問題を解くための一般的なアルゴリズムです．
primal dual algorithm を用いて主問題の最適解 ${\bold x}^{\star}$ を求めます．簡単のため，主問題には実行可能解があると仮定します．primal dual algorithm は以下のように実行されます．双対問題の実行可能性が常に維持されていることに注意してください．

双対問題の実行可能解 $\bold y$ を求める
$\bold y$ をもとに構築した restricted primal problem を解く
restricted primal problem の最適解の値が $0$ ならば，最適解 $\bold {x}^{\star}$ が判明したということなのでアルゴリズムを終了する
restricted primal problem の最適解の値が $0$ でないならば，restricted primal problem の双対問題である dual restricted primal の最適解を求める．この解を $\bold z$ とする
ある $\epsilon$ を求め，${\bold y}^{\prime} = {\bold y} + \epsilon {\bold z}$ を新たな双対問題の実行可能解として採用し，2 に戻る

順に詳しくみていきます．

双対問題の実行可能解 $\bold y$ を適当に求めます．$\bold c \ge 0$ を仮定しているため $\bold y = \bold 0$ とおくことができます．
ある双対問題の解 $\bold y$ が与えられたときに，「主問題の制約の違反」と「相補性条件の違反」を最小にするような主問題の解 $\bold x$ を見つける問題を考えます．もしこれらの違反量が 0 の $\bold x$ を見つけることができたら，相補性条件よりこの $\bold x$ と $\bold y$ は最適解だということになります．
$J = \lbrace j \mid \bold A^{j} \bold y = c_{j} \rbrace$ とします．これは正になることのできる主問題の変数の index の集合です．すると，この問題は以下のような線形計画問題となります．これを restricted primal(以下 RP)とよびます．
- Restricted Primal $$ \begin{aligned} &\text{minimize} && \sum_i s_i \\\ &\text{subject to} && \sum_{j \in J} \bold A_{ij} \bold x_j + \bold s_i = \bold b_i &&& \forall i\\\ & && \bold x \geq \bold 0 &&& j \in J\\\ & && \bold x = \bold 0 &&& j \notin J\\\ & && \bold s \geq \bold 0 \end{aligned} $$
もし RP の最適解の値が $0$ なら，この $(\bold x, \bold y)$ が主問題と双対問題の最適解ということになりアルゴリズムは終了します．
そうでない場合は相補性条件を満たすような実行可能解 $\bold x$ が見つからなかったということなので，$\bold y$ は双対問題の最適解ではなかったということがわかります．
そこで，$\bold y$ よりも良い双対問題の解を探すことにします．
そのために RP の双対問題である Dual Restricted Primal(以下 DRP)を考えます．これは以下のようになります．
- Dual Restricted Primal $$ \begin{aligned} &\text{maxmize} && \bold b^{T} \bold z \\\ &\text{subject to} && \bold A^{j} \bold z \leq 0 &&& j \in J \\\ & && z_{i} \leq 1 &&& \forall i \\\ \end{aligned} $$
DRP の最適解を $\bold z^{\star}$ とします．双対問題の実行可能解 $\bold y$ に $\bold z^{\star}$ を $\epsilon(\epsilon \gt 0)$ 倍して足し合わせた解 ${\bold y}^{\prime} = \bold y + \epsilon \bold z^{\star}$ を考えます．実はうまく $\epsilon$ を選ぶことで $\bold y^{\prime}$ は元の解 $\bold y$ よりも良い目的関数値をとり，さらに実行可能解となっています．
$\bold y$ よりも良い解 $\bold y^{\prime}$ が手に入れば，これを新たな双対問題の解として採用し，また 2 に戻り RP を考え…と手順を繰り返していくことで，やがて最適解を得ることができます．

最後に，$\bold y^{\prime} = \bold y + \epsilon \bold z^{\star}$ が解 $\bold y$ よりも良い解となることと $\bold y^{\prime}$ が実行可能解となるような $\epsilon$ の選び方を示します．

$\bold y^{\prime} = \bold y + \epsilon \bold z^{\star}$ が解 $\bold y$ よりも良くなることを示します．
$\bold y^{\prime} = \bold y + \epsilon \bold z$ を双対問題の目的関数に当てはめると $\bold b^{T} \bold y^{\prime} = \bold b^{T} \bold y + \epsilon \bold b^{T} \bold z^{\star}$ となります．
$\epsilon \bold b^{T} \bold z^{\star} \gt 0$ となることを確認します．
$\epsilon$ は $0$ より大きい値をとるため，$\epsilon \gt 0$ となります．
RP の最適解の値は 0 より大きかったため，その双対問題である DRP の最適解の値も 0 より大きいことになります．よって，$\bold b^{T} \bold z^{\star} \gt 0$ といえます．
以上のことから，$\bold y^{\prime}$ が $\bold y$ より良い目的関数値をとることがわかりました．
$\bold y^{\prime} = \bold y + \epsilon \bold z^{\star}$ が双対問題の実行可能解となるような $\epsilon$ の選び方を示します．
双対問題の実行可能解になるように制約条件 $\bold A^{T} \bold y^{\prime} \leq \bold c$ を満たすような $\epsilon$ を求めます．
まず，双対問題の制約条件より $\bold A^{T} \bold y \le \bold c$ です．
次に，DRP の制約条件より $j \in J$ については $\bold A^{j} \bold z^{\star} \le 0$ となります．よって，$j \in J$ であるような $j$ については制約条件を満たすため，$j \notin J$ のうち $\bold A^{j} \bold z^{\star} \gt 0$ である $j$ についてのみ考えます．
このような $j$ は $\epsilon \le \min_{j \notin J: A^{j} \bold z^{\star} \gt 0} \frac{c_j - \bold A^{j} \bold y}{\bold A^{j} \bold z^{\star}}$ を満たす必要があります．
$\epsilon$ は大きい方がいいので，この条件を満たす最大の値を $\epsilon$ として選びます．

ハンガリアン法

Primal Dual Algorighm を使ってハンガリアン法を導出します．頂点 $a$ と頂点 $b$ を結ぶ辺を $(a, b) \in E$ とし，その容量を $c_{ab}$ とします．簡単のため $\bold c \ge \bold 0$ とし完全マッチングが存在するものとします．

以下では，有向グラフを接続行列 $\bold A$ で表します．また，ノードの数を $n$，辺の数を $m$ とします．二部グラフの最小重み完全マッチングを線形緩和した主問題と双対問題を定義します．

主問題

$$ \begin{aligned} &\text{minimize} && \sum_{(a, b) \in E} c_{ab} x_{ab} \\ &\text{subject to} && \sum_{b:(a, b) \in E} x_{ab} = 1 &&& a \in A \\ & && \sum_{a:(a, b) \in E} x_{ab} = 1 &&& b \in B \\ & && x_{ab} \ge 0 &&& (a, b) \in E\\ \end{aligned} $$

双対問題

$$ \begin{aligned} &\text{maxiimize} && \sum_{a \in A} u_{a} + \sum_{b \in B} v_{b} \\ &\text{subject to} && u_{a} + v_{b} \le c_{ab} &&& (a, b) in E\\ \end{aligned} $$

ハンガリアン法の導出

双対問題の適当な実行可能解を求めます．$C \ge 0$ を仮定しているため，$\bold u = \bold v = \bold 0$ とすることができます．
restricted primal を考えます．$J = \lbrace(a, b) \in E : u_{a} + v_{b} = c_{ab} \rbrace$ とすると以下のようになります．これは $J$ の辺のみを使って完全マッチングを求める問題です．
- Restricted Primal $$ \begin{aligned} &\text{minimize} && \sum_{a \in A} s_{a} + \sum_{b \in B} s_{b} \\\ &\text{subject to} && \sum_{b:(a, b) \in E} x_{ab} + s_{a} = 1 &&& a \in A\\\ & && \sum_{a:(a, b) \in E} x_{ab} + s_{b} = 1 &&& b \in B\\\ & && x_{ab} >= 0 &&& (a, b) \in J \\\ & && x_{ab} = 0　&&& (a, b) \in (E - J) \\\ & && s \ge 0 \end{aligned} $$
$J$ の辺のみをつかって完全マッチングを作ることができれば，RP の目的関数値を 0 にすることができます．辺の重みを考えなくてよくなったため，2 部グラフの最大マッチングを求めるアルゴリズムを使うことができます．もし完全マッチングがみつかればアルゴリズムは終了します．
見つからない場合は dual restricted primal を考えます．DRP は $J$ の辺のみを使ったグラフ上で最小点被覆を求める問題です．これは RP で求めた最大マッチングの解を使って求めることができます．
- Dual Restricted Primal $$ \begin{aligned} &\text{maximize} && \sum_{a \in A} u^{\prime}_{a} + \sum_{b \in B} v^{\prime}_{b} \\\ &\text{subject to} && u^{\prime}_{a} + v^{\prime}_{b} \le 0 &&& (a, b) \in J \\\ & && u^{\prime}_{a} \le 1 &&& a \in A\\\ & && v^{\prime}_{b} \le 1 &&& b \in B \end{aligned} $$
DRP の解を求め，$u^{\prime \prime} = u + \epsilon u^{\prime}$，$v^{\prime \prime} = v + \epsilon v^{\prime}$とします．ここで $\epsilon = \min_{(a, b) \in (E - J)}(c_{ab} - u_{a} - v_{b})$ とすることができます．あとは，$u^{\prime}$ と $v^{\prime}$ を新しい双対問題の解として採用し，2 に戻ります．

Primal-Dual on Eating Your Own Cat Food

Adwords に対する Primal-Dual の競合比解析

Adwords

Small Bids Assumption

Adwords の定式化

アルゴリズム

競合比解析

1. 主問題の実行可能解を生成する

2. 双対問題の(ほぼ)実行可能解を生成する

3. 各イテレーションで $\Delta P \le (1 + \frac{1}{c - 1}) \Delta D$

参考

Adwords に対する Primal-Dual を使った貪欲法の競合比解析

Adwords

Small Bids Assumption

Adwords の定式化

アルゴリズム

競合比解析

1. 主問題の実行可能解を生成する

2. 双対問題の実行可能解を生成する

3. $\mathrm{Dual} \ge \frac{1}{2} \mathrm{Primal}$

参考

Primal Dual Algorithm(厳密解)

はじめに

準備

Primal Dual Algorithm

ハンガリアン法

ハンガリアン法の導出

参考文系