[線性代數] 找擬合線上投影點 - Part2 - 解各資料點對應擬合線上投影點

在Part1我們已經找到某資料群對應的擬合線，接著我們想問：

如何求出各資料點對應擬合線上的最短距離投影點？如下圖的各個藍色點：

以代數角度思考，每個資料點$(x_i,y_i,1)$可以拆解成以下形式：

$$\begin{bmatrix} x_i\\ y_i\\ 1 \end{bmatrix} = \begin{bmatrix} \hat{x}_i\\ \hat{y}_i\\ 1 \end{bmatrix} + d_i \begin{bmatrix} e_x\\ e_y\\ 0 \end{bmatrix}$$

其中，$(\hat{x}_i,\hat{y}_i,1)$是最短距離投影點，而$(e_x,e_y,0)$是正規化後的誤差向量（長度為1，因為從幾何上得知，最短距離投影點對資料點的連線，正交於擬合直線，所以各點的誤差向量皆相同；各資料點之間唯一的差異是，誤差向量的放大倍率$d_i$因點而異，也就是資料點到擬合線的垂直距離

將上式帶入Part1解出的擬合線$ax+by+c=0$可整理出以下關係：

$$\begin{align} b_i &= \begin{bmatrix} a & b & c \end{bmatrix} \begin{bmatrix} x_i\\ y_i\\ 1 \end{bmatrix} \\ &= \begin{bmatrix} a & b & c \end{bmatrix} \begin{bmatrix} \hat{x}_i\\ \hat{y}_i\\ 1 \end{bmatrix} + d_i \begin{bmatrix} a & b & c \end{bmatrix}  \begin{bmatrix} e_x\\ e_y\\ 0 \end{bmatrix} \\ &= d_i \begin{bmatrix} a & b & c \end{bmatrix}  \begin{bmatrix} e_x\\ e_y\\ 0 \end{bmatrix} \end{align}$$

其中，$(\hat{x}_i,\hat{y}_i,1)$落在擬合線上，帶入擬合線方程式$(a,b,c)$為0，所以殘餘量$b_i$完全是由誤差向量$(e_x,e_y,0)$內積於$(a,b,c)$再乘上$d_i$所貢獻；

分析至此，要求出的項目就顯而易見了，我們需要解出(1)$(e_x,e_y,0)$誤差向量，及(2)$d_i$，就可以解各資料點對應的投影點：

$$\begin{bmatrix} \hat{x}_i\\ \hat{y}_i\\ 1 \end{bmatrix} = \begin{bmatrix} x_i\\ y_i\\ 1 \end{bmatrix} - d_i \begin{bmatrix} e_x\\ e_y\\ 0 \end{bmatrix}$$

---------------------------

(1)解誤差向量$(e_x,e_y,0)$

這裏終究不敵幾何思考（嗚嗚），在二維平面上，誤差向量與擬和線向量垂直，特徵是相互內積為0，所以若擬合線方程式為$ax+by+c=0$，其方向的單位向量為：

$$(\frac{1}{\sqrt{\left|{\frac{a}{b}}\right|^{2} + 1}} , - \frac{a}{b \sqrt{\left|{\frac{a}{b}}\right|^{2} + 1}} , 0)$$

與此直線垂直的單位向量，也就是誤差向量為（僅將上式元素1，2調換並變號，就能確保相互內積為0）：

$$(\frac{a}{b \sqrt{\left|{\frac{a}{b}}\right|^{2} + 1}} , \frac{1}{\sqrt{\left|{\frac{a}{b}}\right|^{2} + 1}},0)$$

---------------------------

(2)解$d_i$

單位誤差向量與擬合線係數相互內積：

$$\begin{bmatrix} a && b && c \end{bmatrix} \begin{bmatrix}\frac{a}{b \sqrt{({\frac{a}{b}})^2 + 1}}\\\frac{1}{\sqrt{({\frac{a}{b}})^2 + 1}}\\0\end{bmatrix} = \sqrt{a^2+b^2}$$

所以可知道$d_i$：

$$d_i = \frac{b_i}{\sqrt{a^2+b^2}}$$

---------------------------

最後再整理解形式：

$$\begin{align} \begin{bmatrix} \hat{x}_i\\ \hat{y}_i\\ 1 \end{bmatrix} &= \begin{bmatrix} x_i\\ y_i\\ 1 \end{bmatrix} - d_i \begin{bmatrix} e_x\\ e_y\\ 0 \end{bmatrix} \\ &= \begin{bmatrix} x_i\\ y_i\\ 1 \end{bmatrix} - \frac{b_i}{\sqrt{a^2+b^2}} \begin{bmatrix}\frac{a}{b \sqrt{\left|{\frac{a}{b}}\right|^{2} + 1}}\\\frac{1}{\sqrt{\left|{\frac{a}{b}}\right|^{2} + 1}}\\0\end{bmatrix} \\ &= \begin{bmatrix} x_i\\ y_i\\ 1 \end{bmatrix} - b_i \begin{bmatrix} \frac{a}{a^2+b^2} \\ \frac{b}{a^2+b^2} \\ 0 \end{bmatrix} \end{align}$$

結論是，所以在Part1求出的各資料點對應的$b_i$好好留著，擬合線求出後，投影點其實也一併知道了

後記1：有投影點才能描繪出線段唷