Orthogonal Vectors

• เวกเตอร์ที่ตั้งฉากกัน
• ดูได้ที่ Inner product (Dot product นั่นแหละ)— $\vec{u}\cdot \vec{v}=0$ ดังนั้น $\vec{u}\perp\vec{v}$

Orthogonal Basis

• ตามนิยามของ Basis เลย
  1. Vector ทุกตัวข้างในต้อง Linear Independent ต่อกัน + (Span the space ด้วยแหละ)
• และการที่จะถือว่าเป็น Orthogonal ได้เนี่ย ต้องมีคุณสมบัตินี้
  • ทุก ๆ Vector ใน Set $A$ ต้องตั้งฉากกันทุกคู่! $$\begin{align*} \vec{u}_1 \cdot \vec{u}_2 &= 0, \\ \vec{u}_1 \cdot \vec{u}_3 &= 0, \\ &\vdots \\ \vec{u}_1 \cdot \vec{u}_p &= 0, \\ \vec{u}_2 \cdot \vec{u}_3 &= 0, \\ &\vdots \\ \vec{u}_{p-1} \cdot \vec{u}_p &= 0. \end{align*}$$
  • $\vec{u}_i \cdot \vec{u}_j=0$; $\forall i$ และ $\forall j$ (โดย $i \ne j$ ด้วยนะ)

Orthonormal Basis

• จะต้องมีเงื่อนไข 3 จาก Orthogonal Basis $$|\vec{u}_1|=|\vec{u}_2|=\dotso=|\vec{u}_p|=1$$
  • ทุกตัวในนั้นต้องเป็น Unit Vector ด้วย

Example

$A=\left\{\begin{bmatrix} 2 \\ -3 \end{bmatrix}, \begin{bmatrix} 6 \\ 4 \end{bmatrix}\right\}$

• แล้วถามว่าเป็น Orthogonal Basis มั้ย?
  1. Linearly Independent ทั้งสองตัว ✅
  2. $u_1 \cdot u_2=2(6)+(-3)(4)=0$ ✅
  3. (แต่ถ้าอยากให้เป็น Orthonormal ด้วย ก็ต้องทำให้ทุกตัวเป็น Unit Vector)

Orthonormal, then whaaattttt?

• พอทำให้เป็น Orthonormal แล้ว (กล่าวคือ Vector ที่อยู่ในโลก $B$ → กลายเป็น Basis แบบ Norm คือ 1)— Lecture 10 - Change of Basis
  • ก็คือไม่ต้องใช้ Transformation Matrix เลยนะ แบบนี้อะ
• การที่จะเปลี่ยนจาก $v_{B_S}$ เป็น $v_B$ ก็แค่คูณ (Dot Product) ด้วย Orthonormal Basis แต่ละตัวได้เลย

Example

$v=\begin{bmatrix} 1\\ -3 \end{bmatrix}_{B_S}\quad \quad \quad B=\left\{ \frac{1}{\sqrt{2}}\begin{bmatrix} 1 \\ 1 \end{bmatrix}, \frac{1}{\sqrt{2}}\begin{bmatrix} 1 \\ -1 \end{bmatrix}\right\}$

• Vector ใน $B$ เป็น Orthonormal Basis หมดแล้วนะ!
• การที่จะหา $v_B$ $$(v,v_1)=\begin{bmatrix} 1\\ -3 \end{bmatrix}\cdot\frac{1}{\sqrt{2}}\begin{bmatrix} 1 \\ 1 \end{bmatrix}=-\sqrt{2}$$ $$(v,v_2)=\begin{bmatrix} 1\\ -3 \end{bmatrix}\cdot\frac{1}{\sqrt{2}}\begin{bmatrix} 1 \\ -1 \end{bmatrix}=2\sqrt{2}$$ $$\therefore v_B=\begin{bmatrix} -\sqrt2\\ 2 \end{bmatrix}$$
• ในที่อาจารย์สอนจะมีตัวที่ยังเป็น Orthogonal แล้วก็บอกอีกด้วยว่า ก็ต้องทำให้เป็น Orthonormal ก่อน

Orthogonal Projection

• ทวนอีกรอบได้ที่ Projections — Lecture 7
  
  จากรูป $\overrightarrow{AB}=\vec{u}$ และ $\overrightarrow{AC}=\vec{v}​$

What about projection onto basis?

• ให้ $H$ เป็น Subspace ของ $\mathbb{R}^3$ ที่มี Orthonormal basis $B$ $$$$

B=\left{ \begin{bmatrix} 0 \ 1 \0 \end{bmatrix}, \frac{1}{\sqrt{2}}\begin{bmatrix} 1 \ 0 \ 1 \end{bmatrix}\right}
$$
อยากรู้ว่า $\text{proj}_H v$ เป็นอะไร ถ้า $v= \begin{bmatrix} 1\\ 2 \\ 2 \end{bmatrix}$

• เข้าสูตรตามนี้เลย

• โดยอันนี้จะเหมือนว่าเป็น Projection ของ $v$ onto a plane in $\mathbb{R}^3$— แต่ Plane นั้น represent ด้วย two vectors นั่นเองงงงง!

The Gram–Schmidt Process

• สมมติให้ Normal Basis เป็น $\{\vec{x}_1,\vec{x}_2,\dotso,\vec{x}_p\}$
• เราอยากได้ Orthogonal Basis เป็น $\{\vec{v}_1,\vec{v}_2,\dotso,\vec{v}_p\}$
• Process คือได้ดังนี้

• ในรูปคือให้เห็นเป็นภาพว่ามันจะทำให้เป็น Orthogonal Basis ได้ยังไง
  
• สรุปสุดท้ายจะได้ $$\text{Orthogonal Basis} = \{v_1,v_2,v_3\}$$ $$\text{Orthonormal Basis} = \{\frac{v_1}{||v_1||},\frac{v_2}{||v_2||},\frac{v_3}{||v_3||}\}$$

Orthogonal Complement

• The orthogonal complement of a subspace $H$ of $V$, denoted by $H^\perp$, is the set of all vectors in $V$ that are orthogonal to every vector in $H$. That is $$\mathcal{S}^\perp=\{\vec{v}\in\mathcal{R}^n:\vec{v}\cdot\vec{u}=0\text{ for every }\vec{u}\text{ in }\mathcal{S}\}$$
• For example, if $\mathcal{S}=\mathcal{R}^n$ , then $\mathcal{S}^\perp=\{0\}$; and if $\mathcal{S}=\{0\}$, then $\mathcal{S}^\perp=\mathcal{R}^n$
• If basis of $H$ is given by $\{v_1,v_2,\dotso,v_k\}$ then basis of $H^\perp$ is derived from: $$\begin{aligned} (v,v_1)&=0 \\ (v,v_2)&=0 \\ \vdots \\ (v,v_k)&=0 \end{aligned}$$ where $v=(x_1,x_2,\dotso,x_k) \in H^\perp$
  Therefore, basis of $H^\perp$ basis of the solution of the following system of equations
• ง่าย ๆ ก็คือเอา Vector แต่ละตัวใน Basis เนี่ยไป Dot กับ (x, y, z) = 0

• ไม่จำเป็นต้องทำเป็น Orthonormal basis นะ!