Linear Combinations (ผลรวมเชิงเส้น)

Linear combinations are obtained by multiplying vectors by scalars, and by adding them together.

• กำหนดให้ $\vec{v_1},\vec{v_2},\dotso,\vec{v_p} \in \mathbb{R}^n$, และ $c_1,c_2,\dotso,c_p$ เป็น Scalar (จำนวนจริง)
• นิยามของ Linear Combination คือ $$\boxed{\vec{y}=c_1\vec{v_1}+c_2\vec{v_2}+\dotso+c_p\vec{v_p}}$$
  • เรียก $\vec{y}$ นี้ว่าเป็น Linear Combination ของ $\vec{v_1},\vec{v_2},\dotso,\vec{v_p}$ ซึ่งมี Weight เป็น $c_1,c_2,\dotso,c_p$ ตามลำดับ

Span

อย่าเผลอเอา Homogeneous ไปคิดนะจ๊ะ!

• Span คือ Set ที่รวบรวมทุก $\vec{y}$ ที่เป็นไปได้ ซึ่งเกิดจาก Linear Combination ของ $\vec{v_1},\vec{v_2},\dotso,\vec{v_p}$

  • เรียกว่า $\text{Span}\{\vec{v_1},\vec{v_2},\dotso,\vec{v_p}\}$

• Zero Vector เป็นสมาชิกของ Span นั้นเสมอ ก็ต้องใช่สิ มีโอกาสที่ $c_1,c_2,\dotso,c_p=0$ อยู่แล้ว

• หรือถ้ามองกลับกัน ถ้าได้ Vector มา เราต้องเขียนให้อยู่ในรูป Linear Combination ให้ได้!

• ถ้ามี Free Variable ก็ถือว่า Span นะ! เพราะ Span must have at least one solution!

• ข้อนี้เนื่องจากมันเป็น Reduced Echelon Form แล้วมันเลยง่าย
  
• มีตัวอย่างอีกมากมายใน Math Sum นะ!

Vector Space (Linear Space)

• Linear spaces (or vector spaces) are sets that are closed with respect to linear combinations.
  • In other words, a given set is a linear space if the elements can be multiplied by scalars and added together. The results of these algebraic operations are elements that still belong to.
• Check 2 ข้อเท่านั้น!
  1. การบวกกันของ Vector
  2. การคูณกันของ Vector กับ Scalar
• คุณสมบัติ (การบวก, คูณ) 10 ข้อ ==ต้องมี 10 ข้อนี้ถึงจะเป็น Vector Space ได้== (ไม่ต้องจำ)
  1. If $\vec{u}$ and $\vec{v}$ are objects in $V$, then $\vec{u} + \vec{v}$ is in $V$.
  2. $\vec{u} + \vec{v} = \vec{v} + \vec{u}$
  3. $\vec{u} + (\vec{v} + \vec{w}) = (\vec{u} + \vec{v}) + \vec{w}$
  4. There exists an object in $V$, called the zero vector, that is denoted by $\vec{0}$ and has the property that $\vec{0} + \vec{u} = \vec{u} + \vec{0} = \vec{u}$ for all $\vec{u}$ in $V$.
  5. For each $\vec{u}$ in $V$, there is an object $-\vec{u}$ in $V$, called a negative of $\vec{u}$, such that $\vec{u} + (-\vec{u}) = (-\vec{u}) + \vec{u} = \vec{0}$.
  6. If $k$ is any scalar and $\vec{u}$ is any object in $V$, then $k\vec{u}$ is in $V$.
  7. $k(\vec{u} + \vec{v}) = k\vec{u} + k\vec{v}$
  8. $(k + m)\vec{u} = k\vec{u} + m\vec{u}$
  9. $k(m\vec{u}) = (km)(\vec{u})$
  10. $1\vec{u} = \vec{u}$
• ตัวอย่างของปริภูมิ Vector

Standard Linear Spaces ($\mathbb{R}^n$)

• the span of a set of vectors is the set of all linear combinations of the vectors

  • เอามารวมกัน ถ้าใน 3D ก็อาจจะได้เป็น Plane

• Span of 1 vector is a line

• Span of 2 vector is a plane $\mathbb{R}^3$

Polynomial Spaces ($P_n$)

• Converting polynomials into vectors (no coordinate)

• แล้วพอมีหลายตัวแปล แล้วได้เป็น Matrix ค่อยหา $\det$ ว่า $=0, \ne 0$ มั้ย

Matrix Spaces ($M_{m\times n}$)

• เป็น Set ที่มีสมาชิกเป็น Matrix จำนวนจริง ขนาด $m\times n$ (Row, Column)

Linear Independence (ความอิสระเชิงเส้น)

• ต้องรู้ Concept ของ Homogenous System มาก่อน!
• สมมติว่า Linear Combination มี $p$ vectors
  • $\vec{y}=c_1\vec{v_1}+c_2\vec{v_2}+\dotso+c_p\vec{v_p}$ — ให้เปลี่ยนเป็น
  • $\vec{0}=c_1\vec{v_1}+c_2\vec{v_2}+\dotso+c_p\vec{v_p}$
    • มองเป็น Homogenous System ยังไงก็ต้องมีคำตอบอย่างน้อย 1 ตัวอยู่แล้ว (ยังไงต้องมี!) นั่นก็คือ $c_1=c_2=\dotso=c_p=0$ (Trivial Solution)
• ถ้า ระบบสมการมีเฉพาะ Trivial Solution แปลว่า $\vec{v_1}, \vec{v_2},\dotso,\vec{v_p}$ Linearly Independent
  • เราไม่สามารถเขียน $v_1$ ให้อยู่ในรูป $v_2$ ได้
• ถ้า ระบบสมการมี Non-trivial ด้วย (เจอ Free Variable) แปลว่า $\vec{v_1}, \vec{v_2},\dotso,\vec{v_p}$ Linearly Dependent
  • เราสามารถเขียน $v_1$ ให้อยู่ในรูป $v_2$ ได้

วิธีการเช็ค

Method 1

• หาตรง ๆ เลยว่า $c_1, c_2$ ได้คำตอบออกมาเป็นยังไง
• พอแทนกลับเข้าไปในสมการ $c_1\vec{v_1}+c_2\vec{v_2}+\dotso+c_p\vec{v_p}=\vec{0}$ สุดท้ายก็คือได้ออกมาเป็น System of Equation อยู่ดี
• เราก็ใช้ GJE เช็คจนได้เป็น Reduced Echelon Form

Method 2

• ใช้เรื่อง Homogenous นี่แหละมาช่วยให้ง่ายขึ้น
• หา $\det$ จาก Augmented Matrix
  • ถ้า $\det \ne 0$ แปลว่ามีแค่คำตอบเดียวคือ Trivial Solution → Linearly Independent
  • ถ้า $\det = 0$ แปลว่ามี Non-trivial อยู่ด้วย → Linearly Dependent
• แล้วถ้าเจอที่ไม่ใช่ Square Matrix ล่ะ?
  • Unknowns > Equations → มี Free Variable แน่ ๆ
  • Equations > Unknowns → ลองทำ GE ให้แถวล่างสุดเป็น 0, 0, 0 แล้ว Discard ไป

Method 3 (ทฤษฎี)

• ข้อ 1-3 กล่าวเล็กน้อยในช่วงบนของ Lecture 9

1. ถ้ามี Vector $p$ ตัว ใน $R^n$
   • ถ้า $p>n$ → Linearly Dependent
2. ถ้ามี Vector $p$ ตัว ใน $P_n$
   • ถ้า $p>n+1$ → Linearly Dependent
3. ถ้ามี Vector $p$ ตัว ใน $M_{m\times n}$
   • ถ้า $p>mn$ → Linearly Dependent
4. ถ้ามี Vector $p$ ตัวที่ Linearly Independent ต่อกันแล้ว อยู่ใน $R^n$
   • → Vector เหล่านั้นจะ Span ใน $R^n$ ด้วย
5. กำหนดให้ Matrix A ขนาด $n\times n$ (Square Matrix) แล้วมี Vector มา ก็เอามาเขียนในรูป Matrix (คล้าย ๆ กับ Method 2)
   • ถ้า $\det \ne 0$ → Linearly Independent
   • ถ้า $\det = 0$ → Linearly Dependent
6. ถ้า Vector $\vec{v_1}, \vec{v_2},\dotso,\vec{v_p}$ Linearly Independent ต่อกันแล้ว (Check 6 ข้อนี้: ข้อใดข้อนึงก็ได้) → ถ้าเช็คแล้วเป็นจริง ดังนั้น $\vec{v_1}, \vec{v_2},\dotso,\vec{v_p}$ จะ Span ใน $R^n$ ด้วย
   1. $A$ หา $A^{-1}$ ได้
   2. $\det A \ne 0$
   3. Homogenous ($A\vec{x}=\vec{0}$) เป็น Trivial Solution
   4. System of Equation ($A\vec{x}=\vec{b}$) คำตอบมีคำตอบเดียว
   5. Row Vector ของ $A$ เป็น Linearly Independent ต่อกัน
   6. Column Vector ของ $A$ เป็น Linearly Independent ต่อกัน

A Geometric Interpretation of Linear Independence

• Two vectors in $\mathbb{R}^2$ or $\mathbb{R}^3$ are linearly independent if and only if they do not lie on the same line when they have their initial points at the origin. Otherwise one would be a scalar multiple of the other.

• Three vectors in $\mathbb{R}^3$ are linearly independent if and only if they do not lie in the same plane when they have their initial points at the origin. Otherwise at least one would be a linear combination of the other two.