Exam Problems

The Complete Solution to $Ax = b$

Suppose that we have a matrix $A$ given by:

where $v_1, v_2, v_3, v_4, v_5$ are the columns of $A$ defined as follows:

where $\beta_1, \beta_2, \beta_3, \beta_4, \beta_5$ are arbitrary natural numbers from Nomor Induk Universitas.

1. Determine the Reduced Row Echelon Form of $A$.

2. Determine the basis of $C(A)$ from the columns of $A$ and what is the dimension of $C(A)$?

3. Determine the Nullspace $N(A)$ from the columns of $A$ and what is the dimension of $N(A)$?

4. Suppose that you are given the following vector $b_i$:

   • $b_1 = \begin{bmatrix} 1\beta_2 & 4\beta_2 & 5\beta_2 \end{bmatrix}$
   • $b_2 = \begin{bmatrix} 2\beta_1 & 4\beta_1 & 5\beta_1 \end{bmatrix}$

   Which $b_i$ leads to solvable $Ax = b_i$? and why?

5. Determine the complete solution $x = x_p + x_n$ for $Ax = b$ using the correct $b_i$ from the previous question.

6. Gunakan hasil dari soal nomor 2 untuk mencari matriks proyeksi $P$ ke $C(A)$.

7. Tentukan vektor proyeksi dari $b_i$ ke $C(A)$, yaitu $Pb_i$.

Answer:

1. Bentuk matriks $A$ adalah sebagai berikut:

   $$A = \begin{bmatrix} 1 & 2 & 3 & 1 & 2\\ 3 & 6 & 9 & 2 & 5\\ 4 & 8 & 1 & 3 & 7 \end{bmatrix} \begin{bmatrix} \beta_5\\ \beta_4 \\ \beta_3 \\ \beta_2 \\ \beta_1 \end{bmatrix}$$

   Bentuk rref nya adalah:

   $$\text{rref}(A) = \begin{bmatrix} 1 & 2 & 0 & 0 & 1\\ 0 & 0 & 1 & 0 & 0\\ 0 & 0 & 0 & 1 & 1 \end{bmatrix}$$

   dengan matriks $E$:

   $$E = \begin{bmatrix} 8/11 & -3/11 & 3/11 \\ 1/11 & 1/11 & -1/11 \\ 3 & -1 & 0 \end{bmatrix}$$

2. Basis dari $C(A)$ adalah kolom-kolom dari $A$ yang memiliki pivot, yaitu kolom 1, 3, dan 4. Sehingga basisnya adalah:

   $$\beta_5 \begin{bmatrix} 1\\ 3\\ 4 \end{bmatrix}, \beta_3 \begin{bmatrix} 3\\ 9\\ 1 \end{bmatrix}, \beta_2 \begin{bmatrix} 1\\ 2\\ 3 \end{bmatrix}$$

   Dimensi dari $C(A)$ adalah 3.

3. Nullspace $N(A)$ adalah kolom-kolom dari $A$ yang tidak memiliki pivot, yaitu kolom 2 dan 5. Sehingga basisnya adalah:

   $$\beta_4 \begin{bmatrix} 2\\ 6\\ 8 \end{bmatrix}, \beta_1 \begin{bmatrix} 2\\ 5\\ 7 \end{bmatrix}$$

   Dimensi dari $N(A)$ adalah 2.

4. Perhatikan bahwa $\text{rref}(A)$ memiliki 3 pivot, dan komponennya berdimensi tiga. Sehingga $Ax = b$ memiliki solusi unik untuk setiap kemungkinan $b$. Jadi, kedua $b_i$ dapat diselesaikan.

5. Solusi lengkap dari $Ax = b$ adalah:

   • Untuk $b_1$: $x = x_p + x_n$:

     $$\begin{align*} [R \ b_1] = \begin{bmatrix} 1 & 2 & 0 & 0 & 1 & 2\\ 0 & 0 & 1 & 0 & 0 & 0\\ 0 & 0 & 0 & 1 & 1 & -1 \end{bmatrix} \end{align*}$$ $$\begin{align*} x &= x_p + x_n \\ x&= \underbrace{\begin{bmatrix} 2\\ 0\\ 0\\ -1\\ 0 \end{bmatrix}}_{x_p} + \underbrace{\beta_2\begin{bmatrix} -2\\ 1\\ 0\\ 0\\ 0 \end{bmatrix} + \beta_1\begin{bmatrix} -1\\ 0\\ 0\\ -1\\ 1 \end{bmatrix}}_{x_n} \end{align*}$$

   • Untuk $b_2$: $x = x_p + x_n$:

     $$\begin{align*} [R \ b_2] = \begin{bmatrix} 1 & 2 & 0 & 0 & 1 & -3/11\\ 0 & 0 & 1 & 0 & 0 & 1/11\\ 0 & 0 & 0 & 1 & 1 & 2 \end{bmatrix} \end{align*}$$ $$\begin{align*} x &= x_p + x_n \\ x&= \underbrace{\begin{bmatrix} -3/11\\ 0\\ 1/11\\ 2\\ 0 \end{bmatrix}}_{x_p} + \underbrace{\beta_2\begin{bmatrix} -2\\ 1\\ 0\\ 0\\ 0 \end{bmatrix} + \beta_1\begin{bmatrix} -1\\ 0\\ 0\\ -1\\ 1 \end{bmatrix}}_{x_n} \end{align*}$$

Least Squares Approximation and Gram-Schmidt Process

Consider a simple heating system consisting of a voltage source, a coil, and cooling liquid.

Basic principle: The coil is connected to the voltage source $v(t)$ which delivers electric power to heat the coil to temperature $y(t)$. The coil submerged in the cooling liquid with temperature $r(t)$. The electric energy is proportional to $v^2(t)$.

You want to model the heating system in the following form:

where $a, b, c$ are unknown constants.

1. [8 points] Consider you have taken the following measurements for every 0.5 second for 2 seconds:

   $t$ (second)	$v(t)$ (volt)	$y(t)$ (degree Celcius)	$r(t)$ (degree Celcius)
   $0$	$v(0)$	$y(0)$	$r(0)$
   $0.5$	$v(0.5)$	$y(0.5)$	$r(0.5)$
   $1$	$v(1)$	$y(1)$	$r(1)$
   $1.5$	$v(1.5)$	$y(1.5)$	$r(1.5)$
   $2$	$v(2)$	$y(2)$	$r(2)$

   Show that this problem can be written in the form of $Y = Ax$ where $Y$ is the vector of $y(t)$, $A$ is the matrix of $v^2(t)$, $y(t - 1)$, and $r(t - 1)$, and $x$ is the vector of $a$, $b$, and $c$.

2. [6 points] Consider you are now given numerical data as follows.

   Determine the matrix $A$ in equation $Y = Ax$ and calculate the approximation of $x$ using the least squares method!

   $t$ (second)	$v(t)$ (volt)	$y(t)$ (degree Celcius)	$r(t)$ (degree Celcius)
   $0$	$20\beta_1$	$30\beta_2$	$30\beta_3$
   $0.5$	$20.5\beta_1$	$32\beta_2$	$30.1\beta_3$
   $1$	$19.5\beta_1$	$31.5\beta_2$	$30.5\beta_3$
   $1.5$	$18.5\beta_1$	$31\beta_2$	$31.2\beta_3$
   $2$	$19\beta_1$	$30.5\beta_2$	$31.3\beta_3$

3. [6 points] Determine the projection $Y$ onto $C(A)$ and what is the projection matrix $P$ in this case?

4. [5 points] What is the squared error incurred by the approximate solution $x$?

5. [8 points] Perform $QR$ decomposition using Gram-Schmidt process for the matrix $A$ above.

6. [7 points] Repeat the last square appproximation using the $QR$ decomposition instead of $A$ to determine $x$. What is the projection matrix in this case?

Answer:

1. Bentuk matriks $A$ adalah sebagai berikut:

   $$A = \begin{bmatrix} v^2(t) & y(t - 1) & r(t - 1) \end{bmatrix}$$

   Bentuk vektor $Y$ adalah sebagai berikut:

   $$Y = \begin{bmatrix} y(t) \end{bmatrix}$$

   Bentuk vektor $x$ adalah sebagai berikut:

   $$x = \begin{bmatrix} a\\ b\\ c \end{bmatrix}$$

   Sehingga, $Y = Ax$:

   $$\begin{bmatrix} y(t) \end{bmatrix} = \begin{bmatrix} v^2(t) & y(t - 1) & r(t - 1) \end{bmatrix} \begin{bmatrix} a\\ b\\ c \end{bmatrix}$$

2. Bentuk matriks $A$ adalah sebagai berikut:

   $$A = \begin{bmatrix} 420.25\beta_1^2 & 30\beta_2 & 30\beta_3\\ 380.25\beta_1^2 & 32\beta_2 & 30.1\beta_3\\ 342.25\beta_1^2 & 31.5\beta_2 & 30.5\beta_3\\ 361\beta_1^2 & 31\beta_2 & 31.2\beta_3\\ \end{bmatrix}$$

   Bentuk vektor $Y$ adalah sebagai berikut:

   $$Y = \begin{bmatrix} 32\beta_2\\ 31.5\beta_2\\ 31\beta_2\\ 30.5\beta_2 \end{bmatrix}$$

   Bentuk vektor $x$ adalah sebagai berikut:

   $$x = \begin{bmatrix} a\\ b\\ c \end{bmatrix}$$

   Sehingga, $Y = Ax$:

   $$\begin{bmatrix} 32\beta_2\\ 31.5\beta_2\\ 31\beta_2\\ 30.5\beta_2 \end{bmatrix} = \begin{bmatrix} 420.25\beta_1^2 & 30\beta_2 & 30\beta_3\\ 380.25\beta_1^2 & 32\beta_2 & 30.1\beta_3\\ 342.25\beta_1^2 & 31.5\beta_2 & 30.5\beta_3\\ 361\beta_1^2 & 31\beta_2 & 31.2\beta_3\\ \end{bmatrix} \begin{bmatrix} a\\ b\\ c \end{bmatrix}$$

   Kita dapat faktorkan dulu nilai $\beta_i$ karena tidak relevan

   $$\begin{bmatrix} 32\\ 31.5\\ 31\\ 30.5 \end{bmatrix} = \begin{bmatrix} 420.25 & 30 & 30\\ 380.25 & 32 & 30.1\\ 342.25 & 31.5 & 30.5\\ 361 & 31 & 31.2 \end{bmatrix} \begin{bmatrix} a\\ b\\ c \end{bmatrix}$$

   Persamaan $Y = Ax$ jelas tidak dapat diselesaikan, oleh karena itu kedua sisi persamaan dikalikan dengan $A^T$.

   $$\begin{bmatrix} 420.25 & 380.25 & 342.25 & 361\\ 30 & 32 & 31.5 & 31\\ 30 & 30.1 & 30.5 & 31.2 \end{bmatrix} \begin{bmatrix} 420.25 & 30 & 30\\ 380.25 & 32 & 30.1\\ 342.25 & 31.5 & 30.5\\ 361 & 31 & 31.2 \end{bmatrix} \begin{bmatrix} a\\ b\\ c \end{bmatrix} = \begin{bmatrix} 420.25 & 380.25 & 342.25 & 361\\ 30 & 32 & 31.5 & 31\\ 30 & 30.1 & 30.5 & 31.2 \end{bmatrix} \begin{bmatrix} 32\\ 31.5\\ 31\\ 30.5 \end{bmatrix}$$

   Sehingga, kita dapatkan:

   $$\begin{bmatrix} 568656.1875 & 46747.375 & 45754.85\\ 46747.375 & 3877.25 & 3791.15\\ 45754.85 & 3791.15 & 3709.7 \end{bmatrix} \begin{bmatrix} a\\ b\\ c \end{bmatrix} = \begin{bmatrix} 47046.125\\ 3890\\ 3805.25 \end{bmatrix}$$

   Dengan menggunakan metode eliminasi Gauss, kita dapatkan:

   $$\hat{x} = \begin{bmatrix} a\\ b\\ c \end{bmatrix} = \begin{bmatrix} -9.88285\\ -41.25113\\ 165.07612 \end{bmatrix}$$