Lecture 3) Linear Algebra

YouTube에 올라온 Andrew Ng 교수님의 Machine Learning 영상을 보고 세 번째 Lecture를 듣고 캡쳐 및 내용을 적은 포스트이다.

Linear Algebra(선형대수학)에 대한 강의로, Matrix와 Vector로 할 수 있는 일들의 집합과 표기법에 대한 강의이다.

 

3.1 Matrix And Vector

3.1.1 Matrix

숫자의 직사각형 배열을 의미한다. 아래 이미지는 2d(2차원) 배열을 표기한 것이다. (대문자로 표기한다.)

Matrix의 차원은 행의 갯수 x 열의 갯수로 표기한다. 따라서 왼쪽은 4 x 2 matrix, 우측은 2 x 3 matrix로 표기할 수 있다.

(x 는 by라고 읽는다.)

Matrix의 요소는 아래와 같이 읽는다. A43과 같이 없는 요소를 찾을 경우, 결과값은 undefined이다.

3.1.2 Vector

n x 1 Matrix를 의미한다. (소문자로 표기한다.)

Vector의 요소는 아래 좌측 이미지처럼 읽고, Linear Algebra(선형대수학) 관련 영상에서는 1-indexed로, Machine Learning 관련 영상에서는 0-indexed 표기법을 사용할 것이다.

 

 

3.2 Addition And Scalar Multiplication

3.2.1 Matrix Addition

Dimension이 같아야 덧셈이 가능하다.

3.2.2 Scalar Multiplication

 

3.3 Matrix Vector Multiplication

Matrix 간 곱셈은 아래와 같은 형태로 계산한다.

 

3.4 Matrix-Matrix Multiplication

 

3.5 Maxtrix Multiplication Properties

A, B Matrix가 있다고 했을 때, 일반적으로 아래와 같다.

A x B != B x A → Not commutative(전환적이지 않은)

그 이유는 아래 이미지를 보자.

 

A, B, C Matrix가 있다고 하자.

A x B x C 를 계산할 때, D = B x C 이면 A x D 이다. 또 다르게는 E = A x B 이면 E x C 이다.

A x (B x C) = (A x B) x C

 

Identity Matrix(단위 행렬)은 아래와 같이 Matrix에 직선을 그었을 때, 대칭을 이루는 Matrix를 말한다.

따라서 Identity Matrix(단위 행렬)과 어떠한 A Matrix가 주어졌을 때, 아래와 같은 법칙이 성립한다.

A x I = I x A = A

 

3.6 Inverse And Transpose

모든 숫자가 Inverse를 갖지 않는다. 3의 경우 1/3이라는 Inverse를 갖는 반면에, 0은 Inverse를 갖고 있지 않다.

3.6.1 Matrix Inverse

m x m Matrix(= Square Matrix, 정방행렬) A가 있을 때, A가 만약 Inverse를 갖고 있다면 아래와 같은 법칙이 성립한다.

따라서 Inverse를 갖지 않는 Matrix를 "Singular Matrix" 또는 "Degenerate Matrix"라고 부른다.

3.6.2 Matrix Transpose