M O D U L P E M B E L A J A R A N · M A T E M A T I K A S A I N S D A T A Vektor, Eigen, Dekomposisi, Determinan & Norma Matriks Fondasi aljabar linear yang menopang PCA, regresi, SVD, dan hampir semua algoritma pembelajaran mesin. Disusun oleh Felliks F Tampinongkol · Program Studi Sains Data – Universitas Bunda Mulia
A G E N D A P E M B E L A J A R A N Lima Konsep, Satu Fondasi 01 Vektor Representasi data & operasi dasar (dot product, norm, sudut) 02 Determinan Matriks Interpretasi geometris & syarat keterbalikan matriks 03 Eigenvalue & Eigenvector Arah yang invarian terhadap transformasi linear 04 Matrix Decomposition Eigendecomposition & Singular Value Decomposition (SVD) 05 Matrix Norms Mengukur "besar" vektor dan matriks; kaitannya ke regularisasi 02
01 B A G I A N S A T U Vektor Unit dasar representasi data — dari satu baris observasi hingga satu kolom fitur. 03
0 1 · V E K T O R Definisi & Representasi • Vektor adalah elemen ruang berdimensi n, direpresentasikan sebagai daftar terurut bilangan (baris atau kolom). • Dalam sains data, satu observasi (baris data) atau satu fitur (kolom data) sama-sama bisa dipandang sebagai vektor. • Notasi kolom: x = [x₁, x₂, ..., xₙ]ᵀ ∈ ℝⁿ • Panjang (dimensi) vektor = banyaknya fitur yang diukur pada satu observasi. x = [x₁, x₂, x₃, ..., xₙ]ᵀ , x ∈ ℝⁿ x = [3, 4]ᵀ ‖x‖ = √(3²+4²) = 5 Vektor x dari titik asal menuju (3, 4) 04
0 1 · V E K T O R Operasi Dasar: Dot Product, Norm & Sudut Dot product Ukuran kesamaan arah antar dua vektor x · y = Σ xᵢyᵢ Norm (panjang) "Besar" atau magnitudo sebuah vektor ‖x‖ = √(x · x) Sudut antar vektor Dasar dari korelasi & cosine similarity cos θ = (x·y) / (‖x‖‖y‖) θ x y Sudut kecil (θ→0°) → cos θ→1 → dua vektor "searah" → korelasi tinggi antar fitur. 05
02 B A G I A N D U A Determinan Matriks Satu angka yang merangkum apakah transformasi linear masih bisa dibalik. 06
0 2 · D E T E R M I N A N Definisi & Interpretasi Geometris • Untuk matriks 2×2: det(A) = a₁₁a₂₂ − a₁₂a₂₁ • Secara geometris, |det(A)| = luas jajar genjang yang dibentuk oleh vektor- vektor kolom A (atau volume, untuk dimensi lebih tinggi). • Semakin sejajar vektor-vektor kolomnya, semakin kecil luas itu — dan semakin kecil pula determinannya. • Ini bukan kebetulan: kolom yang saling bergantung linear (redundan) membuat "ruang" yang mereka bentuk gepeng — luasnya menuju nol. det(A) = a₁₁a₂₂ − a₁₂a₂₁ = Luas jajar genjang x₁ x₂ Area = |det([x₁ x₂])| Vektor kolom yang makin sejajar → jajar genjang makin gepeng → det → 0 07
0 2 · D E T E R M I N A N Sifat-Sifat Penting det(I) = 1 Matriks identitas tidak mengubah luas/volume det(Aᵀ) = det(A) Transpos tidak mengubah determinan det(AB) = det(A)·det(B) Determinan bersifat multiplikatif det(A) = 0 ⟺ A singular Matriks tidak punya invers, kolom saling bergantung linear K A I T A N P R A K T I S Determinan & Multikolinieritas Estimasi OLS membutuhkan (X'X)⁻¹, yang hanya ada bila det(X'X) ≠ 0. det(X'X) → 0 artinya prediktor saling berkorelasi kuat — multikolinieritas. VIF = 1 / det(X'X) pada kasus dua prediktor terstandardisasi. 08
03 B A G I A N T I G A Eigenvalue & Eigenvector Arah-arah istimewa yang hanya diskalakan — tidak dibelokkan — oleh sebuah transformasi. 09
0 3 · E I G E N Definisi & Persamaan Karakteristik • Untuk matriks persegi A, vektor v ≠ 0 adalah eigenvector jika transformasi A hanya menskalakannya, tanpa mengubah arahnya. • Skalar λ yang menyertainya disebut eigenvalue. • Dicari lewat persamaan karakteristik: det(A − λI) = 0 • Satu matriks n×n punya hingga n pasang eigenvalue–eigenvector (bisa kompleks, bisa berulang). Av = λv det(A − λI) = 0 v Av = λv Av tetap pada garis yang sama dengan v — hanya diperpanjang λ kali. 10
0 3 · E I G E N Contoh Perhitungan Numerik A = [ 2 1 ; 1 2 ] • 1. det(A − λI) = (2−λ)² − 1 = 0 • 2. λ² − 4λ + 3 = 0 ⟶ (λ−1)(λ−3) = 0 • 3. Eigenvalue: λ₁ = 3, λ₂ = 1 • 4. Untuk λ₁ = 3: (A−3I)v = 0 ⟶ v₁ = [1, 1]ᵀ • 5. Untuk λ₂ = 1: (A−1I)v = 0 ⟶ v₂ = [1, −1]ᵀ V E R I F I K A S I C E P A T Av₁ = λ₁v₁ ? A[1,1]ᵀ = [3, 3]ᵀ = 3·[1,1]ᵀ ✓ Av₂ = λ₂v₂ ? A[1,−1]ᵀ = [1,−1]ᵀ = 1·[1,−1]ᵀ ✓ Catatan: jumlah eigenvalue = trace(A) = 2+2 = 4 = 3+1 ✓ Hasil kali eigenvalue = det(A) = 3 = 3×1 ✓ 11
0 3 · E I G E N Kenapa Eigen Penting di Sains Data 01 PCA Principal Component Analysis Komponen utama = eigenvector dari matriks kovarians; eigenvalue = besarnya varians yang dijelaskan. 02 PageRank Peringkat Web Google Skor kepentingan halaman = eigenvector dominan dari matriks tautan antar-halaman. 03 Stabilitas Sistem Dynamical Systems Tanda & besar eigenvalue menentukan apakah suatu sistem konvergen, divergen, atau berosilasi. 12
04 B A G I A N E M P A T Matrix Decomposition Memecah satu matriks kompleks menjadi blok-blok sederhana yang lebih mudah dianalisis dan dihitung. 13
0 4 · D E K O M P O S I S I Kenapa Matriks Perlu Didekomposisi • Efisiensi komputasi • Banyak operasi (invers, pangkat matriks, solusi sistem linear) jauh lebih murah dihitung pada bentuk yang sudah didekomposisi. • Mengungkap struktur • Dekomposisi memisahkan "arah penting" (eigenvector/singular vector) dari "besarnya kepentingan" (eigenvalue/singular value). • Fondasi algoritma modern • PCA, rekomendasi produk, kompresi gambar, dan regularisasi model semuanya bertumpu pada dekomposisi matriks. A ↓ didekomposisi menjadi Q Λ Q⁻¹ blok arah · blok skala · blok arah balik Setiap blok punya peran tunggal — jauh lebih mudah dianalisis satu-satu. 14
0 4 · D E K O M P O S I S I Eigendecomposition: A = QΛQ⁻¹ • Q — matriks yang kolomnya adalah eigenvector dari A • Λ (lambda besar) — matriks diagonal berisi eigenvalue yang bersesuaian • Hanya berlaku untuk matriks persegi yang diagonalizable (punya n eigenvector bebas linear) • Memudahkan perhitungan pangkat matriks: Aᵏ = QΛᵏQ⁻¹ — pangkatkan Λ saja, karena ia diagonal A = QΛQ⁻¹ ⟶ Aᵏ = QΛᵏQ⁻¹ S Y A R A T P E N T I N G • Matriks harus persegi (n × n) • Harus punya n eigenvector yang saling bebas linear (diagonalizable) • Jika A simetris (mis. matriks kovarians), Q dijamin ortogonal — Q⁻¹ = Qᵀ, jauh lebih murah dihitung 15
0 4 · D E K O M P O S I S I Singular Value Decomposition (SVD): A = UΣVᵀ • Berlaku untuk SEMUA matriks — persegi maupun tidak, tidak perlu diagonalizable • U, V — matriks ortogonal (kolomnya saling tegak lurus & bernorma 1) • Σ (sigma besar) — matriks diagonal berisi singular value σ ≥ 0, selalu real & non- negatif • Terhubung ke eigendecomposition: singular value A = akar dari eigenvalue AᵀA A = UΣVᵀ (berlaku untuk A berukuran m × n apapun) A P L I K A S I S V D Reduksi dimensi Ambil k singular value terbesar → aproksimasi terbaik-rank-k dari A Kompresi gambar Simpan hanya beberapa singular value teratas, buang sisanya Sistem rekomendasi Faktorkan matriks pengguna×produk untuk temukan pola tersembunyi 16
05 B A G I A N L I M A Matrix Norms Satu angka untuk menjawab: seberapa "besar" sebuah vektor atau matriks itu? 17
0 5 · N O R M S Jenis-Jenis Norm L1 (Manhattan) ‖x‖₁ = Σ|xᵢ| Jumlah nilai absolut — dasar regularisasi Lasso L2 (Euclidean) ‖x‖₂ = √(Σxᵢ²) Jarak garis lurus — dasar regularisasi Ridge Frobenius (matriks) ‖A‖_F = √(ΣΣ aᵢⱼ²) L2 diterapkan ke seluruh elemen matriks Spectral (matriks) ‖A‖₂ = σ_max(A) Singular value terbesar — "peregangan" maksimum A 18
0 5 · N O R M S Kegunaan Norm dalam Praktik 01 Regularisasi Model L1/L2 pada fungsi biaya (Lasso/Ridge) menekan koefisien agar model tidak overfit. 02 Condition Number κ(A) = ‖A‖·‖A⁻¹‖ — mengukur seberapa sensitif solusi terhadap sedikit gangguan pada data. 03 Mengukur Error ‖ŷ − y‖ merangkum seluruh residual model menjadi satu angka yang bisa dibandingkan. 04 Gradient Clipping Norm gradien dibatasi selama training agar update parameter tetap stabil. 19
R I N G K A S A N Bagaimana Semua Konsep Ini Terhubung Vektor Determinan Eigen Dekomposisi Norm Vektor merepresentasikan data → determinan menguji apakah representasinya masih "utuh" (tidak redundan) → eigen mengungkap arah- arah istimewanya → dekomposisi menyusunnya jadi blok yang bisa dihitung efisien → norm mengukur besarannya untuk mengontrol & mengevaluasi model. C O N T O H N Y A T A : P C A M E R A N G K U M S E M U A N Y A PCA mengambil matriks kovarians (dibangun dari vektor data) → menghitung eigendecomposition-nya → eigenvector menjadi arah komponen utama, eigenvalue menjadi besarnya varians yang dijelaskan → semua bisa dilihat sebagai kasus khusus SVD pada data terpusat. 20
P E N U T U P Referensi & Latihan Lanjutan • Referensi utama • Samuel S. Watson — "Math for Data Science" • Thomas Nield — "Essential Math for Data Science" • Latihan yang disarankan • Hitung eigendecomposition matriks kovarians dari dataset nyata, bandingkan dengan hasil PCA library. • Bangun matriks desain dengan interaction term, amati det(X'X) dan VIF saat korelasi antar prediktor dinaikkan. Terima kasih — sesi tanya jawab & studi kasus di pertemuan berikutnya.