1. Perceptron
1.1. 1-layer
1.1.1. ขอบเขตในการตัดสินใจเป็นเชิงเส้น
1.1.2. hidden layer จะมี weightsum
1.1.3. output layer จะเป็น step function
1.2. multi-layer
1.2.1. ขอบเขตในการตัดสินใจไม่เป็นเชิงเส้น Ex. XNOR , XOR
1.2.2. มีการเพิ่ม hidden layer
1.2.3. output และ hidden layer เชื่อมติดกัน
2. Feed forward
2.1. feedforward propagation
2.1.1. NN รับข้อมูลจาก input layer สร้างน้ำหนัก(weight) แล้วประมวลผลผ่าน hidden layer แล้วออกไปที่ output ไหลไปในทิศทางเดียว ไม่ย้อนกลับ
2.2. linear combination ของ input กับพารามิเตอร์ เป็น ซิกม่า
2.3. activation function
2.3.1. sigmoid ที่อยู่ใน logistic regression
2.3.2. ReLU
2.3.2.1. activation function ที่ถูกเลือกอัตโนมัติ/เป็นค่าเริ่มต้นใน NN สมัยใหม่
2.3.3. Hyperbolic tangent
2.3.4. นำมาคำนวณหลังจากที่คำนวณ weight ของ neuron เสร็จแล้ว ค่าที่ออกมาจะเป็น weight ใช้กับ neuron ตัวถัดไป
3. Gardient checking
3.1. เพื่อทำให้แน่ใจว่าการคำนวณ gardient (backprop) ถูก implement อย่างถูกต้อง
3.2. ค่าที่น้อยของ E รับรองว่า backprop ทำงานถูกต้อง
3.3. ค่าของ E น้อยเกินไปอาจเกิด numerical problem
4. Component
4.1. input layer
4.1.1. ตัวรับข้อมูลนำเข้า
4.1.2. ทำการส่งข้อมูลไปให้ neuron ใน hidden layer
4.2. hidden layer
4.2.1. คำนวณข้อมูลที่ได้รับมา โดยวิธีการทางคณิตศาสตร์
4.2.2. มีมากกว่า 1 layer
4.3. output layer
4.3.1. ให้ผลัพธ์ของการทำงานออกมา
4.4. แต่ละ neuron
4.4.1. จะมี activation function สำหรับปรับผลลัพธ์ที่ออกมาจาก neuron
4.4.2. จะเชื่อมต่อกัน โดยมี weight ข้อมูลนำเข้า เพื่อบอกความสำคัญ