神经网络基础概念

大厂面试准备的DL基础概念回顾。

网络结构相关

Network

• Resnet block

Convolution

• Standard Conv
• Tranpose Conv
• Depth-wise Conv 深度可分离卷积，每个通道进行卷积，按通道方向1x1逐点卷积
• Dilated Conv 空洞卷积，卷积核内部加入0值，增加感受野
• Deconvolution

Attention

• SE (squeeze and excitation GAP+FC+RELU+FC+Sigmoid
• SK 类SE，使用不同kernel大小（3x3 5x5）获取不同的attention并施加到channel上
• CBAM 类SE，除了GAP加了MP（max pooling），分别在channel和spatial（7*7 kernel）维度上attention
• ECA FC替换为conv，减少计算量，去掉了通道之间的注意力
• Self Attention ，QKt是矩阵相似度，softmax进行归一化，然后与V值相乘获得带权表示

Normalization

• BN，每个batch进行归一化，避免梯度消失和梯度爆炸，提高训练速度
• IN，对每个图片每个通道归一化，适合单张图片训练任务
• Condition BN，使用网络求解出scale/bias，适用于CGAN VAE图像生成任务
• AdaIN，自适应IN，可以通过参考样本注入style（scale/bias）

Activation

• Sigmoid 实数映射到0-1
• Tanh 实数映射到-1-1
• ReLU LeakeyReLU PReLU max(0,x) max(0,ax) a可学习
• Softmax

Pooling

• GAP 每个通道特征图像素平均
• MP 按照窗口对特征图降维

---

训练相关

Loss/Metrics

classificaiton

• Softmax/Cross Entropy 多分类的概率问题，交叉熵求导是P-Y ，概率减去label
• BCE loss （二进制交叉熵损失）

image quality

• PSNR 基于像素均方误差的归一化表示
• SSIM 均值/协方差，计算图像相似度
• LPIPS 预训练模型
• FID 比较生成数据和真实数据在特征空间的距离

GAN

• Adversarial loss ，对抗损失
• Cycle loss ， 循环一致性损失，CycleGAN，pix2pix

---