交叉熵损失函数🔋

本文最后更新于：2022年5月5日 上午

损失函数｜交叉熵损失函数

⚠️ 真实面试题

假设我们有一个图像分类的任务，图片特征已经提取好，维度D，类别数N：

题目1 请用Pytorch/TF代码编写分类器：(1) 3层全连接；(2) 具有非线性变化；（3）具有过拟合处理
题目2 这个任务，你会使用什么损失函数？
题目3 交叉熵表达式？
题目4 为什么使用交叉熵？能不能用MSE？
题目5 如果让你选择提取图片特征的模型，你会选择什么模型？

*主成分分析法(PCA) 提取的是数据分布方差比较大的方向，隐藏层可以提取有预测能力的特征

*混沌度可以理解为不确定性，当然是越低越好。

*输入图片大小为200×200，依次经过一层卷积（kernel size 5×5，padding 1，stride 2），pooling（kernel size 3×3，padding 0，stride 1），又一层卷积（kernel size 3×3，padding 1，stride 1）之后，输出特征图大小为:

​ **97 **

解答

卷积向下取整,池化向上取整

1
2
3
4
5
计算公式为：( input_size - kernel_size + 2*padding) / stride+1 = output_size)

输出高度 = （输入高度 - Kernel高度 + 2 * padding）/ 步长stride + 1

输出宽度 = （输入宽度 - Kernel宽度 + 2 * padding）/ 步长stride + 1