Jona Wong (@aajonaa) 在 深度学习,loss曲线 中发帖
问一下各位科研佬,这种loss curve正常吗?
疑问
和传统的model training loss curve太不一样
validation curve不是慢慢的靠近training curve(而是一直平起平坐)
经典loss curve示例
[image]
网络
优化器:Adam(lr=1e-3)
结构:简单的FCN(2层隐藏层)
学习准则:余弦相似度损失
任务
优化问题,预测好的优化方向
feature: 优化起始点(x \in R^D)
target: 优化方向(y \in R^D)
具体细节
进化算法
Loss图示
[image]
[image]