Jona Wong (@aajonaa)深度学习,loss曲线 中发帖

问一下各位科研佬,这种loss curve正常吗? 
疑问
和传统的model training loss curve太不一样
validation curve不是慢慢的靠近training curve(而是一直平起平坐)
经典loss curve示例
[image]
网络

优化器:Adam(lr=1e-3)
结构:简单的FCN(2层隐藏层)
学习准则:余弦相似度损失

任务

优化问题,预测好的优化方向
feature: 优化起始点(x \in R^D)
target: 优化方向(y \in R^D)

具体细节

进化算法

Loss图示
[image]
[image]