Fake (@fakefakefake) 在 搞了个新的神经网络架构 Fielix，比 Transformer 学得快，分享一下 中发帖
闲着没事搞了个神经网络架构，开源出来水一下
GitHub： GitHub - 1600822305/Fielix: A novel neural network architecture featuring Field Effect Propagation, Dynamic Topology, Spiral Memory, and Emergent Position Encoding. Achieves better learning efficiency than Transformer.
简单说就是用"场效应"替代注意力机制，实验下来学习效率比 Transformer 高不少：
实验结果 (27M 参数)
初始 Loss：Fielix 3.0 vs Transformer 7.9
最终 Loss：Fielix 1.66 vs Transformer 2.59
训练速度：慢 2...