读了一下这篇attention mechanism的开山之作，咱就是说德国人做事情，写东西都是一如既往的严谨。 
 [image] 
Motivation
以往的neural machine translation是通过RNN的不断循环，把input sentence squzee到最后一个隐状态。作者考虑到这种方式容易丢失input sentence的info，随想出来一种（soft-)search的方式，每次predicting a ouput word的时候会（soft-)search所有输入word，这样就避免了一个隐状态代替整个input sentence导致的信息丢失问题。 
Implementation
不敲了，本来敲的好好的，结果说在另一个window有编辑，结果丢失了原来编辑的信息 
Next step
拜读Ilya Sutskever的sequence2sequence...