Update Transformer

Update Transformer

Positional encode

Positional encode

Transformer block

Transformer block

Numerical Stability

add epsilon term in division part.

Sub Package Attributes

support sub package attributes
add seq ops

0.1.4

讓 dynamic rnn 可以 return sequences
修正 pooling layer 被餵 mask 時的 bug

Enable Masked Global Average Pooling

Global Average Pooling
可以傳入 mask 或 seqlen
只對 True 的位置算 mean

fix Sequential behavior

移除 Sequential 中的 unexpected behavior

確認他在第一次 call 時才 build variable

fix attention bug

使 GlobalAttentionPooling1D 用在 Sequential 內不會報錯

0.1.0: Merge pull request #26 from Yoctol/pre-release

用於建 neural network 的各種 high-level 函式庫

皆是作為 Callable 使用，給 inputs 得到 output tensor
並且可以藉由 Sequential 或繼承 Model 組合

之後的 sess.run 等等還是使用原 tensorflow 的方法

將陸續新增各種潮 layer 如 Transformer