2017年9月 的存档信息

學界 | 田淵棟等人論文:何時卷積濾波器容易學習?

深度卷積神經網絡(CNN)已經在很多應用中展現出了人工智能的最佳水平,如計算機視覺、自然語言處理和圍棋等復雜遊戲。盡管目標函數具有非常高的非凸性,簡單的一階算法(如隨機梯度下降及其變體)通常可以成功地訓練這樣的網絡。另一方面,卷積神經網絡的成功從優化角度來考慮仍然是難以捉摸的。 當輸入分布不受約束時,已有的結果大多數為負,如 3 節點神經網絡學習的硬度(… (阅读全文)