少し前にBERTについて学びました。その発展形を何個か試したので備忘録的な感じでコードを残しておきます。 以下の記事でもtensorflowでBERTの基本のベースのモノで分類器を作製しています。 nlab-notebook.com はじめに distilbert編 Tokenizer データに適…

RNNとLSTMに関してまとめてみました。使うだけなら簡単ですが、軽く中身を知っているだけでよりうまく使えると思いますので、ぜひ読み物としても見ていってください。 RNN 概要 RNNのコード(分類) LSTM RNNの欠点 勾配消失問題 時系列を扱う上での固有問題-…