「とりんさま20B」（新モデル）のスペック予定

およそ1/3ほど訓練したテストモデルのスペックです。

今後ライブラリのアップデートや使用ライブラリの変更等でモデルスペックが変わる予定があります

（Googleの提供するTPUv3だと現状400億パラメータ程度までしか訓練できないので、半導体不足によるGPU枯渇が解決してGPUでトレーニング可能になった場合、ライブラリを移行するかもしれません）。

• 訓練可能パラメータ数：
  約205億（現行モデル：68.7億）
   

• AIが学習するコーパス容量：
  約700～850GB程度（現行モデル：500GB）
  Google C4などのコモンウェブクロールを全て学習した場合は最大で1.5TB
  
  （参考）OpenAI GPT3：約800GB
  （参考）EleutherAI The Pile：約825GB
   
• 辞書トークン数：
  52500（現行モデルと同）
   
• 最大シーケンス長：
  2048（約6000～8000文字程度・現行モデルと同）