古巣の「丸の内村」FinTech イベントに参加させていただきました。
素晴らしい熱度を感じつつ、最近の活動場である「渋谷村」エネルギーとの融合の可能性を感じた日です。
All Japan構想に向けて動いてゆく予定です。
『意』のある方々とDAO 構築進めています。
奮っご参加お待ちしています😃👍
GPT4が予測する GPTシリーズのロードマップの予測です。
さて、どこまでが現実となるのやら….⁉︎
- モデルサイズ: GPTシリーズは、モデルサイズを指数関数的に増やすことで、テキスト生成の性能や多様性や一貫性を向上させています。例えば、GPTは110Mパラメーター、GPT2は1.5Bパラメーター、GPT3は175Bパラメーターを持っています¹。GPT10のモデルサイズは、おそらく数兆パラメーターに達するでしょう。
- データセット: GPTシリーズは、データセットの規模や質や多様性を高めることで、テキスト生成の精度や信頼性や汎用性を向上させています。例えば、GPTはウェブテキストコーパスから8GBのデータを学習しましたが、GPT2は40GBのデータを学習しました²。GPT3はCommon Crawlから45TBのデータをフィルタリングして570GBのデータを学習しました³。GPT10のデータセットは、おそらく数PBに達するでしょう。
- アルゴリズム: GPTシリーズは、アルゴリズムの改良や最適化を行うことで、テキスト生成の効率や安定性や拡張性を向上させています。例えば、GPTはTransformerモデルのデコーダー部分だけを使ってテキスト生成を行いましたが、GPT2はTransformer-XLモデルを採用して長期的な依存関係を捉えることができました。GPT3はSparse Transformerモデルを採用して計算量やメモリ消費量を削減することができました。GPT10のアルゴリズムは、おそらく量子技術などの新しい技術を取り入れることができるでしょう。
以上のような要素に基づいて、GPT10への進化に至るまでのロードマップは、以下のようなものになるかもしれません：
- GPT4: 2023年に発表される予定。モデルサイズは約1Tパラメーター。データセットはCommon Crawlから200TBのデータをフィルタリングして1PBのデータを学習する。アルゴリズムはReformerモデルやPerformerモデルなどの効率的な自己注意力メカニズムを採用する。
- GPT5: 2024年に発表される予定。モデルサイズは約10Tパラメーター。データセットはCommon Crawlから500TBのデータをフィルタリングして2PBのデータを学習する。アルゴリズムはMesh-TensorFlowモデルやSwitch Transformerモデルなどの大規模な分散学習メカニズムを採用する。
- GPT6: 2025年に発表される予定。モデルサイズは約100Tパラメーター。データセットはCommon Crawlから1EBのデータをフィルタリングして5PBのデータを学習する。アルゴリズムはLinformerモデルやNyströmformerモデルなどの低ランク近似法を採用する。
- GPT7: 2026年に発表される予定。モデルサイズは約1Pパラメーター。データセットはCommon Crawlから2EBのデータをフィルタリングして10PBのデータを学習する。アルゴリズムはTransformer-in-TransformerモデルやGated Transformer-XLモデルなどの階層的な自己注意力メカニズムを採用する。
- GPT8: 2027年に発表される予定。モデルサイズは約10Pパラメーター。データセットはCommon Crawlから5EBのデータをフィルタリングして20PBのデータを学習する。アルゴリズムはTransformer with Feedback MemoryモデルやTransformer with Dynamic Routingモデルなどの動的な自己注意力メカニズムを採用する。
- GPT9: 2028年に発表される予定。モデルサイズは約100Pパラメーター。データセットはCommon Crawlから10EBのデータをフィルタリングして50PBのデータを学習する。アルゴリズムはTransformer with Neural ODEモデルやTransformer with Graph Neural Networkモデルなどの連続的な自己注意力メカニズムを採用する。
- GPT10: 2029年に発表される予定。モデルサイズは約1Eパラメーター。データセットはCommon Crawlから20EBのデータをフィルタリングして100PBのデータを学習する。アルゴリズムは量子コンピューティングや量子機械学習などの量子技術を採用する。
以上が、GPT10への進化に至るまでのロードマップについての一例です。しかし、これらはあくまで仮説であり、実際には様々な変化や不確実性があることに注意してください。
ソース: Bing との会話 2023/3/28(1) 波のゆくさきΣ𝔸𝕣𝕞𝕒𝕕𝕒𓍝 on Twitter: "昨日までGPTの命令 .... https://twitter.com/jinsei2525shaa/status/1640219068098826240 アクセス日時 2023/3/28.
(2) G10-T - Base kit for Microsoft Teams Rooms - Plantronics. https://www.poly.com/us/en/products/video-conferencing/g/g10 アクセス日時 2023/3/28.
(3) How we can use GPT-4 to continually improve AI models in .... https://cloudblogs.microsoft.com/dynamics365/it/2023/03/20/how-we-can-use-gpt-4-to-continually-improve-ai-models-in-dynamics-365-and-power-platform/ アクセス日時 2023/3/28.
この「進化」は人類を幸福社会に導くものでなのか！よく考えてみる事が必要ですね。
今週は『市谷の杜本と活学館』で印刷の歴史と「紙」の魅力，そしてテクニカルデザインの色々を感じてきました。
今や、「文字の原図から活字の「母型」を彫り、鋳造し、活字を拾って版を組み、職人が活字を拾い、印刷機を回し、印刷・製本する」ことは、コンピュータ制御された機械が担い、『人間味』の入り込む事はなくなりました。
合理的、効率的そして高い生産性を実現する事は素晴らしい「人類進化」ですが、活字拾いの職人や印刷職人は歴史のページに記録される事になりました。
科学技術は、人類の『進化』を急進させて「便利社会」を創りだしながら、「人間味」の技や情緒を過去の歴史に追いやります。
人間社会では、色々なプロフェッショナル/職人の世界があります（ありました）。
「人間味」や「美感」そして「気の息吹」を私たちの心に届けてくれるのは『職人衆』のプロフェッショナル技です。
GPT4などAIも便利ですが、「職人技」にこだわり、職人衆の醸し出す人間味を感じる時間を大切にしたいですね。
私が『職人衆』を応援している理由の一つです。
https://ichigaya-letterpress.jp/
私たちは、日頃知らない事ごとや非日常の時空間や景色に触れると「わくわく」するもの。
ダム見学、工場見学、社会インフラ視察、飛行場見学、舞台のバックヤードツアー、….etc
視点の置き方次第でエンタテイメントになりますね^_^
