対話型AIのChatGPTがすごいということなので、試してみる。
仕組み
GPT-3[Brown, T. (NeurIPS’20)]は、TransformerにおけるDecoderのみで構成された言語モデルです。上図のようなDecoder1のモジュールをN=96N=96個重ねると、GPT-3となります。言語モデルとは、「入力文に続きそうな単語を出力する」モデルのことです。
https://qiita.com/omiita/items/c355bc4c26eca2817324
ベースとなるのは教師なし学習なので、大量のテキストで学習させることが可能。ただ、そのデータだけだと適切（文化的に、道徳的に）な回答を得られない可能性が高くなる。そのため、人間が適切な答えになるよう評価する。
それを繰り返しながら、人間が好む回答を出力する振る舞いになるよう学習を進めていく。
従来の方法では難しかった、より適切（らしい）な回答を得られるようになった。
感想
かなり面白い。ソースコードのレビューをはじめ、Jupyterlabのコードの説明などもこなしてくれる。
小さな子供がお風呂に入りたがらないときにどうすればいいか?
子供がお風呂に入りたがらない場合、次のような方法を試すことができます。
子供にお風呂の楽しさをアピールする: お風呂には泡ができる、おもちゃを遊ぶことができるなど、子供にとって楽しいことをアピールしましょう。
子供と一緒にお風呂に入る: 子供がお風呂に入りたがらない場合は、一緒に入ってあげることで安心感を与えることができます。
子供にお風呂の準備をさせる: 子供にお風呂の準備をさせることで、お風呂に入ることに対して責任感を持ってもらうことができます。
お風呂の時間を変える: お風呂の時間を変えることで、子供がお疲れだったり、睡眠不足だったりしていない時間にお風呂に入るようにしましょう。
感謝を伝える:お風呂に入ってくれたことを感謝し、お礼を言うことで、お風呂に入ることが喜ばれることを伝えることができます。
すごい。日本語での学習はされているのか分からないので、もしかしたら英語への翻訳をかませているのかもしれない。
ソースコードのレビューも試したが、より効率的でシンプルなコードに書き直してくれた。
理由も教えて、と添えることで詳細な説明も追記してくれる。
githubのコード生成が話題になったが、おそらくある程度のプログラミングやHTML作成程度であれば自動化が進む印象を持った。
近い将来、コーディングはAIのリコメンドを人間が追認するような形になりそう。
となると、人間側も技術に先鋭化するくらいしか技術職として生き残る道はなさそう。
ただそれもいたちごっこであるし、すぐに大多数の技術者たちが追い抜かれていく。コーダーとしての業界は厳しい。
ではデザイナーとしてはどうか、というところも危うい。
パッと出た技術であっという間にスキルが陳腐化するということも想定しておかねばならない。
複数の分野を組み合わせるとか、精通していない人とAIの橋渡しをするとかの生き残り策を考えていかないとなるまい。
