個人でも何か出来たあの頃のNLP

自分はNLPのどんな部分が好きだったんだろうと最近ふと思うことがある。こんなことを書くと懐古厨や老人だと思われるかも知れないが、最近のLLMの急速な発展を横目に、before-LLMのあの頃の自分を振り返ることがたまにある。

あの頃は、LLMのような単一のモデルであらゆるタスクが解けることはなくて、翻訳なら翻訳、固有表現抽出なら固有表現抽出のモデル構造があり、それ専用にデータを収集し整備していた。モデル構造の複雑さはあまりなく基本的にはデータが全てであり、その元をたどれば機械学習のタスク設計のユニークさとそれを解くだけの専用のデータ量が鍵であった。だから、アカデミックで日々競われる王道のタスクやベンチマークが存在する一方、企業の中で独自に必要とされるタスクや、個人で利用するような用途の限られたモデルも作れる幅があった。機械学習モデルをサクッと作れるパッケージは存在したが、データ収集や前処理などある種の専門性が必要な時代でもあり、まだまだ民主化がされていない中で、こうしたニッチなタスクに対して個人が取り組む余地と面白みが存在していた。

また、法律や医療といったドメインごとにも、専門用語の辞書が作られテキストにもユニークな特性を持ったコーパスが存在し、独立したタスク設計やコミュニティが存在していた。タスクは同じでもドメインが異なれば考えるべきテキストの属性やモデル構造が異なり、別のドメインの手法をまた別のドメインに適用してみるみたいな横展開もしやすく、また辞書整備やデータ収取なども対象が全く異なることから、個人が活躍できる隙も大きく残されていた。

つまるところ、自分のような弱小研究者もどきエンジニアでもなにか出来る余地があったのが、面白さに繋がっていたのかなと思う。個人的なOSS活動で日曜大工的にちょっと面白いものが作れたり、他の人に便利なツールやデータを使ってもらえるような貢献が自分にもできる。そうした部分がLLMというすべてを包含するモデルで一発でできてしまう今、個人開発者が入り込む隙が全くなくなってしまったなぁと感じる。実際はおそらくそんなことはなくて発想次第だとは思うけれども、まだそれを自分は見つけられていない。