2023年9月6日にローンチされ、Advanced Data Analysis(旧Code Interpreter)登場以来の衝撃と、AI系エンジニア界隈で専らの評判のOpen Interpreter (以下OI)は、その後も急ピッチで開発が進み、当初0.1.4だったバージョンも0.1.10 へとアップデートされました。
多数の新機能が追加されるとともに、いくつかのバグも改修され、その結果、かなり高い確率でタスクを完了できるようになり、実用性は大きく向上しました。
しかし、その結果、新たな問題が浮上しました。
それは、
GPT-4のAPI利用料が非常に高くつく、というコスパの問題です。
私を含め、多くの人が、X(旧ツイッター)等でOIの利用でAPI利用料が跳ね上がったと報告しており、OIを利用し続ける上で、API利用料の増大は大きな問題となっています。
そこで私は、OIがGPTとの通信に使っている対話履歴ファイル中の特に重要ではないメッセージを削除して、API利用料を劇的に削減する
メッセージ(トークン)削減機能 を追加しました。
この機能を使えば、簡単にAPI利用料を５０％以上削減することが出来ます。仕組みから言って、GPTとのやりとりが増えれば増える程、削減率も高くなるため、理論上
９０％以上の削減も可能です。
当記事に添付されている改造版には、それだけでなく以下のような機能があります。
●
タイマー機能
一定の時間を経過すると、自動的に処理を停止してログを保存する機能
●
タイムアウト発生時のリトライ機能
何らかの原因でGPT等の学習モデルからのレスポンスが返らず、タイムアウトになったまま固まってしまうことがありますが、改造版では一定の時間を経過したらタイムアウトと判断し、自動的に再リクエストをする設計にしているため、タイムアウトでフリーズすることはほぼありません。
●
メッセージの表示ブレ防止機能
メッセージの表示ブレがどういう現象のことなのかピンと来ない方は以下のツイートに貼った動画を見てください。
https://twitter.com/Ai_All_Site/status/1712656158325137839
他の環境では発生しないのかもしれませんが、少なくともWindowsのVSCode上ではこの問題が発生します。改造版ではターミナルの高さに応じてメッセージを分割することでこの問題を解決しました。
●
ログ(json)の日本語文字化け解消機能
標準のjson形式のログファイルでは、日本語の文章はUnicodeでエスケープされ、文字化けして全く読めなくなっています。 改造版では、Unicodeエスケープを解除して文字化けを解消した別ファイルも同時に記録します。
●
完全自動化機能
OIには、標準で生成コードの実行前の確認をパスするAuto Runモードというものがありますが、このモードに設定しても、学習モデル自身の判断で通常のメッセージとして同意を求めてくるケースがあります。改造版では、事前に設定したメッセージを自動返信することで完全自動化しています。
●
かな変換モードから英数モードへの変更を不要とする機能
オリジナルでは、コード実行の同意を求められた場合、半角の”y”しか”yes”として受け付けないため、日本語の場合は、かな漢字モードから英数モードに切り替えが必要となりますが、全角のｙでもyesと判断されるように改造しています。
これらの機能によって、大幅にOIの利便性が向上したと自負しています。特に「メッセージ(トークン)削減機能」は、月に数千円以上のAPI利用料を払っているヘビーユーザーにとっては、確実に大きな金銭的メリットをもたらします。API利用料の増大にお悩みの方は是非お買い求めください。
改修箇所には私の氏名(Hiroshi Hashimoto)を書いています。ライセンスについては、開発者の Killian Lucas氏にならってMITライセンスとしていますが、著作権を放棄するものではありませんので、私が追加・変更したコードが残ったソースを再配布する場合は、私の氏名を消さないようにお願い致します。
なお、同梱したソース・ファイルならびに本記事の内容に従った操作によって生じたいかなる損害にも責任は負いません。ご利用は自己責任でお願いします。また、無料版の場合、サポートも一切できかねます。また、
Windows11のVSCode上でしか動作確認をしておらず、VSCodeであっても、Docker等の特殊な環境での動作も検証していませんので、他の環境での不具合は有料版であってもサポートできかねます。 あらかじめでご了承ください。
2023年9月6日にローンチされ、Advanced Data Analysis(旧Code Interpreter)登場以来の衝撃と、AI系エンジニア界隈で専らの評判のOpen Interpreter (以下OI)は、その後も急ピッチで開発が進み、当初0.1.4だったバージョンも0.1.10 へとアップデートされました。
多数の新機能が追加されるとともに、いくつかのバグも改修され、その結果、かなり高い確率でタスクを完了できるようになり、実用性は大きく向上しました。
しかし、その結果、新たな問題が浮上しました。
それは、
GPT-4のAPI利用料が非常に高くつく、というコスパの問題です。
私を含め、多くの人が、X(旧ツイッター)等でOIの利用でAPI利用料が跳ね上がったと報告しており、OIを利用し続ける上で、API利用料の増大は大きな問題となっています。
そこで私は、OIがGPTとの通信に使っている対話履歴ファイル中の特に重要ではないメッセージを削除して、API利用料を劇的に削減する
メッセージ(トークン)削減機能 を追加しました。
この機能を使えば、簡単にAPI利用料を５０％以上削減することが出来ます。仕組みから言って、GPTとのやりとりが増えれば増える程、削減率も高くなるため、理論上
９０％以上の削減も可能です。
当記事に添付されている改造版には、それだけでなく以下のような機能があります。
●
タイマー機能
一定の時間を経過すると、自動的に処理を停止してログを保存する機能
●
タイムアウト発生時のリトライ機能
何らかの原因でGPT等の学習モデルからのレスポンスが返らず、タイムアウトになったまま固まってしまうことがありますが、改造版では一定の時間を経過したらタイムアウトと判断し、自動的に再リクエストをする設計にしているため、タイムアウトでフリーズすることはほぼありません。
●
メッセージの表示ブレ防止機能
メッセージの表示ブレがどういう現象のことなのかピンと来ない方は以下のツイートに貼った動画を見てください。
https://twitter.com/Ai_All_Site/status/1712656158325137839
他の環境では発生しないのかもしれませんが、少なくともWindowsのVSCode上ではこの問題が発生します。改造版ではターミナルの高さに応じてメッセージを分割することでこの問題を解決しました。
●
ログ(json)の日本語文字化け解消機能
標準のjson形式のログファイルでは、日本語の文章はUnicodeでエスケープされ、文字化けして全く読めなくなっています。 改造版では、Unicodeエスケープを解除して文字化けを解消した別ファイルも同時に記録します。
●
完全自動化機能
OIには、標準で生成コードの実行前の確認をパスするAuto Runモードというものがありますが、このモードに設定しても、学習モデル自身の判断で通常のメッセージとして同意を求めてくるケースがあります。改造版では、事前に設定したメッセージを自動返信することで完全自動化しています。
●
かな変換モードから英数モードへの変更を不要とする機能
オリジナルでは、コード実行の同意を求められた場合、半角の”y”しか”yes”として受け付けないため、日本語の場合は、かな漢字モードから英数モードに切り替えが必要となりますが、全角のｙでもyesと判断されるように改造しています。
これらの機能によって、大幅にOIの利便性が向上したと自負しています。特に「メッセージ(トークン)削減機能」は、月に数千円以上のAPI利用料を払っているヘビーユーザーにとっては、確実に大きな金銭的メリットをもたらします。API利用料の増大にお悩みの方は是非お買い求めください。
改修箇所には私の氏名(Hiroshi Hashimoto)を書いています。ライセンスについては、開発者の Killian Lucas氏にならってMITライセンスとしていますが、著作権を放棄するものではありませんので、私が追加・変更したコードが残ったソースを再配布する場合は、私の氏名を消さないようにお願い致します。
なお、同梱したソース・ファイルならびに本記事の内容に従った操作によって生じたいかなる損害にも責任は負いません。ご利用は自己責任でお願いします。また、無料版の場合、サポートも一切できかねます。また、
Windows11のVSCode上でしか動作確認をしておらず、VSCodeであっても、Docker等の特殊な環境での動作も検証していませんので、他の環境での不具合は有料版であってもサポートできかねます。 あらかじめでご了承ください。
