ローカルLLMおよびランタイム管理のためのキーボード駆動のランチャー
Flying Nobita の llml (LLM Launcher) を使用して、キーボードファーストのワークフローを体験してください。これは、ローカルの大規模言語モデルとランタイムを管理する Windows ユーティリティです。このツールは、GGUF および safetensors モデルのためにローカルファイルシステムをスキャンし、llama.cpp、vLLM、Ollama などのランタイムを検出し、名前付きの起動パラメータを TOML プロファイルとして保存します。ワンキー実行、持続的なステータスライン、および起動前に完全なコマンドを表示する TUI を備え、再現可能なローカルモデルの実行が必要な開発者や研究者をターゲットにしています。
長いコマンドフラグを名前付きの再利用可能なプロファイルに置き換えます
llmlは自動的にGGUFファイルとHugging Faceスタイルのsafetensorsディレクトリを発見し、それらをllama.cpp、vLLM、Ollama、KoboldCppなどの互換性のあるランタイムにマッピングします。このアプリは起動パラメータを名前付きのTOMLプロファイルとして保存するため、複雑なフラグの組み合わせが単一の選択可能な構成になります。このアプローチにより、以前のコマンドのためにシェル履歴を探す必要がなくなり、速度と品質のために別々のプリセットを簡単に維持できます。
コンパクトでキーボード駆動のインターフェースでローカルに制御を保持します
このツールは、ベアターミナルとブラウザUIの間に位置するターミナルユーザーインターフェースを提供し、Rキーを使用した1キー起動と、Ollamaのプリロードなどのバックグラウンドタスクのための永続的なステータスラインを可能にします。実行前に生成された完全なコマンドを表示し、ユーザーがパラメータを確認するのに役立ちます。このバイナリはデスクトッププラットフォーム全体で利用可能で、Windowsパッケージマネージャーを介してWindowsにインストールされ、ローカルマシンでの制御を維持します。
構成可能なパスとポータブルで共有可能な構成をサポートします
非標準ストレージの場合、LLML_MODEL_PATHSを設定するか、config.tomlを編集してカスタムモデルの場所を指し示すことができ、アプリはそれをスキャンします。プロファイルはポータブルなTOML形式を使用しているため、最適化された設定を機械間でインポートまたは共有できます。この環境変数の構成とプレーンテキストプロファイルの組み合わせは、再現可能なテキストベースのデプロイ設定を必要とする開発者、研究者、ホビー愛好者に適しています。
繰り返し可能性を重視した実用的なターミナル中心のオプション
このアプリは、ローカルLLMを実行し、一貫した繰り返し可能な起動が必要な開発者や研究者にとって実用的なオプションです。名前付きTOMLプロファイルとランタイム検出により、パラメータが明示的に保たれます。主な注意点は、そのターミナル指向であり、完全なブラウザベースのグラフィカルインターフェースを求めるユーザーには合わない可能性があります。ヒント：非標準ディレクトリ用にLLML_MODEL_PATHSを設定し、モデルを実行する前にTOMLプロファイルを保存して、再現可能な起動を確保してください。
