前提条件
- Llamaモデルへのアクセス(ローカルまたはクラウドベース)
- クラウドLlamaサービスのAPIキー(クラウドを使用する場合)
APIキーの取得(クラウドサービス)
クラウドLlamaサービス用(例:Replicate、Ollama Cloud)
- 選択したLlamaクラウドサービスプロバイダーにアクセス
- アカウントにサインインするか、新しく作成
- APIキーまたは認証情報セクションに移動
- 新しいAPIキーを生成
- 生成されたキーをコピー
ローカルLlamaモデル用
ローカルでLlamaモデルを実行する場合(例:Ollamaを使用)、通常APIキーは不要ですが、接続詳細を設定する必要があります。Jinba Flowでの設定
クラウドベースLlama
- Jinba Flowのワークスペース設定に移動
- 「シークレット」セクションに移動
- 利用可能な認証情報のリストから「Llama」を探す
- 「設定」または「新規追加」をクリック
- 指定されたフィールドにAPIキーを入力
- 希望するLlamaモデルバージョンを選択
- 「保存」をクリックして認証情報を保存
ローカルLlamaモデル
- Jinba Flowのワークスペース設定に移動
- 「シークレット」セクションに移動
- 利用可能な認証情報のリストから「Llama」を探す
- 「設定」または「新規追加」をクリック
- 接続タイプとして「ローカル」を選択
- ローカルサーバーURLを入力(例:
http://localhost:11434
) - インストールしたモデル名を指定
- 「保存」をクリックして認証情報を保存
利用可能なモデル
Llama 3モデル
- Llama 3.1 8B - ほとんどのタスクに高速で効率的
- Llama 3.1 70B - 複雑な推論により適したモデル
- Llama 3.1 405B - 最も高性能なモデル(クラウドのみ)
Llama 2モデル
- Llama 2 7B - 軽量モデル
- Llama 2 13B - バランスの取れたパフォーマンス
- Llama 2 70B - 高性能
ローカル設定(オプション)
Llamaモデルをローカルで実行したい場合:- Ollamaをインストール
-
希望するモデルをプル:
ollama pull llama3.1:8b
-
Ollamaサービスを開始:
ollama serve
- Jinba Flowでローカル接続を設定