Package edu.tufts.hrilab.llm.llama.response

Class LlamaTimings

java.lang.Object
edu.tufts.hrilab.llm.llama.response.LlamaTimings
public class LlamaTimings extends Object

  • Field Details

    • predicted_ms

      public float predicted_ms

    • predicted_n

      public int predicted_n

    • predicted_per_second

      public float predicted_per_second

    • predicted_per_token_ms

      public float predicted_per_token_ms

    • prompt_ms

      public float prompt_ms

    • prompt_n

      public int prompt_n

    • prompt_per_second

      public float prompt_per_second

    • prompt_per_token_ms

      public float prompt_per_token_ms

  • Constructor Details

    • LlamaTimings

      public LlamaTimings()