@type t() :: %ExLLama.ContextParams{
  embedding: boolean(),
  n_batch: non_neg_integer(),
  n_ctx: non_neg_integer(),
  n_threads: non_neg_integer(),
  n_threads_batch: non_neg_integer(),
  offload_kqv: boolean(),
  pooling: boolean(),
  rope_freq_base: float(),
  rope_freq_scale: float(),
  rope_scaling_type: integer(),
  seed: non_neg_integer(),
  type_k: non_neg_integer(),
  type_v: non_neg_integer(),
  yarn_attn_factor: float(),
  yarn_beta_fast: float(),
  yarn_beta_slow: float(),
  yarn_ext_factor: float(),
  yarn_orig_ctx: non_neg_integer()
}