Classe : Evaluation<R, E, M>

Référence du SDK TypeScript

weave / Evaluation

Configure une évaluation qui comprend un ensemble d’évaluateurs et un jeu de données.

L’appel à evaluation.evaluate(model) transmet des lignes d’un jeu de données à un modèle, en faisant correspondre les noms des colonnes du jeu de données aux noms des arguments dans model.predict.

Il appelle ensuite tous les évaluateurs et enregistre les résultats dans weave.

Exemple

// Collectez vos exemples dans un jeu de données
const dataset = new weave.Dataset({
  id: 'my-dataset',
  rows: [
    { question: 'What is the capital of France?', expected: 'Paris' },
    { question: 'Who wrote "To Kill a Mockingbird"?', expected: 'Harper Lee' },
    { question: 'What is the square root of 64?', expected: '8' },
  ],
});

// Définissez une fonction de score personnalisée
const scoringFunction = weave.op(function isEqual({ modelOutput, datasetRow }) {
  return modelOutput == datasetRow.expected;
});

// Définissez la fonction à évaluer
const model = weave.op(async function alwaysParisModel({ question }) {
  return 'Paris';
});

// Lancez l'évaluation
const evaluation = new weave.Evaluation({
  id: 'my-evaluation',
  dataset: dataset,
  scorers: [scoringFunction],
});

const results = await evaluation.evaluate({ model });

​

Paramètres de type

Nom	Type
R	extends DatasetRow
E	extends DatasetRow
M	M

​

Hiérarchie

• WeaveObject

  ↳ Evaluation

​

Table des matières

​

Constructeurs

• constructeur

​

Propriétés

• __savedRef

​

Accesseurs

• description
• nom

​

Méthodes

• evaluate
• predictAndScore
• saveAttrs

​

Constructeurs

​

constructeur

• new Evaluation<R, E, M>(parameters): Evaluation<R, E, M>

​

Paramètres de type

Nom	Type
R	extends DatasetRow
E	extends DatasetRow
M	M

​

Paramètres

Nom	Type
parameters	EvaluationParameters<R, E, M>

​

Renvoie

Evaluation<R, E, M>

​

Redéfinitions

WeaveObject.constructor

​

Défini dans

evaluation.ts:148

​

Propriétés

​

__savedRef

• Facultatif __savedRef: ObjectRef | Promise<ObjectRef>

​

Hérité de

WeaveObject.__savedRef

​

Défini dans

weaveObject.ts:73

​

Accesseurs

​

description

• get description(): undefined | string

​

Renvoie

undefined | string

​

Hérité de

WeaveObject.description

​

Défini dans

weaveObject.ts:100

---

​

nom

• get nom(): string

​

Renvoie

string

​

Hérité de

WeaveObject.nom

​

Défini dans

weaveObject.ts:96

​

Méthodes

​

evaluate

▸ evaluate(«destructured»): Promise<Record<string, any>>

​

Paramètres

Nom	Type	Valeur par défaut
«destructured»	Object	undefined
› maxConcurrency?	number	5
› model	WeaveCallable<(…args: [{ datasetRow: R }]) => Promise<M>>	undefined
› nTrials?	number	1

​

Renvoie

Promise<Record<string, any>>

​

Défini dans

evaluation.ts:163

---

​

predictAndScore

▸ predictAndScore(«destructured»): Promise<{ model_latency: number = modelLatency; model_output: any = modelOutput; model_success: boolean = !modelError; scores: { [key: string]: any; } }>

​

Paramètres

Nom	Type
«destructured»	Object
› columnMapping?	ColumnMapping<R, E>
› example	R
› model	WeaveCallable<(…args: [{ datasetRow: E }]) => Promise<M>>

​

Renvoie

Promise<{ model_latency: number = modelLatency; model_output: any = modelOutput; model_success: boolean = !modelError; scores: { [key: string]: any; } }>

​

Défini dans

evaluation.ts:231

---

​

saveAttrs

▸ saveAttrs(): Object

​

Renvoie

Object

​

Hérité de

WeaveObject.saveAttrs

​

Défini dans

weaveObject.ts:77