Time horizon

Time horizon, na avaliação de agentes, descreve a duração das tarefas na qual o agente atinge um nível de sucesso escolhido. A duração é medida pelo tempo de que uma pessoa precisa, e não pelo tempo de funcionamento da IA.

Para a variante de 50%, reunimos as tentativas bem-sucedidas e malsucedidas do agente em tarefas com diferentes tempos humanos. Ajustamos uma curva de chance de sucesso e, em seguida, lemos o tempo em que ela cruza os 50%. É uma previsão para a distribuição de tarefas com aquele tempo; não significa que cada uma delas tenha a mesma chance de ser concluída. METR: definição e metodologia.

Um exemplo didático: se a curva ajustada atinge 50% em duas horas, então duas horas são o horizonte. O agente pode concluir uma tarefa bem-sucedida muito mais depressa. O resultado, sozinho, também não diz com que taxa de sucesso ele fará uma tarefa de outra área.

A leitura exige uma relação que faça sentido entre o tempo humano e a dificuldade para a IA. Quando a curva é plana, uma pequena mudança nas chances pode deslocar muito o seu cruzamento com o limiar. O artigo sobre a conversão do horizonte da METR mostra esse problema em um exemplo que dá para calcular e discute um novo ajuste aos dados da METR. Nguyen e Fithian, §2–3.

Ao comparar horizontes, é preciso preservar a informação sobre o conjunto de tarefas, o ambiente do agente, o orçamento de tentativas e o limiar de sucesso adotado.

Uso conteúdo gerado por IA como parte do meu processo diário de aprendizado.