Programma Les 101 van 148 · Beoordeel de output
Beoordeel de output

Zes antwoorden op één vraag

Waarom dit ertoe doet Opnieuw vragen en het meest voorkomende antwoord nemen voelt als een second opinion. Voorbeelden van één model delen zijn gewoonten, dus de meerderheid kan samen ongelijk hebben.

De uitvoer van de assistent in deze les is voor de cursus geschreven, in precies de vorm die echte assistenten produceren. Het is geen opname van een bepaald model.

Een teamgenoot vroeg zes keer om "a function that returns the median of a list of numbers". Vier van de zes antwoorden kiezen na het sorteren één middelste element, wat fout is voor lijsten met een even lengte (de mediaan van [1, 2, 3, 4] is 2.5); een van die vier sorteert ook nog de lijst van de aanroeper ter plekke. Twee zijn goed. Stem over wat ze teruggeven, en een fout antwoord wint met drie tegen twee.

Ze draaien is goedkoper dan erover discussiëren. Een paar gevallen met bekende antwoorden, inclusief het geval dat het gangbare antwoord mist, sorteren de zes in één keer.

load_sample draait de code van een voorbeeld hier, in dit browsertabblad, net als je eigen code. Deze voorbeelden zijn voor de cursus geschreven. Lees echte uitvoer van een assistent eerst en draai die ergens waar het er niet toe doet, zoals een container of een wegwerp-virtuele machine, nooit naast je sleutels en data.

Zelfconsistentie: meerdere antwoorden laten genereren en de meerderheid nemen. Het helpt als de fouten willekeurig zijn; het helpt niet als het model één systematische blinde vlek heeft.

Jij bent aan de beurt

Schrijf rank(samples, name, cases). samples is een lijst met code-strings, elk bedoeld om een functie genaamd name te definiëren. cases is een lijst van (args, expected) paren, waarbij args een tuple is. Haal voor elk sample de functie met load_sample(code, name) uit creative.samples; als dat None geeft (de code kon niet draaien of definieert geen name), faalt elke situatie. Anders roep je de functie aan voor elke situatie (geef een kopie van elk lijst argument mee, zodat één sample de situatie voor de volgende niet kan veranderen); een situatie slaagt wanneer de aanroep een waarde teruggeeft die gelijk is aan expected, en faalt als deze verschilt of een fout geeft. Geef één dict per sample terug, {"sample": i, "passed": n, "failed": [case indexes]}, met de meeste successen eerst, bij een gelijkspel op basis van de sample index.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.