Co oznacza pipeline przetwarzania danych?

Pipeline to ciąg etapów, w którym wynik jednego staje się wejściem następnego. W prostym przykładzie najpierw pobieram stronę, później wyodrębniam dane, a na końcu je klasyfikuję i zapisuję. Etapy mogą być realizowane zwykłym kodem, modelem albo połączeniem obu.

Podział pomaga sprawdzić, gdzie powstał błąd i które etapy trzeba powtórzyć. Ważne, aby ustalić format danych między nimi. Jeśli pierwszy etap zgubi istotną informację, następny nie odtworzy jej magicznie. Pipeline nie musi oznaczać kolejki ani wielu osobnych serwerów — czasem wystarczy kilka dobrze wydzielonych funkcji.