Como dije en mi comentario, la diferencia básica entre un búfer y un flujo es que un flujo es una secuencia que transfiere información desde o hacia una fuente específica, mientras que un búfer es una secuencia de bytes que se almacena en la memoria. Por ejemplo:
FileStream stream = new FileStream("filepath.txt", FileMode.OpenOrCreate);
Abre una secuencia en un archivo. Ese flujo se puede leer, escribir o ambos. Como no requiere memoria adicional, es liviano y rápido, pero hacer referencia arbitrariamente a un conjunto particular de datos en la fuente puede ser engorroso. Las transmisiones también se benefician de ser una conexión en lugar de un conjunto discreto de datos, por lo que no necesita saber el tamaño de los datos de antemano.
Por el contrario:
byte[] fileContents = File.ReadAllBytes("filepath.txt");
Lee todos los bytes de un archivo en la memoria. Esto es útil cuando necesita manipular todo el archivo a la vez, o mantener una "copia local" para que su programa la conserve, de modo que el archivo pueda estar libre para otros usos. Sin embargo, según el tamaño de la fuente y la cantidad de memoria disponible, un búfer que contenga la totalidad el archivo podría no ser una opción.
Sin embargo, esta es solo una explicación básica. Hay otros más completos, por ejemplo, como dice Marc Gravell: