кстати на питоне либы есть очень хорошие для бигдаты. тотже пипай вроде умеет хорошо. я деталей сейчас уже не вспомню, но могу поискать материалы с трёхлетней давности конференции по python, где как раз обсуждали работу с CUDA на python и обработке реально больших данных
Если библиотека умеет обрабатывать данные, читая их порциями с диска, то более или менее успешно ее можно отмасштабировать на какие угодно объемы