380 гигов не вошло бы ни на мой VPS, ни на мой домашний SSD :)

Но идея скачать сначала мультикурлом а потом парсить, безусловно, отличная.