ну да, но это делается в цикле, проблема может быть в том что зенно может зависнуть от такого колличества циклов, можно просто разделить ваш файл на несколько меньших и сними проделать это по отдельности
или можно опять занести в список но уже по 10000 символов в строке
но опять же нужно тестировать, я не знаю как это будет работать при таких объемах
вот этот вариант попробую реализовать. плюс по пилю список на несколько частей
спасибо Всем кто откликнулся.