Эта книга объясняет, как масштабировать Apache Spark 3 для обработки огромных объемов данных, как в пакетном, так и в потоковом режиме. В ней рассматривается использование структурированных API Spark для выполнения сложных преобразований данных и анализа, которые можно использовать для реализации сквозных аналитических рабочих процессов. Книга охватывает новые возможности Spark 3, теоретические основы и архитектуру приложений. Первый раздел знакомит с экосистемой Apache Spark как единым механизмом для анализа больших объемов данных и показывает, как запустить и оптимизировать ваше первое приложение в Spark. Второй раздел посвящен пакетной обработке, подходящей для обработки данных в конце цикла, и приему данных из файлов и баз данных. В нем объясняется API Spark DataFrame, а также структурированные и неструктурированные данные в Apache Spark.
