Thêm job transform
Thêm job transform vào workflow
Trong bước này chúng ta sẽ thực hiện thêm transform job chuyển dữ liệu từ csv sang parquet vào workflow chúng ta đã tạo.
- Tại giao diện quản lý workflow, đảm bảo bạn đang chọn workflow yourname-datalake.
- Click Add node.
- Click tab Jobs.
- Click chọn 2 job yourname-datalake-csvtoparquet và yourname-datalake-csvtoparquet-reviews.
- Click Add.
- Chúng ta sẽ thấy 2 job thực hiện transform đã được thêm vào.
- Click biểu tượng mở rộng để tăng không gian làm việc cho workflow.
Bước tiếp theo chúng ta sẽ thực hiện thêm trigger và job crawler thứ 2 để cập nhật metadata cho dữ liệu parquet.