Thế giới đang có nguy cơ thiếu lương thực toàn cầu ngày càng tăng do hậu quả của xung đột địa chính trị, gián đoạn chuỗi cung ứng và biến đổi khí hậu. Đồng thời, nhu cầu tổng thể ngày càng tăng do tăng dân số và chuyển đổi chế độ ăn uống tập trung vào thực phẩm giàu chất dinh dưỡng và protein. Để đáp ứng nhu cầu dư thừa, nông dân cần tối đa hóa năng suất cây trồng và quản lý hiệu quả các hoạt động trên quy mô lớn, sử dụng công nghệ canh tác chính xác để luôn dẫn đầu.
Trong lịch sử, nông dân đã dựa vào kiến thức kế thừa, thử nghiệm và sai sót cũng như những lời khuyên nông học không mang tính quy định để đưa ra quyết định. Các quyết định quan trọng bao gồm trồng cây gì, bón bao nhiêu phân bón, cách kiểm soát sâu bệnh và khi nào thu hoạch. Tuy nhiên, với nhu cầu lương thực ngày càng tăng và nhu cầu tối đa hóa năng suất thu hoạch, người nông dân cần thêm thông tin bên cạnh những kiến thức được kế thừa. Các công nghệ đổi mới như viễn thám, IoT và robot có tiềm năng giúp nông dân vượt qua quá trình ra quyết định truyền thống. Các quyết định dựa trên dữ liệu được thúc đẩy bởi những hiểu biết gần như theo thời gian thực có thể cho phép nông dân thu hẹp khoảng cách về nhu cầu lương thực ngày càng tăng.
Mặc dù nông dân thường thu thập dữ liệu theo cách thủ công từ hoạt động của họ bằng cách ghi lại dữ liệu thiết bị và sản lượng hoặc ghi chú quan sát thực địa, nhưng những người xây dựng nền tảng dữ liệu nông học trên AWS sẽ giúp nông dân làm việc với các cố vấn nông học đáng tin cậy của họ sử dụng dữ liệu đó trên quy mô lớn. Các cánh đồng nhỏ và hoạt động dễ dàng hơn cho phép nông dân quan sát toàn bộ cánh đồng để tìm kiếm các vấn đề ảnh hưởng đến cây trồng. Tuy nhiên, việc trinh sát từng cánh đồng một cách thường xuyên đối với các cánh đồng và trang trại lớn là không khả thi và việc giảm thiểu rủi ro thành công đòi hỏi một nền tảng dữ liệu nông học tích hợp có thể mang lại hiểu biết sâu sắc trên quy mô lớn. Những nền tảng này giúp nông dân hiểu được dữ liệu của họ bằng cách tích hợp thông tin từ nhiều nguồn để sử dụng trong các ứng dụng phân tích và trực quan hóa. Dữ liệu không gian địa lý, bao gồm hình ảnh vệ tinh, dữ liệu đất, thời tiết và dữ liệu địa hình, được xếp lớp cùng với dữ liệu được thiết bị nông nghiệp thu thập trong quá trình trồng trọt, bón phân dinh dưỡng và thu hoạch. Bằng cách khai thác thông tin chi tiết thông qua phân tích dữ liệu không gian địa lý nâng cao, trực quan hóa dữ liệu nâng cao và tự động hóa quy trình làm việc thông qua công nghệ AWS, nông dân có thể xác định các khu vực cụ thể trên cánh đồng và cây trồng của họ đang gặp sự cố và thực hiện hành động để bảo vệ cây trồng cũng như hoạt động của mình. Những hiểu biết kịp thời này giúp nông dân hợp tác tốt hơn với các nhà nông học đáng tin cậy của họ để sản xuất nhiều hơn, giảm tác động đến môi trường, cải thiện khả năng sinh lời và giữ cho đất đai của họ có năng suất cao cho các thế hệ mai sau.
Trong bài đăng này, chúng tôi xem xét cách bạn có thể sử dụng các dự đoán được tạo từ Khả năng không gian địa lý của Amazon SageMaker vào giao diện người dùng của nền tảng dữ liệu nông học. Hơn nữa, chúng tôi thảo luận về cách các nhóm phát triển phần mềm bổ sung thông tin chi tiết dựa trên máy học (ML) nâng cao, bao gồm thuật toán viễn thám, che đám mây (tự động phát hiện các đám mây trong hình ảnh vệ tinh) và quy trình xử lý hình ảnh tự động vào nền tảng dữ liệu nông học của họ. Cùng với nhau, những bổ sung này giúp các nhà nông học, nhà phát triển phần mềm, kỹ sư ML, nhà khoa học dữ liệu và nhóm viễn thám cung cấp các hệ thống hỗ trợ ra quyết định có giá trị và có thể mở rộng cho nông dân. Bài đăng này cũng cung cấp một ví dụ về sổ ghi chép từ đầu đến cuối và Kho GitHub điều đó thể hiện khả năng không gian địa lý của SageMaker, bao gồm phân đoạn cánh đồng trang trại dựa trên ML và các mô hình không gian địa lý được đào tạo trước cho nông nghiệp.
Thêm những hiểu biết và dự đoán không gian địa lý vào nền tảng dữ liệu nông học
Các mô hình toán học và nông học đã được thiết lập kết hợp với hình ảnh vệ tinh cho phép trực quan hóa tình trạng và trạng thái của cây trồng bằng hình ảnh vệ tinh, từng pixel theo thời gian. Tuy nhiên, những mô hình đã thiết lập này yêu cầu quyền truy cập vào hình ảnh vệ tinh không bị cản trở bởi mây hoặc nhiễu khí quyển khác làm giảm chất lượng hình ảnh. Nếu không xác định và loại bỏ các đám mây khỏi mỗi hình ảnh được xử lý, các dự đoán và hiểu biết sâu sắc sẽ có độ chính xác đáng kể và nền tảng dữ liệu nông học sẽ làm mất lòng tin của người nông dân. Do các nhà cung cấp nền tảng dữ liệu nông học thường phục vụ khách hàng bao gồm hàng nghìn cánh đồng trang trại trên các khu vực địa lý khác nhau, nền tảng dữ liệu nông học yêu cầu thị giác máy tính và hệ thống tự động để phân tích, xác định và lọc các đám mây hoặc các vấn đề khí quyển khác trong mỗi ảnh vệ tinh trước khi xử lý hoặc cung cấp phân tích tiếp theo tới khách hàng.
Việc phát triển, thử nghiệm và cải tiến các mô hình thị giác máy tính ML để phát hiện các đám mây và các vấn đề khí quyển trong hình ảnh vệ tinh đặt ra những thách thức cho các nhà xây dựng nền tảng dữ liệu nông học. Đầu tiên, việc xây dựng đường dẫn dữ liệu để thu thập hình ảnh vệ tinh đòi hỏi thời gian, nguồn lực phát triển phần mềm và cơ sở hạ tầng CNTT. Mỗi nhà cung cấp hình ảnh vệ tinh có thể khác nhau rất nhiều. Vệ tinh thường xuyên thu thập hình ảnh ở các độ phân giải không gian khác nhau; độ phân giải có thể dao động từ nhiều mét trên mỗi pixel đến hình ảnh có độ phân giải rất cao được đo bằng cm trên pixel. Ngoài ra, mỗi vệ tinh có thể thu thập hình ảnh với các dải đa phổ khác nhau. Một số dải đã được kiểm tra kỹ lưỡng và cho thấy mối tương quan chặt chẽ với các chỉ số về sức khỏe và sự phát triển của cây trồng, còn các dải khác có thể không liên quan đến nông nghiệp. Các chòm sao vệ tinh quay lại cùng một vị trí trên trái đất với tốc độ khác nhau. Các nhóm nhỏ có thể thăm lại một khu vực mỗi tuần hoặc nhiều hơn, còn các nhóm lớn hơn có thể thăm lại cùng một khu vực nhiều lần trong ngày. Những khác biệt về hình ảnh và tần số vệ tinh này cũng dẫn đến sự khác biệt về khả năng và tính năng của API. Kết hợp lại, những khác biệt này có nghĩa là các nền tảng dữ liệu nông học có thể cần duy trì nhiều đường dẫn dữ liệu với các phương pháp nhập liệu phức tạp.
Thứ hai, sau khi hình ảnh được nhập và cung cấp cho các nhóm viễn thám, nhà khoa học dữ liệu và nhà nông học, các nhóm này phải tham gia vào một quy trình tốn nhiều thời gian để truy cập, xử lý và dán nhãn cho từng vùng trong mỗi hình ảnh là có mây. Với hàng nghìn trường trải rộng trên các khu vực địa lý khác nhau và nhiều hình ảnh vệ tinh trên mỗi trường, quá trình ghi nhãn có thể mất một khoảng thời gian đáng kể và phải được đào tạo liên tục để phù hợp với việc mở rộng kinh doanh, trường khách hàng mới hoặc nguồn hình ảnh mới.
Quyền truy cập tích hợp vào dữ liệu và hình ảnh vệ tinh Sentinel cho ML
Bằng cách sử dụng các khả năng không gian địa lý của SageMaker để phát triển mô hình ML viễn thám và bằng cách sử dụng hình ảnh vệ tinh từ Trao đổi dữ liệu AWS công cộng thuận tiện Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3), những người xây dựng nền tảng dữ liệu nông học trên AWS có thể đạt được mục tiêu của mình nhanh hơn và dễ dàng hơn. Bộ chứa S3 của bạn luôn có hình ảnh vệ tinh cập nhật nhất từ Sentinel-1 và Sentinel-2 vì Trao đổi dữ liệu mở và Sáng kiến dữ liệu bền vững của Amazon cung cấp cho bạn quyền truy cập tích hợp tự động vào hình ảnh vệ tinh.
Sơ đồ sau minh họa kiến trúc này.
Các khả năng không gian địa lý của SageMaker bao gồm các mô hình mạng thần kinh sâu được đào tạo trước được tích hợp sẵn như phân loại sử dụng đất và tạo mặt nạ đám mây, với danh mục tích hợp các nguồn dữ liệu không gian địa lý bao gồm hình ảnh vệ tinh, bản đồ và dữ liệu vị trí từ AWS và bên thứ ba. Với danh mục dữ liệu không gian địa lý tích hợp, khách hàng không gian địa lý của SageMaker có thể truy cập dễ dàng hơn vào hình ảnh vệ tinh và các bộ dữ liệu không gian địa lý khác, giúp loại bỏ gánh nặng phát triển quy trình nhập dữ liệu phức tạp. Danh mục dữ liệu tích hợp này có thể tăng tốc việc xây dựng mô hình của riêng bạn cũng như xử lý và làm phong phú các bộ dữ liệu không gian địa lý quy mô lớn với các hoạt động được xây dựng có mục đích như thống kê thời gian, lấy mẫu lại, ghép và mã hóa địa lý ngược. Khả năng dễ dàng nhập hình ảnh từ Amazon S3 và sử dụng các mô hình ML được đào tạo trước về không gian địa lý của SageMaker để tự động xác định các đám mây và chấm điểm từng hình ảnh vệ tinh Sentinel-2 giúp loại bỏ nhu cầu thu hút các nhóm khoa học dữ liệu, nông học và viễn thám để nhập, xử lý và gắn nhãn thủ công cho hàng nghìn ảnh vệ tinh có vùng nhiều mây.
Các khả năng không gian địa lý của SageMaker hỗ trợ khả năng xác định khu vực quan tâm (AOI) và thời gian quan tâm (TOI), tìm kiếm trong kho lưu trữ nhóm Open Data Exchange S3 để tìm hình ảnh có giao điểm không gian địa lý đáp ứng yêu cầu và trả về hình ảnh có màu sắc trung thực, Chỉ số thực vật khác biệt được chuẩn hóa (NDVI), phát hiện đám mây và điểm số cũng như độ che phủ đất. NDVI là chỉ số phổ biến được sử dụng với hình ảnh vệ tinh để hiểu tình trạng cây trồng bằng cách trực quan hóa các phép đo về lượng chất diệp lục và hoạt động quang hợp thông qua hình ảnh mới được xử lý và mã hóa màu.
Người dùng khả năng không gian địa lý của SageMaker có thể sử dụng chỉ mục NDVI dựng sẵn hoặc phát triển chỉ mục của riêng họ. Khả năng không gian địa lý của SageMaker giúp các nhà khoa học dữ liệu và kỹ sư ML xây dựng, đào tạo và triển khai các mô hình ML nhanh hơn và trên quy mô lớn hơn bằng cách sử dụng dữ liệu không gian địa lý và tốn ít công sức hơn trước.
Nông dân và nhà nông học cần truy cập nhanh vào những hiểu biết sâu sắc trên đồng ruộng và tại nhà
Việc cung cấp kịp thời hình ảnh đã xử lý và thông tin chi tiết cho nông dân và các bên liên quan là điều quan trọng đối với các doanh nghiệp nông nghiệp và quá trình ra quyết định tại hiện trường. Việc xác định các khu vực cây trồng kém trên mỗi cánh đồng trong những khoảng thời gian quan trọng cho phép người nông dân giảm thiểu rủi ro bằng cách sử dụng phân bón, thuốc diệt cỏ và thuốc trừ sâu khi cần thiết và thậm chí xác định các khu vực có thể yêu cầu bảo hiểm cây trồng. Thông thường, nền tảng dữ liệu nông học bao gồm một bộ ứng dụng, bao gồm ứng dụng web và ứng dụng di động. Các ứng dụng này cung cấp giao diện người dùng trực quan giúp nông dân và các bên liên quan đáng tin cậy của họ xem xét an toàn từng cánh đồng và hình ảnh của họ khi ở nhà, tại văn phòng hoặc đứng trên cánh đồng. Tuy nhiên, các ứng dụng web và di động này cần sử dụng và hiển thị nhanh chóng hình ảnh đã xử lý cũng như thông tin chi tiết về nông học thông qua API.
Cổng API Amazon giúp các nhà phát triển dễ dàng tạo, xuất bản, duy trì, giám sát và bảo mật API RESTful và WebSocket trên quy mô lớn. Với Cổng API, quyền truy cập và ủy quyền API được tích hợp với Quản lý truy cập danh tính AWS (IAM) và cung cấp hỗ trợ OIDC và OAuth2 gốc, cũng như Nhận thức về Amazon. Nhận thức về Amazon là dịch vụ quản lý quyền truy cập và nhận dạng khách hàng (CIAM) tiết kiệm chi phí hỗ trợ kho lưu trữ danh tính an toàn với các tùy chọn liên kết có thể mở rộng quy mô cho hàng triệu người dùng.
Hình ảnh vệ tinh thô, chưa được xử lý có thể rất lớn, trong một số trường hợp lên tới hàng trăm megabyte hoặc thậm chí gigabyte cho mỗi hình ảnh. Vì nhiều khu vực nông nghiệp trên thế giới có kết nối di động kém hoặc không có kết nối di động nên điều quan trọng là phải xử lý và cung cấp hình ảnh cũng như thông tin chi tiết ở các định dạng nhỏ hơn và theo cách hạn chế băng thông cần thiết. Vì vậy, bằng cách sử dụng AWS Lambda để triển khai máy chủ ô xếp, các định dạng GeoTIFF, JPEG hoặc hình ảnh khác có kích thước nhỏ hơn có thể được trả về dựa trên chế độ xem bản đồ hiện tại được hiển thị cho người dùng, trái ngược với các loại và kích thước tệp lớn hơn nhiều làm giảm hiệu suất. Bằng cách kết hợp máy chủ ô được triển khai thông qua các chức năng Lambda với API Gateway để quản lý các yêu cầu dành cho ứng dụng web và thiết bị di động, nông dân và các bên liên quan đáng tin cậy của họ có thể sử dụng hình ảnh và dữ liệu không gian địa lý từ một hoặc hàng trăm trường cùng một lúc, với độ trễ giảm và đạt được đối tượng người dùng tối ưu kinh nghiệm.
Bạn có thể truy cập các khả năng không gian địa lý của SageMaker thông qua giao diện người dùng trực quan cho phép bạn truy cập dễ dàng vào danh mục dữ liệu không gian địa lý phong phú, chuyển đổi và làm phong phú dữ liệu, huấn luyện hoặc sử dụng các mô hình xây dựng có mục đích, triển khai các mô hình để dự đoán cũng như trực quan hóa và khám phá dữ liệu trên bản đồ tích hợp và hình ảnh vệ tinh. Để đọc thêm về trải nghiệm người dùng không gian địa lý SageMaker, hãy tham khảo Cách Xarvio tăng tốc quy trình truyền dữ liệu không gian cho canh tác kỹ thuật số bằng khả năng không gian địa lý của Amazon SageMaker.
Nền tảng dữ liệu nông học cung cấp nhiều lớp dữ liệu và hiểu biết sâu sắc trên quy mô lớn
Giao diện người dùng mẫu sau đây minh họa cách người xây dựng nền tảng dữ liệu nông học có thể tích hợp thông tin chi tiết được cung cấp bởi khả năng không gian địa lý của SageMaker.
Giao diện người dùng mẫu này mô tả các lớp phủ dữ liệu không gian địa lý phổ biến được nông dân và các bên liên quan đến nông nghiệp sử dụng. Ở đây, người tiêu dùng đã chọn ba lớp phủ dữ liệu riêng biệt. Đầu tiên, hình ảnh vệ tinh màu tự nhiên Sentinel-2 cơ bản được chụp từ tháng 2020 năm XNUMX và được cung cấp thông qua danh mục dữ liệu không gian địa lý tích hợp của SageMaker. Hình ảnh này được lọc bằng mô hình được đào tạo trước không gian địa lý SageMaker để xác định độ che phủ của đám mây. Lớp phủ dữ liệu thứ hai là một tập hợp các ranh giới trường, được mô tả bằng đường viền màu trắng. Ranh giới cánh đồng thường là một đa giác có tọa độ kinh độ và vĩ độ phản ánh địa hình tự nhiên của cánh đồng trang trại hoặc ranh giới hoạt động phân biệt giữa các kế hoạch trồng trọt. Lớp phủ dữ liệu thứ ba là dữ liệu hình ảnh đã được xử lý dưới dạng Chỉ số thực vật khác biệt chuẩn hóa (NDVI). Hơn nữa, hình ảnh NDVI được phủ lên ranh giới trường tương ứng và biểu đồ phân loại màu NDVI được mô tả ở phía bên trái của trang.
Hình ảnh sau đây mô tả kết quả bằng cách sử dụng mô hình được đào tạo trước của SageMaker để xác định độ che phủ của đám mây.
Trong ảnh này, mô hình xác định các đám mây trong ảnh vệ tinh và áp dụng mặt nạ màu vàng cho mỗi đám mây trong ảnh. Bằng cách loại bỏ các pixel bị che (đám mây) khỏi quá trình xử lý hình ảnh tiếp theo, các sản phẩm và phân tích tiếp theo đã cải thiện độ chính xác và mang lại giá trị cho nông dân cũng như các cố vấn đáng tin cậy của họ.
Ở những khu vực có vùng phủ sóng di động kém, việc giảm độ trễ sẽ cải thiện trải nghiệm người dùng
Để giải quyết nhu cầu về độ trễ thấp khi đánh giá dữ liệu không gian địa lý và hình ảnh viễn thám, bạn có thể sử dụng Bộ đệm Amazon Elasti để lưu vào bộ nhớ đệm các hình ảnh đã xử lý được lấy từ các yêu cầu ngăn xếp được thực hiện qua Lambda. Bằng cách lưu trữ hình ảnh được yêu cầu vào bộ nhớ đệm, độ trễ sẽ giảm hơn nữa và không cần phải xử lý lại các yêu cầu hình ảnh. Điều này có thể cải thiện hiệu suất ứng dụng và giảm áp lực lên cơ sở dữ liệu. Bởi vì Bộ đệm Amazon Elasti hỗ trợ nhiều tùy chọn cấu hình cho chiến lược bộ nhớ đệm, sao chép giữa các khu vực và tự động mở rộng quy mô, các nhà cung cấp nền tảng dữ liệu nông học có thể mở rộng quy mô nhanh chóng dựa trên nhu cầu ứng dụng và tiếp tục đạt được hiệu quả chi phí bằng cách chỉ trả cho những gì cần thiết.
Kết luận
Bài đăng này tập trung vào xử lý dữ liệu không gian địa lý, triển khai thông tin chuyên sâu về viễn thám hỗ trợ ML cũng như các cách hợp lý hóa và đơn giản hóa việc phát triển cũng như nâng cao nền tảng dữ liệu nông học trên AWS. Nó minh họa một số phương pháp và dịch vụ mà người xây dựng nền tảng dữ liệu nông học trên dịch vụ AWS có thể sử dụng để đạt được mục tiêu của mình, bao gồm SageMaker, Lambda, Amazon S3, Open Data Exchange và ElastiCache.
Để làm theo sổ ghi chép mẫu từ đầu đến cuối thể hiện khả năng không gian địa lý của SageMaker, hãy truy cập vào sổ ghi chép mẫu có sẵn trong phần sau Kho GitHub. Bạn có thể xem lại cách xác định các cánh đồng nông nghiệp thông qua các mô hình phân đoạn ML hoặc khám phá các mô hình không gian địa lý SageMaker có sẵn và đưa chức năng mô hình (BYOM) của riêng bạn vào các nhiệm vụ không gian địa lý như phân loại sử dụng đất và che phủ đất. Sổ tay mẫu từ đầu đến cuối được thảo luận chi tiết trong bài viết đi kèm Cách Xarvio tăng tốc quy trình truyền dữ liệu không gian cho canh tác kỹ thuật số với Amazon SageMaker Geospatial.
Vui lòng liên hệ với chúng tôi để tìm hiểu thêm về cách ngành nông nghiệp đang giải quyết các vấn đề quan trọng liên quan đến nguồn cung thực phẩm toàn cầu, truy xuất nguồn gốc và các sáng kiến bền vững bằng cách sử dụng Đám mây AWS.
Giới thiệu về tác giả
Will Conrad là Giám đốc Giải pháp cho ngành Nông nghiệp tại AWS. Ông đam mê giúp đỡ khách hàng sử dụng công nghệ để cải thiện sinh kế của nông dân, tác động môi trường của nông nghiệp và trải nghiệm tiêu dùng của những người ăn thực phẩm. Trong thời gian rảnh rỗi, anh sửa chữa mọi thứ, chơi gôn và nhận lệnh từ bốn đứa con của mình.
Bishesh Adhikari là Kiến trúc sư tạo mẫu máy học tại nhóm Tạo mẫu AWS. Anh làm việc với khách hàng của AWS để xây dựng các giải pháp cho nhiều trường hợp sử dụng AI & Machine Learning khác nhau nhằm đẩy nhanh quá trình sản xuất của họ. Khi rảnh rỗi, anh thích đi bộ đường dài, du lịch và dành thời gian cho gia đình và bạn bè.
Priyanka Mahankali là Kiến trúc sư giải pháp hướng dẫn tại AWS trong hơn 5 năm xây dựng các giải pháp đa ngành, bao gồm cả công nghệ cho khách hàng nông nghiệp toàn cầu. Cô đam mê đưa các trường hợp sử dụng tiên tiến lên hàng đầu và giúp khách hàng xây dựng các giải pháp chiến lược trên AWS.
Ron Osborne là Trưởng nhóm công nghệ toàn cầu của AWS về Nông nghiệp – WWSO và là Kiến trúc sư giải pháp cấp cao. Ron tập trung vào việc giúp các khách hàng và đối tác kinh doanh nông nghiệp của AWS phát triển và triển khai các giải pháp an toàn, có thể mở rộng, linh hoạt, linh hoạt và tiết kiệm chi phí. Ron là một người đam mê vũ trụ học, một nhà đổi mới có uy tín trong lĩnh vực công nghệ nông nghiệp và đam mê định vị khách hàng và đối tác để chuyển đổi kinh doanh và đạt được thành công bền vững.
- Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
- Platoblockchain. Web3 Metaverse Intelligence. Khuếch đại kiến thức. Truy cập Tại đây.
- nguồn: https://aws.amazon.com/blogs/machine-learning/build-an-agronomic-data-platform-with-amazon-sagemaker-geospatial-capabilities/
