你好
我使用s3distcp來將我的EMR MapReduce的輸出檔案從HDFS轉移到S3上。我在我單獨的EMR簇中運行了MR和s3distcp作為兩個步驟。
當我使用s3distcp從HDFS復制dat檔案到S3時，我得到了如下錯誤：
Container pid=8994,containerID=container_1395749857988_0002_01_000009 is running beyond virtual memory limits. Current usage: 735.9 MB of 1.5 GB physical memory used; 7.5 GB of 7.5 GB virtual memory used. Killing container.
Dump of the process-tree for container_1395749857988_0002_01_000009 :
我的配置如下：
master - m1.large
core - m1.large
task - m1.medium
錯誤的具體情況請參考附件。
感謝你們的幫助
uj5u.com熱心網友回復：
你好，你使用的是什么版本的Hadoop？AMI ID是什么？你能告訴我們你的簇ID么，以便我們查看你的日志檔案，看看問題出在哪兒。
這個問題有可能是由于堆大小引起的，通常可以通過以下方式來解決：
http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/HadoopMemoryIntensive.html
請告知我們
謝謝
uj5u.com熱心網友回復：
感謝你的回復，以下是我配置的細節
Hadoop: Amazon 2.2.0
AMI版本:3.0.3
Cluster ID: j-20Y1JRRWXZWLW
請告訴我需要做哪些修改？
謝謝。
uj5u.com熱心網友回復：
你好我看了你的錯誤日志，可能是記憶體的問題。
容器pid=985,containerID=container_1396077109868_0002_01_000009 超過了虛擬記憶體的限制大小。目前的使用情況是：1.5GB的物理記憶體使用了757.7MB；7.5GB的虛擬記憶體使用了7.5GB。因此，這個容器的行程被殺死了。
你可以看一下這個日志：
http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-manage-view-web-log-files.html
照之前的建議，請按照下列連接的方法來配置你的作業堆大小，在這個連接的下一頁有具體的方法。
http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/HadoopMemoryIntensive.html
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/107024.html
標籤：AWS
上一篇：提問：Unable to download from S3 bucket - X-Amz-Expires must be non-negative
下一篇：請教關于hadoop執行是否失敗的問題，我在執行hadoop任務時map一會10%然后就突然100%然后20%接著又是100%，然后多吃出現100%，請問這是執