В АВС. Я сопоставил результат с главным узлом, а затем подготовился к записи в S3 со следующей ошибкой:

В Hadoop я сопоставил результат с главным узлом, а затем подготовился к записи в S3 со следующей ошибкой:

18/08/19 20:10:13 WARN DataStreamer: Исключение для BP-2033025931-192.168.3.27-1534682170082:blk_1073741835_1011 java.io.EOFException: Неожиданный EOF при попытке прочитать ответ от сервера в org.apache.hadoop.hdfs. протоколPB.PBHelperClient.vintPrefixed(PBHelperClient.java:402) в org.apache.hadoop.hdfs.protocol.datatransfer.PipelineAck.readFields(PipelineAck.java:213) в org.apache.hadoop.hdfs.DataStreamer$ResponseProcessor.run( DataStreamer.java:1073)

18/08/19 20:10:13 Warn DataStreamer: Ошибка восстановления для BP-2033025931-192.168.3.27-1534682170082: BLK_1073741835_1011 в трубопроводе [DatanodeInfowithstorage [192.168.3.141:50010, DISK], DatanodeInfoWithStorage [192.168.3.183:50010,DS-54ceb3d7-fdc3-4a8e-8df1-ab9c53f25628,DISK], DatanodeInfoWithStorage [192.168.3.106:50010,DS-4640296a-8a2a-4223-9759-f592aca85e77,DISK]]: узел данных 0 (DatanodeInfoWithStorage[192.168.3.141:50010,DS-fe8dd87d-2b16-4746-b5ee-c65a836cebb4,DISK]) неисправен.

Затем произошла вторая ошибка:

com.amazonaws.services.s3.model.AmazonS3Exception: ваше сокетное соединение с сервером не было прочитано или записано в течение периода ожидания. Неиспользуемые соединения будут закрыты. (Сервис: Amazon S3; код состояния: 400; код ошибки: RequestTimeout; идентификатор запроса: BF10123C46AC4; идентификатор расширенного запроса S3: SXF+/rJOtW8714PGg0GEz9bgJuKuf/2BNOskx0JdTa02g1a/3igd3vfuaO7zI=)

Эти два идентификатора запроса не являются полными, потому что я не знаю, что они могут для них сделать.


amazon-web-services amazon-s3 hadoop hdfs
person Shaokai Li    schedule 20.08.2018    source источник

Ответы (1)


arrow_upward
1
arrow_downward

На этот раз такой ошибки не было, когда я снова запустил его. Я думаю, это случайное событие. Затем я добавил следующий код:

ClientConfiguration s3ClientConfig = new ClientConfiguration().withMaxErrorRetry(10)
            .withConnectionTimeout(3 * 60 * 1000)
            .withSocketTimeout(3 * 60 * 1000);

Я надеюсь, что это сработает в будущем.

person Shaokai Li    schedule 22.08.2018
comment
Сегодня моя работа снова сообщила о той же ошибке. Итак, эта конфигурация не работает. Я еще не нашел решения. Но я могу быть уверен, что это случайность. - person Shaokai Li; 31.08.2018
comment
Вы нашли конфигурацию, которая работала? - person wolfcall; 30.11.2020