Способ управления согласованностью блоков данных CHUNK в распределенной файловой системе и устройство для его осуществления

(51) МПК НАЦИОНАЛЬНЫЙ ЦЕНТР ИНТЕЛЛЕКТУАЛЬНОЙ СОБСТВЕННОСТИ СПОСОБ УПРАВЛЕНИЯ СОГЛАСОВАННОСТЬЮ БЛОКОВ ДАННЫХ В РАСПРЕДЕЛЕННОЙ ФАЙЛОВОЙ СИСТЕМЕ И УСТРОЙСТВО ДЛЯ ЕГО ОСУЩЕСТВЛЕНИЯ(57) 1. Способ управления согласованностью блоков данныхв распределенной файловой системе, в котором) первично формируют копии блокана основном и резервном серверах доступа к файлу, и одновременно посредством регистра местоположения файла генерируют начальное значение счетчика, соответствующего формируемому блоку, и сохраняют его на основном и резервном серверах доступа к файлу, а также в базе данных регистра местоположения файла) записывают данные в указанные копии блокапосредством клиента доступа к файлу, и затем в случае успешной записи указанных данных на указанные серверы не изменяют начальное значение указанного счетчика для этих серверов, а в случае успешной записи указанных данных только на один из указанных серверов увеличивают начальное значение указанного счетчика для этого сервера с заранее заданным размером шага) в случае успешного изменения указанных данных только на одном из указанных серверов на основании значений указанного счетчика, принятых регистром местоположения файла с указанных серверов, определяют копию указанного блока , значение счетчика для которой максимально, как нормальную, а затем исправляют другую копию,определенную как аномальная. 2. Способ по п. 1, отличающийся тем, что при запросе изменения данных в указанных копиях блокаинициируют это изменение посредством клиента доступа к файлу на основе информации, возвращенной указанному клиенту регистром местоположения файла с указанных серверов доступа к файлу, и затем в случае успешного изменения указанных данных на указанных серверах не изменяют начальное значение указанного счетчика для этих серверов, а в случае успешного изменения указанных данных только на одном из указанных серверов увеличивают начальное значение указанного счетчика для этого сервера с заранее заданным размером шага. 3. Способ по п. 2, отличающийся тем, что шаг изменения значения указанного счетчика задают равным единице. 4. Способ по п. 3, отличающийся тем, что в шаге с) регистром местоположения файла осуществляют посылку запроса указанным серверам на проверку соответствующих копий блокав начале указанного шага и через заданный временной интервал для возможности дальнейшего сравнения результатов проверки, принятых при первом и втором запросах. 5. Способ по п. 4, отличающийся тем, что при наличии в файловой системе не менее двух блоковпосле шага с) осуществляют проверку совпадения копий каждого блока , в ходе которой 1) последовательно принимают посредством регистра местоположения файла информацию с указанных серверов о локальных идентификаторах для каждой копии каждого блока , создают в регистре местоположения файла хэш-таблицусо всеми указанными идентификаторами, а затем ищут в указанной таблице для каждого следующего принятого идентификатора совпадающий с ним идентификатор, и при наличии указанного совпадения определяют копии блока , соответствующие совпадающим идентификаторам, как группу из основной и резервной копий блока 2) осуществляют запись в базу данных регистра местоположения файла всех групп идентификаторов и сравнивают копии блокав каждой из указанных групп. 6. Способ по п. 5, отличающийся тем, что при наличии в системе множества серверов доступа к файлу определяют посредством регистра местоположения файла каждые основной и резервный серверы доступа к файлу, хранящие указанную группу копий, как одну группу серверов, с разделением всех серверов на множество групп. 7. Способ по п. 5, отличающийся тем, что шаг 2) включает проверку наличия записи каждого проверяемого блокав базе данных регистра местоположения файла с немедленным удалением соответствующего блока с серверов доступа к файлу в случае ее отсутствия и в ином случае - сравнение всех значений счетчика для каждого проверяемого блока и определение копии блокас максимальным значением счетчика в качестве нормальной копии соответствующего блока . 8. Способ по п. 7, отличающийся тем, что в случае, когда значение счетчика проверяемого блокав базе данных регистра местоположения файла максимально, запись проверяемого блокаудаляют из базы данных регистра местоположения файла. 9. Способ по п. 7, отличающийся тем, что в случае наличия сервера доступа к файлу с максимальным значением счетчика проверяемого блокапосылают посредством регистра местоположения файла запрос на исправление блокаостальным серверам доступа к файлу путем копирования на них блокас сервера с максимальным значением счетчика, а по окончании указанного копирования значение счетчика проверя 2 16842 1 2013.02.28 емого блокана каждом сервере доступа к файлу изменяют для достижения его совпадения с указанным максимальным значением. 10. Способ по п. 7, отличающийся тем, что в случае, когда значение счетчика проверяемого блокав базе данных регистра местоположения файла является меньшим указанного максимального, это значение изменяют до максимального синхронно со значениями счетчика на всех указанных серверах. 11. Устройство для управления согласованностью блоков данныхв распределенной файловой системе, содержащее по меньшей мере один регистр местоположения файла, связанный посредством сети с подключенными к хранилищу данных по меньшей мере одним основным сервером доступа к файлу и по меньшей мере одним резервным сервером доступа к файлу, при этом регистр местоположения файла выполнен с возможностью создания при формировании на указанных серверах копий блока данныхсчетчика, соответствующего формируемому блоку, генерирования начального значения указанного счетчика и сохранения его в собственной базе данных и на указанных серверах, а указанные серверы выполнены как с возможностью изменения начального значения указанного счетчика для каждого из серверов с заранее заданным размером шага в зависимости от результата попытки записи данных на этот сервер, осуществленной после получения пользовательского запроса на запись посредством клиента доступа к файлу, так и с возможностью передачи итогового значения счетчика регистру местоположения файла для возможности исправления аномальных копий блока данныхна основании результатов сравнения всех значений указанного счетчика. ОБЛАСТЬ ТЕХНИКИ Данное изобретение относится к распределенной файловой системе для хранилищ данных большой емкости и способу управления такой системой в области компьютерных приложений и, более конкретно, к файловой системе для крупномасштабной распределенной обработки данных и способу проверки согласованности избыточных резервных блоков данных в такой файловой системе для управления резервированием. ПРЕДПОСЫЛКИ СОЗДАНИЯ ИЗОБРЕТЕНИЯ В известном уровне техники, чтобы гарантировать высокую эффективность обработки данных и централизованное управление метаданными, крупномасштабная файловая система распределенной обработки данных обычно разрабатывается как сервер централизованного управления метаданными (такой как регистр местоположения файла (,и множество серверов хранения файлов данных (таких как сервер доступа к файлу (, . Когда пользователь обращается к данным, он, прежде всего, запрашивает у регистраконкретное место хранения данных посредством клиента доступа к файлу (, ), а затем клиентинициирует запрос на чтение-запись данных конкретному серверу . Серверуправляет файлом данных путем разделения данных файла на отдельные блоки данных (блоки ), и каждый файл состоит из множества блоков . Соответствие блокафайлу указывается универсальным идентификатором(идентификатор файла), каждый файл имеет идентификатор ,отличный от других файлов, и идентификаторкаждого блокасостоит из идентификатораи номера блока . Информация о распределении всех блоковв файле единообразно помещается в базу данных и управляется регистром . В кластерной системе большой емкости обычно блокиизбыточно резервируются, то есть копии одного и того же блокахранятся на множестве серверов . Однако в известном уровне техники трудно поддерживать согласованность (совпадение 3 16842 1 2013.02.28 друг с другом) нескольких копий блока , что создает относительно большую проблему, главным образом выраженную в следующем как гарантировать одновременную запись соответствующих копий на множестве серверовв процессе операции записи если есть один аномальный или отказавший сервер , как восстановить данные на этом серверекак гарантировать согласованность записи регистраи сервераво время процесса записи, если регистрнаходится в аномальном состоянии. Так как это касается больших блоков , общий способ проверки, такой как алгоритм 5, не может быть применен к блокамв известном уровне техники, так как он будет отрицательно влиять на быстродействие при обработке. Следовательно, известный уровень техники должен быть улучшен и развит. СУЩНОСТЬ ИЗОБРЕТЕНИЯ В настоящем изобретении предлагается распределенная файловая система и способ управления согласованностью блоковдля решения вышеупомянутых проблем известного уровня техники и осуществления проверки и необходимого исправления блоковдля данных большого объема. Техническая схема данного изобретения включает способ управления согласованностью блоковв распределенной файловой системе, который включает следующие шаги) при формировании блокарегистр местоположения файла генерирует значение счетчика, соответствующее формируемому блоку , и сохраняет значение счетчика на серверах доступа к файлу и в регистре местоположения файла) при записи данных в блокклиент доступа к файлу записывает данные в основной и резервный серверы доступа к файлу, и, если данные успешно записаны и в основной, и в резервный серверы доступа к файлу, клиент доступа к файлу не изменяет значения счетчика блокав ином случае клиент доступа к файлу увеличивает с заранее заданным размером шага значение счетчикана тех серверах доступа к файлу, где данные были записаны успешно) упомянутый регистр местоположения файла на основании значений счетчика соответствующего блока , о которых сообщают основной и резервные серверы доступа к файлу, определяет блок , значение счетчика которого максимально, как нормальный и действительный блоки исправляет аномальные блоки . Кроме того, способ может включать следующее при изменении данных блокарегистр местоположения файла возвращает упомянутому клиенту доступа к файлу информацию основного и резервного серверов доступа к файлу, на которых находится блок , и упомянутый клиент доступа к файлу инициирует операцию изменения данных для упомянутых основного и резервного серверов доступа к файлу если данные изменены успешно и на основном, и на резервном серверах доступа к файлу, клиент доступа к файлу не изменяет значение счетчикав ином случае клиент доступа к файлу увеличивает с заранее заданным размером шага значение счетчика измененного блокана том сервере доступа к файлу, где данные были изменены успешно. Кроме того, в способе упомянутый заранее заданный размер шага может быть равен 1. Кроме того, в способе упомянутый шаг С может дополнительно включать следующее регистр местоположения файла посылает запрос на проверку блокаупомянутым серверам доступа к файлу в момент времени запуска и через определенный временной интервал. Кроме того, упомянутый способ может дополнительно включать процесс проверки блока , при этом процесс проверки блокавключает следующее 1) упомянутые серверы доступа к файлу сообщают обо всех локальных идентификаторахрегистру местоположения файла, и регистр местоположения файла со 4 16842 1 2013.02.28 здает хэш-таблицус идентификаторами , принятыми впервые, и для принимаемого впоследствии идентификатораищет в хэш-таблицеидентификатор , совпадающий с упомянутым принимаемым впоследствии идентификатором , и если в хэш-таблицеесть идентификатор ,совпадающий с принимаемым впоследствии идентификатором , то это означает, что блокиявляются группой из основного и резервного блоков 2) регистр местоположения файла записывает все группы идентификаторови проверяет каждый блок . Кроме того, в способе регистр местоположения файла может определять основной и резервный серверы доступа к файлу, хранящие копии одного и того же блока , как одну группу и делить все серверы доступа к файлу в системе на множество групп. Кроме того, в способе упомянутый шаг проверки блоков , соответствующих каждой группе идентификаторов , на шаге 2 может включать 21) проверку, имеют ли проверяемые блокизапись в регистре местоположения файла и немедленное удаление проверяемых блоковс серверов доступа к файлу, если не имеют в ином случае - переход к шагу 22 22) сравнение значений счетчика соответствующих блоковв базе данных регистра местоположения файла и каждого сервера доступа к файлу и определение блокас максимальным значением счетчика в качестве действительного блока . Кроме того, в способе шаг 2 может дополнительно включать следующее если значение счетчика блокав регистре местоположения файла максимально, то запись блокаиз базы данных регистра местоположения удаляют. Кроме того, в способе шаг 2 может дополнительно включать следующее если имеется сервер доступа к файлу, на котором значение счетчикаявляется максимальным, регистр местоположения файла посылает запрос на исправление блокадругим серверам доступа к файлу, на которых значение счетчикаявляется меньшим, и копирует данные действительного блокав аномальный блок после того как данные скопированы, значение счетчика блокана каждом сервере доступа к файлу изменяется так, чтобы сделать значение счетчика совпадающим с максимальным значением счетчика. Кроме того, в способе шаг 2 может дополнительно включать следующее если значение счетчика блокав регистре местоположения файла является меньшим, чем на упомянутых серверах доступа к файлу, значение счетчикав базе данных регистра местоположения файла изменяют синхронно. Распределенная файловая система, включающая по меньшей мере один сервер доступа к файлу и по меньшей мере один регистр местоположения файла, связанные посредством сети упомянутый сервер доступа к файлу подключается к хранилищу данных пользователь посылает запрос на запись данных серверу доступа к файлу и регистру местоположения файла посредством клиента доступа к файлу и увеличивает с заранее заданным размером шага значение счетчика блокана том файловом сервере, где данные записаны нормально причем упомянутый сервер доступа к файлу сконфигурирован по меньшей мере с основным и резервным серверами доступа к файлу, и регистр местоположения файла используется для генерирования значения счетчика,соответствующего блоку , и управления исправлением для аномальных блоковсогласно значению счетчика , о котором сообщают основной и резервный серверы доступа к файлу. Применение счетчика блокав распределенной файловой системе и применение способа управления согласованностью блоковсогласно настоящему изобретению для проверки нормальности и необходимости исправления каждого блокапозволяет легко и эффективно управлять резервными блокамив большой кла 5 16842 1 2013.02.28 стерной системе и поддерживать ее согласованность, более того, появляется возможность исправлять аномальный резервный блок , при этом данная реализация является простой и точной. КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ Фиг. 1 - блок-схема изменения значения счетчика блокасогласно способу настоящего изобретения при записи или изменении данных. Фиг. 2 - блок-схема приема и проверки регистромблоков , о которых сообщает сервер , в соответствии со способом настоящего изобретения. Фиг. 3 - блок-схема частного способа проверки посредством регистрав соответствии со способом настоящего изобретения. Фиг. 4 иллюстрирует структуру распределенной файловой системы в соответствии с настоящим изобретением. ПРЕДПОЧТИТЕЛЬНЫЕ ФОРМЫ ОСУЩЕСТВЛЕНИЯ НАСТОЯЩЕГО ИЗОБРЕТЕНИЯ Каждая предпочтительная форма осуществления данного изобретения будет подробно описана со ссылкой на прилагаемые фигуры. Данное изобретение раскрывает распределенную файловую систему и способ управления согласованностью блоковс использованием концепции счетчика блока, при этом каждый блокснабжается счетчиком для указания количества изменений блока . Значение счетчика увеличивается с заранее заданным размером шага, каждый раз при изменении блока , поэтому, если значения счетчика основного и резервного блоковне совпадают, это означает, что имеется недействительный блок , и аномальные блокисоответственно исправляют. Способ данного изобретения решает проблему управления главным и резервным блоками , и его основная реализация включает следующее. При формировании блоковэти блоки единообразно формируются регистром, и значение счетчика первоначально созданного блокаравно 1. Это значение сохраняется также на сервереи в регистре . Для упрощения описания рассмотрим случай, когда используется один основной и один резервный серверы . Например, для иллюстрации, как показано на фиг. 1, в процессе инициирования пользователем процесса записи данных блокаклиент АС одновременно записывает две копии данных в основной и резервный серверысоответственно, и, если запись как в основной, так и в резервный серверыявляется успешной, процесс изменения счетчикане инициируется. Если происходит отклонение при записи данных в некоторый сервер , клиентначинает процесс изменения счетчика для нормального сервера , чтобы изменить текущее значение счетчика нормального блока . Следовательно, значения счетчика блоковна основном и резервном серверахне будут одинаковы, и значение счетчика нормального блокабудет больше. На более поздней стадии аномальный блокможет быть определен простой проверкой, и этот блокисправляют на аномальном сервере . Когда пользователь инициирует изменение контента файла, регистрвозвращает клиентуинформацию двух серверов , на которых располагается соответствующий блок , и клиентнемедленно начинает операцию изменения данных для двух серверов . Если и основной, и резервный серверыуспешно изменяют данные, процесс изменения счетчикане инициируют. Если при записи данных на некоторый серверпроисходит отклонение, клиентинициирует процесс изменения счетчикадля нормального сервера , чтобы увеличить с заранее заданным размером шага значение счетчика соответствующего блокана упомянутом сервере , и одновременно увеличивает значение счетчика блокав регистре . Таким образом, значения счетчика блоковна основном и резервном серверах 6 16842 1 2013.02.28 становятся неодинаковыми. Аномальный блокможет быть определен простой проверкой на более поздней стадии путем сравнения значений счетчика, и блокисправляют на аномальном сервере . С помощью вышеупомянутого процесса можно гарантировать, что в случае сбоя значения счетчика блоковна основном и резервном серверахобязательно будут различными. Регистринициирует запрос на проверку блокасерверув момент запуска и через определенный временной интервал. В соответствии со значениями счетчика блоков , о которых сообщают основной и резервный серверы , регистрможет определить сервер , на котором блокявляется правильным,с максимальным значением счетчика, в качестве основы для определения, и, таким образом, блокина аномальном серверемогут быть исправлены. Ниже способ управления согласованностью блоковв распределенной файловой системе согласно данному изобретению будет проиллюстрирован примерами. Определим идентификатор(идентификатор блока ) как(идентификатор файла, 4-байтовое целое число без знака)нумерация(2-байтовое целое число без знака)счетчик (4-байтовое целое число без знака) на стороне регистраимеется база данных для хранения каждого идентификатора, содержащая значение счетчикаи информацию о местоположении сервера , на котором находится упомянутый блоккаждый блокхранится на сервере , и значение счетчиказаписывается на стороне сервера. Как показано на фиг. 1, когда пользователь начинает процесс записи, клиент ,прежде всего, обращается к региструдля назначения всех серверов , которые имеют отношение к резервированию. После успешного назначения регистрзаписывает идентификаторв локальную базу данных, и начальное значение счетчикаустанавливается на 1. Клиентнепосредственно посылает запрос на запись данных двум серверам . Когда клиентзаписывает данные, он непрерывно отчитывается о состоянии записи каждого сервера . Сообщаемая информация о состоянии включает идентификаторзаписываемого в данное время блокаи состояние записи каждого сервера . После того как регистрпринимает сообщения о состоянии, он сравнивает состояния записи двух серверов , и если все они являются нормальными, то никакая обработка не требуется если оба сервераявляется аномальными, значения счетчикав регистренемедленно увеличивают если обнаружено, что состояние записи одного серверааномально, в то время как состояние другого является нормальным, регистринициирует запрос на изменение счетчиканормальному серверу . После того как упомянутый нормальный серверпринимает запрос, он увеличивает значение счетчика, соответствующее локальному блоку , и возвращает сообщение об успехе изменения регистру . После того как регистрпринимает сообщение об успехе изменения, он изменяет значение в локальной базе данных на значение нормального сервера , в то время как сообщаемое аномальным серверомзначение счетчика блокане будет изменено. Когда пользователь инициирует изменение, процедура обработки аналогична вышеописанному процессу. Отличие заключается в том, что когда записываются новые данные,регистрвозвращает информацию того сервера , на котором находится новый блок , или информацию сервера , который уже имеет данные. Регистринициирует процесс запроса на проверку блокадля серверав момент запуска и через некоторый интервал времени, как показано на фиг. 2. Способ проверки заключается в следующем регистррассматривает каждые основной и резервный серверыкак пару, и полный кластер блоковразделяется на несколько пар, например напар. Для каждой пары запрос на проверку посылается каждому 7 16842 1 2013.02.28 члену пары, при этом сервер , который принял запрос, сообщает все локальные идентификаторырегистру , и регистрпомещает информацию первого принятогов хэш-таблицуи выполняет поиск в хэш-таблицепосле приема последующего идентификатора , и, если он находит идентификаторв таблице, это означает, что они составляют пару из основного и резервного блоков . Если регистрне находит принятый идентификаторв хэш-таблице, это может быть связано с тем, что эти основной и резервный идентификаторыне комплектны делают запись всех пар информацииодновременно,и после того, как пара членов успешно проверяется, регистрпроверяет информацию каждого идентификатора . Процесс проверки показан на фиг. 3, и этот процесс включает шаг первый проверяют наличие записи блокав регистреи немедленно удаляют блок , если запись отсутствует, в другом случае продолжают проверку шаг второй вычисляют значение счетчика блокав базе данныхи на каждом сервере , сравнивают их для получения максимального значения и принимают блокс максимальным значением счетчика в качестве действительного и нормального шаг третий проверяют значение счетчика , и данный процесс включает следующее если значение счетчика блокав регистреявляется максимальным, это означает, что данные блокана всех серверахненадежны и необходимо удалить запись блокаиз базы данныхесли есть сервер , имеющий максимальное значение счетчика блока , регистринициирует запрос на исправление блокавсем серверам , на которых блокимеет меньшее значение счетчика, то есть сообщает серверу , на котором значение счетчика является максимальным, что определенный блок ,находящийся на нем, должен быть скопирован с этого локального сервера на аномальные серверы . После завершения копирования значение счетчика соответствующего блокана каждом серверенемедленно изменяется, чтобы сделать его совпадающим с максимальным значением если значение счетчика блокав регистременьше этого значения на серверах , регистрдолжен изменить значение счетчикав базе данных . На фиг. 4 показана структура распределенной файловой системы в соответствии с настоящим изобретением, и эта система содержит по меньшей мере один сервер 401 доступа к файлу и по меньшей мере один регистр 402 местоположения файла, которые связаны посредством сети, такой как локальная сеть , при этом каждый сервер 401 доступа к файлу подключен также к соответствующему хранилищу 411 данных, по меньшей мере один регистр 402 местоположения файла используется для генерирования значения счетчика соответствующего блокаво время операции записи данных для сервера 401 доступа к файлу. Пользователь посылает запрос на доступ к данным соответствующему серверу 401 доступа к файлу и регистру 402 местоположения файла посредством упомянутого клиента 403 доступа к файлу сервер 401 доступа к файлу конфигурируется по меньшей мере с основным и резервным серверами доступа к файлу, и клиент 403 доступа к файлу используется для записи данных в соответствующий блокна основном и резервном серверах доступа к файлу и для увеличения значения счетчика блокас заранее заданным размером шага на том сервере доступа к файлу, на котором запись данных является нормальной регистр 402 местоположения файла используется для определения, является ли блоканомальным, в соответствии с тем, совпадают ли значения счетчика соответствующих блоков , сообщенные ос 8 16842 1 2013.02.28 новным и резервным серверами доступа к файлу, а также используется для управления исправлением аномальных блоков . Распределенная файловая система и способ управления согласованностью блоков, в соответствии с данным изобретением, позволяют легко и эффективно управлять избыточными резервными блокамив кластерной системе большой емкости,чтобы поддерживать их согласованность и исправлять аномальные резервные блоки. Это обеспечено главным образом тем, что 1. Если в процессе сохранения данных пользователем (дозаписи или изменения данных) один из основного и резервного серверовявляется аномальным, значение счетчика блокана нормальном сервереувеличивают, в то время как значение счетчика блокана аномальном серверене изменяют и, когда позже регистрвыполняет проверки синхронизации, он удаляет с сервераблок , значение счетчика которого является меньшим, согласно проверке значения счетчика блока, и исправляет соответствующие блокина аномальном серверена основе блоковнормального сервера . 2. Согласно способу настоящего изобретения, блок , значение счетчика которого максимально, принимают в качестве нормального и действительного, и если значение, записанное в регистре , максимально, то это означает, что блокина всех серверахненадежны если значение, записанное на одном сервере , максимально,то необходимо исправить этот блокна тех серверах , на которых это значение меньше, и одновременно изменить запись в регистре . Из вышеприведенного описания можно видеть, что распределенная файловая система и способ управления согласованностью блоков , в соответствии с данным изобретением, могут быть легко и точно реализованы проверка и вычисление являются очень быстрыми и подходящими для обработки больших блоков . Очевидно, что представленное выше описание предпочтительных форм осуществления данного изобретения является описанием конкретных вариантов осуществления и не должно рассматриваться как ограничение объема настоящего изобретения, который определяется прилагаемой формулой изобретения. ПРОМЫШЛЕННАЯ ПРИМЕНИМОСТЬ Распределенная файловая система и способ управления согласованностью блоков, предлагаемые в настоящем изобретении, применяют счетчик блокадля определения, является ли блоканомальным или должен ли блокбыть исправлен, и в большой кластерной системе эти система и способ позволяют легко и эффективно управлять избыточными резервными блокамии поддерживать их согласованность, кроме того, появляется возможность исправлять аномальные резервные блоки , при этом реализация предложенных системы и способа является простой и точной. Национальный центр интеллектуальной собственности. 220034, г. Минск, ул. Козлова, 20. 10