მონაცემთა დედუპლიკაცია არის პოპულარული და პოპულარული შენახვის ტექნოლოგია, რომელიც ოპტიმიზაციას უკეთებს შენახვის ტევადობას. ის გამორიცხავს ზედმეტ მონაცემებს მონაცემთა ნაკრებიდან დუბლიკატი მონაცემების ამოღებით და მხოლოდ ერთი ასლის დატოვებით. როგორც ნაჩვენებია ქვემოთ მოცემულ ფიგურაში. ამ ტექნოლოგიას შეუძლია მნიშვნელოვნად შეამციროს ფიზიკური შენახვის სივრცის საჭიროება მონაცემთა შენახვის მზარდი მოთხოვნის დასაკმაყოფილებლად. დედუპლიკაციის ტექნოლოგიას შეუძლია მრავალი პრაქტიკული სარგებლის მოტანა, ძირითადად შემდეგი ასპექტების ჩათვლით:
| (1) | დააკმაყოფილეთ ROI (ინვესტიციის ანაზღაურება)/TCO (საკუთრების მთლიანი ღირებულება) მოთხოვნები; |
| (2) | მონაცემთა სწრაფი ზრდის ეფექტურად კონტროლი შესაძლებელია; |
| (3) | ეფექტური შენახვის სივრცის გაზრდა და შენახვის ეფექტურობის გაუმჯობესება; |
| (4) | დაზოგეთ შენახვისა და მართვის მთლიანი ხარჯები; |
| (5) | დაზოგეთ მონაცემთა გადაცემის ქსელის გამტარუნარიანობა; |
| (6) | დაზოგეთ ექსპლუატაციისა და მოვლა-პატრონობის ხარჯები, როგორიცაა სივრცე, ელექტროენერგიის მიწოდება და გაგრილება. |
Dedupe ტექნოლოგია ფართოდ გამოიყენება მონაცემთა სარეზერვო ასლის შექმნისა და არქივირების სისტემებში, რადგან მონაცემთა მრავალჯერადი სარეზერვო ასლის შექმნის შემდეგ ბევრი დუბლირებული მონაცემი წარმოიქმნება, რაც ძალიან შესაფერისია ამ ტექნოლოგიისთვის. სინამდვილეში, dedupe ტექნოლოგიის გამოყენება შესაძლებელია მრავალ სიტუაციაში, მათ შორის ონლაინ მონაცემებში, ახლო მანძილზე არსებულ მონაცემებსა და ოფლაინ მონაცემთა შენახვის სისტემებში. მისი დანერგვა შესაძლებელია ფაილურ სისტემებში, მოცულობის მენეჯერებში, NAS-სა და sans-ში. Dedupe ასევე შეიძლება გამოყენებულ იქნას მონაცემთა კატასტროფის აღდგენისთვის, მონაცემთა გადაცემისა და სინქრონიზაციისთვის, რადგან მონაცემთა შეკუმშვის ტექნოლოგია შეიძლება გამოყენებულ იქნას მონაცემთა შეფუთვისთვის. Dedupe ტექნოლოგიას შეუძლია დაეხმაროს მრავალ აპლიკაციას მონაცემთა შენახვის შემცირებაში, ქსელის გამტარუნარიანობის დაზოგვაში, შენახვის ეფექტურობის გაუმჯობესებაში, სარეზერვო ასლის ფანჯრის შემცირებაში და ხარჯების დაზოგვაში.
Dedupe-ს ორი ძირითადი განზომილება აქვს: deduplocation-ის კოეფიციენტები და შესრულება. Dedupe-ის შესრულება დამოკიდებულია კონკრეტულ დანერგვის ტექნოლოგიაზე, ხოლო Dedupe-ის სიჩქარე განისაზღვრება თავად მონაცემების მახასიათებლებით და აპლიკაციის ნიმუშებით, როგორც ეს ნაჩვენებია ქვემოთ მოცემულ ცხრილში. შენახვის სისტემების მომწოდებლები ამჟამად აცხადებენ deduplication-ის მაჩვენებლებს 20:1-დან 500:1-მდე.
| მაღალი დედუპლიკაციის მაჩვენებელი | დაბალი დედუპლიკაციის მაჩვენებელი |
| მომხმარებლის მიერ შექმნილი მონაცემები | მონაცემები ბუნებრივი სამყაროდან |
| მონაცემთა ცვლილების დაბალი მაჩვენებელი | მონაცემების ცვლილების მაღალი სიჩქარე |
| საცნობარო მონაცემები, არააქტიური მონაცემები | აქტიური მონაცემები |
| დაბალი მონაცემთა ცვლილების სიჩქარის აპლიკაცია | მაღალი მონაცემთა ცვლილების სიჩქარის აპლიკაცია |
| სრული მონაცემთა სარეზერვო ასლი | მონაცემთა დამატებითი სარეზერვო ასლი |
| მონაცემების გრძელვადიანი შენახვა | მონაცემთა მოკლევადიანი შენახვა |
| მონაცემთა აპლიკაციების ფართო სპექტრი | მონაცემთა აპლიკაციების მცირე დიაპაზონი |
| უწყვეტი მონაცემთა ბიზნეს დამუშავება | ზოგადი მონაცემთა ბიზნეს დამუშავება |
| მცირე მონაცემების სეგმენტაცია | დიდი მონაცემების სეგმენტაცია |
| წაგრძელებული მონაცემთა სეგმენტაცია | ფიქსირებული სიგრძის მონაცემთა სეგმენტაცია |
| აღქმული მონაცემთა შინაარსი | მონაცემთა შინაარსი უცნობია |
| დროის მონაცემების დედუპლიკაცია | სივრცითი მონაცემების დედუპლიკაცია |
დედუპირების განხორციელების წერტილები
Dedupe ტექნოლოგიის შემუშავების ან გამოყენებისას გასათვალისწინებელია სხვადასხვა ფაქტორი, რადგან ეს ფაქტორები პირდაპირ გავლენას ახდენს მის მუშაობასა და ეფექტურობაზე.
| (1) | რა | რომელი მონაცემებია შეწონილი? |
| (2) | როდესაც | როდის გაქრება წონა? |
| (3) | სად | სად არის წონის დაკლება? |
| (4) | როგორ | როგორ შევამციროთ წონა? |
Dedupe Key Technology
შენახვის სისტემის დედუპლიკაციის პროცესი ზოგადად ასეთია: პირველ რიგში, მონაცემთა ფაილი იყოფა მონაცემთა ნაკრებად, თითოეული ბლოკისთვის გამოითვლება თითის ანაბეჭდი, შემდეგ კი თითის ანაბეჭდის ჰეშის ძიების საკვანძო სიტყვების საფუძველზე, შესაბამისობა მიუთითებს დუბლიკატი მონაცემთა ბლოკების მონაცემებზე, ინახავს მხოლოდ მონაცემთა ბლოკის ინდექსის ნომერს, წინააღმდეგ შემთხვევაში ეს ნიშნავს, რომ მონაცემთა ბლოკი არის ახალი მონაცემთა ბლოკის ერთადერთი ნაწილი, რომელიც ინახავს მონაცემთა ბლოკს და ქმნის შესაბამის მეტაინფორმაციას. ამრიგად, შენახვის სისტემაში ფიზიკური ფაილი შეესაბამება FP მეტამონაცემების ნაკრების ლოგიკურ წარმოდგენას. ფაილის წაკითხვისას, ჯერ წაიკითხეთ ლოგიკური ფაილი, შემდეგ FP თანმიმდევრობის მიხედვით, ამოიღეთ შესაბამისი მონაცემთა ბლოკი შენახვის სისტემიდან, აღადგინეთ ფიზიკური ფაილის ასლი. ზემოაღნიშნული პროცესიდან ჩანს, რომ Dedupe-ის ძირითადი ტექნოლოგიები ძირითადად მოიცავს ფაილის მონაცემთა ბლოკის სეგმენტაციას, მონაცემთა ბლოკის თითის ანაბეჭდის გამოთვლას და მონაცემთა ბლოკის მოძიებას.
(1) ფაილის მონაცემთა ბლოკის სეგმენტაცია
(2) მონაცემთა ბლოკის თითის ანაბეჭდის გამოთვლა
(3) მონაცემთა ბლოკის მოძიება
ქსელური პაკეტების დედუპლიკაციის დასაწყებად რეკომენდებული მოდელების მოსაძებნად:
Mylinking™ ქსელური პაკეტების ბროკერი (NPB) ML-NPB-640048*10GE SFP+ პლუს 4*40GE/100GE QSFP28, მაქს. 880Gbps
Mylinking™ ქსელური პაკეტების ბროკერი (NPB) ML-NPB-56606*40GE/100GE QSFP28 პლუს 48*10GE/25GE SFP28, მაქს. 1.8 ტბ/წმ
Mylinking™ ქსელური პაკეტების ბროკერი (NPB) ML-NPB-506048*10GE SFP+ პლუს 2*40GE QSFP, მაქს. 560 გბიტი/წმ
Mylinking™ ქსელური პაკეტების ბროკერი (NPB) ML-NPB-486048*10GE SFP+, მაქს. 480 გბიტი/წმ, ფუნქცია პლუს
Mylinking™ ქსელური პაკეტების ბროკერი (NPB) ML-NPB-481048*10GE SFP+, მაქს. 480 გბიტი/წმ
Mylinking™ ქსელური პაკეტების ბროკერი (NPB) ML-NPB-2410P24*10GE SFP+, მაქს. 240Gbps, DPI ფუნქცია
Mylinking™ ქსელური პაკეტების ბროკერი (NPB) ML-NPB-6400
48*10GE SFP+ პლუს 4*40GE/100GE QSFP28, მაქს. 880Gbps
გამოქვეყნების დრო: 2022 წლის 18 ოქტომბერი
