VLDB কাগজ থেকে গুগলের বিজ্ঞাপন বিভাগের F1 ডাটাবেস দেখার

ক্লিক করুন "উপরে"মোট চ্যাট উড়ে",পাবলিক না ফলো করতে পছন্দ করুন ।

লেখাটি পড়তে সময় লাগে প্রায় ২০ মিনিট ।


সম্প্রতি ভিএলবির কিছু কাগজ পড়ে গিয়েছে তাঁদের কাজের কারণে । এর মধ্যে রয়েছে গুগলের সদ্য প্রকাশিত F1 ডেটাবেসের একটি বিশ্লেষণ । সব সময় সহজে গুগল পেপার পড়া যায় না । কারণ, গুগল সবসময়ই বলে অর্ধেক ছিপছিপে অর্ধেক । এই কাগজ লেখার জন্য তুলনামূলক ভাবে খোলা, নয়তো অভব্য আচরণ এড়াতে পারেন না ।


এই পত্রিকাটি গুগলের 2013 VLDB f1-এর অনুসারী: একটি বিতরণ করা এসকিউএল ডাটাবেস যা স্কেল, যা Google এর F1 ডাটাবেস কিভাবে বছরের পর বছর ধরে বিকশিত হয়েছে তার একটি সমন্বিত চিত্র প্রদান করে । এই কাগজটি বিশদে আলোচিত হয় এই পত্রিকায় ।


F1 এবং প্রতিযোগীদের পটভূমি

F1-এর ইতিহাস পর্যালোচনা করা যাক । F1 একটি ডাটা কোয়েরি সিস্টেম যা একাধিক তথ্য উৎস সমর্থন করে । এটি মূলত গুগলের বিজ্ঞাপনী বাহুতে জন্মগ্রহণ করে । মূল উদ্দেশ্যের মূল উদ্দেশ্যই ছিল সেই সময় বিজ্ঞাপন ব্যবস্থার মাইএসকিউএল ক্লাস্টার বদলানো । F1 প্রথম থেকে একটি কোয়েরি ইঞ্জিন হিসাবে অবস্থান করা হয়েছে, কঠোর কম্পিউটেশনাল স্টোরেজ বিচ্ছেদ নীতি প্রয়োগ. নীচে স্টোরেজ সিস্টেম ছিল বিগটেবিলের পরবর্তী জেনারেশন স্পিয়ান্নর, যা তখন সমান্তরাল ভাবে গড়ে উঠেছিল ।


এরপর 2014 সালে ভিএলএলবি গুগল প্রকাশিত মেসা, একাধিক ডেটা সেন্টারের জন্য গ্লোবাল ডেটা গুদাম ব্যবস্থা । F1's প্রাথমিক নোঙর দ্বিতীয় সিস্টেম হয়ে ওঠে । F1 বর্তমান দিন বিবর্তিত হয়েছে একটি সিস্টেম হিসাবে, যা তথ্য ফেডারেশন জিজ্ঞাসার তথ্য সমর্থন করতে পারে ।


বিকাশের এত বছর পর গুগল বেশ কিছু ডেটা প্রসেসিং সিস্টেমও গঠন করেছে । এই ডাটাবেস সিস্টেমগুলি নিজেরাই শক্তিশালী প্রতিযোগিতামূলক সম্পর্ক রয়েছে । অন্যভাবে বলছি, আমি আপনার কাছ থেকে একজন ক্লায়েন্ট দখল করতে পারেন, এবং আমার দল আরো বড় হবে. F1, Google এর মধ্যে ক্রমবর্ধমান সিস্টেম হিসাবে, এছাড়াও এই প্রতিযোগিতামূলক সম্পর্ক বিজয়ী হয়.


এই ডাটাবেসের ইতিহাস এবং সেবা দর্শকদের বুঝতে আমাদের জন্য গুরুত্বপূর্ণ যে আমাদের জন্য F1 সিস্টেমের ব্যবসায়িক সহায়তা এবং প্রযুক্তিগত অপশন একটি গভীর উপলব্ধি লাভ. তাই নিচে আমি এবং বুঝতে পারছি F1 এই কাগজ Google এর অন্যান্য ডাটাবেস সিস্টেমের সাথে সম্পর্কিত একটি পরিচিতি করতে.


F1 মূলত গুগলের বিজ্ঞাপন বিভাগের সাথে মাইএসকিউএল ক্লাস্টার সন প্রতিস্থাপন করতে অবস্থান করছিল । এসপিয়ান্নর, F1 এর অন্তর্নিহিত সিস্টেম হিসাবে, একটি স্টোরেজ টায়ার যে লেনদেন প্রক্রিয়াকরণ সমর্থন করে (2 লকিং ফেজ ব্যবহার বাস্তবায়িত) এবং F1 একটি কম্পিউটিং ইঞ্জিন হিসাবে বিদ্যমান.


কিন্তু স্পেয়ান্নর দল নিজেই স্টোরেজ লেয়ার গড়ে তোলার পর তা ডেটা কোয়েরি তৈরি করতে শুরু করে এবং স্প্যানডেক্স নামে একটি ইন্টারনাল জিজ্ঞাসার ব্যবস্থা গড়ে তোলে । কিভাবে স্পিয়ান্নর একটি সম্পূর্ণ এসকিউএল সিস্টেম কাগজে বিবর্তিত 2017 সালে প্রকাশিত হয় । এর ফলে F1 ও স্পয়ান্নর মধ্যে প্রতিযোগিতামূলক সম্পর্ক গড়ে উঠেছিল । এ দিন পর্যন্ত গুগলের মধ্যে দু ' দলের দ্বন্দ্ব প্রচণ্ড থাকে ।


ড্রেমেল গুগলের জন্য একটি ইন-হাউজ ডেটা গুদাম সিস্টেম । গুগলের কাছে রয়েছে ড্রেমেল, যার নাম বিগ কোয়েরি । ড্রেমেল একটি কলাম ভিত্তিক ফরম্যাট সহ একটি সেমি-স্ট্রাকচারড ডাটা মডেল ব্যবহার করে, যার প্রথম প্রজন্ম হল কলামেনিয়াও ।


দ্বিতীয় প্রজন্মের ফরম্যাট ক্যাপঅ্যাকটা চালু হয়েছিল চূড়ায় ওঠার পর । উভয় ফরম্যাটের বহিঃস্থ ডাটা উত্স F1 দ্বারা সমর্থিত. গুগলের মধ্যেই ড্রেমেল-এর অস্বাভাবিক সাফল্য । তারিখ, বিগকোয়েরি Google এর ক্লাউড সবচেয়ে সফল বড় ডাটা প্রোডাক্ট রয়ে গেছে ।


চাপটা গুগলের ইন্টারনাল ম্যাকমান ফ্রেমওয়ার্কের আপগ্রেড । মূলত জাভা-তে গড়ে তোলা হয়, এটি মূলত বলা হয় চাপজাভা, পরে তা সি-তেও পাওয়া যায় । চাপটা মানচিত্রের জন্য উন্নয়ন মডেল পরিবর্তন করে এবং ম্যাকমান কাঠামোতে লেখা কমিয়ে, আরও উচ্চ পর্যায়ের Api প্রবর্তন করে, যা স্ফুলিঙ্গ সদৃশ বিকশিত হয়েছিল ।


অন্তর্নিহিত এক্সিকিউটিভদের পরিবেশে, যেমন মানচিত্র-হ্রাস-হ্রাসের মতো প্যাটার্ন সমর্থন করতে ম্যাকমান এর অনমনীয় মোড পরিবর্তন করে । এর সুবিধা হলো, বিভিন্ন ধরনের ডাটা প্রসেসিং পাইপলাইন লিখতে খুবই নমনীয়, অসুবিধা হচ্ছে সহজ জিনিসকেও অনেক কোড লিখতে হয়, এসকিউএল-এর মতো সহজ নয় ।


F1's ব্যবসায়িক পজিশনিং

F1 সিস্টেম তিনটি ভিন্ন উপায় সমর্থন করে তথ্য:

1. জিজ্ঞাস্য যে ওটিপি টাইপ শুধুমাত্র কয়েকটি রেকর্ড প্রভাবিত

2. কম-ল্যাটেন্সি ওলপ জিজ্ঞাসার বড় পরিমাণ তথ্য জড়িত

৩. বড় আকারের ইটিএল পিললাইন


F1's কাগজ এই তিনটি বিভিন্ন ডাটা কোয়েরি পদ্ধতি বিশ্লেষণ প্রদান করে না. আমি F1 সমর্থকদের তিনটি বিভিন্ন ডাটা কোয়েরি পদ্ধতির কারণ বিশ্লেষণ করতে 2013 F1 কাগজ এবং অন্যান্য পটভূমি একত্রিত করি ।


জিজ্ঞাসার ওটিপি টাইপের F1'S মূল লক্ষ্য থেকে উৎপত্তি: বিজ্ঞাপন ব্যবসায়ে মাইএসকিউএল ক্লাস্টার প্রতিস্থাপন করা । 2013 F1 পেপার অনুযায়ী, এর ওটিপি সাপোর্ট সীমিত । F1 সিস্টেমে একটি ওটিপি কোয়েরি ০ থেকে ১ লেখার অপারেশনের পরে বেশ কিছু অপারেশন পড়তে হয় । F1 সিস্টেমের ওটিপি-র ট্র্যাডিশনাল প্রসেসিং পাওয়ার নির্ভর করে জিনিসের প্রক্রিয়াকরণের জন্য এসপিয়ান্নর অন্তর্নিহিত সমর্থন ।


2018-এর কাগজে লেখক ওটিপি টাইপের জিজ্ঞাসার বিস্তারিত বিবরণ প্রদান করেন না । যাইহোক, সাধারণ জ্ঞান বিশ্লেষণ অনুযায়ী, একটি রাষ্ট্রহীন কোয়েরি ইঞ্জিন যা ট্র্যাডিশনাল প্রসেসিং সমর্থন করতে প্রয়োজন, জিনিসের জন্য অন্তর্নিহিত স্টোরেজ সমর্থন থেকে আলাদা করা যাবে না । তাই F1 ইঞ্জিন স্পষ্টত যে কোনো ডাটা উত্স এর সাথে সংযোগ করার জন্য ট্র্যাডিশনাল প্রক্রিয়াকরণ করতে পারে না. স্পেয়ান্নর নিজে একটি ডাটা কোয়েরি ইঞ্জিন প্রদান করে, সেখানে জিনিস প্রক্রিয়াকরণের জন্য সমর্থন আছে । এ ব্যাপারে F1 ও এসপিন্নর একটি স্পষ্ট প্রতিযোগিতামূলক সম্পর্ক রয়েছে ।


কম ল্যাটেন্সি এবং ওলপ জিজ্ঞাসার যে বিপুল পরিমাণ ডেটা জড়িত তা অনেকটা বিগকোয়েরির মতো অবস্থান করছে । এর বাস্তবায়নেও একটি বিগকোয়েরি বাস্তবায়ন রয়েছে, প্রধানত পাইপলাইন উপায় অনুসন্ধান এবং ডাটা ফলাফল ফেরত ।


গুগলের মধ্যে নিজেকে এবং অন্যান্য প্রতিযোগীদের উপস্থাপন করা এই নিবন্ধের বিশ্লেষণ অনুযায়ী, গোড়ার দিকে তেনজিং শাট ডাউন নামে একটি গুগল সিস্টেমের পর এই ব্যবসাকে বিগকোয়েরি বা F1-এ সরানো হয় । আমরা বুঝতে পারি যে বিগকোয়েরি আর F1 এই ধরনের জিজ্ঞাসার প্রতিযোগী । প্র্যাক্টিসে বিগকোয়েরি বেশি সফল ।


প্রথমদিকে গুগলের অভ্যন্তরে বড় আকারের ইটিএল পাইপলাইন বেশ কয়েকটি ম্যাকমান মিশনের মাধ্যমে অনেকটাই অর্জিত হয় । চাপমুক্ত হয়ে এই ব্যবসাগুলো চাপমুক্ত হয়ে এগিয়ে গেছে । কিন্তু চাপটা খুব খারাপ ব্যবস্থা, আর একটা সহজ ডেটা কোয়েরি করতে অনেক কোড লাগে । এই গবেষণাপত্রে লেখক কিছু ব্যবসায়ে F1's সফল প্রতিস্থাপনের স্পষ্ট উল্লেখ করে দেন ।


উপরোক্ত বিশ্লেষণের সাথে সংযুক্ত, আমরা সহজভাবে পরবর্তী উপসংহারে আসতে পারি । গুগলের ইন্টারনাল F1-এ ওটিপি ব্যবসা প্রাথমিকভাবে F1's বছরের লক্ষ্য । F1 নির্ভর এসপিয়ান্নর জন্য ওটিপি-র সমর্থন । তখন এসপিন্নর নিজে একই ধরনের ইঞ্জিন গড়ে তোলেন । আমি F1 সম্পর্কে যা শুনেছি তা অসঙ্গত নয়, যা মূলত বিজ্ঞাপন বিভাগ, এবং অ-বিজ্ঞাপন বিভাগ দ্বারা ব্যবহৃত হয়, যা স্পিয়ান্নর ব্যাপকভাবে ব্যবহার করে ।


লো-ল্যাটেন্সি ওলপ জিজ্ঞাসার মধ্যে, F1-এর প্রধান প্রতিযোগিতা হল বিগকোয়েরি । সঙ্গে বিগকোয়েরির সাফল্য আজ । F1 শুধুমাত্র তার বাড়ির বিজ্ঞাপন বিভাগে একটি ব্যবসায়িক বেস থাকা উচিত.


চাপমুক্ত গুগলের মধ্যেই মিশ্র ব্যবস্থা । ম্যাকমান থেকে ভালো, কিন্তু ব্যবহার করা সহজ নয় । F1 টিএল ব্যবসায় একটি শক্তি এবং বাজারের একটি অংশ ক্যাপচার করতে পারেন । একটি প্রযুক্তিগত স্থাপত্য দৃষ্টিকোণ থেকে, কিভাবে ETL এর ভাল ব্যবহার অর্জন F1 দলের 2018 কাগজ আরো সমালোচনামূলক প্রযুক্তি.


F1's সিস্টেম আর্কিটেকচার

নিচের ছবিটি F1 সিস্টেমের আর্কিটেকচার ডায়াগ্রাম 2018 পত্রিকায়:

 

                            

নিচের ছবিটি F1 সিস্টেম আর্কিটেকচার ডায়াগ্রাম 2013 পত্রিকায়:



F1 সিস্টেম বিভিন্ন ডাটা কেন্দ্রে মোতায়েন করা যেতে পারে, কিন্তু প্রতিটি ডাটা সেন্টার কম্পিউটিং ক্লাস্টার একটি সম্পূর্ণ সেট আছে. ক্লাস্টার 1 F1Master গঠিত হয় । এটি একটি নির্বাচিত অ-একক-নোড সেবা, প্রতিটি ডাটা কেন্দ্রে অনন্য । প্রাথমিকভাবে জিজ্ঞাসার এক্সিকিউশনের উপর নজরদারি এবং সব F1Servers পরিচালনা করা হয় । এই সিস্টেমে বেশ কিছু F1 সার্ভারকে নিয়ে গঠিত যা আসলে জিজ্ঞাসার অনুরোধ হ্যান্ডেল করে ।


এছাড়াও রয়েছে F1 ওয়ার্কার পুল । যখন একটি কোয়েরি সমান্তরাল ভাবে কার্যকর করা প্রয়োজন, তখন এই কর্মীদের একটি সমান্তরাল কোয়েরি নির্বাহ করা হয়, এবং সংশ্লিষ্ট F1 সার্ভার জিজ্ঞাসার কোড হয়ে যায় । 2013 সিস্টেম আর্কিটেকচার ডায়াগ্রাম-এ কর্মীকে ক্রীতদাস বলা হয় । এটা একটা আলাদা নাম মাত্র । F1 সার্ভারের প্রকৃত দায়িত্বগুলো আরো স্পষ্টভাবে 2013 পত্রিকায় বলা হয়েছে ।


এই সিস্টেমে একটি ক্যাটালগ সেবা এবং একটি ইউডিএফ সার্ভার রয়েছে । 2013 পত্রিকায় সিস্টেম আর্কিটেক্ট-এর সংযোজনের সঙ্গে এই বিষয়গুলি আপেক্ষিক । ক্যাটালগ সেবা একটি মেটাডাটা সেবা যা বিভিন্ন ডাটা উৎসের ডাটা চেহারা হিসেবে সংজ্ঞায়িত করে । আমরা দেখতে পাচ্ছি, 2013-এর সিস্টেম আর্কিটেকচার-এ শুধু স্পিয়ান্নর, কিন্তু 2018 কাগজে তথ্য-সূত্র বৈচিত্র্যময় । তাই ক্যাটালগ সার্ভিস F1-এর উন্নয়নে মাল্টি-ডেটা সোর্স ফেডারেল কোয়েরি ইঞ্জিন হয়ে ওঠার জন্য একটি প্রয়োজনীয় পরিষেবা ।


ইউডিএফ সার্ভার একটি নতুন জিনিস F1 এর 2018 পত্রিকায় প্রকাশ করবে । এর প্রধান তাৎপর্য হল, ইটিএল এবং চাপমুক্ত প্রতিস্থাপনের জন্য সমর্থন অর্জন করা । আমরা পরে আরও বিশদে তা ঢেকে দেবো ।

F1's কোয়েরি মোড

F1's কোয়েরি প্যাটার্ন সহজেই ইন্টারেক্টিভ এবং অ-ইন্টারেক্টিভ মধ্যে ভাগ করা যেতে পারে. 2013 এবং 2018 পত্রের সমাহার । ইন্টারেক্টিভ এক্সিকিউশন প্রাথমিকভাবে জিজ্ঞাসার জন্য যে শুধুমাত্র ওটিপি টাইপের কয়েকটি রেকর্ড প্রভাবিত করে এবং কম ল্যাটেন্সি ওলপ জিজ্ঞাসার জন্য যা প্রচুর পরিমাণে ডেটা যুক্ত করে । এই সিস্টেমটি F1 সার্ভারের মাধ্যমে উভয় ধরনের জিজ্ঞাসার উপর সঞ্চালিত হয় ।


F1 সার্ভার সঙ্কলন এবং কোয়েরি অপটিকিউজ করার পর এক্সিকিউশন পরিকল্পনা উত্পন্ন হয় । এক্সিকিউটিভের দুই ধরনের পরিকল্পনা রয়েছে: সিঙ্গেল থ্রেডেড এক্সিকিউশন এবং সমান্তরাল এক্সিকিউশন । সাবেক সার্ভার দ্বারা সরাসরি কার্যকর করা হয়. পরবর্তী সার্ভার সম্পূর্ণ সমান্তরাল কোয়েরি হয়ে ওঠে, RPC কল ওয়ার্কার দ্বারা সম্পাদিত । এই পত্রিকাটি সিস্টেমের পার্টিশন কৌশল সম্পর্কে কিছু সিদ্ধান্ত নিয়ে আলোচনা করে এবং কিভাবে সিস্টেম কর্মক্ষমতা উন্নত করা যায়, প্রধানত ডাটা তীর্যক এবং অ-এক্সেস প্যাটার্ন জন্য. বিতরণ ডাটাবেসে প্রচলন সাধারণ । আগ্রহী ব্যক্তিরা কাগজ পড়তে পারেন । এখন আর শুরু করা যাচ্ছে না ।

লেখক নোট যে ইন্টারেক্টিভ এক্সিকিউশন প্রায় এক ঘন্টার জন্য স্থিতিশীল হয় বা এটি ব্যর্থ হতে পারে. কাগজ অনুযায়ী, F1's বিতরণ যোগাযোগ এক্সিকিউশন নিজে ফল্ট সহনশীলতা নেই, কিন্তু F1 ক্লায়েন্ট একটি পুনঃপ্রয়াস ফাংশন আছে. একটি পরিপক্ক সিস্টেমের জন্য এই কিছুটা মমতা ।

নন-ইন্টারেক্টিভ এক্সিকিউশন প্রাথমিকভাবে দীর্ঘ সময়ের জিজ্ঞাসার জন্য ব্যবহার করা হয় । এটি গুগলের ম্যাকমান ফ্রেমওয়ার্কের ওপর নির্ভর করে । কোয়েরি একটি কোয়েরি পরিকল্পনা মধ্যে সংকলিত এবং নিবন্ধক মধ্যে সঞ্চিত হয়. কোয়েরি রেজিস্ট্রি হল একটি বিশ্বব্যাপী বিতরণকৃত এসপিয়ান্নর ডাটাবেস যা সব ব্যাচ মোডে জিজ্ঞাসার জন্য মেটাডাটা ট্র্যাক করে । এছাড়াও একটি বিশ্বব্যাপী ক্রস-ডাটা সেন্টার কোয়েরি পরিবেশক সেবা আছে, যা একটি ডাটা সেন্টারে কোয়েরি পরিকল্পনা নির্ধারণ করে যা ম্যাকমান ফ্রেমওয়ার্ক ব্যবহার করে কোয়েরি কার্যকর করে ।

在MapReduce的查询框架里,F1的优化引入了Map-Reduce-Reduce的模式,这个和Map-Reduce的框架不符合。F1团队的解决方式是把这个翻译成Map-Reduce后跟一个Map<identity>-Reduce任务。这显然不是最高效的办法。由此可见,长查询通过MapReduce来执行并非最有效的方式。而F1也无法摆脱执行框架的限制。


F1's অনুকূলের

F1 অনুকূলের গঠন নিচে দেখানো হয় । এটি একটি আরো ক্লাসিক কোয়েরি অপ্টিমাইজেশান প্রক্রিয়া । অনুকূলকে ইনপুট হিসাবে কম্পাইলার থেকে অ্যাসিস্ট পায়, প্রথমে এটি একটি যৌক্তিক জিজ্ঞাসার পরিকল্পনায় রূপান্তর করে, এবং তারপর, লজিক্যাল অপ্টিমাইজেশান পরে, একটি শারীরিক জিজ্ঞাসার পরিকল্পনা উত্পন্ন করে । এই কোয়েরি পরিকল্পনা অবশেষে এক্সিকিউশন পরিকল্পনা জেনারেটর দ্বারা উত্পন্ন হয় একটি এক্সিকিউশন পরিকল্পনা উত্পাদন.

লজিক্যাল অপ্টিমাইজেশান প্রধানত রিলেশনাল বীজগণিত যুক্তির মাধ্যমে হয়, ইনপুট যুক্তিসম্মত কোয়েরি পরিকল্পনা একটি প্রোগ্রাম যে হেরুস্টিক অনুযায়ী অনুকূল, সাধারণ অপটিমাইজেশন যেমন প্রেডিক্ট পুশডাউন এখানে সঞ্চালিত হয় । একটি শারীরিক জিজ্ঞাসার পরিকল্পনা শারীরিক পরিকল্পনায় একটি যৌক্তিক পরিকল্পনা অনুবাদের জন্য দায়ী । সবচেয়ে অমীমাংসিত সময়সূচী জেনারেটর অংশ শারীরিক পরিকল্পনা, প্রতিটি সেগমেন্ট শেষ এক্সিকিউশন ইউনিট হয়ে, এবং তথ্য পুনঃপার্টিশন করার জন্য এক্সিকিউশন ইউনিটের মধ্যে এক্সচেঞ্জ অপারেটর সন্নিবেশ । প্রতিটি এক্সিকিউটিভের ইউনিটের জন্য কনকারেন্সি ইস্যুটিও এখানে নির্ধারিত হয় ।


পুরো F1 অনুকূলের পুরোটাই অপেক্ষাকৃত আদিম অনুকূলের । সম্পূর্ণ অনুকূলের সম্পূর্ণ নিয়ম উপর ভিত্তি করে, কোন খরচ-বেস অপ্টিমাইজেশান সঙ্গে. সাধারণ ডাটা গুদাম সিস্টেমের সাথে তুলনা করলে এর জন্য অনেক উন্নতি প্রয়োজন ।


F1 এর স্কেবিলিটি

F1 ব্যবহারকারী-সংজ্ঞায়িত ফাংশন (ইউডিএফ), ব্যবহারকারী-সংজ্ঞায়িত সমষ্টিগত ফাংশন (দা) এবং টেবিল-মান ফাংশন (TVF) সমর্থন করে । এই ডাটাবেস সিস্টেমের মধ্যে স্বাভাবিক এক্সটেনশন হয়. এসকিউএল বা লুক স্ক্রিপ্ট ব্যবহার করে এই ইউজার-সংজ্ঞায়িত এক্সটেনশন বাস্তবায়ন করা যাবে । মূলত, এই বাস্তবায়নযোগ্য ডাটাবেসে ক্লাসিক বাস্তবায়ন হয় ।


কিন্তু F1-এ যেটা বেশি স্পেশাল, তা হল ইউডিএফ সার্ভার সনের পরিচিতি । এটি প্রধানত বেশি জটিল টিভিএফ বাস্তবায়নে ব্যবহৃত হয় । একটি ইউডিপি সার্ভার হল একটি পরিষেবা যা যে কোন ভাষায় বাস্তবায়ন করা সম্ভব, এবং এটি TVF এর জন্য একটি ফাংশন ইন্টারফেস সহ F1 প্রদান করে । চালানোর সময় সংশ্লিষ্ট ইনপুট পাঠানো এবং ফলাফল প্রাপ্তির পাশাপাশি, এই ইন্টারফেস F1-এর অতিরিক্ত তথ্য সংকলক এবং অনুকূলকে প্রদান করে যখন কুয়েইং সংকলন । উদাহরণস্বরূপ, আউটপুট স্কিমার কি, প্রতিটি পার্টিশন এককভাবে সম্পাদন করার পর TVF পার্টিশন করা যাবে কিনা ।


ইউডিএফ সার্ভারে প্রবন্ধে খুব সামান্য কালি পড়েছে, কিন্তু আমার মতে 2018 F1 পেপার ও 2013 পেপারের মধ্যে এটিই সবচেয়ে গুরুত্বপূর্ণ পার্থক্য । ইউডিএফ সার্ভারের সঙ্গে জটিল ইটিএল লজিক সম্ভব । ইউডিএফ সার্ভার ইউডিএফের সাথে ডাটাবেস ডোমেইনের পুরানো সমস্যা সমাধান করেছে: রিসোর্স ম্যানেজমেন্ট । আমি যদি একটা ব্রিলিয়ান্ট জিনিস বেছে নিতে যাচ্ছি, আমার মনে হয় এটা ইউডিএফ সার্ভার ।


আমার বিশ্বাস গুগলের F1 ডেভেলপাররা ইউডিএফ সার্ভারের গুরুত্ব সম্পর্কে ভালোভাবে ওয়াকিবহাল হওয়া উচিত, কিন্তু কাগজে-কলমে তা নিয়ে লেখালেখি করার তাগিদ কম । এটা বলা অসম্ভব যে, এটা হয়তো ইচ্ছাকৃত হয়েছে ।


ইউডিপি সার্ভারের ব্যবহার এফ১-এর জন্য জটিল এটলের সমর্থন সম্ভব করে । একই সময়ে, এএল-এ স্ট্যান্ডার্ড ডাটা প্রসেসিং যুক্তিগুলো সরাসরি এসকিউআর লিখে বাস্তবায়ন করা যায় । একই সময়ে, কারণ ইউডিএফ সার্ভার একটি পৃথক সেবা, ইউডিএফ সাধারণ সম্পদ ব্যবস্থাপনা সমস্যার সমাধান করা হয়েছে ।


সংক্ষেপ

2018 VLDB F1 কাগজ এবং Google এর F1 ডাটাবেসের স্থাপত্য এবং উন্নয়ন. F1 এখন একটি ডাটা কোয়েরি ইঞ্জিনে বিকশিত হয়েছে যা একাধিক ডাটা উৎসের জন্য একাধিক ডাটা ক্ষমতা সমর্থন করে । এর ওটিপি ক্লাসের জিজ্ঞাস্য প্রাথমিক কাজে প্রাথমিকভাবে ফোকাস করা হয়, মাইকিউএল প্রতিস্থাপন । এর লো-ল্যাটেন্সি ওলপ জিজ্ঞাস্য প্রধানত ড্রেমেল-এর সঙ্গে প্রতিযোগিতা করে । আর জটিল এটলের সমর্থনে এর লক্ষ্য মূলত চাপটাই লক্ষ্য করা যায় ।


F1 তিনটি এক্সিকিউশন মোড আছে: একক থ্রেডেড, বিতরণ ইন্টারেক্টিভ এক্সিকিউশন, এবং অ-ইন্টারেক্টিভ এক্সিকিউশন উপর ভিত্তি করে. ব্যর্থ-সুস্থ না হয়ে কথাবার্তাও বিতরণ করেন মমতা । ম্যাকমান উপর ভিত্তি করে অ-ইন্টারেক্টিভ এক্সিকিউটিভের কর্মক্ষমতা আরো অপ্টিমাইজেশান জন্য কক্ষ আছে.


F1 অনুকূলের একটি ক্লাসিক ডাটাবেস অনুকূলতা, শুধুমাত্র নিয়ম-বেস অপ্টিমাইজেশান, খরচ-বেস অপ্টিমাইজেশান না. তাই আমি মনে করি না যোগ-পুনঃক্রম মত অপ্টিমাইজেশান করতে পারেন. এই অনুকূলকে বেশ সহজ এবং উন্নতির জন্য অনেক জায়গা আছে ।


স্কেবিলিটি ক্ষেত্রে, এক্সটেনশন পদ্ধতি ইউডিএফ, দা, এবং টিভিএফ সব ক্লাসিক ডাটাবেস এক্সটেনশন । এর ইউডিএফ সার্ভার অত্যন্ত গুরুত্বপূর্ণ উদ্ভাবন । এই প্রবন্ধে এমন সব জিনিসের কথা আমি ভাবি যার একটা বিরাট রেফারেন্স ভ্যালু আছে । কিন্তু এই নিবন্ধটি দৃশ্যত ইচ্ছাকৃতভাবে ওতার এই টুকরা ।


F1's স্থাপত্য 2013, একটি মেটাডাটা পরিষেবা, ক্যাটালগ যোগ সঙ্গে তুলনা করা হয় । ডাটা লেকের দৃশ্যের ক্ষেত্রে ক্যাটালগ গুরুত্বপূর্ণ ভূমিকা পালন করে । তথ্য আবিষ্কার ও অংশীদারি দুটোই অপরিহার্য । যখন অধিকার ব্যবস্থাপনা আসে, তখন বিশ্বব্যাপী মেটাডাটা সার্ভিসের ভূমিকা অপূরণীয় । কস্ট-বেস অপ্টিমাইজেশান এছাড়াও মেটাডাটা ভিত্তিক সেবা প্রয়োজন । এই 2018 কাগজে নতুন সংযোজনের কথা উল্লেখ না করে খুব দুঃখের সঙ্গে বলেছেন F1 ।



সাবস্ক্রিপশন নম্বর অনুসরণ করতে দীর্ঘ প্রেস চার্টে স্বাগতমমোট চ্যাট উড়েআরও দেখার


প্রাসঙ্গিক নিবন্ধসমূহ:

দূরদৃষ্টিসম্পন্ন ও নিকট-চিন্তার

কীভাবে জানবেন একজন নেতা আপনাকে সত্যিই কী মনে করেন

যোগাযোগ টিসিপি হ্যান্ডশেক, অর্থ ও মৃত্যুর সমান

নেতৃত্বের বিষয় সবচেয়ে

ব্যবসায় অশিক্ষিত হবেন না

একটি ঘর এবং পৃথিবী ব্যাপক

ছাত্রদের থেকে কোড করা কৃষকদের থেকে কি কি হারিয়ে গেছে

মোট জ্ঞান গ্রহে স্বাগতম ।