Keräätkö dataa? Minäkin keräsin, ja kulut kasvoivat nopeasti. Nämä viisi muutosta auttoivat minua puolittamaan tallennuskulut.
Sisällysluettelo
60 teratavua. En enää koskaan näe niin paljon pilvitallennustilaa. Olen iloinen – ja hieman surullinen.
Tämä tarina alkoi monta lukua sitten. Se huipentui vakavaan itsetutkiskeluun ja infrastruktuurin analysointiin, vaikeisiin keskusteluihin ja muutaman vaikean päätöksen tekemiseen.
Tämä on tarina online-tietojen keräämisestä edistyneiden menetelmien varjolla, kun liian suuri määrä tietoja muuttui joksikin liian suureksi ja näennäisesti yksinkertainen varmuuskopiointi muuttui ylimääräiseksi työksi päivystävälle pelastajalle.
Tällä viikolla muutin kaiken tämän.
TL;DR
Tässä tarinassa on paljon mielenkiintoista, mutta jos haluat lyhyen katsauksen muutoksiini, tässä se on: siirryin Google Workspace Enterprise -palvelusta Backblaze B2 -palveluun. Poistin Time Machinen ja lisäsin Backblaze Personal -palvelun yksittäisille koneille. RAID-palvelinverkkoni varmuuskopioi toisiaan, ja kun olin tehnyt tämän, olin säästänyt yli tuhat dollaria.
Mutta sen vuoksi jouduin luopumaan monesta asiasta. Alla on tarvittava taustatieto, kuvaus verkon arkkitehtuurista ennen ja jälkeen, kustannusanalyysi ja yksityiskohtainen analyysi siitä, miten ja miksi tein päätökset, jotka johtivat minut tähän uuteen lähestymistapaan.
Aikaan asti
2000-luvun alusta lähtien olen ollut innokas kannattaja ja harjoittaja teknologiateollisuuden edistykselliselle 3-2-1-varmuuskopiointistrategialle. Ajatuksena on, että jokaisesta tiedostosta on kolme kopiota: kaksi eri fyysisillä laitteilla ja yksi toimiston ulkopuolella.
Vanhempieni kuolemaan asti etätyöskentely oli helppoa. Kannoin vain pari kiintolevyä edestakaisin, kun kävimme heidän luonaan. Vastineeksi he pyysivät minua poistamaan paksun kerroksen tietokoneviruksia, jotka isäni oli saanut vierailujensa välillä. Se ei ollut pelkästään hänen syytään. Hän oli jalokivikauppias, ja tuolloin jalokivikauppojen verkkosivustot olivat täynnä haittaohjelmia.
Joka tapauksessa, tallennustilan tarpeeni olivat huomattavat, mutta eivät liian suuret. Kun useimmilla oli modeemiyhteys, web-palvelimeni sijaitsivat kunnostetussa pyykkikaapissa. Nämä vanhat palvelimet käyttivät omistettua kaistanleveyttä, jonka tarjosi ainoa nopea T-1-internetyhteys (joka kulki kylpyhuoneeni läpi) Rutgersin yliopiston ja Princetonin välillä. Tuolloin tallennustilan tarpeeni oli alle teratavu.
Kyllä, aluksi se oli paljon. Mutta se ei ollut 60 teratavua.
Ajan myötä työni vei minut kolmeen alaan, jotka liittyvät suuriin tietomääriin: verkkovirtuaalikoneet, 3D-mallinnus ja video. Paikallisen tallennustilan tarpeeni kasvoi jyrkästi ja on jatkanut kasvuaan viimeisen vuosikymmenen aikana.
Teratavun verkko-virtuaalikoneiden lisäksi, joita käytämme nykyään tekoälyagenttien kehittämiseen, minulla on kaikki videot, joita tarvitaan melko laadukkaan sisällön luomiseen YouTubeen. Yksi YouTube-video voi viedä lähes teratavun tuotantoprosessissa. Monikamerajärjestelmäni talon ympärillä vie myös paljon tilaa.
Hallinnoin tällä hetkellä neljää paikallista kotitiedostopalvelinta, joiden kokonaiskapasiteetti on 139,04 teratavua.
Se on paljon enemmän kuin 60 teratavua, jotka minulla on pilvipalvelussa, mutta näillä palvelimilla on paljon varmuuskopioita, jotka on indeksoitu ”2” kaavasta ”3-2-1”.
Hieman yli kymmenen vuotta sitten tietojen tallentaminen pilvipalveluun tuli paitsi käytännölliseksi myös edulliseksi. Voitiin ostaa rajattomasti tallennustilaa erilaisilta online-varmuuskopiointipalvelujen tarjoajilta. Niin minäkin tein. Mutta vuoteen 2017 mennessä online-tallennustilan loputon juhla oli päättynyt .
Kun palveluntarjoajat yksi toisensa jälkeen lopettivat rajattoman tallennustilan tarjouksensa, jouduin viikkojen ajan siirtämään tietojani seuraavalle palveluntarjoajalle, joka edelleen tarjosi rajatonta tallennustilaa. Jäin kiinni outoon peliin, jossa piti lyödä tallennustilan mullista.
Kunnes törmäsin seinään. Tuli hetki, jolloin nämä tarjoukset eivät enää olleet saatavilla, lukuun ottamatta yhtä tarjousta Googlelta.
Vuonna 2018 Googlen G Suite (aiemmin Google Workspace) tarjosi hinnoittelusuunnitelman, jossa oli rajaton tallennustila. Ostamalla viisi tai useampia työpaikkoja 12 dollarin kuukausihintaisella yrityssuunnitelmalla 60 dollarin kuukausihintaan sait rajattoman tallennustilan .
Niin minä tein.
Sitten vuonna 2020 Google nimesi G Suite -palvelun uudelleen Workspace -palveluksi ja tiukensi tallennustilan ehtoja. Rajoittamatonta tallennustilaa oli mahdollista pyytää, mutta sen saaminen oli jo ganz andere Sache.
Vuoteen 2022 mennessä kahden hengen yritykseni oli tilannut Google Workspace Enterprise -hintapaketin, joka antoi minulle pääsyn tarvitsemaani tallennustilaan. Minun piti vain vaivata Googlea pyynnöillä, jotta se antaisi minulle tämän tallennustilan.
Tämä johti eräänlaisiin pitkittyneisiin vuotuisiin neuvotteluihin Googlen tallennustilan valvojien kanssa. Noin kerran vuodessa sain Googlelta ilmoituksen, että tallennustilan kiintiöni oli melkein täynnä. Sitten lähetin viikkojen ajan tukipalveluun pyyntöjä, joissa ”pyysin” lisää tallennustilaa viittaamalla lukuisiin aiempiin pöytäkirjoihin. Google suostui vastahakoisesti pieneen tallennustilan lisäykseen sekä kuukausimaksun korotukseen.
Muutama viikko sitten sain jälleen tällaisen varoituksen. Sen sijaan, että olisin taas ryhtynyt diplomaattisiin neuvotteluihin datan hallitsijoiden kanssa, päätin miettiä elämääni uudelleen. Tai ainakin datan tallennusta koskevaa kysymystä.
Tietojen tallennusarkkitehtuuri ennen siirtymistä
Sähköpostin ja tallennustilan kustannukseni ovat olleet samat siitä lähtien, kun aloin käyttää Google Workspacea. Pääsähköpostitilini on Gmail, joka on määritetty lähettämään ja vastaanottamaan sähköpostia yritykseni verkkotunnuksilla. Yrityksen sähköpostiverkkotunnusten välityspalvelimet sijaitsevat Workspacessa.
Seuraavassa kuvassa on esitetty tallennusarkkitehtuurini ennen siirtymistä. Tärkeimmät tallennuslaitteemme ovat erilaiset tietokoneet, joita minä ja vaimoni käytämme, tiedostopalvelimemme (jossa säilytetään kaikki tärkeimmät asiakirjamme ja kaikki videokopioni) sekä turvapalvelimemme (jossa säilytetään valvontakameroiden arkistovideotallenteet).
Mac-varmuuskopiot luotiin paikalliselle varmuuskopiointipalvelimelle Time Machinen avulla. En muuten pidä Time Machinesta. Tietojen palauttaminen Time Machinen varmuuskopiosta on aina riski, ja ne pettävät säännöllisesti. Time Machine on inkrementaalinen varmuuskopiointi. Tämä tarkoittaa, että muutokset lisätään varmuuskopion arkistoon, ja voit (teoriassa) palata edelliseen päivään tai viikkoon.
Mac-tietokoneet synkronoidaan myös paikallisen varmuuskopiopalvelimemme (erillinen tiedostopalvelimesta) kanssa ChronoSync -sovelluksella, joka on erittäin luotettava Mac-synkronointityökalu ja jolla on erinomainen tekninen tuki. Nämä varmuuskopiot ovat synkronoituja, joten kaikki muutokset alkuperäisessä koneessa (mukaan lukien poistot) näkyvät palvelimella.
Suuressa tiedostopalvelimessamme oli neljä varmuuskopiointimekanismia. Se suoritti inkrementaalisen varmuuskopioinnin Google Workspaceen. Se synkronoi myös Google Workspaceen, joten Google Workspacessa oli kaksi täysimittaista varmuuskopiointirakennetta, jotka käyttivät tallennustilaa.
Tiedostopalvelin synkronoidaan myös varmuuskopiointipalvelimen kanssa. Kerran viikossa autonominen varmuuskopiopalvelimemme käynnistyy, ja tiedostopalvelin synkronoidaan sen kanssa. Tämä varmistaa varmuuskopioinnin, joka on eristetty ulkomaailmasta odottamattomien tilanteiden varalta. Tämä autonominen tiedostopalvelin on myös käytännössä paloturvallinen ja suojattu tulvilta , joten sen pitäisi kestää käytännössä kaikki kuormitukset.
Huomaa, että kaikilla palvelimillamme on RAID-tuki, joten yhden levyn vikaantuessa tiedot eivät menetä. Pidän myös varalevyjä varastossa, jotta voin vikaantumisen sattuessa vaihtaa levyn välittömästi ja aloittaa RAID-palautuksen.
Tässä on 3-2-1-strategiamme ennen uuden arkkitehtuurin käyttöönottoa, jonka olen juuri ottanut käyttöön
Kustannukset ennen siirtymistä
Kuten kaikki muu tässä maailmassa, myös pilvitallennustilan hinta nousee jatkuvasti. Google Workspace -tallennustilan 162,50 dollarin kuukausimaksun lisäksi maksamme kaksi dollaria lisää tallennustilan laajennuksesta henkilökohtaisille Gmail-tileillemme. Maksamme myös noin 30 dollaria kuukaudessa iCloud-tallennustilan laajennuksesta 6 TB:iin.
Vaikeita päätöksiä
Kuten alla olevasta kaaviosta näkyy, kriittisten asiakirjojemme tallennus tilaa vie vain pienen osan suuresta tiedostopalvelimellamme olevasta tiedostojen kokonaistilasta.
Kaikki videot, jotka ovat videotuotannon prosessissa, on ladattu YouTubeen. Kyllä, lähdemateriaali on tallennettu palvelimelle. Poimin sieltä ajoittain tietoja. Jos menettäisin tämän lähdemateriaalin, se olisi ikävää, mutta ei katastrofaalista.
Sama koskee mediatiedostoja. Tämä osio sisältää koko tuodun DVD-kokoelmamme sekä musiikkitiedostot ja muut mediatiedostot, mukaan lukien graafisten töideni arkisto kaikista ZDNET-artikkeleistani. Se on tärkeä kansio, mutta kuten videomateriaalin tapauksessa, suurin osa siitä on arkistomateriaalia.
Koska vaimoni ja minä olemme tilanneet useita suoratoistopalveluita, emme juuri koskaan käy tässä mediakirjastossa katsomassa videosisältöä. Emme ole käyneet siellä vuosiin.
Mitä virtuaalikoneisiin tulee, pidän useita toimivia virtuaalikoneita supertehokkaalla M4 Mac Studio -tietokoneellani. Palvelimella olevat virtuaalikoneet liittyvät vanhoihin projekteihin, ja niitä on käytetty laajamittaisissa simulaatioissa, joita en enää tee. Lisäksi kaikki nämä virtuaalikoneet käyttävät vanhentuneita käyttöjärjestelmäversioita. Jos niille tapahtuu jotain, se on surullista, mutta se ei vaikuta päivittäiseen suorituskykyyn.
Kaikki nämä tiedostot on tallennettu yhdelle RAID-palvelimelle ja varmuuskopioitu toiselle paikalliselle RAID-palvelimelle. On erittäin epätodennäköistä, että molempien palvelimien levyillä tapahtuisi samanaikaisesti katastrofaalinen vika.
Todellinen kysymys on siis, mitä tapahtuu katastrofin sattuessa. Jos talolle sattuu jotain ja molemmat palvelimet menetetään, menetämme nämä tiedostot. Mutta jos tällainen katastrofi sattuisi, vanhat virtuaalikoneet ja videotuotannon arkistot olisivat minulle pienin ongelma.
Vaikea päätös nro 1: lopettaa vanhojen mediatiedostojen varmuuskopiointi
Joten ensimmäinen vaikea päätökseni oli lopettaa kolmen suuren osan varmuuskopiointi pilveen. Muistakaa, että en vain kopioinut kaikkea osissa, vaan myös synkronoin. Pilvitallennustilan käyttö kasvoi jyrkästi tämän lähestymistavan vuoksi.
Vaikea päätös nro 2: luopua koko Google Workspace -tallennustilasta
Toinen vaikea päätös oli siirtyä Google Workspacesta pilvitallennustilaan. Luopuminen tästä mukavasta tallennustilasta suututti minua hieman, mutta jatkuvat riidat Googlen asiakastuen kanssa kuluttivat kärsivällisyyteni.
Vaikea päätös nro 3: lopettaa Time Machinen käyttö
Kolmas vaikea päätös oli lopettaa Time Machinen käyttö. Se on Applen virallinen suositus varmuuskopiointiin. Se on kauheaa. Koska synkronoin jo paikalliset Mac-tietokoneeni iCloudiin ja varmuuskopiopalvelimellemme ChronoSyncin avulla, päätin, että voin poistaa Time Machinen käytöstä. Sitten päätin siirtyä Backblaze Personal -palveluun vaimoni ja minun pää-Mac-tietokoneille.
Backblaze Personal maksaa kymmenen dollaria kuukaudessa tai sata dollaria vuodessa rajoittamattomasta varmuuskopioinnista yhdeltä laitteelta. Voit liittää paikalliset USB-muistitikut, ja Backblaze varmuuskopioi nekin, mutta se ei tue verkkoasemien varmuuskopiointia.
Vaikea päätös nro 4: Backblaze B2:n käyttö pilvitallennustilaan palvelimella
Neljäs vaikea päätös oli käyttää Backblaze B2:ta vain tiedostopalvelimen asiakirjojen varmuuskopiointiin. Backblaze B2 maksaa kuusi dollaria teratavulta kuukaudessa, joten en tietenkään saa yhtä paljon tallennustilaa kuin Google Workspacessa. Mutta jos B2:n tilavuus ei ylittäisi 4 TB:tä (mikä on ajankohtaista tiedostopalvelimen asiakirjoille), minulla olisi melko luotettava ja edullinen ratkaisu.
Toistaiseksi Backblaze ansaitsee kiitosta uutena asiakkaana. Koin itse ongelman siirron aikana, ja Backblazen tukipalvelu puuttui asiaan ja auttoi minua. Hienoa.
Vaikea päätös nro 5: ei enää ylimääräisiä varmuuskopioita pilvessä
Viides vaikea päätös oli luopua tiedostopalvelimen inkrementaalisesta varmuuskopioinnista pilvessä. Tämä olisi vähentänyt Backblaze B2:n kustannuksia merkittävästi. Backblaze B2:n kätevä ominaisuus on tiedostojen säilyttäminen useita päiviä. Siksi asetin tiedostojen säilytysajaksi 10 päivää. Tämä tarkoittaa, että jos poistan tarvitsemani tiedoston ja poisto synkronoidaan pilvipalveluun, minulla on kymmenen päivää aikaa palauttaa se.
Budjetti ja arkkitehtuuri siirtymisen jälkeen
Tässä olemme nyt. Tämä on toimiva arkkitehtuuri uuteen todellisuuteen. Kuten näette, paljon on pysynyt ennallaan. Mutta tiedostopalvelimien varmuuskopiointi pilveen on vähentynyt merkittävästi, eikä Time Machine ole enää ajankohtainen.
Kuten näette, olen laskenut 196 dollarista kuukaudessa (2357 dollaria vuodessa) 90 dollariin kuukaudessa (1080 dollaria vuodessa). 1200 dollarin säästö vuodessa on melko kunnioitettava summa. Mutta tie siihen oli melko vaikea. Toivottavasti vuoden kuluttua minun ei enää tarvitse kuvata uutta taistelua tallennustilasta. Toivottavasti tämä uusi lähestymistapa takaa muutaman vuoden rauhallista elämää.
Oletko joutunut tekemään vaikeita valintoja pilvitallennustilan strategian suhteen? Mitä palveluita käytät suurten tietomäärien hallintaan? Oletko löytänyt ratkaisun, joka yhdistää hinnan, saatavuuden ja ylimääräisyyden? Oletko harkinnut luopumista Time Machinesta tai Google Workspacesta? Miten hoidat mediatiedostojen, virtuaalikoneiden tai valvontakameroiden tallenteiden varmuuskopioinnin?
