D O K U M E N T U M A Z O N O S Í T Ó   U R L : https://dka.oszk.hu/124900/124980  F á j l n é v : mezo_gyorgy_referencia_architekturak.jpg  B é l y e g k é p : https://dka.oszk.hu/124900/124980/mezo_gyorgy_referencia_architekturak_kiskep.jpg C Í M  F ő c í m : Referencia Architektúrák a gyakorlatban és szerepük a felhasználók támogatásában B e s o r o l á s i   c í m : Referencia Architektúrák a gyakorlatban és szerepük a felhasználók támogatásában A L K O T Ó  S z e r e p : létrehozó B e s o r o l á s i   n é v : Mező U t ó n é v : György I n v e r t á l a n d ó   n é v : N D Á T U M  E s e m é n y : felvéve I d ő p o n t : 2021-11-23 E s e m é n y : elérhető I d ő p o n t : 2021-04-08 D á t u m r a   v o n a t k o z ó   m e g j e g y z é s : Az előadás időpontja. D O K U M E N T U M T Í P U S  A   t í p u s   n e v e : prezentáció A   t í p u s   n e v e : előadás R É S Z G Y Ű J T E M É N Y  M e g n e v e z é s : Prezentáció M e g n e v e z é s : Könyvtártudomány - prezentáció M e g n e v e z é s : Networkshop 2021 E R E D E T I   K I A D V Á N Y ,   O B J E K T U M  S Z Á R M A Z Á S I   H E L Y  M e g n e v e z é s : Videotorium U R L : https://kifu.videotorium.hu/hu/recordings/42828 J O G K E Z E L É S  A   j o g t u l a j d o n o s   n e v e : Mező György S z e r z ő i   j o g i   m e g j e g y z é s e k : Jogvédett T É M A  T é m a k ö r : Csillagászat, űrkutatás A l t é m a k ö r : Csillagászat általában T é m a k ö r : Számítástechnika, hálózatok A l t é m a k ö r : Hardver, digitális eszközök T Á R G Y S Z Ó  T á r g y s z ó : csillagászat M i n ő s í t ő : tárgyszó/kulcsszó T á r g y s z ó : digitális technika M i n ő s í t ő : tárgyszó/kulcsszó T á r g y s z ó : rendszer M i n ő s í t ő : tárgyszó/kulcsszó T á r g y s z ó : alkalmazás M i n ő s í t ő : tárgyszó/kulcsszó I D Ő - H E L Y   T Á R G Y S Z Ó  T á r g y s z ó : 2021 M i n ő s í t ő : időszak L E Í R Á S  K é p a l á í r á s : Referencia Architektúrák a gyakorlatban és szerepük a felhasználók támogatásában N y e r s   v a g y   O C R - e s   s z ö v e g : Referencia Architektúrák a gyakorlatban és szerpük a felhasználók támogatásában Mező György mezo.gyorgy@wigner.hu Wigner Adatközpont CSFK, Csillagászati Intézet Tartalomjegyzék Számítási környezetek a Csillagászatban: Példa a feldolgozó programok klasszikus telepítésére: Very Large Telescope Modernebb telepítési lehetőség: Fermitools Docker-rel Felhőre tervezve : Vera C. Rubin obszervatórium Science Pipelines (AWS) DATA Management fejlesztés OpenStack felhő segítségével Példák számítási környezetekre más területekről: eepLabCut: animal pose estimation, Kisérleti Orvostudományi Kutatóintézetben (KOKI) használják FMRIB Software Library Út a referencia architectúrák használata felé: "Cloudra hozni" az alkalmazást "Kódolva Cloudra hozni", referencia architectúra használata Referencia architectúra születése Kitekintés Very Large Telescope, Atacama sivatag Cerro Paranal Különböző megfigyelési műszeregyüttesek, Mindegyikhez saját adatfeldolgozási pipeline közös ESO könyvtárak használatával KMOS K-band Multi Object spectrograph ESPRESSO - Echelle Spectrograph for Rocky Exoplanets and Stable Spectroscopic Observation MUSE - Multi Unit Spectroscopic Explorer VIMOS - Visible Multiobject Spectrograph FORS - Focal Reducer and low dispersion Spectrograph MATISSE - the four telescope VLTI instrument for the L, M, and N band GRAVITY - interferometric instrument in K band SPHERE - Spectro-Polarimetric High-contrast Exoplanet Research ... VLT Pipelines letöltési oldala VLT pipelines telepítési lehetőségei Az ESO oldalán linuxos (Centos, Fedora Scientific Linux) és Mac (macOS 10.11-10.15 )-es környezetekhez telepítési útmutató Kutatók egyénileg saját desktopjukra vagy laptopjukra Hogyan lehet windows-os gépeken használni? Telepítési lehetőség ELKH Cloud-on grafikus elérési Remote Desktop Protocol segítségével Docker konténer létrehozása: futtatási lehetőség saját gépen (linux, mac, windows) és felhőben Hogyan lehet felskálázni a számolásokat? Hogyan lehet a felhőben pipeline gépeket indítani és csak a szükséges számítási időben használni? Fermi Gamma-ray Space Telescope Adatfeldolgozás: Fermitools - Python-ra épül Modernebb telepítési lehetőség: Github publikált Docker konténer https://github.com/fermi-lat/FermiBottle/wiki részletes leírás a konténer használatáról különböző operációs rendszerek alatt ELKH cloud projekt: https://science-cloud.hu/projektek/gamma-sugarzo-aktiv-galaxismagok-fermi-adatainak-likelihood-analizise Referált cikk: projekt indulástól 8 hónapon belül Vera C. Rubin obszervatórium LARGE Survey of Space and Time: 10 év alatt 500 PB adat Adatfeldolgozás megvalósíthatósági tanulmányacloud native alkalmazással az AWS-en: https://dirac.astro.washington.edu/lsst-in-the-cloud/ Cél: kutatók web böngészőn keresztül érik el az adatokat és a pipeline-t Jupyter notebooks segítségével. A hátteret a National Center for Supercomputing Applications in Urbana, Illinois fogja biztosítani. Data Management csapat OpenStack-et is használ fejlesztésre: https://developer.lsst.io/v/DM-5063/services/nebula/index.html Kapcsolódó kutatások, fejlesztések: Az obszervatórium megfigyeléseiből riasztások, LSST alerts : Fink: https://fink-broker.org/ OpenStack-en Apache Spark-ra építve, a lioni IN2P3 adatközpont használva. https://arxiv.org/pdf/2009.10185.pdf DeepLabCut: http://www.mackenziemathislab.org/deeplabcut KOKI: egerek mozgásának elemzése, kisérleti idegtudomány Telepítés Conda-val Kész Docker konténer a github-on! https://github.com/DeepLabCut/Docker4DeepLabCut2.0 Deep Learning-et használó alkalmazás Functional Magnetic Resonance Imaging of the Brain (FMRIB) software könyvtár (FSL) TTK Agyi Képalkotó Központ (AKK) használja Telepítés: python scripttel https://fsl.fmrib.ox.ac.uk/fsl/ fslwiki/FslInstallation/Windows Linux: Centos 7 Windows: Windows Subsystem for Linux macOs Neurodocker: Docker, Singularity CREDIT: https://en.wikipedia.org/wiki/FMRIB_Software_Library#/media/File:FSL-GUIs.png Software Környezetek Összefoglalás Mindegyik diszciplinának, ELKH kutatóintézetnek megvannak a specifikus software-i, amit gyakran használnak a kutatók adataik elemzésénél Ezek szintje telepítés, üzemeltetés szempontjából változó: "Telepítgetős", gyakran linux-os rendszeren több órás munka Megfigyelhető a fejlődés: elmozdulás konténerizált környezetek felé Sok adatot használó új infrastrúktúrák kikényszerítik a cloud native kutatási környezeteket (Ezek a szintek fizetős programok esetén is ott vannak, színezve a licensz szabályokkal és a hozzájuk kapcsolódó árszabással) A kutatók között ritka, aki jól tud működtetni konténerizált alkalmazásokat Ez érthető is: nem egyszerű kezelni például a grafikus program használatot konténerrel, vagy a GPU használatot konténerből ill. file-ok elérését, megosztását, jogosultságokat Gyakran jelentkezik igény egyes alkalmazások felskálázására Cloudra hozni az alkalmazást "Telepítgetős" alkalmazás esetén: OpenStack dashboard-on keresztül Gépek (instance-ok) létrehozása Lemezek (volume-ok) hozzácsatolása a gépekhez Hozzáféréshez kulcsok feltöltése Biztonsági szabályok beállítása A kívánt programok telepítése, úgy ahogyan a saját gépre is történne Az a kutató, aki saját gépre tudja telepíteni az alkalmazást az általában a Cloud-ra is fel tudja telepíteni azt. Esetleges nehézségek: Intézeti tűzfalak: ahány intézet, annyiféle tűzfal és szabály Gyors adatmozgatás megoldása, esetleg szimultán vpn szűkíti a forgalmat Grafikus, desktop jellegű elérés igénye Első lépésben a telepítgetős alkalmazást konténeresíteni Menteni a telepítési munkát: instance-ból image, snapshot Cloud-ra hozni az alkalmazást Konténeres alkalmazásnál: Azonos a megelőzőekkel "instance létrehozásában", azonban hosszabb telepítgetés helyett konténer futtatása az instance-on Ez sokszor csak támogatással megy. Könnyebb támogatni, mert nincs szükség egy csomó alkalmazás függő telepítés specifikus ismeretre. Sokkal egyszerűbb a folyamat, ha a Cloud-ra feltöltünk egy olyan projekt image-t, amin a konténer környezet már telepítve van GPU-t használó konténer is működhet Telepítési munka nagyrészt már a konténer létrehozásában benne van, ami hiányzik az a felhős infrastrúktúra létrehozása Kódolva Cloud-ra hozni az alkalmazásokat Saját vagy felhős gépen futtatott program létrehozza a gépet, gépeket a felhőben: provisioning. Nem kell grafikus dashboard-on kézzel lépegetni a beállítások között. Erre alkamas eszköz például a SZTAKI-ban fejlesztett Occopus: https://occopus.readthedocs.io/en/latest/index.html A létrejött gépeken telepítést végezni hagyományosan A létrehozáskor, provisioning alkalmával rögtön telepíteni is, cloud-init A provisioning és konfigurálás különböző eszközökkel Image építése kóddal: Packer https://www.packer.io/ Kódolva Cloud-ra hozni az alkalmazásokat Provisioning eszközök Credit: Infrastructure as Code, Towards Dynamic and Programmable IT systems, Sotirios Naziris, November 2019, https://essay.utwente.nl/80190/1/Naziris_MA_EEMCS.pdf 14. oldal Kódolva Cloud-ra hozni az alkalmazásokat Konfigurációs eszközök Credit: Infrastructure as Code, Towards Dynamic and Programmable IT systems, Sotirios Naziris, November 2019, https://essay.utwente.nl/80190/1/Naziris_MA_EEMCS.pdf 20. oldal Kódolva Cloud-ra hozni az alkalmazásokat Packer és Ansible, Terraform választása: rhc-spherls projekt Telepítgetős alkalmazás: SPherical Euler Radial Langrangian Scheme kód, SPHERLS(Geroux és Deupree 2011) Hogyan érdemes skálázni Még nem befejezett megoldás hcccl projekt FSL alkalmazás (lásd korábbi diák) telepítése és klaszter építése Még nem befejezett megoldás Kódolva Cloud-ra hozni az alkalmazásokat Nagy munka, de lehetőséget ad: az infrastrúktúra gyors felépítésére, megszüntetésére követhető változtatásokra, kisérletezésre egy kis túlzással saját magát dokumentálja A dashboard-on, mint egy show műsort lehet követni az infrastrúktúra kiépülését Referencia architectúra használata: Kis erőbefektetéssel lehet kóddal életre kelteni az alkalmazást, biztonsággal kiépül Példa: Előzőleg szereplő FINK csillagászati brókert lehet tanulni, próbálni az ELKH CLOUD Apache Spark klaszter-es referencia alkalmazásával Referencia alkalmazások születése Igény SLURM ütemezőre: HCCCL project: Hogyan lehet 100 páciens fMRI képeit belátható időn belül kiértékelni? Hogyan használhatják az OpenStack cluster-t egymástól függetlenül a csoport tagjai? Wigner atomlézer projeckt A github-on példa keresése: https://github.com/Shadowphax/terraform-hpc-basic Ez még nem referencia architectúra! A felélesztés nem egyszerű, a dokumentáció nem elég hozzá Ezzel szemben referencia architectúrának biztosan ki kell épülnie nagyobb nehézség nélkül Igény Jupyterhub-ra: Jupyterhub: egy kutatócsoport jól együtt tud működni a használatával. Jupyterlab; Tensorflow, Keras Jupyter Notebook stack, Kubernetes klaszter referencia architektúrákra lehet építeni Kitekintés, felmerülő álmok "Cloud Kód infrastrúktúra" kutatóintézetenként a leggyakrabban használt alkalmazásokra Átjárhatóság a CLOUD és Supercomputing, HPC infrastrúktúra között OpenStack, OpenHPC, StackHPC Köszönöm a figyelmet! A bemutatott munka az Eötvös Lóránd Kutatási Hálózat Titkárság támogatásával jött létre (szerződés szám: IF-2/2020, cím: "ELKH Cloud projekt támogatása"). D o k u m e n t u m   n y e l v e : magyar K A P C S O L A T O K  K a p c s o l ó d ó   d o k u m e n t u m   n e v e : Farkas Attila - Lovas Róbert: Referencia architektúra koncepció és megvalósítása az ELKH Cloudon U R L : https://dka.oszk.hu/124900/124970 F O R M Á T U M  A   f o r m á t u m   n e v e : PowerPoint prezentáció O l d a l a k   s z á m a : 20 T e c h n i k a i   m e g j e g y z é s : Microsoft Office PowerPoint 2016 M e t a a d a t   a   d o k u m e n t u m b a n : N A   f o r m á t u m   n e v e : PDF dokumentum O l d a l a k   s z á m a : 20 M e t a a d a t   a   d o k u m e n t u m b a n : N A   f o r m á t u m   n e v e : HTML dokumentum T e c h n i k a i   m e g j e g y z é s : HTML 5 verzió M e t a a d a t   a   d o k u m e n t u m b a n : N M I N Ő S É G  L e g j o b b   f o r m á t u m : JPEG képállomány L e g n a g y o b b   k é p m é r e t : 770x433 pixel L e g j o b b   f e l b o n t á s : 72 DPI S z í n : színes T ö m ö r í t é s   m i n ő s é g e : közepesen tömörített M E G J E G Y Z É S  Á l t a l á n o s   m e g j e g y z é s : Networkshop 2021 konferencia S T Á T U S Z  A z   a d a t r e k o r d   s t á t u s z a : KÉSZ F E L D O L G O Z Ó  S z e r e p   /   m i n ő s é g : katalogizálás A   f e l d o l g o z ó   n e v e : Nagy Zsuzsanna