\input{preamble.tex} \input{title.tex} \usefonttheme{metropolis} \usepackage{pdfpages} % define some colours for tikz \definecolor{adequate}{RGB}{37,165,203} \definecolor{sustainable}{RGB}{253,177,26} \begin{document} \maketitle \note{ Begrüßung } \section{Ziel} \begin{xframe}{Ziel} \begin{itemize} \item Open source stack \item Einfach skalierbar \item Erweiterbarkeit \end{itemize} \end{xframe} \note{ } \section{Scrapy} \begin{xframe}{Scrapy} \begin{itemize} \item Open source web spider framework \item Erweiterbar durch Plugins und Python libs \item Mit scrapyd als daemon deploybar \end{itemize} \end{xframe} \note{ } \begin{xframe}{Scrapy} \begin{itemize} \item Einfache Link extraction per regex \item Mächtiger Parser \item \texttt{scrapy-rotating-proxy} plugin \end{itemize} \end{xframe} \note{ } \section{API} \begin{xframe}{API} \begin{itemize} \item REST API \begin{itemize} \item Gin Gonic web framework \end{itemize} \item Upload der crawler Daten \item Suchanfragen der Website \end{itemize} \end{xframe} \note{ } \section{PostgreSQL} \begin{xframe}{PostgreSQL} \begin{itemize} \item Relationale Datenbank \item JSON Felder mit Indexierung \item Fulltext search support \begin{itemize} \item Vektor Spalte für schnelles Durchsuchen \end{itemize} \end{itemize} \end{xframe} \section{Aufbau} \begin{xframe}{Aufbau} \begin{figure}[!b] \includepdf[pages={1}, scale=1.1]{skizze.pdf} \end{figure} \end{xframe} \appendix \section{Peace out!} \end{document}