Transfer Learning for Biomedical Relation Extraction
Mario Sänger
Die automatische, computer-gestützte Analyse von wissenschaftlichen Veröffentlichungen im biomedizinischen Bereich gewinnt, aufgrund der stetig wachsenden Menge der publizierten Artikel, zunehmend an Bedeutung. Eine Hauptherausforderung des Forschungsgebiets bildet dabei die Erkennung von (in den Publikationen beschriebenen) Beziehungen zwischen biomedizinischen Entitäten, bspw. welche genetische Mutation führt zu einer bestimmten Erkrankung oder welche Proteine interagieren miteinander. Zur Extraktion solcher Beziehungen existiert eine Vielzahl verschiedener Ansätze und Verfahren. Im Rahmen des Seminars wird das Hauptaugenmerk auf Verfahren des Transfer Learnings gelegt und u.a. verschiedene Ansätze zur Domänenadaption sowie des Multi-task Learnings untersucht. Im Seminar werden die Studierenden jeweils einen Ansatz in Vortrag und Ausarbeitung genau darstellen sowie ihn auf eine Menge vorgegebener Extraktionsprobleme anwenden. Das Seminar hat das übergeordnete Ziel, die Eigenheiten der verschiedenen Verfahren kennenzulernen und deren Wirksamkeit vergleichen zu können.
Am 17.10.2019 findet von 11-13 Uhr im Raum 4.112 (RUD25) die Einführungsveranstaltung statt, die für alle Teilnehmenden verpflichtend ist.
Voraussetzungen
- Gute Kenntnisse in Algorithmen und Datenstrukturen (z.B. gleichnamige Vorlesung)
- Gute Programmierkenntnisse (idealerweise in Python).
- Kenntnisse in Statistik und/oder Machine Learning (oder die Bereitschaft sich einzuarbeiten)
Anmeldung und Anrechenbarkeit
Das Seminar ist anrechenbar für
- Diplom Informatik
- M.Sc. Informatik
Die Teilnehmerzahl ist begrenzt, die Anmeldung erfolgt über AGNES.
Voraussetzung für den Schein ist:
- der Besuch der Einführungsveranstaltungen zur Themenvergabe,
- die regelmäßige Kommunikation mit dem Betreuer,
- eine Kurzpräsentation des Themas (etwa in der Mitte des Semesters),
- das Halten eines wissenschaftlichen Vortrags im Blockseminar am Ende des Semesters,
- Umsetzung eines Transfer Learning Ansatzes inkl. Präsentation der Ergebnisse, und das Erstellen einer schriftlichen Ausarbeitung (Seminararbeit).
Termine
- 17.10.2019: Einführungsveranstaltung
(Folien)
- 24.10.2019: Vorlesung - Machine Learning for NLP + Text representation
(Folien)
- RUD25, 4.410 (Seminarraum - WBI), 11-13Uhr
- 31.10.2019: Vorlesung - Deep Learning for NLP (Folien)
- RUD25, 4.410 (Seminarraum - WBI), 11-13Uhr
- 12.12.2019: Flash Präsentationen (Folien)
- RUD25, 4.410 (Seminarraum - WBI), 11-13Uhr
- 06.02.2020: Blockseminar - Präsentation der Lösungen (Folien)
- RUD25, 4.410 (Seminarraum - WBI), 11-13Uhr
Themen
STL=Sequential Transfer Learning and MTL=Multi-task Learning
| Nr. | Typ | Thema | Schwierigkeit | Bearbeiter |
|---|---|---|---|---|
| 1 | STL |
(Bio-) BERT for Relation Extraction Lin, Chen, et al. "A BERT-based Universal Model for Both Within-and Cross-sentence Clinical Temporal Relation Extraction." Proceedings of the 2nd Clinical Natural Language Processing Workshop. 2019. |
Niedrig- Mittel |
Phuc Tran, Duy |
| 2 | STL |
(Bio-) ELMO for Relation Extraction Peng, Yifan, Shankai Yan, and Zhiyong Lu. "Transfer Learning in Biomedical Natural Language Processing: An Evaluation of BERT and ELMo on Ten Benchmarking Datasets." arXiv preprint arXiv:1906.05474 (2019). |
Mittel | |
| 3 | STL |
CNNs with pre-trained biomedical word embeddings Liu, Shengyu, et al. "Drug-drug interaction extraction via convolutional neural networks." Computational and mathematical methods in medicine 2016 (2016). |
Niedrig | Danielle, Dennis, Hanjo |
| 4 | STL |
CNN(+RNN) with biomedical word embeddings Vu, Ngoc Thang, et al. "Combining recurrent and convolutional neural networks for relation classification." arXiv preprint arXiv:1605.07333 (2016). |
Niedrig- Mittel |
|
| 5 | MTL |
Hierarchical multi-task learning Sanh, Victor, Thomas Wolf, and Sebastian Ruder. "A hierarchical multi-task approach for learning embeddings from semantic tasks." Proceedings of the AAAI Conference on Artificial Intelligence. Vol. 33. 2019. |
Hoch | |
| 6 | STL |
Pre-trained transformer networks for RE Alt, Christoph, Marc Hübner, and Leonhard Hennig. "Improving relation extraction by pre-trained language representations." arXiv preprint arXiv:1906.03088 (2019). |
Mittel- Hoch |
|
| 7 | STL |
CNN with pre-trained biomedical word embeddings and linguistic features Choi, Sung-Pil. "Extraction of protein–protein interactions (PPIs) from the literature by deep convolutional neural networks with various feature embeddings." Journal of Information Science 44.1 (2018): 60-73. |
Hoch |
Ablauf
Im Oktober/November wird es 2-3 Vorlesungen zu einführenden Themen geben (Crash-Kurs Maschinelles Lernen, Deep Learning für Natural Language Processing).
Das Seminar wird als Blockseminar am Ende des Semesters abgehalten.
- Jede Gruppe muss dort einen ca. 30-40 minütigen Vortrag über das zugewiesene Thema und das implementierte Verfahren (siehe unten) halten.
- Vorher finden mindestens zwei Treffen mit dem/der Betreuer(in) statt, einmal zur Vorbesprechung des Themas und einmal zur Besprechung der Folien.
- Außerdem wird es in der Mitte des Semesters einen Termin geben, in dem alle Gruppen in einer 5-minütigen Flash-Präsentation ihr Thema vorstellen, um Querverbindungen zu erkennen und die rechtzeitige Beschäftigung mit dem Thema sicherzustellen.
- Schließlich muss zu jedem Thema eine ca. 20 seitige Seminararbeit verfasst werden (u.a. Darstellung des bearbeiteten Extraktionsverfahrens sowie der implementierten Pipeline).
- Parallel zur konzeptionellen Durchdringung des Themas müssen alle Gruppen ein konkretes Extraktionsverfahren implementieren und evaluieren. Hierzu geben wir in der Mitte des Semesters Trainingsdatensätze aus verschiedenen biomedizinischen Domänen aus.
- Jede Gruppe implementiert und trainiert damit einen Extraktor (Preprocessing, feature selection, classifier etc.). Die Extraktoren werden am Semesterende bzgl. ihrer Genauigkeit auf hold-out Test-Daten evaluiert. Das implementierte Verfahren wird in Seminarvortrag und -ausarbeitung beschrieben.