A maioria das perguntas precisa de duas tabelas. merge as junta por uma coluna chave:
stays = encounters.merge(patients, on="patient_id")
Cada atendimento encontra o único paciente dele, então o resultado mantém uma linha por atendimento. Escolha a chave com cuidado: fazer o merge dos exames com os atendimentos por patient_id combina cada resultado com cada consulta daquele paciente e multiplica as linhas. Um resultado de exame pertence a um atendimento, então a chave dele é encounter_id.
Uma coorte é um conjunto de pacientes escolhidos por uma regra, como qualquer código de diagnóstico que comece por E11 (diabetes tipo 2): diagnoses["icd10_code"].str.startswith("E11"). Os diagnósticos ficam nos atendimentos, então faça o merge para ter o paciente, e depois conte pacientes com .nunique(), não linhas.
Para o resultado mais recente de cada paciente, ordene pelo tempo e fique com a última linha de cada paciente: .sort_values("collected_at").groupby("patient_id").tail(1). O resultado mais alto, .max(), responde a outra pergunta.